CN114092476B - 杂质检测方法、系统、装置、设备、存储介质及软件产品 - Google Patents

杂质检测方法、系统、装置、设备、存储介质及软件产品 Download PDF

Info

Publication number
CN114092476B
CN114092476B CN202210061333.XA CN202210061333A CN114092476B CN 114092476 B CN114092476 B CN 114092476B CN 202210061333 A CN202210061333 A CN 202210061333A CN 114092476 B CN114092476 B CN 114092476B
Authority
CN
China
Prior art keywords
detection
image
product object
acquisition
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210061333.XA
Other languages
English (en)
Other versions
CN114092476A (zh
Inventor
张学军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Cloud Computing Ltd filed Critical Alibaba Cloud Computing Ltd
Priority to CN202210061333.XA priority Critical patent/CN114092476B/zh
Publication of CN114092476A publication Critical patent/CN114092476A/zh
Application granted granted Critical
Publication of CN114092476B publication Critical patent/CN114092476B/zh
Priority to PCT/CN2023/073056 priority patent/WO2023138641A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
    • B65G15/30—Belts or like endless load-carriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G29/00—Rotary conveyors, e.g. rotating discs, arms, star-wheels or cones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G33/00—Screw or rotary spiral conveyors
    • B65G33/08—Screw or rotary spiral conveyors for fluent solid materials
    • B65G33/14—Screw or rotary spiral conveyors for fluent solid materials comprising a screw or screws enclosed in a tubular housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Abstract

本申请实施例提供了一种产品的杂质检测方法、系统、装置、设备、存储介质及软件产品，所述方法包括：通过确定待检测的产品对象，并将产品对象置于检测状态，接着从多个不同的采集角度对处于检测状态的产品对象进行视频采集，得到产品对象在各个预设采集角度的采集视频，然后可以对采集视频进行图像采集，得到各个预设采集角度对应的采集图像，再根据各个预设采集角度对应的采集图像，对产品对象进行杂质检测，生成对应的检测结果。

Description

杂质检测方法、系统、装置、设备、存储介质及软件产品
技术领域
本申请涉及计算机技术领域，特别是涉及一种产品的杂质检测方法、一种产品的杂质检测系统、一种产品的杂质检测装置、一种电子设备、一种计算机可读存储介质以及一种软件产品。
背景技术
瓶装液体（白酒、饮料、药品等）的生产过程中，受到原材料质量（酒瓶）以及加工工艺（灌装）等因素的影响，产品中可能存在各类瑕疵影响产品质量。其中，常用的液体杂质检测方法为人工灯检法，对于人工灯检的方式，其劳动强度大、效率低，检测结果主观性强，检测人员容易疲劳，漏检率波动性大以及容易受到检测人员生理因素影响等缺点，已经无法满足就自动化生产线的生产需求。
发明内容
本申请实施例是提供一种产品的杂质检测方法、系统、装置、电子设备以及计算机可读存储介质、计算机可读存储介质以及软件产品，以解决或部分解决对液体产品进行检测过程中存在检测效率低下、检测结果不佳以及检测稳定性差的问题。
本申请实施例公开了一种产品的杂质检测方法，包括：
确定待检测的产品对象，并将所述产品对象置于检测状态；
从多个不同的采集角度对处于所述检测状态的产品对象进行视频采集，得到所述产品对象在各个所述预设采集角度的采集视频；
对所述采集视频进行图像处理，得到所述预设采集角度对应的采集图像；
根据各个所述预设采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
可选地，所述将所述产品对象置于检测状态，包括：
将所述产品对象置于目标倾斜角度且震动和/或旋转的检测状态。
可选地，所述对所述采集视频进行图像处理，得到所述预设采集角度对应的采集图像，包括：
从所述预设采集角度对应的采集视频中提取目标数目的图像帧；
对各个所述预设采集角度对应的图像帧进行图像对齐，获得各个所述预设采集角度对应的采集图像。
可选地，所述对各个所述预设采集角度对应的图像帧进行图像对齐，获得各个所述预设采集角度对应的采集图像，包括：
提取各个所述图像帧中与所述产品对象对应的产品特征信息；
根据各个所述图像帧对应的产品特征信息对所述图像帧进行图像校正，获得各个所述预设采集角度对应的采集图像。
可选地，所述根据各个所述预设采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果，包括：
对所述预设采集角度对应的采集图像进行组合，得到若干个原始图像组，并构建与所述原始图像组对应的差分矩阵；
采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组；
采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
可选地，所述构建与所述原始图像组对应的差分矩阵，包括：
将所述原始图像组中相邻两张采集图像进行像素值相减，得到与所述原始图像组对应的若干张差分图像；
将各个所述采集图像作为首列的矩阵元素以及将所述差分图像作为其他列的矩阵元素，构建与所述原始图像组对应的差分矩阵。
可选地，所述采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组，包括：
除所述差分矩阵中首列的采集图像外，对同一行中其他差分图像进行差分处理，获得所述差分矩阵中各行对应的第一差分项以及第二差分项；
将所述差分矩阵中同一行的采集图像作为图像的R通道、将所述第一差分项作为G通道、将所述第二差分项作为B通道进行特征拼接，生成所述差分矩阵中各行的采集图像对应的检测图像；
将各所述检测图像组成与所述原始图像组对应的目标图像组。
可选地，所述采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果，包括：
将各个所述目标图像组输入杂质检测模型进行杂质检测，获得与所述目标图像组对应的检测信息；
若各个所述检测信息均表征所述产品对象未包含杂质，则生成针对所述产品对象的产品合格信息；
若存在至少一个检测信息表征所述产品对象存在杂质，则获取所述杂质对应的杂质类别信息与杂质概率信息，并采用所述杂质类别信息与所述杂质概率信息，生成与所述产品对象对应的产品复检信息。
本申请实施例还公开了一种产品的杂质检测系统，包括进料装置、传送装置、若干个对应不同采集角度的采集装置以及杂质检测装置；其中，
所述进料装置，用于传送待检测的产品对象，并将所述产品对象置于检测状态；
所述采集装置，用于在所述传送装置对所述产品对象进行传送的过程中，对处于所述检测状态的产品对象进行视频采集，得到所述产品对象在各个所述预设采集角度的采集视频；
所述杂质检测装置，用于对所述采集视频进行图像处理，得到所述预设采集角度对应的采集图像，并根据各个所述预设采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
可选地，所述进料装置至少包括前端输送带、转角夹带以及灯检夹带；
所述转角夹带，用于将所述前端传送带传送的待检测的产品对象置于目标倾斜角度；
所述灯检夹带，用于对所述产品对象进行震动和/或旋转处理；
所述前端传送带，用于将处于目标倾斜角度且震动和/或旋转状态的产品对象传送至所述传送装置。
可选地，所述传送装置至少包括进料转盘、传输转盘以及出料转盘，所述传输转盘包括多个产品工位；
所述进料转盘，用于将前端传送带传送的产品对象传送至产品工位；
所述产品工位，用于将所述产品对象置于自传状态；
所述出料转盘，用于将检测完毕的产品对象传送出所述传输转盘。
可选地，所述采集装置包括若干个按照预设角度差进行设置的图像采集设备；
所述图像采集设备，用于在所述产品对象进行传送的过程中，根据预设采集角度对处于所述检测状态的产品对象进行视频采集，得到所述预设采集角度对应的采集图像。
可选地，所述杂质检测装置至少包括采集图像提取模块、图像检测模块；其中，
所述采集图像提取模块，用于从所述预设采集角度对应的采集视频中提取目标数目的图像帧，提取各个所述图像帧中与所述产品对象对应的产品特征信息，根据各个所述图像帧对应的产品特征信息对所述图像帧进行图像校正，获得各个所述预设采集角度对应的采集图像；
所述图像检测模块，用于将相邻两个所述预设采集角度对应的采集图像进行组合，得到若干个原始图像组，并构建与所述原始图像组对应的差分矩阵，接着采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组，以及采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
可选地，所述图像检测模块包括差分矩阵模块、图像组模块以及检测模块；其中，
所述差分矩阵模块，用于将所述原始图像组中相邻两张采集图像进行像素值相减，得到与所述原始图像组对应的若干张差分图像，并将各个所述采集图像作为首列的矩阵元素以及将所述差分图像作为其他列的矩阵元素，构建与所述原始图像组对应的差分矩阵；
所述图像组模块，用于除所述差分矩阵中首列的采集图像外，对同一行中其他差分图像进行差分处理，获得所述差分矩阵中各行对应的第一差分项以及第二差分项，并将所述差分矩阵中同一行的采集图像作为图像的R通道、将所述第一差分项作为G通道、将所述第二差分项作为B通道进行特征拼接，生成所述差分矩阵中各行的采集图像对应的检测图像，以及将各所述检测图像组成与所述原始图像组对应的目标图像组；
所述检测模块，用于将各个所述目标图像组输入杂质检测模型进行杂质检测，获得与所述目标图像组对应的检测信息，若各个所述检测信息均表征所述产品对象未包含杂质，则生成针对所述产品对象的产品合格信息；若存在至少一个检测信息表征所述产品对象存在杂质，则获取所述杂质对应的杂质类别信息与杂质概率信息，并采用所述杂质类别信息与所述杂质概率信息，生成与所述产品对象对应的产品复检信息。
本申请实施例还公开了一种产品的杂质检测装置，包括：
检测状态处理模块，用于确定待检测的产品对象，并将所述产品对象置于检测状态；
采集视频获取模块，用于从多个不同的采集角度对处于所述检测状态的产品对象进行视频采集，得到所述产品对象在各个所述预设采集角度的采集视频；
采集图像确定模块，用于对所述采集视频进行图像处理，得到所述预设采集角度对应的采集图像；
检测结果生成模块，用于根据各个所述预设采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
可选地，所述检测状态处理模块具体用于：
将所述产品对象置于目标倾斜角度且震动和/或旋转的检测状态。
可选地，所述采集图像确定模块包括：
图像帧提取子模块，用于从所述预设采集角度对应的采集视频中提取目标数目的图像帧；
采集图像获取子模块，用于对各个所述预设采集角度对应的图像帧进行图像对齐，获得各个所述预设采集角度对应的采集图像。
可选地，所述采集图像获取子模块具体用于：
提取各个所述图像帧中与所述产品对象对应的产品特征信息；
根据各个所述图像帧对应的产品特征信息对所述图像帧进行图像校正，获得各个所述预设采集角度对应的采集图像。
可选地，所述检测结果生成模块包括：
差分矩阵构建子模块，用于对所述预设采集角度对应的采集图像进行组合，得到若干个原始图像组，并构建与所述原始图像组对应的差分矩阵；
图像组生成子模块，用于采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组；
检测结果生成子模块，用于采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
可选地，所述差分矩阵构建子模块具体用于：
将所述原始图像组中相邻两张采集图像进行像素值相减，得到与所述原始图像组对应的若干张差分图像；
将各个所述采集图像作为首列的矩阵元素以及将所述差分图像作为其他列的矩阵元素，构建与所述原始图像组对应的差分矩阵。
可选地，所述图像组生成子模块具体用于：
除所述差分矩阵中首列的采集图像外，对同一行中其他差分图像进行差分处理，获得所述差分矩阵中各行对应的第一差分项以及第二差分项；
将所述差分矩阵中同一行的采集图像作为图像的R通道、将所述第一差分项作为G通道、将所述第二差分项作为B通道进行特征拼接，生成所述差分矩阵中各行的采集图像对应的检测图像；
将各所述检测图像组成与所述原始图像组对应的目标图像组。
可选地，所述检测结果生成子模块具体用于：
将各个所述目标图像组输入杂质检测模型进行杂质检测，获得与所述目标图像组对应的检测信息；
若各个所述检测信息均表征所述产品对象未包含杂质，则生成针对所述产品对象的产品合格信息；
若存在至少一个检测信息表征所述产品对象存在杂质，则获取所述杂质对应的杂质类别信息与杂质概率信息，并采用所述杂质类别信息与所述杂质概率信息，生成与所述产品对象对应的产品复检信息。
本申请实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现如本申请实施例所述的方法。
本申请实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本申请实施例所述的方法。
本申请实施例还公开了一种软件产品，包括计算机程序/指令，其中，当所述计算机程序/指令被执行时，实现执行如本申请实施例所述的方法。
本申请实施例包括以下优点：
在本申请实施例中，可以应用于产品对象的自动化检测，通过确定待检测的产品对象，并将产品对象置于检测状态，接着从多个不同的采集角度对处于检测状态的产品对象进行视频采集，得到产品对象在各个预设采集角度的采集视频，然后可以对采集视频进行图像采集，得到各个预设采集角度对应的采集图像，再根据各个预设采集角度对应的采集图像，对产品对象进行杂质检测，生成对应的检测结果，从而在杂质检测过程中，通过将产品对象置于检测状态进行杂质检测，可以减少检测过程中产品对象的无关变量因素，保证检测结果的稳定性，同时通过多个不同的采集角度对产品对象进行图像采集，有效增强了图像特征，提高了产品检测的精度，保证了检测结果的准确性，同时基于自动化的产品检测，可以有效提高检测的效率。
附图说明
图1是本申请实施例中提供的一种产品的杂质检测方法的步骤流程图；
图2是本申请实施例中提供的图像采集的示意图；
图3是本申请实施例中提供的杂质检测系统的处理示意图；
图4是本申请实施例中提供的一种产品的杂质检测系统的结构框图；
图5是本申请实施例中提供的一种产品的杂质检测装置的结构框图；
图6是本申请实施例中提供的一种电子设备的框图；
图7是本申请实施例中提供的一种计算机可读存储介质的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
对于AloT（Artificial Intelligence & Internet of Things，人工智能物联网），其可以为人工智能技术与物联网技术的结合，通过物联网产生、收集来自不同维度的、海量的数量存储于云端、边缘端，再通过大数据分析，以及更高形式的人工智能，实现万物数据化、万物智联化。物联网技术与人工智能相融合，最终追求的是形成一个智能化生态体系，在该体系内，实现了不同智能终端设备之间、不同系统平台之间、不同应用场景之间的互融互通，万物互融。其中，对于AloT其可以应用于工业领域，例如自动化生产、自动化检测等，通过AloT可以有效提高工业生产、工业检测等的工作效率，同时通过自动化处理可以有效降低人力成本，保证产品的质量以及检测结果的准确性等。
作为一种示例，在对透明瓶装液体进行生产的过程中，受到原材料质量以及加工工艺等因素的影响，产品中可能存在各类瑕疵影响产品的质量。在一条产线中，一般可以配置有若干个质检环节分别检测不同类型的瑕疵，然而，由于瑕疵种类多样，有的瑕疵体积小不易察觉，导致厂家往往需要投入大量人力成本用于产品质检。在该过程中，一方面质检人员的质检效果容易受个人精力、心情等主观情绪的影响，无法保证质检效果的稳定性和准确性，同时为了培养质检人员的专业质检技能，容易进一步加大厂家的人力成本，另一方面人工质检的方式，质检效率低下，无法满足实际的生产需求。
对此，本申请实施例的核心发明点之一在于应用于产品对象的自动化检测，通过确定待检测的产品对象，并将产品对象置于检测状态，接着从多个不同的采集角度对处于检测状态的产品对象进行视频采集，得到产品对象在各个预设采集角度的采集视频，然后可以对采集视频进行图像采集，得到各个预设采集角度对应的采集图像，再根据各个预设采集角度对应的采集图像，对产品对象进行杂质检测，生成对应的检测结果，从而在杂质检测过程中，通过将产品对象置于检测状态进行杂质检测，可以减少检测过程中产品对象的无关变量因素，保证检测结果的稳定性，同时通过多个不同的采集角度对产品对象进行图像采集，有效增强了图像特征，提高了产品检测的精度，保证了检测结果的准确性，同时基于自动化的产品检测，可以有效提高检测的效率。
具体的，参照图1，示出了本申请实施例中提供的一种产品的杂质检测方法的步骤流程图，具体可以包括如下步骤：
步骤101，确定待检测的产品对象，并将所述产品对象置于检测状态；
在本申请实施例中，产品的杂质检测可以应用于杂质检测系统，该杂质检测系统可以为生产线上用于对产品对象进行杂质检测的系统，其可以包括进料装置、传送装置、采集装置、杂质检测装置、剔除装置等。其中，传送装置可以用于对待检测的产品对象进行传送，进料装置可以在传送过程中将产品对象置于检测状态，接着传送装置可以将处于检测状态的产品对象进行传送，采集装置可以对处于检测状态的产品对象进行图像采集，并由杂质检测装置对所采集的图像进行杂质检测，接着剔除装置可以根据检测结果对产品对象进行分类，实现产品对象的自动化检测。
在一种示例中，进料装置可以包括推料夹带、转角夹带、灯检夹带、转立装置、分料螺杆装置以及进料转盘等；传送装置可以包括前端传送带、进料转盘、传输转盘以及出料转盘等；采集装置可以包括若干个对应不同采集视角的图像采集设备；剔除装置可以包括剔除收料传输带与剔除组件等。在实际的检测过程中，经推料夹带、转角夹带将产品对象按照规定的角度送入灯检夹带，并加震动，实现将产品对象置于检测状态；接着处于检测状态的产品对象经过转立装置、分料螺杆装置、进料转盘等按照等间距进入会传输转盘的产品工位进行公转，每个产品工位上装有电机能够在产品对象进行公转的同时实现自转，这是产品对象内的异物会在自转和公转的作用下悬浮起来，以便进行图像采集；在传输转盘上特定的产品工位安装有图像采集设备，例如0°、90°、180°以及270°等对产品对象进行图像采集；当产品对象检测完毕后，可以从传输转盘，经出料转盘送出，并通过出口处的剔除组件对不合格的产品对象进行剔除，实现不良品的剔除，从而实现对产品对象的自动化检测过程。
对于产品对象，其可以为自动化生产中需要进行检测的产品，例如，透明瓶装液体、透明罐装液体以及杯装透明液体等。需要说明的是，在本申请实施例中以对瓶装透明液体的杂质检测为例进行示例性说明，可以理解的是，本申请对此不作限制。
在实际中，生产线可以通过相应的传输装置将待检测的产品对象传输至检测装置，以便检测装置对待检测的产品对象进行质量检测，并根据检测结果对产品对象进行分类，包括剔除不合格产品以及对合格产品进行打包等。其中，在进行杂质检测之前，可以先将产品对象置于检测状态，为后续的检测提供的相应的检测条件，包括可以将产品对象置于目标倾斜角度和震动和/或旋转的检测状态。
在一种示例中，对于透明瓶装液体，通过将其置于45度倾斜以及震动的检测状态，可以替代传统的瓶体倒转，避免了瓶体中的液体产生大量气泡，减少检测过程中引入的无关变量因素，保证后续杂质检测的准确性。
此外，还可以包括但不限于30度倾斜与震动的检测状态、40度倾斜与震动的检测状态、45度与震动与旋转的检测状态、45度与旋转的检测状态、40度与旋转的检测状态等等，从而通过设置不同的倾斜角度、震动以及旋转等检测状态，一方面可以针对不同的产品对象进行适应性地调整，提高产品对象杂质检测的通用性，另一方面通过将产品对象置于对应的检测状态，可以减少检测过程中引入的无关变量因素，保证后续杂质检测的准确性。
步骤102，从多个不同的采集角度对处于所述检测状态的产品对象进行视频采集，得到所述产品对象在各个所述预设采集角度的采集视频；
当处于检测状态的产品对象被传送至检测装置时，随着产品对象在传送装置上的传送，位于特定采集角度对图像采集设备可以在产品对象经过时，对其进行视频录制，从而当产品对象完整地经过所有的图像采集设备时，可以得到不同采集角度的图像采集设备对处于检测状态下的产品对象进行录制的采集视频。例如，采集角度可以为预先按照一定的角度差进行设置的采集视角，包括①0°、90°、180°、270°；②0°、60°、120°、180°、240°、300°等等多个等距的采集角度，从而通过多个不同的采集角度对处于目标倾斜角度且震动和/或旋转状态的透明瓶装液体进行图像采集，可以有效增强图像特征，以便后续通过图像分析进行杂质检测时，可以提高产品检测的精度，进而保证检测结果的准确性。
在一种示例中，参照图2，示出了本申请实施例中提供的图像采集的示意图，对于透明瓶装液体，其一方面可以在杂质检测系统的公转转盘中进行公转，另一方面可以通过对应的产品工位进行自转，在公转的过程中，当其经过0°、90°、180°、270°等采集角度时，位于这些采集角度的工业相机可以对透明瓶装液体进行视频录制，得到0°、90°、180°、270°等采集角度分别对应的采集视频①、采集视频②、采集视频③以及采集视频④等，以便后续根据这些采集视频进行透明瓶装液体的杂质检测。可选地，在进行视频拍摄的过程中，可以通过各个采集角度对应的背光灯对透明瓶装液体进行照射，以进一步加强图像特征。
步骤103，对所述采集视频进行图像处理，得到所述预设采集角度对应的采集图像；
在本申请实施例中，当得到各个预设采集角度对应的采集视频后，杂质检测装置可以从预设采集角度对应的采集视频中提取目标数目的图像帧，并对各个预设采集角度对应的图像帧进行图像对齐，获得各个预设采集角度对应的采集图像。对于图像对齐，可以通过提取各个图像帧中与产品对象对应的产品特征信息，然后根据各个图像帧对应的产品特征信息对图像帧进行图像校正，获得各个预设采集角度对应的采集图像。
对于每个采集角度对应的采集视频，可以分别从每个采集视频中提取N帧图像帧，接着通过图像识别从所有的图像帧中得到与产品对象对应的产品特征信息，并基于产品特征信息进行图像对齐，从而通过图像对齐的方式，将图像帧中无关的图像特征去除，同时使得每个图像帧包括的区域相同，实现图像的校正。例如，分别从采集视频①、采集视频②、采集视频③以及采集视频④各提取2帧图像帧，接着对8帧图像帧进行图像识别，识别出图像中包含透明瓶装液体的瓶体特征，并基于瓶体特征进行图像对齐，去除图像中无关特征，使每个图像所包括的区域相同，实现图像的校正，从而通过图像对齐的方式对进行杂质检测的图像进行对齐，保证杂质检测数据的一致性，提高后续图像分析的精度。
步骤104，根据各个所述预设采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
在本申请实施例中，杂质检测装置完成图像对齐后，可以对预设采集角度对应的采集图像进行组合，得到若干个原始图像组，并构建与原始图像组对应的差分矩阵，接着采用差分矩阵进行图像处理，生成与原始图像组对应的目标图像组，然后采用各个目标图像组对产品对象进行杂质检测，生成与产品对象对应的检测结果，从而通过图像组合、构建差分矩阵等对图像进行处理，进一步增强了产品对象的图像特征，提高了产品检测的精度，保证了检测结果的准确性，同时基于自动化的产品检测，可以有效提高检测的效率。
可选地，对于采集角度的数量，其可以为偶数，则可以按照顺序将所有预设采集角度对应的采集图像分为2组，得到两组原始图像组，例如，可以将0°、90°对应的4张采集图像作为原始图像组A，将180°、270°对应的4张采集图像作为原始图像组B，然后针对每组原始图像组构建对应的差分矩阵，得到与原始图像组A对应的差分矩阵Ⅰ，与原始图像组B对应的差分矩阵Ⅱ。具体的，对于差分矩阵的构建，可以将原始图像组中相邻两张采集图像进行像素值相减，得到与原始图像组对应的若干张差分图像，然后将各个采集图像作为首列的矩阵元素以及将差分图像作为其他列的矩阵元素，构建与原始图像组对应的差分矩阵。
例如，原始图像组A中包括采集图像A1、采集图像A2、采集图像A3以及采集图像A4，则可以将“采集图像A1-采集图像A2”、“采集图像A2-采集图像A3”、“采集图像A3-采集图像A4”以及“采集图像A4-采集图像A1”进行图像相减，得到差分图像C1、差分图像C2以及差分图像C3，接着可以将原始图像组A中的各个采集图像作为差分矩阵的首列矩阵元素，将差分图像作为差分矩阵中其他列的矩阵元素，构建与原始图像组A对应的差分矩阵Ⅰ，在差分矩阵Ⅰ中每一行的矩阵元素各不相同，如下可以为差分矩阵的其中一种组成方式：
A1，C1，C2，C3，C4
A2，C2，C3，C4，C1
A3，C3，C4，C1，C2
A4，C4，C1，C2，C3
基于相同的过程，原始图像组B对应的差分矩阵Ⅱ的其中一种组成方式可以为：
B1，D1，D2，D3，D4
B2，D2，D3，D4，D1
B3，D3，D4，D1，D2
B4，D4，D1，D2，D3
通过上述过程得到各个原始图像组对应的差分矩阵之后，可以基于差分矩阵，通过差分法对采集图像进行预处理，去除背景干扰，提取含有运动目标的图像，具体的，除差分矩阵中首列的采集图像外，通过差分法对同一行中其他差分图像进行差分处理，获得差分矩阵中各行对应的第一差分项以及第二差分项，接着将差分矩阵中同一行的采集图像作为图像的R通道、将第一差分项作为G通道、将第二差分项作为B通道进行特征拼接，生成差分矩阵中各行的采集图像对应的检测图像，然后将各检测图像组成与原始图像组对应的目标图像组。其中，差分项可以为根据差分法得到的目标图像；R通道、G通道以及B通道可以为图像的颜色通道，则通过差分法对差分矩阵的每一行矩阵元素进行差分处理，可以得到包含首个采集图像在内的三个目标图像，接着可以按照相应的通道顺序将这三个图像作为三个颜色通道进行特征拼接，得到与每一行的采集图像对应的检测图像，从而通过图像特征拼接，增强了产品对象的图像特征，提高了产品检测的精度，保证了检测结果的准确性，同时基于自动化的产品检测，可以有效提高检测的效率。
在一种示例中，对于差分矩阵中第i行，可以将ai0作为原图T0，[（ai1+ai2）/2-ai0]作为差分项T1，[（ai3+ai4）/2-ai0]作为差分项T2，接着可以将T0作为新图像的R通道，将T1作为新图像的G通道，将T2作为新图像的B通道，构建与第i张采集图像对象的检测图像i’，然后可以将所有的检测图像进行组合得到新的图像组，从而通过图像特征拼接，增强了产品对象的图像特征，提高了产品检测的精度，保证了检测结果的准确性，同时基于自动化的产品检测，可以有效提高检测的效率。
通过上述过程得到目标图像组后，可以将各个目标图像组输入杂质检测模型进行杂质检测，获得与目标图像组对应的检测信息，若各个检测信息均表征产品对象未包含杂质，则生成针对产品对象的产品合格信息；若存在至少一个检测信息表征产品对象存在杂质，则获取杂质对应的杂质类别信息与杂质概率信息，并采用杂质类别信息与杂质概率信息，生成与产品对象对应的产品复检信息。
可选地，对于产品对象的杂质，其可以包括与原材料质量关联的杂质，也可以包括与加工工艺关联的杂质，不同类别的杂质可以采用不同的处理方式，例如，对于透明瓶装液体，若为液体内的杂质，则可以直接判定该透明瓶装液体属于不合格产品；若为瓶体的杂质，则可以将透明瓶装液体作为复检产品进行人工复检或二次机检等，以保证检测的准确性以及产品的质量。
具体的，杂质类别信息可以用于表征所检测出的杂质属于何种类别的杂质，例如液体杂质、瓶体杂质、包装杂质等；杂质概率信息可以为杂质在图像中出现的概率，概率越大表征杂质越明显越多等，则杂质检测模型可以对每组目标图像组中的各个检测图像进行图像识别，识别出图像中是否包含杂质，并在检测出杂质的情况下，获取杂质的类别以及杂质出现的概率，然后输出对应的检测结果，以便检测系统根据检测结果对产品对象进行处理，实现产品对象的杂质检测。
在一种示例中，参照图3，示出了本申请实施例中提供的杂质检测系统的处理示意图，以对装有透明液体的酒瓶为例进行示例性说明，在杂质检测系统中可以包括进料区域、转盘区域以及出料区域，对于相关区域所包含的结构部件可以参考前述描述，在此不再赘述。其中，进料区域可以将酒瓶置于45°倾斜，并加震动，以便拍摄瓶体以及瓶体底部的杂质；转盘区域中传输的酒瓶等间距，且对酒瓶进行自转+公转的旋转处理，同时在转盘区域的检测区域中部署有多台摄像机，以便从0°、90°、180°、270°等不同的角度对酒瓶进行图像采集；在出料区域中，安装有剔除装置，可以根据所采集的图像进行杂质检测分析，将含有异物的出瓶，以及将无异物的出瓶，从而在瓶装液体的杂质检测过程中，通过将瓶体置于45°加震动的状态进行杂质检测，可以减少检测过程中液体的无关变量因素，保证检测结果的稳定性，同时通过多个不同的采集角度对液体进行图像采集，有效增强了图像特征，提高了产品检测的精度，保证了检测结果的准确性，同时基于自动化的产品检测，可以有效提高检测的效率。
需要说明的是，本申请实施例包括但不限于上述示例，可以理解的是，在本申请实施例的思想指导下，本领域技术人员还可以根据实际需求进行设置，本申请对此不作限制。
在本申请实施例中，可以应用于产品对象的自动化检测，通过确定待检测的产品对象，并将产品对象置于检测状态，接着从多个不同的采集角度对处于检测状态的产品对象进行视频采集，得到产品对象在各个预设采集角度的采集视频，然后可以对采集视频进行图像采集，得到各个预设采集角度对应的采集图像，再根据各个预设采集角度对应的采集图像，对产品对象进行杂质检测，生成对应的检测结果，从而在杂质检测过程中，通过将产品对象置于检测状态进行杂质检测，可以减少检测过程中产品对象的无关变量因素，保证检测结果的稳定性，同时通过多个不同的采集角度对产品对象进行图像采集，有效增强了图像特征，提高了产品检测的精度，保证了检测结果的准确性，同时基于自动化的产品检测，可以有效提高检测的效率。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参照图4，示出了本申请实施例中提供的一种产品的杂质检测系统的结构框图，具体可以包括进料装置401、传送装置402、若干个对应不同采集角度的采集装置403以及杂质检测装置404；其中，
所述进料装置401，用于传送待检测的产品对象，并将所述产品对象置于检测状态；
所述采集装置403，用于在所述传送装置402对所述产品对象进行传送的过程中，对处于所述检测状态的产品对象进行视频采集，得到所述产品对象在各个所述预设采集角度的采集视频；
所述杂质检测装置404，用于对所述采集视频进行图像处理，得到所述预设采集角度对应的采集图像，并根据各个所述预设采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
在一种可选实施例中，所述进料装置401至少包括前端输送带、转角夹带以及灯检夹带；其中，
所述转角夹带，用于将所述前端传送带传送的待检测的产品对象置于目标倾斜角度；
所述灯检夹带，用于对所述产品对象进行震动和/或旋转处理；所述前端传送带，用于将处于目标倾斜角度且震动和/或旋转状态的产品对象传送至所述传送装置402。
在一种可选实施例中，所述传送装置402至少包括进料转盘、传输转盘以及出料转盘，所述传输转盘包括多个产品工位；其中，
所述进料转盘，用于将前端传送带传送的产品对象传送至产品工位；
所述产品工位，用于将所述产品对象置于自传状态；
所述出料转盘，用于将检测完毕的产品对象传送出所述传输转盘。
在一种可选实施例中，所述采集装置403包括若干个按照预设角度差进行设置的图像采集设备；
所述图像采集设备，用于在所述产品对象进行传送的过程中，根据预设采集角度对处于所述检测状态的产品对象进行视频采集，得到所述预设采集角度对应的采集图像。
在一种可选实施例中，所述杂质检测装置404至少包括采集图像提取模块、图像检测模块；其中，
所述采集图像提取模块，用于从所述预设采集角度对应的采集视频中提取目标数目的图像帧，提取各个所述图像帧中与所述产品对象对应的产品特征信息，根据各个所述图像帧对应的产品特征信息对所述图像帧进行图像校正，获得各个所述预设采集角度对应的采集图像；
所述图像检测模块，用于将相邻两个所述预设采集角度对应的采集图像进行组合，得到若干个原始图像组，并构建与所述原始图像组对应的差分矩阵，接着采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组，以及采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
在一种可选实施例中，所述图像检测模块包括差分矩阵模块、图像组模块以及检测模块；其中，
所述差分矩阵模块，用于将所述原始图像组中相邻两张采集图像进行像素值相减，得到与所述原始图像组对应的若干张差分图像，并将各个所述采集图像作为首列的矩阵元素以及将所述差分图像作为其他列的矩阵元素，构建与所述原始图像组对应的差分矩阵；
所述图像组模块，用于除所述差分矩阵中首列的采集图像外，对同一行中其他差分图像进行差分处理，获得所述差分矩阵中各行对应的第一差分项以及第二差分项，并将所述差分矩阵中同一行的采集图像作为图像的R通道、将所述第一差分项作为G通道、将所述第二差分项作为B通道进行特征拼接，生成所述差分矩阵中各行的采集图像对应的检测图像，以及将各所述检测图像组成与所述原始图像组对应的目标图像组；
所述检测模块，用于将各个所述目标图像组输入杂质检测模型进行杂质检测，获得与所述目标图像组对应的检测信息，若各个所述检测信息均表征所述产品对象未包含杂质，则生成针对所述产品对象的产品合格信息；若存在至少一个检测信息表征所述产品对象存在杂质，则获取所述杂质对应的杂质类别信息与杂质概率信息，并采用所述杂质类别信息与所述杂质概率信息，生成与所述产品对象对应的产品复检信息。
在一种示例中，进料装置可以包括推料夹带、转角夹带、灯检夹带、转立装置、分料螺杆装置以及进料转盘等；传送装置可以包括前端传送带、进料转盘、传输转盘以及出料转盘等；采集装置可以包括若干个对应不同采集视角的图像采集设备；剔除装置可以包括剔除收料传输带与剔除组件等。在实际的检测过程中，经推料夹带、转角夹带将产品对象按照规定的角度送入灯检夹带，并加震动，实现将产品对象置于检测状态；接着处于检测状态的产品对象经过转立装置、分料螺杆装置、进料转盘等按照等间距进入会传输转盘的产品工位进行公转，每个产品工位上装有电机能够在产品对象进行公转的同时实现自转，这是产品对象内的异物会在自转和公转的作用下悬浮起来，以便进行图像采集；在传输转盘上特定的产品工位安装有图像采集设备，例如0°、90°、180°以及270°等对产品对象进行图像采集；当产品对象检测完毕后，可以从传输转盘，经出料转盘送出，并通过出口处的剔除组件对不合格的产品对象进行剔除，实现不良品的剔除，从而实现对产品对象的自动化检测过程。
需要说明的是，对于通过图像识别的方式对产品对象进行杂质检测，可以参考上一实施例的相关过程，在此不再赘述。
在本申请实施例中，杂质检测系统可以包括进料装置、传送装置、若干个对应不同采集角度的采集装置以及杂质检测装置等，在对产品对象进行自动化检测的过程中，可以通过进料装置传送待检测的产品对象，并将产品对象置于检测状态，接着通过采集装置在传送装置对产品对象进行传送的过程中，对处于检测状态的产品对象进行视频采集，得到产品对象在各个预设采集角度的采集视频，然后通过杂质检测装置对采集视频进行图像处理，得到预设采集角度对应的采集图像，并根据各个预设采集角度对应的采集图像，对产品对象进行杂质检测，生成与产品对象对应的检测结果，从而在杂质检测过程中，通过将产品对象置于检测状态进行杂质检测，可以减少检测过程中产品对象的无关变量因素，保证检测结果的稳定性，同时通过多个不同的采集角度对产品对象进行图像采集，有效增强了图像特征，提高了产品检测的精度，保证了检测结果的准确性，同时基于自动化的产品检测，可以有效提高检测的效率。
参照图5，示出了本申请实施例中提供的一种产品的杂质检测装置的结构框图，具体可以包括如下模块：
检测状态处理模块501，用于确定待检测的产品对象，并将所述产品对象置于检测状态；
采集视频获取模块502，用于从多个不同的采集角度对处于所述检测状态的产品对象进行视频采集，得到所述产品对象在各个所述预设采集角度的采集视频；
采集图像确定模块503，用于对所述采集视频进行图像处理，得到所述预设采集角度对应的采集图像；
检测结果生成模块504，用于根据各个所述预设采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
在一种可选实施例中，所述检测状态处理模块501具体用于：
将所述产品对象置于目标倾斜角度且震动和/或旋转的检测状态。
在一种可选实施例中，所述采集图像确定模块503包括：
图像帧提取子模块，用于从所述预设采集角度对应的采集视频中提取目标数目的图像帧；
采集图像获取子模块，用于对各个所述预设采集角度对应的图像帧进行图像对齐，获得各个所述预设采集角度对应的采集图像。
在一种可选实施例中，所述采集图像获取子模块具体用于：
提取各个所述图像帧中与所述产品对象对应的产品特征信息；
根据各个所述图像帧对应的产品特征信息对所述图像帧进行图像校正，获得各个所述预设采集角度对应的采集图像。
在一种可选实施例中，所述检测结果生成模块504包括：
差分矩阵构建子模块，用于对所述预设采集角度对应的采集图像进行组合，得到若干个原始图像组，并构建与所述原始图像组对应的差分矩阵；
图像组生成子模块，用于采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组；
检测结果生成子模块，用于采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
在一种可选实施例中，所述差分矩阵构建子模块具体用于：
将所述原始图像组中相邻两张采集图像进行像素值相减，得到与所述原始图像组对应的若干张差分图像；
将各个所述采集图像作为首列的矩阵元素以及将所述差分图像作为其他列的矩阵元素，构建与所述原始图像组对应的差分矩阵。
在一种可选实施例中，所述图像组生成子模块具体用于：
除所述差分矩阵中首列的采集图像外，对同一行中其他差分图像进行差分处理，获得所述差分矩阵中各行对应的第一差分项以及第二差分项；
将所述差分矩阵中同一行的采集图像作为图像的R通道、将所述第一差分项作为G通道、将所述第二差分项作为B通道进行特征拼接，生成所述差分矩阵中各行的采集图像对应的检测图像；
将各所述检测图像组成与所述原始图像组对应的目标图像组。
在一种可选实施例中，所述检测结果生成子模块具体用于：
将各个所述目标图像组输入杂质检测模型进行杂质检测，获得与所述目标图像组对应的检测信息；
若各个所述检测信息均表征所述产品对象未包含杂质，则生成针对所述产品对象的产品合格信息；
若存在至少一个检测信息表征所述产品对象存在杂质，则获取所述杂质对应的杂质类别信息与杂质概率信息，并采用所述杂质类别信息与所述杂质概率信息，生成与所述产品对象对应的产品复检信息。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
另外，本申请实施例还提供一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
确定待检测的产品对象，并将所述产品对象置于检测状态；
从多个不同的采集角度对处于所述检测状态的产品对象进行视频采集，得到所述产品对象在各个所述预设采集角度的采集视频；
对所述采集视频进行图像处理，得到所述预设采集角度对应的采集图像；
根据各个所述预设采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
在一种可选实施例中，所述将所述产品对象置于检测状态，包括：
将所述产品对象置于目标倾斜角度且震动和/或旋转的检测状态。
在一种可选实施例中，所述对所述采集视频进行图像处理，得到所述预设采集角度对应的采集图像，包括：
从所述预设采集角度对应的采集视频中提取目标数目的图像帧；
对各个所述预设采集角度对应的图像帧进行图像对齐，获得各个所述预设采集角度对应的采集图像。
在一种可选实施例中，所述对各个所述预设采集角度对应的图像帧进行图像对齐，获得各个所述预设采集角度对应的采集图像，包括：
提取各个所述图像帧中与所述产品对象对应的产品特征信息；
根据各个所述图像帧对应的产品特征信息对所述图像帧进行图像校正，获得各个所述预设采集角度对应的采集图像。
在一种可选实施例中，所述根据各个所述预设采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果，包括：
对所述预设采集角度对应的采集图像进行组合，得到若干个原始图像组，并构建与所述原始图像组对应的差分矩阵；
采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组；
采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果。
在一种可选实施例中，所述构建与所述原始图像组对应的差分矩阵，包括：
将所述原始图像组中相邻两张采集图像进行像素值相减，得到与所述原始图像组对应的若干张差分图像；
将各个所述采集图像作为首列的矩阵元素以及将所述差分图像作为其他列的矩阵元素，构建与所述原始图像组对应的差分矩阵。
在一种可选实施例中，所述采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组，包括：
除所述差分矩阵中首列的采集图像外，对同一行中其他差分图像进行差分处理，获得所述差分矩阵中各行对应的第一差分项以及第二差分项；
将所述差分矩阵中同一行的采集图像作为图像的R通道、将所述第一差分项作为G通道、将所述第二差分项作为B通道进行特征拼接，生成所述差分矩阵中各行的采集图像对应的检测图像；
将各所述检测图像组成与所述原始图像组对应的目标图像组。
在一种可选实施例中，所述采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果，包括：
将各个所述目标图像组输入杂质检测模型进行杂质检测，获得与所述目标图像组对应的检测信息；
若各个所述检测信息均表征所述产品对象未包含杂质，则生成针对所述产品对象的产品合格信息；
若存在至少一个检测信息表征所述产品对象存在杂质，则获取所述杂质对应的杂质类别信息与杂质概率信息，并采用所述杂质类别信息与所述杂质概率信息，生成与所述产品对象对应的产品复检信息。
上述设备的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图7所示，在本申请提供的又一实施例中，还提供了一种计算机可读存储介质701，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中所述的产品的杂质检测方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中所述的产品的杂质检测方法。
在本申请提供的又一实施例中，还提供了一种软件产品，包括计算机程序/指令，其中，当所述计算机程序/指令被执行时，实现执行上述实施例中所述的产品的杂质检测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (11)

1.一种产品的杂质检测方法，其特征在于，包括：
确定待检测的产品对象，并将所述产品对象置于检测状态；
从多个不同的采集角度对处于所述检测状态的产品对象进行视频采集，得到所述产品对象在各个所述采集角度的采集视频；
对所述采集视频进行图像处理，得到所述采集角度对应的采集图像；
根据各个所述采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果；
其中，所述根据各个所述采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果，包括：
对所述采集角度对应的采集图像进行组合，得到若干个原始图像组，并构建与所述原始图像组对应的差分矩阵；
采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组；
采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果；
其中，所述构建与所述原始图像组对应的差分矩阵，包括：
将所述原始图像组中相邻两张采集图像进行像素值相减，得到与所述原始图像组对应的若干张差分图像；
将各个所述采集图像作为首列的矩阵元素以及将所述差分图像作为其他列的矩阵元素，构建与所述原始图像组对应的差分矩阵；
其中，所述采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组，包括：
除所述差分矩阵中首列的采集图像外，对同一行中其他差分图像进行差分处理，获得所述差分矩阵中各行对应的第一差分项以及第二差分项；
将所述差分矩阵中同一行的采集图像作为图像的R通道、将所述第一差分项作为G通道、将所述第二差分项作为B通道进行特征拼接，生成所述差分矩阵中各行的采集图像对应的检测图像；
将各所述检测图像组成与所述原始图像组对应的目标图像组。
2.根据权利要求1所述的方法，其特征在于，所述将所述产品对象置于检测状态，包括：
将所述产品对象置于目标倾斜角度且震动和/或旋转的检测状态。
3.根据权利要求1所述的方法，其特征在于，所述对所述采集视频进行图像处理，得到所述采集角度对应的采集图像，包括：
从所述采集角度对应的采集视频中提取目标数目的图像帧；
对各个所述采集角度对应的图像帧进行图像对齐，获得各个所述采集角度对应的采集图像。
4.根据权利要求3所述的方法，其特征在于，所述对各个所述采集角度对应的图像帧进行图像对齐，获得各个所述采集角度对应的采集图像，包括：
提取各个所述图像帧中与所述产品对象对应的产品特征信息；
根据各个所述图像帧对应的产品特征信息对所述图像帧进行图像校正，获得各个所述采集角度对应的采集图像。
5.根据权利要求1所述的方法，其特征在于，所述采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果，包括：
将各个所述目标图像组输入杂质检测模型进行杂质检测，获得与所述目标图像组对应的检测信息；
若各个所述检测信息均表征所述产品对象未包含杂质，则生成针对所述产品对象的产品合格信息；
若存在至少一个检测信息表征所述产品对象存在杂质，则获取所述杂质对应的杂质类别信息与杂质概率信息，并采用所述杂质类别信息与所述杂质概率信息，生成与所述产品对象对应的产品复检信息。
6.一种产品的杂质检测系统，其特征在于，包括进料装置、传送装置、若干个对应不同采集角度的采集装置以及杂质检测装置；其中，
所述进料装置，用于传送待检测的产品对象，并将所述产品对象置于检测状态；
所述采集装置，用于在所述传送装置对所述产品对象进行传送的过程中，对处于所述检测状态的产品对象进行视频采集，得到所述产品对象在各个所述采集角度的采集视频；
所述杂质检测装置，用于对所述采集视频进行图像处理，得到所述采集角度对应的采集图像，并根据各个所述采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果；
其中，所述杂质检测装置包括图像检测模块；
所述图像检测模块，用于将相邻两个所述采集角度对应的采集图像进行组合，得到若干个原始图像组，并构建与所述原始图像组对应的差分矩阵，接着采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组，以及采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果；
其中，所述图像检测模块包括差分矩阵模块、图像组模块；
所述差分矩阵模块，用于将所述原始图像组中相邻两张采集图像进行像素值相减，得到与所述原始图像组对应的若干张差分图像，并将各个所述采集图像作为首列的矩阵元素以及将所述差分图像作为其他列的矩阵元素，构建与所述原始图像组对应的差分矩阵；
所述图像组模块，用于除所述差分矩阵中首列的采集图像外，对同一行中其他差分图像进行差分处理，获得所述差分矩阵中各行对应的第一差分项以及第二差分项，并将所述差分矩阵中同一行的采集图像作为图像的R通道、将所述第一差分项作为G通道、将所述第二差分项作为B通道进行特征拼接，生成所述差分矩阵中各行的采集图像对应的检测图像，以及将各所述检测图像组成与所述原始图像组对应的目标图像组。
7.根据权利要求6所述的系统，其特征在于，所述进料装置至少包括前端传 送带、转角夹带以及灯检夹带；
所述转角夹带，用于将所述前端传送带传送的待检测的产品对象置于目标倾斜角度；
所述灯检夹带，用于对所述产品对象进行震动和/或旋转处理；
所述前端传送带，用于将处于所述目标倾斜角度且震动和/或旋转状态的产品对象传送至所述传送装置。
8.根据权利要求7所述的系统，其特征在于，所述采集装置包括若干个按照预设角度差进行设置的图像采集设备；
所述图像采集设备，用于在所述产品对象进行传送的过程中，根据采集角度对处于所述检测状态的产品对象进行视频采集，得到所述采集角度对应的采集图像。
9.一种产品的杂质检测装置，其特征在于，包括：
检测状态处理模块，用于确定待检测的产品对象，并将所述产品对象置于检测状态；
采集视频获取模块，用于从多个不同的采集角度对处于所述检测状态的产品对象进行视频采集，得到所述产品对象在各个所述采集角度的采集视频；
采集图像确定模块，用于对所述采集视频进行图像处理，得到所述采集角度对应的采集图像；
检测结果生成模块，用于根据各个所述采集角度对应的采集图像，对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果；
其中，所述检测结果生成模块包括：
差分矩阵构建子模块，用于对所述采集角度对应的采集图像进行组合，得到若干个原始图像组，并构建与所述原始图像组对应的差分矩阵；
图像组生成子模块，用于采用所述差分矩阵进行图像处理，生成与所述原始图像组对应的目标图像组；
检测结果生成子模块，用于采用各个所述目标图像组对所述产品对象进行杂质检测，生成与所述产品对象对应的检测结果；
其中，所述差分矩阵构建子模块具体用于：
将所述原始图像组中相邻两张采集图像进行像素值相减，得到与所述原始图像组对应的若干张差分图像；
将各个所述采集图像作为首列的矩阵元素以及将所述差分图像作为其他列的矩阵元素，构建与所述原始图像组对应的差分矩阵；
其中，所述图像组生成子模块具体用于：
除所述差分矩阵中首列的采集图像外，对同一行中其他差分图像进行差分处理，获得所述差分矩阵中各行对应的第一差分项以及第二差分项；
将所述差分矩阵中同一行的采集图像作为图像的R通道、将所述第一差分项作为G通道、将所述第二差分项作为B通道进行特征拼接，生成所述差分矩阵中各行的采集图像对应的检测图像；
将各所述检测图像组成与所述原始图像组对应的目标图像组。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现如权利要求1-5任一项所述的方法。
11.一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如权利要求1-5任一项所述的方法。
CN202210061333.XA 2022-01-19 2022-01-19 杂质检测方法、系统、装置、设备、存储介质及软件产品 Active CN114092476B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210061333.XA CN114092476B (zh) 2022-01-19 2022-01-19 杂质检测方法、系统、装置、设备、存储介质及软件产品
PCT/CN2023/073056 WO2023138641A1 (zh) 2022-01-19 2023-01-19 杂质检测方法、系统、装置、设备、存储介质及软件产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210061333.XA CN114092476B (zh) 2022-01-19 2022-01-19 杂质检测方法、系统、装置、设备、存储介质及软件产品

Publications (2)

Publication Number Publication Date
CN114092476A CN114092476A (zh) 2022-02-25
CN114092476B true CN114092476B (zh) 2022-05-27

Family

ID=80308645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210061333.XA Active CN114092476B (zh) 2022-01-19 2022-01-19 杂质检测方法、系统、装置、设备、存储介质及软件产品

Country Status (2)

Country Link
CN (1) CN114092476B (zh)
WO (1) WO2023138641A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092476B (zh) * 2022-01-19 2022-05-27 阿里云计算有限公司 杂质检测方法、系统、装置、设备、存储介质及软件产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469126A (zh) * 2021-07-23 2021-10-01 浙江大华技术股份有限公司 一种运动状态检测方法、装置、检测设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2822937B2 (ja) * 1995-07-17 1998-11-11 株式会社日立製作所 半導体装置の製造システム及び欠陥検査方法
CN101303316B (zh) * 2008-06-30 2010-06-16 湖南大学 一种大输液生产线上的自动检测方法及装置
CN104315977B (zh) * 2014-11-11 2017-06-30 南京航空航天大学 橡胶塞质量检测装置及检测方法
CN104597058B (zh) * 2015-01-08 2017-06-30 中国科学院自动化研究所 一种基于视觉的白酒瓶内异物自动检测装置和方法
JP6422573B2 (ja) * 2015-04-30 2018-11-21 富士フイルム株式会社 画像処理装置及び画像処理方法及びプログラム
CN109632809B (zh) * 2018-12-19 2021-11-02 歌尔光学科技有限公司 产品质量检测方法及装置
CN110895247A (zh) * 2019-11-19 2020-03-20 青州市鹏程包装机械有限公司 一种对透明瓶装液体中异物的检测装置及检测方法
CN111355931A (zh) * 2020-03-30 2020-06-30 珠海格力电器股份有限公司 生产线状态监测方法、装置、服务器及存储介质
CN112991281B (zh) * 2021-03-03 2023-12-12 望知科技(深圳)有限公司 视觉检测方法、系统、电子设备及介质
CN113516621A (zh) * 2021-04-20 2021-10-19 阿里巴巴新加坡控股有限公司 液体检测方法、装置、设备和存储介质
CN113887354A (zh) * 2021-09-22 2022-01-04 广州方硅信息技术有限公司 图像识别方法、装置、电子设备及存储介质
CN114092476B (zh) * 2022-01-19 2022-05-27 阿里云计算有限公司 杂质检测方法、系统、装置、设备、存储介质及软件产品

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469126A (zh) * 2021-07-23 2021-10-01 浙江大华技术股份有限公司 一种运动状态检测方法、装置、检测设备及存储介质

Also Published As

Publication number Publication date
CN114092476A (zh) 2022-02-25
WO2023138641A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
CN102621156B (zh) 基于图像处理的微小零件自动分拣系统
US7342655B2 (en) Inspecting apparatus and method for foreign matter
CN109297984B (zh) 一种泡罩包装缺陷检测方法、装置及设备
CN109092696B (zh) 分拣系统及分拣方法
CN114092476B (zh) 杂质检测方法、系统、装置、设备、存储介质及软件产品
WO2004036198A1 (ja) ガラス壜の検査装置における基準画像の作成方法及び装置
WO2004036197A1 (ja) ガラス壜の検査装置
US20220414861A1 (en) Product inspection system and method
CN105301208A (zh) 一种生鲜蔬菜新鲜度检测系统及方法
CN106628475A (zh) 一种基于机器视觉的镜面成像瓶盖表面贴标检测系统及方法
CN114419038A (zh) 轮毂表面缺陷的识别方法及装置、存储介质、电子设备
CN110160587B (zh) 电容检测方法及系统
CN102879404A (zh) 工业结构化场景中医用胶囊缺陷自动检测的系统
WO2023236371A1 (zh) 用于电缆元件识别的视觉分析方法
TWI531787B (zh) An automatic optical detection method and an automatic optical detection system for carrying out the method
CN113077430A (zh) 基于ssd算法的激光器芯片缺陷检测及分类方法与系统
CN212207061U (zh) 瓶底缺陷检测系统
CN112139050B (zh) 一种高速产品传输的协同灯检方法和系统
CN115218790A (zh) 棒材检测方法、装置和系统
CN106872483A (zh) 解决光学检测设备因透明材质中的气泡影响检测的方法
CN113240628A (zh) 一种钢卷质量的判定方法、装置及系统
CN112240888A (zh) 一种视觉检测方法及视觉检测系统
CN110838107A (zh) 变角度光学视频智能检测3c透明构件缺陷的方法及装置
CN210358127U (zh) 军用陶瓷电容外观检测设备
CN117289626B (zh) 一种用于工业化的虚拟仿真方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant