CN112218729A - 用于检测外来物品的产品流的内置检查的过程和系统 - Google Patents

用于检测外来物品的产品流的内置检查的过程和系统 Download PDF

Info

Publication number
CN112218729A
CN112218729A CN201980038842.7A CN201980038842A CN112218729A CN 112218729 A CN112218729 A CN 112218729A CN 201980038842 A CN201980038842 A CN 201980038842A CN 112218729 A CN112218729 A CN 112218729A
Authority
CN
China
Prior art keywords
camera
product stream
data
raw data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980038842.7A
Other languages
English (en)
Inventor
A·施米德特
L·韦伯
K·约翰逊
C·罗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cryovac LLC
Original Assignee
Cryovac LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cryovac LLC filed Critical Cryovac LLC
Publication of CN112218729A publication Critical patent/CN112218729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G01N21/8903—Optical details; Scanning details using a multiple detector array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0081—Sorting of food items
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/04—Batch operation; multisample devices
    • G01N2201/0438—Linear motion, sequential
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/04—Batch operation; multisample devices
    • G01N2201/0461—Simultaneous, e.g. video imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

一种用于检测含食物的产品流中的外来物品的过程，包括：转发产品流，照射产品流，使用相机基于从产品流反射的电磁能量生成原始数据，以及处理原始数据以生成与食物产品、（多个）外来物品和背景对应的经分类的图像数据。一种用于检测产品流中的外来物品的系统包括转发设备、照明器、相机和存储器中的指令，所述指令形成图像数据并且将数据分类为与食物产品、外来物品和背景相对应。

Description

用于检测外来物品的产品流的内置检查的过程和系统
技术领域
本发明涉及一种用于检查食物产品流以用于质量保证以确保该产品流没有外来物品的过程和系统。
背景技术
包括各种食物的许多产品在包装厂中进行大规模处理。这样的工厂通过在受控环境中快速处理大量食物物品的能力递送经济利益和高质量的产品。
外来物品可能找到进入加工厂中运输食物产品的传送带上的道路。这些包括但不限于来自薄膜或胶带的塑料碎片、传送带碎片、橡胶碎片、木头碎片、金属碎片、昆虫、纺织品、乳胶和丁腈手套及其碎片等。食物产品流中外来物品的存在对产品的质量有害。如果外来物品被检查员错过，并找到了其到最终消费者的途径，则可能会发出昂贵的召回。
许多食品加工商使其产品通过金属检测器以识别含铁材料，但这还不够。有些使用X射线机器。对于大多数部分，食品加工商会在检查食物产品流时使用员工手动检查其食物产品，以寻找可能存在的任何外来材料。
期望提供一种自动化系统，该自动化系统将提高操作效率和质量控制并减少劳动成本。还希望有一种能够检测食物产品流中各种外来物品的存在和位置的自动化过程。还希望提供一种检测系统，其能够检测之前未被编程到检测系统中的类型的外来物品。还期望提供一种检测系统，其能够检测直到相对小的尺寸的外来物品，以确保食物产品流的纯度。
发明内容
第一方面针对一种用于检测存在于包含食物产品的流中的外来物品的过程。所述过程包括：A）转发包括食物产品的产品流；B）用入射电磁能量照射产品流；C）使用相机基于从产品流反射的电磁能量生成原始数据，以及D）使用带有回归分析的机器学习分类算法处理原始数据以形成图像数据。原始数据的处理包括无监督学习，其包括通过其光谱将像素分组成相似类别。原始数据的处理通过以下方式生成经分类的数据：（i）将原始数据的第一部分分类为与食物产品相对应；（ii）将原始数据的第二部分分类为与外来物品相对应；（iii）将原始数据的第三部分分类为与产品流后面的背景相对应。
在一个实施例中，相机、产品流的照明以及原始数据的生成和处理的组合一起能够在30英寸视场中检测具有低至至少5 mm2尺寸的外来物品。在另一个实施例中，这种组合能够在30英寸视场中检测具有低至至少4 mm2的尺寸的外来物品。在另一个实施例中，这种组合能够在30英寸视场中检测具有低至至少3mm2的尺寸的外来物品。在另一个实施例中，这种组合能够在30英寸视场中检测具有低至至少2mm2的尺寸的外来物品。在另一个实施例中，这种组合能够在30英寸视场中检测具有低至至少1.5 mm2的尺寸的外来物品。
在一个实施例中，通过相机生成原始数据以及处理原始数据是通过在产品流被转发时拍摄产品流的多个重叠图像来执行的。来自正在处理的图像的重叠部分的图像数据被用于确定在第一图像中被指示为外来物品的数据是否在与第一图像重叠的第二图像的对应部分中也被指示为相同的外来物品。数据处理仅将在第一图像和第二图像两者中被指示为相同外来物品的对应数据分类为外来物品。如本文所使用的，“对应数据”是指来自两个或更多个重叠图像的对应部分（即，针对产品流的相同部分的图像的那些部分）的数据。在一个实施例中，需要在至少3个重叠扫描中对外来物品的存在的肯定指示；在另一个实施例中，在至少4个重叠扫描中；在另一个实施例中，在至少5个重叠扫描中；在另一个实施例中，在至少6个重叠扫描中；在另一个实施例中，在至少7个重叠扫描中。
在一个实施例中，至少2个到至少7个重叠扫描中的每一个中的对应数据必须提供对相同外来物品的存在的肯定指示，以便将该物体分类为外来物品。替代地，4个重叠扫描中的仅3个中的对应数据必须提供对相同外来物品的存在的肯定指示，以便将该物体分类为外来物品。替代地，5个重叠扫描中的3个、或5个重叠扫描中的4个、或6个重叠扫描中的4个、或7个重叠扫描中的5个或7个重叠扫描中的6个必须提供对相同外来物品的存在的肯定指示，以便将该物体分类为外来物品。在这些实施例中的每一个中，对重叠扫描提供对相同外来物品的存在的肯定指示的要求是减少假阳性的一种方式，如果不加以控制这可能会产生足够的假阳性，从而使该过程在商业上不可行。
在一个实施例中，通过相机生成原始数据以及处理原始数据是使用在2像素乘2像素区域中的至少2像素的最小阈值大小来执行的。在另一个实施例中，原始数据的生成和处理是使用2像素乘2像素区域中的至少3个像素的最小阈值大小或2像素乘2像素区域中4个像素的阈值大小来执行的。在另一个实施例中，最小阈值大小设置为在3像素乘3像素区域中至少2个像素、或在3像素乘3像素区域中至少3个像素、或在3像素乘3像素区域中至少4个像素、或在3像素乘3像素区域中至少5个像素、或在3像素乘以3像素区域中至少6个像素。在另一个实施例中，最小阈值大小设置为在4像素乘4像素区域中至少2个像素、或在4像素乘4像素区域中至少3个像素、或在4像素乘4像素区域中至少4个像素、或在4像素乘4像素区域中至少5个像素、或在4像素乘4像素区域中至少6个像素、或在4像素乘4像素区域中至少7个像素、或在4像素乘4像素区域中至少8个像素、或在4像素乘4像素区域中至少9个像素、或在4像素乘4像素区域中至少10个像素。在该过程中也可以利用其他最小阈值水平。在这些实施例的每一个中，在限定的像素场内的最小像素水平指示存在外来物品的要求是使过程中假阳性的发生最小化的第二种方式。
在一个实施例中，由相机生成原始数据以及对原始数据的处理是通过在产品流被转发的同时拍摄产品流的多个重叠图像来执行的，其中来自图像的重叠部分的图像数据被处理以确定在第一图像中被指示为外来物品的数据是否在与第一图像重叠的第二图像的对应部分中也被指示为相同的外来物品，其中数据处理仅将以下分类为外来物品：（i）在第一图像和第二图像二者中都被指示为外来物品的对应数据，所述对应数据还满足（ii）在2像素乘2像素区域中至少2像素的最小阈值大小。
在一个实施例中，通过以在将图像数据分类为外来物品之前需要满足以下两项的方式处理数据来控制假阳性的发生：
（i）如上所述，重叠扫描提供在指定位置存在外来物品的肯定指示，并且
（ii）在定义的像素场内的最小像素水平提供在相同指定位置存在外来物品的肯定指示。
在一个实施例中，机器学习分类算法还在从食物、外来物品和背景获得的标记的像素训练集上训练之后，从原始数据生成经分类的数据。
在一个实施例中，该过程还包括指示外来物品在产品流中的位置。可以使用选自由可见光、激光、投影到产品流上的图像数据（包括投影到包含外来物品的产品流的一部分上、产品流的该部分的图像，或将外来物品的图像简单地投影到流中外来物品的位置上）、机械指示器、流体流、屏幕上指示流中的外来物品的位置的图像数据组成的组中的至少一个成员来执行外来物品的位置的指示。
在一个实施例中，该过程还包括指示产品流中的外来物品的类型。在一个实施例中，外来物品的类型由产品流的图像中的图标指示。在另一个实施例中，外来物品的类型由对产品流的图像中外来物品的存在的指示的颜色编码来指示。在另一个实施例中，外来物品的类型由报告或产品流的图像中的文本描述来指示。
在一个实施例中，该方法还包括从产品流中去除外来物品。在一个实施例中，外来物品的去除是手动执行的。在另一个实施例中，外来物品的去除是通过自动化过程来执行的，例如：用机器人臂或其他自动化机器人设备；通过使用诸如空气喷射、水喷射等的流体喷射将外来物品从产品流中吹出；通过对产品流的包含外来物品的区域施加颜色，然后手动或自动从产品流中去除外来物品；以及通过去除产品流的包含外来物品的部分。
在一个实施例中，该过程还包括检测产品流中的外来物品的类型。该方法可以进一步包括检测选自由以下组成的组的外来物品：骨头、泡沫、传送器碎片、木材、金属、皮革、纸、手套、手套碎片、塑料、橡胶、柔性膜、头发、昆虫和纺织品。
在一个实施例中，过程流中的食物产品包括选自由肉、蔬菜、水果、奶酪和坚果组成的组的至少一个成员。在一个实施例中，过程流包括肉块。如本文所使用的，术语“肉”包括牛肉、羊肉、猪肉、家禽和鱼。
在一个实施例中，该过程包括：在产品流被入射电磁能量照射的同时，以及在相机基于从产品流反射的电磁能量生成原始数据的同时，在传送器上转发产品流。在一个实施例中，传送器的一部分不被产品流覆盖。在一个实施例中，传送器也被入射电磁能量照射。
在一个实施例中，背景数据包括从传送器反射的电磁能量。在一个实施例中，第一传送器用于将产品流转发通过相机的视场，并且第二传送器用于将产品流转发到第一传送器。
为第一传送器和第二传送器提供不同的颜色允许该过程检测作为第二传送器的片的外来物品。在一个实施例中，第一传送器是第一颜色，并且第二传送器是与第一颜色不同的第二颜色。
在一个实施例中，第一传送器具有第一颜色的外表面和第二颜色的内表面。在一个实施例中，第一传送器还包括不同于第一颜色和第二颜色的第三颜色的芯。为第一传送带提供2色或3色系统允许外来物品检测过程检测第一传送带的片的存在，其断裂并变成产品流中的外来物品，假设产品流中的第一传送器的外来物品片被定向成使得其以不同于第一传送器的外表面的波长反射电磁能量。在一个实施例中，第二传送器是与第一传送器中存在的任何颜色不同的颜色，或者是与第一传送器的底表面或芯相对应的颜色。
在一个实施例中，用选自由白炽灯、荧光灯、气体放电灯、红外灯、卤素灯（包括钨卤素灯、石英卤素灯和石英碘灯）和发光二极管组成的组的至少一个灯执行产品流的照明。在一个实施例中，产品流的照明用在相机上游的第一照明设备（例如灯）和在相机下游的第二照明设备（例如灯）来执行。
在一个实施例中，第一和第二照明设备均在传送器上方，其中每个照明设备横向地跨传送器的路径延伸，其中每个照明设备包含多个灯。第一和第二照明设备可以间隔开至少5英寸、或至少10英寸、或至少15英寸、或至少20英寸、或至少25英寸、或至少30英寸的距离。使照明设备彼此间隔开通过提供来自多个角度的电磁能量来减少阴影。阴影是不希望的，因为阴影可以降低照明的均匀性，并且因此降低从产品流和背景发出的反射电磁能量的均匀性。在一个实施例中，第一照明设备在相机的上游，并且第二照明设备在相机的下游。
此外，为一个或多个照明设备提供多个灯（可以沿着每个照明设备的长度均匀地间隔开）也从另外的角度提供电磁能量，以进一步使阴影最小化。当产品流包含仅从一个或两个电磁能量源照射时会投射（多个）大量阴影的物体时，这特别有利。作为在一个或多个照明设备中的每一个中的多个灯的替代或附加，（多个）照明设备还可以包括在一个或多个灯上方的反射圆顶，以反射来自某一角度范围的光，以进一步使阴影最小化。
在一个实施例中，使用作为近红外行扫描高光谱相机的相机来执行该过程。具有较高数量像素的相机提供较高的空间分辨率。具有较高数量频带的相机由于增强的光谱差异而产生检测外来物品的较高可能性。具有较高数量的像素和/或较高数量的频带减少了由阴影引起的检测问题。使行扫描相机平行于（多个）照明源对准也减少了由阴影引起的检测问题。
在一个实施例中，相机具有至少400个空间像素，并且相机和机器学习算法的组合能够以至少低至视场的0.2％的比率检测外来物品。例如，相机可以是行扫描高光谱相机，其跨762mm的视场具有640个像素，并且能够检测低至视场的0.15％的外来物品。在一个实施例中，该过程使用多个相机。在另一个实施例中，该过程仅使用一个相机。
在一个实施例中，外来物品存在于产品流中的肉块的阵列中。在一个实施例中，外来物品存在于产品流中的一块肉的表面上。在一个实施例中，在包括肉块的产品流中存在多个外来物品，其中一些外来物品存在于肉块上，并且其他外来物品存在于肉块之间。
在一个实施例中，该过程还包括使用图像数据来生成相机的视场内的一部分产品流的图像。在一个实施例中，产品流的该部分的图像显示在屏幕上。在一个实施例中，产品流的该部分的图像被投影到产品流上。
在一个实施例中，该过程还包括记录肉块流中检测到的外来物品的出现。
在一个实施例中，在检测到包含肉块的流中的外来物品时，以停止产品流（例如，传送带）的向前运动的方式处理原始数据和/或图像数据。对原始数据和/或图像数据进行处理以停止产品流的向前运动可能是由相机、计算机、转发设备（例如，传送器）和（多个）照明设备之间的电子通信导致的。
在一个实施例中，产品流包括肉块，并且由相机生成的原始数据是从在1200至1250nm和/或1500至1700nm的波长范围内的反射电磁能量取得的数据。在一个实施例中，产品流包括肉块，并且由相机生成的原始数据是从在900至1700nm的波长范围内的反射电磁能量取得的数据。
在一个实施例中，产品流由位于相机的视场上方和上游的第一传送器转发，并且允许产品流从第一传送器的下游端滴落并且在相机视场下游和下方的位置到第二传送器上，其中当产品流从第一传送器落到第二传送器上时，相机生成产品流的原始数据。以这种方式，当处于下落的产品流中时，可以检测到否则从相机的视角将被遮挡的外来物品。
在一个实施例中，A）产品流的转发和产品流的照明以及原始数据的生成在用于在产品流处于第一配置时检测产品流中的外来物品的第一系统上执行，该过程还包括：当产品流处于第一配置时，包括从产品流中对任何检测到的外来物品的第一去除，然后B）将产品流重新配置成第二配置，然后C）通过用于在产品流处于第二配置时检测产品流中的外来物品的第二系统转发处于第二配置的产品流，包括在产品流处于第二配置时从产品流中的任何检测到的外来物品的第二去除。产品流的重新配置可以通过例如将产品流从一个传送器传送到另一个传送器，通过将产品流从第一传送器滴落并且到第二传送器上来执行，该第二传送器低于第一传送器的高度。
第二方面针对一种用于检测包括食物产品的流中存在的外来物品的过程，该过程包括：A）以至少每分钟2米的速度转发产品流，该产品流包括食物产品；B）用入射电磁能量照射产品流；C）使用高光谱相机基于从产品流反射的电磁能量生成原始数据；D）利用具有回归分析的机器学习分类算法处理原始数据以形成图像数据，以便通过以下生成经分类的数据：（i）将原始数据的第一部分分类为与食物产品相对应；（ii）将原始数据的第二部分分类为与外来物品相对应；以及（iii）将原始数据的第三部分分类为与产品流后面的背景相对应。
在一个实施例中，高光谱相机是具有至少400个空间像素的高光谱行相机，并且相机和机器学习算法的组合能够以至少低至视场的0.2％的比率检测外来物品。例如，相机可以是行扫描高光谱相机，其跨762mm的视场具有640个像素，并且能够检测低至视场的0.15％的外来物品。
第二方面的过程可以利用第一方面的过程的各个实施例的任何特征。
第三方面针对一种用于检测包括食物产品的流中存在的外来物品的过程，该过程包括：A）转发包括食物产品的产品流；B）用入射电磁能量照射产品流；C）使用相机基于从产品流反射的电磁能量生成原始数据；以及D）利用具有回归分析的机器学习分类算法处理原始数据以形成图像数据，以便通过以下生成经分类的数据：（i）将原始数据的第一部分分类为与食物产品相对应；（ii）将原始数据的第二部分分类为与外来物品相对应；（iii）将原始数据的第三部分分类为与产品流后面的背景相对应。在第三方面的过程中，通过相机生成原始数据以及处理原始数据是通过在产品流被转发时拍摄产品流的多个重叠图像来执行的。来自正在处理的图像的重叠部分的图像数据确定在第一图像中被指示为外来物品的数据是否在与第一图像重叠的第二图像的对应部分中也被指示为相同的外来物品。数据处理仅将在第一图像和第二图像二者中被指示为外来物品的对应数据分类为外来物品，该对应数据满足在2像素乘2像素区域中至少2像素的最小阈值大小。
第三方面的过程可以利用第一方面的过程的各个实施例的任何特征。
第四方面针对一种用于检测包括食物产品的产品流中存在的外来物品的系统。该系统，包括：A）转发设备，其被配置为转发产品流；B）照明器，其被配置为生成入射电磁能量并且将电磁能量导向产品流；C）相机，其被布置为基于来自产品流的反射电磁能量生成原始数据；以及D）存储在存储器中以使用具有回归分析的机器学习分类算法从原始数据形成图像数据并且包括无监督学习的指令，该无监督学习包括按其光谱将像素分组到相似类别中，以便生成经分类的数据，其中，所述指令响应于处理器的执行使处理器进行以下操作：（i）将原始数据的第一部分分类为与食物产品相对应；（ii）将原始数据的第二部分分类为与外来物品相对应；以及（iii）将原始数据的第三部分分类为与产品流后面的背景相对应。
在一个实施例中，所述转发设备包括传送带。在一个实施例中，传送带是具有第一颜色的第一传送带，并且系统还包括在第一传送带上游的第二传送带，第二传送带具有第二颜色，第二颜色不同于第一颜色。
在一个实施例中，相机包括选自由行扫描相机、扫帚相机和快照相机组成的组的高光谱相机。
在一个实施例中，照明器包括在相机的视场上游的第一照明器和在相机的视场下游的第二照明器，其中第一和第二照明器均生成电磁能量并将其引导到在相机的视场中的产品流上。
在一个实施例中，该系统还包括相机盖和照明器盖，所述盖被设计成使得该系统可用加压水冲洗，而没有液体接触相机或照明器。在一个实施例中，该系统被提供有风扇，以将冷却空气提供给（多个）照明器。在一个实施例中，（多个）照明器被提供有盖（例如，石英玻璃），该盖在热的同时用冷水喷射时不会破碎。在一个实施例中，（多个）相机、（多个）控制柜、（多个）任何传感器（诸如流量计等）和（多个）照明器在NEMA 4X外壳内部，该外壳由具有至少IP 65的等级以用于防尘和防液体的组件制成。在一个实施例中，灯在具有冷却空气通过的外壳的内部，并且被设计为使得喷射到外壳上的清洁水不会进入包含一个或多个灯的内部腔室中。
第四方面的过程可以利用第一方面的过程的各个实施例的任何特征。
附图说明
所公开的主题的前述描述和许多伴随的优势将变得更容易理解，因为在其通过引用结合附图考虑的以下详细描述而变得更好理解，其中
图1是用于检测外来物品的产品流的内嵌检查的过程的流程图。
图2是用于检测外来物品的产品流的内嵌检查的过程的流程图。
图3是被配置为执行检测产品流中的外来物品的过程的系统的透视图。
图4是被配置为执行检测产品流中的外来物品的过程的另一个系统的透视图。
图5描绘了可以用于实现本文描述的一些或全部实施例的系统的示例实施例。
图6描绘了根据本文所述实施例的计算设备的实施例的框图。
具体实施方式
如本文所使用的，术语“背景”是指由相机从相机的视场内捕获的任何光，该光从包括食物产品和可能存在的任何外来物品的产品流后面和周围的区域反射。背景的示例包括传送带和下落通过空气的产品流后面的静态背景。
如本文所使用的，术语“产品流”是指以下的任何一个或多个：在传送带上前进的物体；从一个位置掉落到另一位置的物体；以液体或气体运输的物体。
如本文所使用的，术语“相机”包括所有类型的相机，包括单色、红绿蓝（“ RGB”）、电荷耦合器件（“ CCD ”）、互补金属氧化物半导体（CMOS）、砷化铟镓（InGaAs）、行扫描、面积扫描、高光谱、多光谱等。在一个实施例中，相机是高光谱相机。在一个实施例中，相机是高光谱行扫描相机，也被称为“推扫式”相机。在另一个实施例中，高光谱相机是面积扫描相机，也称为“快照”相机。在另一个实施例中，相机是扫帚相机。
如本文所使用的，短语“高光谱相机”包括与人眼、单色相机和RGB相机相对的，测量至少5个光谱带的相机。高光谱相机包括测量连续光谱带的常规高光谱相机，以及测量间隔光谱带的多光谱相机。类似地，短语“高光谱成像”是指如本文中所包括的利用高光谱相机的成像，即，常规的高光谱成像（连续光谱带）或多光谱成像（间隔光谱带）。
如本文所使用的，短语“分配身份”当应用于数据点（以及从所述数据点制成的图像和与数据点对应的物体）时是指将数据点分类为与以下相对应：（i）肉，（ii）传送带或被扫描物体后面的其他背景（包括散焦背景），或（iii）外来物品。分配的身份可能比仅仅是肉或背景或外来物体更具体。例如，肉可以被识别为包括瘦肌肉组织（红色）和脂肪组织（白色）二者，并且甚至可以分解为从瘦到脂肪的光谱，包括介于两者之间的各种等级。还可以根据材料的类型（例如，金属、塑料、织物、石头等）进一步为外来物品分配身份。
如本文所使用的，“经分类的数据”是指已被分配身份的数据，所述身份诸如（i）肉，（ii）传送带或被扫描物体后面的其他背景或（iii）外来物品。
如本文所使用的，短语“外来物品”是指肉块流中不打算被消耗的任何物体。外来物品包括选自由木材、金属、布料、塑料、石头、污垢、内脏等组成的组的至少一个成员。
高光谱成像（HSI）技术能够识别可能在食物流中发现的各种物体，包括包含肉块的流，诸如牛肉、猪肉、羊肉、家禽或其他加工厂。已经发现，HSI可以将肉块与在产品流中（例如，在传送带上）或转发产品流的其他装置上行进的各种各样的不同外来材料区分开。HSI可以以常规处理速度实时使用，并且可以提供全表面分析，所述全表面分析提供信息，所述信息类似于摄影成像和光谱成像的组合，其中这些成像系统在紫外、红外和/或可见光范围内操作。
然而，与只能在不具有任何空间信息的情况下对不同波长的电磁能量强度进行采样的常规和其他光谱方法不同，HSI通过将所有信息叠加到一个图像中来组合光谱和空间成像二者。该空间信息用于提供光谱信息来自何处的位置信息。图像中的每个单独像素都包含在单独的波段中捕获的光谱（电磁能量强度与波长的关系），其中图像分辨率是空间分辨率，并且波段的宽度是光谱分辨率。换句话说，高光谱图像中的每个单独像素都包含跨窄波长带中收集的大波长范围的反射电磁能量强度的全光谱。
典型的HSI应用利用划分成几百个波段的波长能力来形成图像。高光谱图像中的单个像素可以跨整个波长范围单独分析、分类和区分。这使得能够基于可能小的光谱差异来识别物体。
数学运算可用于对每个像素中包含的光谱自动分类。可以经由与先前已知的标准的比较来识别光谱。例如，如果像素的光谱与一块肉的光谱匹配，则可以将其分类为肉。表现出不同光谱的其他像素可以分类为非肉类，或更具体地说，可以分类为不同于肉的材料，诸如塑料、金属、木材等。
在此过程中可以使用的相机类型包括行扫描相机（也称为推扫式相机）、快照相机和扫帚相机。尽管可以经由来自产品流的反射来捕获图像，但是也可以经由透射、半透反射、散射或荧光而不是反射模式来捕获图像。尽管两个或更多相机可以用于从单个产品流获得图像，但是仅要求一个相机。
一种有用类型的行扫描相机是可见光和近红外行扫描相机（VNIR行扫描相机），其捕获400 nm至1000 nm波长范围内的反射光谱。红外行扫描相机（IR行扫描相机）也是有用的，其捕获900nm至1700 nm范围内的反射光谱。VNIR和IR行扫描相机二者能够将肉与外来物品区分。
由相机获取的光谱数据的分析是本文公开的过程的另一特征。光谱数据的分析可以使用多元分析技术来执行。可用于分析和分类图像的多元分析技术和算法包括但不限于：向量（或频谱）角度分析、欧氏距离、主分量分析/回归、Fisher判别分析、聚类分析、逻辑回归、决策树、集成方法、神经网络以及各种机器学习算法和自定义书面算法。
图1是用于检测外来物品的产品流的内嵌检查的过程的流程图。在步骤A中，通过如上所述类型的相机获取图像数据。图像数据在每个像素中包括反射电磁能量的强度，该强度是在指定波长范围内的波段中测量的。
在步骤B中，不管相机是否是行扫描相机（还是其他相机），由相机获得的图像数据通常包括来自具有缺陷波段的像素的数据。通过平均周围的非缺陷波段，即通过在缺陷波段周围的非缺陷波段之间进行插值，对所得的缺陷数据进行校正。每行可以具有例如640个像素，其中每个像素获得跨900-1700纳米（“nm”）的波长范围分布的224个波段中的每个波段的数据。在一个实施例中，每个像素获得跨900-2500nm分布的波段的数据。
在步骤C中，进行白平衡归一化。相机中的每个像素具有对电磁能量的略微不同的灵敏度。此外，照明设置可以在相机查看的整个图像上具有明显的亮点/暗点。因此，有必要对输入的数据流进行数学调整，以计及到达检测器的反射电磁能量的变化。白平衡将数据归一化，以使均匀背景的图像显得均匀而没有亮点或暗点，从而消除了作为变量的电磁能量强度。
在步骤D中，采用机器学习模型（例如，随机森林）。机器学习分类算法用于预测来自每个像素的传入光谱是来自要存在于产品流中的材料（即肉、脂肪、传送器等）还是来自不希望在产品流中存在的外来材料（例如，金属、塑料、木材等）。具有10个估计器的随机森林模型可以用作分类算法。然而，许多其他选项可用，诸如逻辑回归模型、神经网络或聚类算法。该算法为每个像素创建二元预测。在此步骤之后，传入数据不再用于最终预测。
在步骤E中，为了确保外来物品的存在的报告是正确的目的，即减少假阳性的发生，对重叠的扫描进行组合。通过根据相关扫描的数量将扫描分段成组，将这些相关或重叠的扫描进行组合。例如，如果将相机设置为扫描产生具有逼真的长宽比的图像所必须的速率5倍快的速率，则每5行扫描一起考虑，并减少到对于图像要显示的数据的单次扫描和要叠加在图像上的单个预测集。中间扫描被选择为显示，而其他扫描被丢弃。分类或预测通过取跨带宽度的每个像素的二元预测之和进行组合。例如，以所需速率5倍快的速率扫描的640个像素的行扫描将导致来自分类算法的640 * 5个预测。通过跨行求和，这些将减少为长度640的数组。使用可调整的阈值将这些和转换为二元预测。和数组中小于阈值的数字设置为0，而数组中大于或等于阈值的值设置为1。
在步骤F中，检查周围的像素以便进一步减少假阳性。在行扫描相机的情况下，可以同时分析三行预测。对于像素的中间行，如果预测为1（外来物品），则考虑围绕该像素的3x 3平方的像素。如果此平方中9个预测的和大于可调阈值，则所考虑的像素保留其外来材料指定。否则，将其改变为0（可接受的材料）。
步骤E和F可以单独使用或组合使用。每个用于减少假阳性。当组合使用时，步骤E的重叠扫描分析和步骤F的周围像素扫描都必须在系统整体指示存在外来物品之前指示外来物品的存在。
在步骤G中，将最终预测显示为颜色叠加。在步骤H中，将最终预测转换为图像，其中预测1（外来材料）为红色，并且预测0（可接受材料）为绿色。如果使用行扫描相机，则通过选择3个光谱带显示为红色、绿色和蓝色，将从步骤F保留的数据的行扫描（重叠扫描）转换为红-绿-蓝图像（RGB图像） 。这两个RGB图像叠加有可调的不透明度，并显示给用户以突出显示外来物品位于带上的产品中的位置。
图2是用于训练系统以处理数据的过程步骤J-P的流程图。训练包括使用从食物、外来物品和背景获得的带标签的训练像素集。在步骤J中，收集并保存可接受产品的数据集。可接受的产品包括用于运输肉碎块（trimming）（生成“食品”数据的“碎片”）的传送带（即“背景”数据）以及碎片本身。许多不同类型的碎片在同一个传送器上通过每日检查。因此，收集了许多不同的数据集以捕获在碎片中发现的光谱变化。一些收集的数据用于模型的训练（如下所述），而其他数据被留出以供以后使用。该集中数据标记为“ 0”，表示可接受的产品。
在步骤K中，将通常发现的外来物品放置在均匀颜色的背景上，并捕获物体的反射光谱。无监督机器学习用于将包含来自外来物品的数据的像素与包含统一背景的数据的像素分离，以获得外来物品的反射光谱。对应于此数据集的光谱标记为“1”，表示不可接受的产品，即对流中期望食物产品外来的物品和要与之分离的物品。
在步骤L中，模拟附加外来物品数据。模拟方法包括人为地加亮/变暗先前收集的外来物品光谱，向光谱中添加随机噪声，创建随机光谱以及以期望的比率用可接受产品数据模糊外来物品数据，例如添加10％可接受产品。
在步骤M中，将可接受和不可接受产品的训练集组合。由于可接受和不可接受产品之间的数据集大小的不平衡，其中大多数是可接受的，因此多次添加不可接受产品数据，直到达到期望的可接受/不可接受光谱比（例如3：2的比率）。
在步骤N中，新生成的数据集用于使用分类算法训练预测模型。尽管已经可以使用其他分类算法，但是选择了随机森林算法。
在步骤O中，然后在先前收集的整个数据集上测试预测模型。保存假阳性和假阴性预测。
在步骤P中，先前记录的假阳性和假阴性预测数据被多次添加到原始预测模型，以训练更鲁棒的第二预测模型。该最终模型用于将相机记录的所有新数据分类为可接受或不可接受产品。
图3示出被配置为执行图1的过程的系统20的透视图。如图2所示，安装在位于冲洗外壳24内部的框架上的高光谱成像（HSI）相机22向下引导朝向传送器26。第一灯组30和第二灯组32被定向在相机22下方。每个灯组包含多个灯，例如每个灯组十一个卤素灯，其中灯组30和32被灯罩34覆盖。当灯组30和32中每一个的十一个卤素灯泡在传送器上前进通过面向下的相机22的视场时，将光向下引导到产品流（未示出）上，所述相机22从产品流和传送器26的表面反射的光生成数据作为背景。
该系统经由控制面板36上的控制件操作。来自HSI相机22的数据被馈送到计算机（未示出），该计算机对该数据进行处理以提供示出产品流连同该流中存在的任何外来物品的图像（未示出），其具有哪个部分是产品以及哪个部分与外来物品相对应的指示。屏幕38提供产品流的该图像，其包括对与食物产品相对应的产品流的部分以及与外来物品相对应的流的部分的指示，以帮助去除在产品流内检测到的任何外来物品。电气面板40提供用于为相机22、传送器26、灯组30和32、控制面板36、屏幕38、数据处理计算机（未示出）以及系统的任何另外的组件供电并使其电气集成的布线。尽管未示出，但是在容纳控制面板36和屏幕38的盒的顶部上提供灯。只要未检测到外来物品，该灯就被编程为绿色，当检测到外来物品时，改变为红色。
系统20可以进一步包括自动外来物品分离器（未示出），其被配置为从产品流中自动去除外来物品。自动外来物品分离器可以是例如：（i）能够从产品流中去除外来物品的机器人臂，或者（ii）将外来物品从产品流中吹出的气体或液体鼓风机，或者（iii）用于从产品流中扫出外来物品的清扫设备，或（iv）从产品流中排空外来物品或拾取外来物品并将其沉积在产品流之外的位置的真空喷嘴。如本领域技术人员将显而易见的，还可以利用可自动控制的外来物品分离器。
系统20被设计具有支撑结构和壳体，该支撑结构和壳体可在有或没有肥皂和/或抗菌剂的情况下在压力下用水洗涤。灯罩34被提供有挡板，以允许冷却空气流过，而同时允许在压力下用水冲洗罩34，而不会与灯组30和32接触。
在检测到外来物品时，系统被设计为在外来物品清除下游灯组32之后自动停止产品流的转发。尽管系统20被设计用于自动检测外来物品，但是在检测到外来物品并停止传送器时，系统被设计用于从产品流中手动去除外来物品。由屏幕38上的包括肉块和外来物品的图像帮助定位外来物品。另外，操作员为发现的每个外来物品编写书面报告。
图4示出作为图3所示的系统20的变型的系统20’的透视图。与系统20类似，系统20'包括HSI相机22，该相机安装在位于冲洗外壳24内的框架21上。在系统20’中，可见光相机22'也位于冲洗外壳24的内部。具有相同附图标记的系统20'的其他剩余组件和系统20的组件与系统20的组件相同或相似。
在一些实施例中，系统20'中的HSI相机22被配置为以900nm至1700nm之间的波长拍摄图像。在所描绘的实施例中，可见光相机22'被配置为在对应于可见光波长的可见范围内拍摄图像。在一些实施例中，可见光相机22’是RGB相机，其被配置为拍摄与红色、绿色和蓝色光相对应的波长内的图像。在其他实施例中，可见光相机22'可以由在一个或多个不同波长区域拍摄图像的另一相机代替。在所描绘的实施例中，HSI相机22和可见光相机22'两者都与控制面板36通信并且将图像数据发送到控制面板36。可以如本文其他实施例中所述处理来自HSI相机22的数据。可以使用颜色检测算法来处理来自可见光相机22'的图像数据，该算法区分在可见光谱中发现的不同颜色。来自HSI相机22和可见光相机22’中的每一个的图像数据可以被分类（例如，被分类为可接受或包含外来物品），并且经分类的图像可以被组合并且被示出为最终图像结果。
在系统20'中包括可见光相机22'相对于系统20具有一些优点。在一些实施例中，可见光相机22'与HSI相机22相比可以具有明显更好的分辨率。在一些示例中，可见光相机22'可以具有至少4096个像素的分辨率（例如，在762mm的视场中），而HSI相机22包括小于或等于1280个像素或640个像素中的一个或多个。RGB相机的较高分辨率使得能够检测非常小的外来物品（例如，小于或等于1mm x 1mm的外来物品）。在一些实施例中，可见光相机22’可以能够比高光谱相机22更容易地检测特定的外来物品。理解这种容易检测，控制单元36可以被编程为针对那些特定外来材料处理可见光相机22’的图像数据，而不针对那些特定外来材料处理来自HSI相机22的图像数据。这允许HSI相机22的经分类的模型在训练模型时排除那些特定的外来物品，这在检查其他外来物品时改进了HSI相机22的模型的准确性。在一些实施例中，改进的分类模型导致更少的假阳性和/或更少的假阴性。在一个特定示例中，来自可见光相机22’的图像数据可以容易地检测在白色传送器上行进的肉和/或脂肪流中某些颜色的物体；然而，可见光相机22’不可以在相同的流中检测白色物体。相反，HSI相机22可以基于红外光谱中的反射来区分不同的白色和/或黑色物体，但是即使那些物体在可见光谱中的具有不同的颜色，也难以区分在红外光谱中具有相似反射率的物体。例如，HSI相机22可能难以区分物品和食物产品的脂肪/肉含量，其中尽管物品在可见光谱中具有不同于脂肪/肉含量的颜色，但是物品和脂肪/肉含量在红外光谱中具有相似的反射率。
在所描绘的实施例中，HSI相机22和可见光相机22'在传送器26的运动方向上彼此接近。换句话说，传送器26上的产品将在HSI相机22和可见光相机22'中的一个下方通过，然后在HSI相机22和可见光相机22'中的另一个下方通过。在一些实施例中，HSI相机22和可见光相机22’以不完美垂直于传送器26的角度安装，使得HSI相机22和可见光相机22’被对准在传送器26上的近似相同的位点。不管HSI相机22和可见光相机22’的角度如何，可以在图像处理期间（例如，通过控制单元36）补偿由HSI相机22和可见光相机22’拍摄的图像数据中的任何偏移，使得来自HSI相机22和可见光相机22’中每一个的图像数据可以叠加成一个无缝图像以供显示。
示例
牛肉碎块（“碎片”）在通过外来物品检测系统的30英寸宽的白色塑料传送带上以11英尺/分钟传送。各个碎片块的瘦脂比和尺寸范围（即，从大（> 5lbs）到小（<1oz.）尺寸）变化很大。此外，碎片在形状、厚度和水含量方面不同。一些碎片部分或全部冷冻。
首先将牛肉碎片装载到30英寸宽的传送带上，并跨传送带均匀分布，该传送带以11英尺/分钟移动。碎片不堆叠超过4英寸高，因为它们在灯组下并穿过HSI行扫描高光谱相机的视场传送。通过外来物品检测系统馈送产品流的带被有意选择成具有与食物产品处理上游的传送带不同的颜色。以这种方式，外来物品检测系统可以区分馈送产品流通过相机的视场的带的背景颜色以及与上游传送带片相对应的任何外来物品。此外，馈送产品流通过相机的视场的传送带可能是两色带（具有不同的顶部和底部表面颜色）或三色带（不同的顶部、中部和底部颜色）以使得系统能够在检查站检测出源自带的破碎的传送器碎片。
外来物品检测系统用与产品流垂直对齐的两组11个卤素灯照亮产品流，其中灯泡跨带的宽度均匀地分布。存在两个防水灯组，每个灯组包含11个卤素灯泡。选择卤素灯是因为它们的低成本以及在近红外范围内的光输出。灯组的位置在垂直于传送带运动的方向上可调节。此外，还可以调节光的入射角。这种设计减少了阴影和不均匀的照明。
具有38度视场透镜的行扫描SPECIM FX17 NIR高光谱相机安装在传送带上方。在其视场内，在其640个空间像素中的每个像素中，相机在900nm至1700nm的波长范围内从29个唯一波长带（即使相机能够针对每个像素收集224个离散波长带）捕获反射强度。放置并调节640个空间像素，以跨越跨30英寸传送带上的视场，从而导致约1.1 mm2 的理论上的检测极限。
尽管相机在收集所有波段时具有每秒670帧的理论最大帧速率（或在收集四个波段时高达每秒15,000帧），但由于11英尺/分钟的传送器移动速度使每秒39帧的扫描速率成为必要以便获取不失真的图像，实际扫描速度较低。更快的扫描速率（例如3倍的速度）可能已经用于收集物体移动平面中的更多信息。此技术对于验证物体的分类是有用的；例如，在以3倍的必要帧速率进行收集的情况下，可以预测一行中的三个像素，然后将其合并为一个输出像素以保持宽高比。在该示例中，如果将一行中的三个像素分类为外来材料，则可以设置预测输出像素中的外来物品的阈值。
触摸屏用于控制系统。从此屏幕，操作员可以启动/停止/重置机器，记录发现的外来物品以及改变各种设置。从触摸屏启动机器启动整个过程，包括打开灯，启动传送带和开始图像采集。还在触摸屏上示出发现的外来物品的警报。
第二屏幕用于显示传送器上的产品流的视频信息。在此，产品和背景的图像（例如肉、脂肪、传送器等）用绿色叠加示出，而外来物品（木材、橡胶等）用红色叠加。如上所述，该屏幕可以用于结合传送带的定时停止来识别外来物品的位置。
计算机被存储在防水外壳中。计算机设计为在开机后自动启动外来物品检测程序。相机经由C ++编程来控制（使用VISUAL STUDIO 2017作为编译器），并且数据分析在PYTHON（版本3.6）中进行，与人机接口（“ HMI”）的通信也是如此。该计算机在其中央处理单元（INTEL i7-7700t处理器）上完成了所有处理。该中央处理单元的替代方案可以是诸如NVIDEA 1080 GTX的图形处理单元（“ GPU”）。
框架和所有外壳由不锈钢构造制成，所述不锈钢构造被设计成承受强力清洗和肉类加工厂中发现的环境。
由相机生成的原始数据被发送到计算机以供分析和处理。原始数据通过白平衡过程归一化。然后校正有缺陷的像素。然后（经由分类算法）将数据分类为（i）OK（可以）（对应于牛肉碎片或作为传送器背景）或（ii）外来物品。
尽管食物产品包括检测到的肉块和脂肪，但外来物品包括既不是瘦肉也不是脂肪，也不是在其上运输产品的传送带的任何材料。所得到的分类在机器上的计算机屏幕上示出。
当检测到外来物品时，它会以红色突出显示，并且在屏幕上该物体周围会示出黄色方框。该系统被设计为识别物体的位置，并在检测之后停止过程流继续指定的时间量（可以经由HMI改变该量），使得易于找到和去除外来物品。在检测到产品流中的外来物品时，机器顶部的红色警告灯会开启，并且在检测事件之后停止传送带指定时间量。一旦找到并去除外来物品，用户就可以通过在HMI上记录外来物品事件来重置系统。然后，系统自动恢复转发产品流，直到检测到下一个外来物品为止，此时该过程自身重复。
图5描绘了可以用于实现本文描述的一些或全部实施例的系统110的示例实施例。在所描绘的实施例中，系统110包括计算设备1201、1202、1203、和1204（统称为计算设备120）。在所描绘的实施例中，计算设备1201是平板电脑，计算设备1202是移动电话，计算设备1203是台式计算机，并且计算设备1204是膝上型计算机。在其他实施例中，计算设备120包括台式计算机、移动电话、平板电脑、平板手机、笔记本计算机、膝上型计算机、分布式系统、游戏控制台（例如，Xbox、Play Station、Wii）、手表、一副眼镜、智能钥匙扣、射频识别（RFID）标签、耳机、扫描仪、电视、加密狗、相机、腕带、可穿戴物品、信息亭、输入终端、服务器、服务器网络、刀片机、网关、交换机、处理设备、处理实体、机顶盒、中继、路由器、网络接入点、基站、配置为执行本文所述的功能、操作和/或过程的任何其他设备或其任何组合中的一个或多个。
计算设备120经由一个或多个网络130和132彼此通信地耦合。网络130和132中的每一个可以包括一个或多个有线或无线网络（例如，3G网络、因特网、内部网络、专有网络、安全网络）。计算设备120能够经由一个或多个有线或无线网络彼此和/或与任何其他计算设备通信。虽然图5中的特定系统110描绘了经由网络130通信地耦合的计算设备120包括四个计算设备，但是可以经由网络130通信地耦合任何数量的计算设备。
在所描绘的实施例中，计算设备1203经由网络132与外围设备140通信地耦合。在所描绘的实施例中，外围设备140是扫描仪，诸如条形码扫描仪、光学扫描仪、计算机视觉设备等。在一些实施例中，网络132是有线网络（例如，外围设备140和计算设备1203之间的直接有线连接）、无线网络（例如，蓝牙连接或WiFi连接）或有线和无线网络的组合（例如，外围设备140与外围设备140的底座之间的蓝牙连接以及外围设备140与计算设备1203之间的有线连接）。在一些实施例中，外围设备140本身是计算设备（有时称为“智能”设备）。在其他实施例中，外围设备140不是计算设备（有时称为“哑”设备）。
在图6中描绘了计算设备200的实施例的框图。本文描述的任何计算设备120和/或任何其他计算设备可以包括计算设备200的一些或全部组件和特征。在一些实施例中，计算设备200是台式计算机、移动电话、平板电脑、平板手机、笔记本计算机、膝上型计算机、分布式系统、游戏控制台（例如，Xbox、Play Station、Wii）、手表、一副眼镜、智能钥匙扣、射频识别（RFID）标签、耳机、扫描仪、电视、加密狗、相机、腕带、可穿戴物品、信息亭、输入终端、服务器、服务器网络、刀片机、网关、交换机、处理设备、处理实体、机顶盒、中继、路由器、网络接入点、基站、配置为执行本文所述的功能、操作和/或过程的任何其他设备或其任何组合中的一个或多个。这样的功能、操作和/或过程可以包括例如发射、接收、操作、处理、显示、存储、确定、创建/生成、监视、评估、比较和/或在此使用的类似术语。在一个实施例中，这些功能、操作和/或过程可以在数据、内容、信息和/或本文使用的类似术语上执行。
在所描绘的实施例中，计算设备200包括处理元件205、存储器210、用户接口215和通信接口220。处理元件205、存储器210、用户接口215和通信接口220能够通过从通信总线225读取数据和/或向通信总线225写入数据来经由通信总线225进行通信。计算设备200可以包括能够经由通信总线225进行通信的其他组件。在其他实施例中，计算设备不包括通信总线225，并且计算设备200的组件能够以某种其他方式彼此通信。
处理元件205（也被称为一个或多个处理器、处理电路和/或本文中使用的类似术语）能够在某个外部数据源上执行操作。例如，处理元件可以在存储器210中的数据、经由用户接口215接收的数据和/或经由通信接口220接收的数据上执行操作。如将理解的，处理元件205可以以多种不同的方式体现。在一些实施例中，处理元件205包括一个或多个复杂可编程逻辑器件（CPLD）、微处理器、多核处理器、协处理实体、专用指令集处理器（ASIP）、微控制器、控制器、集成电路、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、硬件加速器、任何其他电路或其任意组合。术语电路可以指整个硬件实施例或硬件和计算机程序产品的组合。在一些实施例中，处理元件205被配置用于特定用途或被配置成执行存储在易失性或非易失性介质中或以其他方式对处理元件205可访问的指令。这样，无论是通过硬件或计算机程序产品来配置，还是通过其组合来配置，当被相应地配置时，处理元件205都能够执行步骤或操作。
计算设备200中的存储器210被配置为存储数据、计算机可执行指令和/或任何其他信息。在一些实施例中，存储器210包括易失性存储器（也称为易失性存储装置、易失性介质、易失性存储器电路等）、非易失性存储器（也称为非易失性存储装置、非易失性介质、非易失性存储器电路等）或其某种组合。
在一个实施例中，易失性存储器包括随机存取存储器（RAM）、动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、快速页模式动态随机存取存储器（FPM DRAM）、扩展数据输出动态随机存取存储器（EDO DRAM）、同步动态随机存取存储器（SDRAM）、双数据速率同步动态随机存取存储器（DDR SDRAM）、双数据速率类型2同步动态随机存取存储器（DDR2SDRAM）、双数据速率类型3同步动态随机存取存储器（DDR3 SDRAM）、Rambus动态随机存取存储器（RDRAM）、双晶体管RAM（TTRAM）、三晶体管RAM（T-RAM）、零电容器（Z-RAM）、Rambus嵌入存储器模块（RIMM）、双嵌入存储器模块（DIMM）、单个嵌入存储器模块（SIMM）、视频随机存取存储器VRAM、高速缓存存储器（包括各层级）、闪速存储器、需要电力来存储信息的任何其他存储器或其任何组合中的一个或多个。
在一些实施例中，非易失性存储器包括硬盘、软盘、柔性盘、固态存储装置（SSS）（例如，固态驱动器（SSD））、固态卡（SSC）、固态模块（SSM）、企业闪速驱动器、磁带、任何其他非暂时性磁介质、光盘只读存储器（CD ROM）、可再写光盘（CD-RW）、数字多功能盘（DVD）、蓝光盘（BD）、任何其他非暂时性光学介质、只读存储器（ROM）、可编程只读存储器（PROM）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、闪速存储器（例如串行、NAND、NOR等）、多媒体存储器卡（MMC）、安全数字（SD）存储器卡、存储器棒、导电桥接随机存取存储器（CBRAM）、相变随机存取存储器（PRAM）、铁电随机存取存储器（FeRAM）、非易失性随机存取存储器（NVRAM）、磁阻随机存取存储器（MRAM）、电阻随机存取存储器（RRAM）、硅-氧化物-氮化物-氧化物-硅存储器（SONOS）、浮栅结随机存取存储器（FJG RAM）、千足虫存储器、跑道存储器、不需要电力来存储信息的任何其他存储器或其任何组合中的一个或多个。
在一些实施例中，存储器210能够存储数据库、数据库实例、数据库管理系统、数据、应用、程序、程序模块、脚本、源代码、目标代码、字节代码、编译代码、解释代码、机器代码、可执行指令或任何其他信息中的一个或多个。术语数据库、数据库实例、数据库管理系统和/或本文使用的类似术语可指代使用一个或多个数据库模型（诸如分层数据库模型、网络模型、关系模型、实体关系模型、对象模型、文档模型、语义模型、图形模型或任何其他模型）存储在计算机可读存储介质中的记录或数据的集合。
计算设备200的用户接口215与一个或多个输入或输出设备通信，该输入或输出设备能够将输入接收到计算设备200中和/或从计算设备200输出任何输出。输入设备的实施例包括键盘、鼠标、触摸屏显示器、触敏垫、运动输入设备、移动输入设备、音频输入、定点设备输入、操纵杆输入、小键盘输入、外围设备140、脚踏开关等。输出设备的实施例包括音频输出设备、视频输出、显示设备、运动输出设备、移动输出设备、打印设备等。在一些实施例中，用户接口215包括被配置为经由有线和/或无线连接与一个或多个输入设备和/或输出设备通信的硬件。
通信接口220能够与各种计算设备和/或网络通信。在一些实施例中，通信接口220能够传送可以被发射、接收、操作、处理、显示、存储等的数据、内容和/或任何其他信息。可以使用有线数据传输协议来执行经由通信接口220的通信，诸如光纤分布式数据接口（FDDI）、数字用户线（DSL）、以太网、异步传输模式（ATM）、帧中继、电缆数据业务接口规范（DOCSIS）或任何其他有线传输协议。类似地，可以使用无线数据传输协议来执行经由通信接口220的通信，诸如通用分组无线服务（GPRS）、通用移动电信系统（UMTS）、码分多址2000（CDMA2000）、CDMA2000 1X（1xRTT） 、宽带码分多址（WCDMA）、全球移动通信系统（GSM）、GSM演进的增强数据速率（EDGE）、时分同步码分多址（TD-SCDMA）、长期演进（LTE）、演进通用陆地无线接入网（E-UTRAN）、演进数据优化（EVDO）、高速分组接入（HSPA）、高速下行链路分组接入（HSDPA）、IEEE 802.11（WiFi）、WiFi直接、802.16（WiMAX）、超宽带（UWB）、红外（IR）协议、近场通信（NFC）协议、Wibree、蓝牙协议、无线通用串行总线（USB）协议或任何其他无线协议。
如本领域技术人员将理解的，计算设备200的一个或多个组件可以位于远离计算设备200组件的其他组件，诸如在分布式系统中。此外，可以组合组件中的一个或多个，并且执行本文中描述的功能的附加组件可以包括在计算设备200中。因此，计算设备200可以适于适应各种需求和情况。所描绘和描述的架构和描述仅出于示例性目的而提供，并且不限于本文描述的各种实施例。
本文描述的实施例可以以各种方式实现，包括作为包括制造品的计算机程序产品。计算机程序产品可以包括非暂时性计算机可读存储介质，其存储应用、程序、程序模块、脚本、源代码、程序代码、目标代码、字节代码、编译代码、解释代码、机器代码、可执行指令等等（在本文中也称为可执行指令、用于执行的指令、计算机程序产品、程序代码和/或在本文中可互换地使用的类似术语）。此类非暂时性计算机可读存储介质包括所有计算机可读介质（包括易失性和非易失性介质）。
应当理解，在此描述的实施例的各种实施例也可以被实现为方法、装置、系统、计算设备等。照此，本文所述的实施例可以采取执行存储在计算机可读存储介质上的指令以实行某些步骤或操作的装置、系统、计算设备等的形式。因此，本文描述的实施例可以完全以硬件、完全以计算机程序产品或者以包括计算机程序产品和执行某些步骤或操作的硬件的组合的实施例来实现。
可以参考框图和流程图来做出本文描述的实施例。因此，应当理解，框图和流程图的框可以以计算机程序产品的形式、以完全硬件实施例、以硬件和计算机程序产品的组合、或者以执行指令、操作或步骤的装置、系统、计算设备等实现。可以将这样的指令、操作或步骤存储在计算机可读存储介质上，以供计算设备中的处理元件执行。例如，代码的检索、加载和执行可以顺序执行，使得一次检索、加载和执行一个指令。在一些示例性实施例中，检索、加载和/或执行可以并行执行，使得多个指令一起被检索、加载和/或执行。因此，这样的实施例可以产生执行在框图和流程图中指定的步骤或操作的专门配置的机器。因此，框图和流程图支持用于执行指定的指令、操作或步骤的实施例的各种组合。
为了本公开的目的，诸如“上方”、“下方”、“垂直”、“水平”、“向内”、“向外”、“内”、“外”、“前”、“后”等的术语应当解释为描述性的，并且不限制所要求保护的主题的范围。此外，“包括”、“包含”或“具有”以及其变形在本文中的使用意在包括在其后列出的项目和其等同物以及附加项目。除非另外限制，否则术语“连接”、“耦合”和“安装”以及其变形在本文中被广泛地使用并且包括直接和间接连接、耦合和安装。除非另有说明，否则术语“基本上”、“近似”等用于意指目标值的5％以内。
在前面的描述中已经描述了本公开的原理、代表性实施例和操作模式。然而，本公开的旨在保护的方面不应被解释为限于所公开的特定实施例。此外，本文所述的实施例被视为说明性而非限制性的。将理解的是，在不脱离本公开的精神的情况下，其他人可以进行变化和改变，并且可以采用等同物。因此，明确地旨在所有这样的变化、改变和等同物都落入所要求保护的本公开的精神和范围内。

Claims (37)

1.一种用于检测包括食物产品的流中存在的外来物品的过程，该过程包括：
A）转发包括食物产品的产品流；
B）用入射电磁能量照射产品流；
C）使用相机基于从产品流反射的电磁能量生成原始数据；
D）使用带有回归分析的机器学习分类算法处理原始数据以形成图像数据，原始数据的处理包括无监督学习，其包括通过其光谱将像素分组成相似类别，以便通过以下来生成经分类的数据：
（i）将原始数据的第一部分分类为与食物产品相对应；
（ii）将原始数据的第二部分分类为与外来物品相对应；
（iii）将原始数据的第三部分分类为与产品流后面的背景相对应。
2.根据权利要求1所述的过程，其中，相机、产品流的照射以及原始数据的生成和处理的组合一起能够在30英寸视场中检测具有低至至少5 mm2尺寸的外来物品。
3.根据权利要求1和2中任一项所述的过程，其中，由相机生成原始数据以及对原始数据的处理是通过在产品流被转发的同时拍摄产品流的多个重叠图像来执行的，其中来自图像的重叠部分的图像数据被处理以确定在第一图像中被指示为外来物品的数据是否在与第一图像重叠的第二图像的对应部分中也被指示为相同的外来物品，其中数据处理仅将在第一图像和第二图像二者中都被指示为外来物品的对应数据分类为外来物品。
4.根据权利要求1-3中任一项所述的过程，其中，通过相机生成原始数据以及处理原始数据是使用在2像素乘2像素区域中的至少2像素的最小阈值大小来执行的。
5.根据权利要求4所述的过程，其中，由相机生成原始数据以及对原始数据的处理也是通过在产品流被转发的同时拍摄产品流的多个重叠图像来执行的，其中来自图像的重叠部分的图像数据被处理以确定在第一图像中被指示为外来物品的数据是否在与第一图像重叠的第二图像的对应部分中也被指示为相同的外来物品，其中数据处理仅将以下分类为外来物品：（i）在第一图像和第二图像二者中都被指示为相同外来物品的对应数据，所述对应数据满足（ii）在2像素乘2像素区域中至少2像素的最小阈值大小。
6.根据权利要求1-5中任一项所述的过程，其中，机器学习分类算法还在从食物、外来物品和背景获得的标记的像素训练集上训练之后，从原始数据生成经分类的数据。
7.根据权利要求1-6中任一项所述的过程，还包括指示外来物品在产品流中的位置。
8.根据权利要求1-7中任一项所述的过程，还包括指示外来物品在产品流中的类型。
9.根据权利要求1-8中任一项所述的过程，还包括从产品流中去除外来物品。
10.根据权利要求1-8中任一项所述的过程，其中所述过程能够检测选自由以下组成的组的每个成员：骨头、泡沫、传送器碎片、木材、金属、皮革、纸、手套、手套碎片、塑料、橡胶、柔性膜、头发、昆虫和纺织品。
11.根据权利要求1-10中任一项所述的过程，其中，所述食物产品包括选自由肉、蔬菜、奶酪、水果和坚果组成的组的至少一个成员。
12.根据权利要求1-11中任一项所述的过程，其中，所述传送器在产品流被入射电磁能量照射的同时，以及在相机基于从产品流反射的电磁能量生成原始数据的同时，转发产品流。
13.根据权利要求1所述的过程，其中用选自由白炽灯、荧光灯、气体放电灯、红外灯、卤素灯和发光二极管组成的组的至少一个灯执行产品流的照射。
14.根据权利要求1-13中任一项所述的过程，其中所述相机是近红外行扫描高光谱相机。
15.根据权利要求14所述的过程，其中，所述相机具有至少400个空间像素，并且相机和机器学习算法的组合能够以至少低至视场的0.2％的比率检测外来物品。
16.根据权利要求14-15中任一项所述的过程，其中，所述过程仅使用一个相机。
17.根据权利要求1-16中任一项所述的过程，其中，外来物品存在于产品流中的肉块的阵列中。
18.根据权利要求1-16中任一项所述的过程，其中，外来物品存在于产品流中的一块肉的表面上。
19.根据权利要求1-18中任一项所述的过程，还包括使用图像数据来生成相机的视场内的产品流的一部分的图像。
20.根据权利要求1-19中任一项所述的过程，还包括记录肉块流中检测到的外来物品的出现。
21.根据权利要求1-20中任一项所述的过程，其中所述数据在检测到包含肉块的流中的外来物品时以停止产品流的向前运动的方式处理。
22.根据权利要求1所述的过程，其中，产品流包括肉块，并且由相机生成的原始数据是从在1200至1250nm和/或1500至1700nm的波长范围内的反射电磁能量取得的数据。
23.根据权利要求1-22中任一项所述的过程，其中，产品流由位于相机的视场上方和上游的第一传送器转发，并且允许产品流从第一传送器的下游端滴落并且到在相机视场下游和下方的位置的第二传送器上，其中当产品流从第一传送器落到第二传送器上时，相机生成产品流的原始数据。
24.根据权利要求1-22中任一项所述的过程，其中：
A）产品流的转发和产品流的照射以及原始数据的生成在用于在产品流处于第一配置时检测产品流中的外来物品的第一系统上执行，包括：当产品流处于第一配置时，从产品流中对任何检测到的外来物品的第一去除，然后
B）将产品流重新配置成第二配置，然后
C）通过用于在产品流处于第二配置时检测产品流中的外来物品的第二系统转发处于第二配置的产品流，包括在产品流处于第二配置时从产品流中的任何检测到的外来物品的第二去除。
25.一种用于检测包括食物产品的流中存在的外来物品的过程，该过程包括：
A）以至少每分钟2米的速度转发产品流，该产品流包括食物产品；
B）用入射电磁能量照射产品流；
C）使用高光谱相机基于从产品流反射的电磁能量生成原始数据；
D）利用具有回归分析的机器学习分类算法处理原始数据以形成图像数据，以便通过以下生成经分类的数据：
（i）将原始数据的第一部分分类为与食物产品相对应；
（ii）将原始数据的第二部分分类为与外来物品相对应；
（iii）将原始数据的第三部分分类为与产品流后面的背景相对应。
26.一种用于检测包括食物产品的流中存在的外来物品的过程，该过程包括：
A）转发包括食物产品的产品流；
B）用入射电磁能量照射产品流；
C）使用相机基于从产品流反射的电磁能量生成原始数据；
D）利用具有回归分析的机器学习分类算法处理原始数据以形成图像数据，以便通过以下生成经分类的数据：
（i）将原始数据的第一部分分类为与食物产品相对应；
（ii）将原始数据的第二部分分类为与外来物品相对应；
（iii）将原始数据的第三部分分类为与产品流后面的背景相对应；
其中，由相机生成原始数据以及对原始数据的处理是通过在产品流被转发的同时拍摄产品流的多个重叠图像来执行的，其中来自图像的重叠部分的图像数据被处理以确定在第一图像中被指示为外来物品的数据是否在与第一图像重叠的第二图像的对应部分中也被指示为相同的外来物品，其中数据处理仅将以下分类为外来物品：在第一图像和第二图像二者中都被指示为相同外来物品的对应数据，所述对应数据满足在2像素乘2像素区域中至少2像素的最小阈值大小。
27.一种用于检测包括食物产品的产品流中存在的外来物品的系统，所述系统包括：
A）转发设备，其被配置为转发产品流；
B）照明器，其被配置为生成入射电磁能量并且将电磁能量导向产品流；
C）相机，其被布置为基于来自产品流的反射电磁能量生成原始数据；
D）存储在存储器中以使用具有回归分析的机器学习分类算法从原始数据形成图像数据并且包括无监督学习的指令，该无监督学习包括按其光谱将像素分组到相似类别中，以便生成经分类的数据，其中，所述指令响应于处理器的执行使处理器进行以下操作：
（i）将原始数据的第一部分分类为与食物产品相对应；
（ii）将原始数据的第二部分分类为与外来物品相对应；
（iii）将原始数据的第三部分分类为与产品流后面的背景相对应。
28.根据权利要求27所述的系统，其中，所述转发设备包括传送带。
29.根据权利要求28所述的系统，其中，传送带是具有第一颜色的第一传送带，并且系统还包括在第一传送带上游的第二传送带，第二传送带具有第二颜色，第二颜色不同于第一颜色。
30.根据权利要求27-29中任一项所述的系统，其中，相机包括选自由行扫描相机、扫帚相机和快照相机组成的组的高光谱相机。
31.根据权利要求27-29中任一项所述的系统，其中，照明器包括在相机的视场上游的第一照明器和在相机的视场下游的第二照明器，其中第一和第二照明器均生成电磁能量并将其引导到在相机的视场中的产品流上。
32.根据权利要求27-29中任一项所述的系统，其中，该系统包括用于相机和照明器的盖，使得所述系统可用加压水冲洗，而没有液体接触相机或照明器。
33.根据权利要求27-39中任一项所述的系统，其中所述相机包括多个相机，其被配置成以一个或多个不同波长区域生成图像数据。
34.根据权利要求33所述的系统，其中所述多个相机包括高光谱相机和可见光相机。
35.根据权利要求34所述的系统，其中，高光谱相机和可见光相机在转发设备的运动方向上彼此接近。
36.根据权利要求35所述的系统，其中，高光谱相机和可见光相机以使得高光谱相机和可见光相机被对准在转发设备上的近似相同的位点的角度安装。
37.根据权利要求34-36中任一项所述的系统，其中所述指令响应于由处理器执行还使所述处理器补偿由高光谱相机和可见光相机拍摄的图像数据中的偏移，使得来自高光谱相机和可见光相机的图像数据能够叠加成一个无缝图像。
CN201980038842.7A 2018-06-11 2019-06-10 用于检测外来物品的产品流的内置检查的过程和系统 Pending CN112218729A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862683308P 2018-06-11 2018-06-11
US62/683308 2018-06-11
US201962799957P 2019-02-01 2019-02-01
US62/799957 2019-02-01
PCT/US2019/036301 WO2019241114A1 (en) 2018-06-11 2019-06-10 Process and system for in-line inspection of product stream for detection of foreign objects

Publications (1)

Publication Number Publication Date
CN112218729A true CN112218729A (zh) 2021-01-12

Family

ID=67003782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980038842.7A Pending CN112218729A (zh) 2018-06-11 2019-06-10 用于检测外来物品的产品流的内置检查的过程和系统

Country Status (4)

Country Link
US (2) US20210170452A1 (zh)
EP (1) EP3801934B1 (zh)
CN (1) CN112218729A (zh)
WO (1) WO2019241114A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801965A (zh) * 2021-01-21 2021-05-14 中南大学 一种基于卷积神经网络的烧结皮带异物监测方法及系统
CN113916895A (zh) * 2021-10-29 2022-01-11 辽宁春光制药装备股份有限公司 棒棒奶酪缺残检测处理方法及装置
CN114295062A (zh) * 2021-12-31 2022-04-08 崇辉半导体(深圳)有限公司 一种连续电镀生产线的料带片长检测系统
CN114554052A (zh) * 2022-02-18 2022-05-27 深圳宇视嘉网络科技有限公司 基于多光谱特征的线扫相机成像方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621406B2 (en) * 2017-09-15 2020-04-14 Key Technology, Inc. Method of sorting
CN113947560A (zh) * 2020-07-17 2022-01-18 京东方科技集团股份有限公司 产品检测方法、装置、系统和计算机存储介质
CN111921885A (zh) * 2020-08-05 2020-11-13 东南数字经济发展研究院江山分院 木门板材尺寸智能检测方法与装置
US11919723B2 (en) * 2020-10-13 2024-03-05 Mandi B. Milbank System and method for automatedly detecting and rejecting cores having a non-conforming core color prior to covering
CN113649309B (zh) * 2021-07-20 2022-04-29 深圳市标谱半导体科技有限公司 集中式分光测试装置
CN114063179B (zh) * 2021-10-27 2023-10-27 福建省农业科学院植物保护研究所 一种入侵生物跨境智能监测设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1329327C (en) * 1987-06-04 1994-05-10 Manfred Potzschke Scrap detector
JPH1034088A (ja) * 1996-07-25 1998-02-10 Mitsubishi Heavy Ind Ltd ガラスカレット分別装置
CN104656100A (zh) * 2015-02-25 2015-05-27 中国科学院遥感与数字地球研究所 一种行扫描高光谱实时异常探测方法与系统
US20160187199A1 (en) * 2014-08-26 2016-06-30 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
CN105758865A (zh) * 2016-04-26 2016-07-13 河南工业大学 基于太赫兹波检测粮食包装物中异物的方法及检测系统
CN106290238A (zh) * 2016-08-09 2017-01-04 西北农林科技大学 一种基于高光谱成像的苹果品种快速鉴别方法
CN107185850A (zh) * 2017-06-06 2017-09-22 浙江大学 一种基于高光谱成像及电阻抗的玉米种子活力检测装置
CN207379913U (zh) * 2017-10-19 2018-05-18 新疆农业大学 一种基于反射和透射高光谱成像的棉花杂质检测装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335293A (en) 1992-06-16 1994-08-02 Key Technology, Inc. Product inspection method and apparatus
GB9325243D0 (en) 1993-12-09 1994-02-09 New Royal Holloway & Bedford Automatic monitoring system
US5979667A (en) 1997-06-18 1999-11-09 Earl; Wayne Sorting system including an improved reject mechanism
GB0322043D0 (en) * 2003-09-20 2003-10-22 Qinetiq Ltd Apparatus for,and method of,classifying objects in waste stream
US20120140981A1 (en) * 2008-07-17 2012-06-07 Chemlmage Corporation System and Method for Combining Visible and Hyperspectral Imaging with Pattern Recognition Techniques for Improved Detection of Threats
US8284248B2 (en) * 2009-08-25 2012-10-09 Frito-Lay North America, Inc. Method for real time detection of defects in a food product
US8662314B2 (en) 2009-03-19 2014-03-04 Key Technology, Inc. Sorting apparatus and method utilizing a mechanical diverter
SE1000620A1 (sv) 2010-06-09 2011-12-10 Umbio Ab Förfarande för hyperspektral bildanalys i realtid
JP2012098181A (ja) 2010-11-02 2012-05-24 Sumitomo Electric Ind Ltd 検出装置及び検出方法
WO2014078858A1 (en) 2012-11-19 2014-05-22 Altria Client Services Inc. Hyperspectral imaging system for monitoring agricultural products during processing and manufacturing
US9014434B2 (en) 2012-11-26 2015-04-21 Frito-Lay North America, Inc. Method for scoring and controlling quality of food products in a dynamic production line
JP2016090476A (ja) 2014-11-07 2016-05-23 住友電気工業株式会社 異物検出方法
JP6535843B2 (ja) 2015-01-27 2019-07-03 地方独立行政法人北海道立総合研究機構 分光イメージングシステム
WO2018038123A1 (ja) * 2016-08-22 2018-03-01 キユーピー株式会社 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法
US10197504B2 (en) * 2016-10-10 2019-02-05 Altria Client Services Llc Method and system of detecting foreign materials within an agricultural product stream
JP6774293B2 (ja) 2016-10-13 2020-10-21 東信水産株式会社 食品検査補助器
US20200111106A1 (en) * 2017-03-19 2020-04-09 Charles Siebenberg Methods and systems for authenticating products
US10902581B2 (en) 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify foreign object
US10902577B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify object
US11830179B2 (en) * 2018-01-31 2023-11-28 Nichirei Foods Inc. Food inspection assisting system, food inspection assisting apparatus and computer program
US10902281B2 (en) * 2018-03-22 2021-01-26 Rota Technologies LLC Debris detection system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1329327C (en) * 1987-06-04 1994-05-10 Manfred Potzschke Scrap detector
JPH1034088A (ja) * 1996-07-25 1998-02-10 Mitsubishi Heavy Ind Ltd ガラスカレット分別装置
US20160187199A1 (en) * 2014-08-26 2016-06-30 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
CN104656100A (zh) * 2015-02-25 2015-05-27 中国科学院遥感与数字地球研究所 一种行扫描高光谱实时异常探测方法与系统
CN105758865A (zh) * 2016-04-26 2016-07-13 河南工业大学 基于太赫兹波检测粮食包装物中异物的方法及检测系统
CN106290238A (zh) * 2016-08-09 2017-01-04 西北农林科技大学 一种基于高光谱成像的苹果品种快速鉴别方法
CN107185850A (zh) * 2017-06-06 2017-09-22 浙江大学 一种基于高光谱成像及电阻抗的玉米种子活力检测装置
CN207379913U (zh) * 2017-10-19 2018-05-18 新疆农业大学 一种基于反射和透射高光谱成像的棉花杂质检测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王若兰: "《粮油储藏理论与技术》", 30 April 2015, 河南科学技术出版社 *
郭俊先: "基于高光谱成像技术的棉花杂质检测方法的研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801965A (zh) * 2021-01-21 2021-05-14 中南大学 一种基于卷积神经网络的烧结皮带异物监测方法及系统
CN113916895A (zh) * 2021-10-29 2022-01-11 辽宁春光制药装备股份有限公司 棒棒奶酪缺残检测处理方法及装置
CN114295062A (zh) * 2021-12-31 2022-04-08 崇辉半导体(深圳)有限公司 一种连续电镀生产线的料带片长检测系统
CN114554052A (zh) * 2022-02-18 2022-05-27 深圳宇视嘉网络科技有限公司 基于多光谱特征的线扫相机成像方法

Also Published As

Publication number Publication date
WO2019241114A1 (en) 2019-12-19
EP3801934B1 (en) 2023-08-02
US20210121922A1 (en) 2021-04-29
US20210170452A1 (en) 2021-06-10
EP3801934A1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
CN112218729A (zh) 用于检测外来物品的产品流的内置检查的过程和系统
US11830179B2 (en) Food inspection assisting system, food inspection assisting apparatus and computer program
JP2008541007A (ja) 食品の異物検出装置
AU2013347861B2 (en) Scoring and controlling quality of food products
JP6152845B2 (ja) 光学式粒状物選別機
CN102072883B (zh) 农作物种子综合品质检测装置及方法
JP6790160B2 (ja) インテリジェントマシンのネットワーク
US7860277B2 (en) Food product checking system and method for identifying and grading food products
Mohammadi Baneh et al. Mechatronic components in apple sorting machines with computer vision
JPWO2016133175A1 (ja) 莢果選別システム、莢果選別装置及び莢果選別方法
US5106195A (en) Product discrimination system and method therefor
WO2017168469A1 (ja) 外観検査装置と外観検査方法
Mo et al. On-line fresh-cut lettuce quality measurement system using hyperspectral imaging
KR102283869B1 (ko) 계란 품질 자동검사 시스템
CN111239142A (zh) 膏体外观缺陷检测设备及方法
WO2023003727A1 (en) Automated detection of chemical component of moving object
Aleixos et al. Assessment of citrus fruit quality using a real-time machine vision system
JP3614980B2 (ja) 農産物の外観検査方法及び装置
US20220323997A1 (en) Devices, systems and methods for sorting and labelling food products
TW202339862A (zh) 用於照射物質之設備
KR102431960B1 (ko) 계란 품질 선별기
FR2809642A1 (fr) Procede de tri d&#39;objets par videometrie et installation pour sa mise en oeuvre
US11928769B2 (en) Employing controlled illumination for hyperspectral or multispectral imaging of food in an appliance
CN212180649U (zh) 膏体外观缺陷检测设备
KR102394422B1 (ko) Nir 스펙트럼 영상 기술을 이용한 식품 표면 이물 검사 광학장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210112

RJ01 Rejection of invention patent application after publication