CN110832545A - 用于进行高光谱图像处理以识别对象的系统和方法 - Google Patents
用于进行高光谱图像处理以识别对象的系统和方法 Download PDFInfo
- Publication number
- CN110832545A CN110832545A CN201880040968.3A CN201880040968A CN110832545A CN 110832545 A CN110832545 A CN 110832545A CN 201880040968 A CN201880040968 A CN 201880040968A CN 110832545 A CN110832545 A CN 110832545A
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral
- interest
- region
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000012545 processing Methods 0.000 title description 59
- 230000003595 spectral effect Effects 0.000 claims abstract description 59
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000001228 spectrum Methods 0.000 claims abstract description 13
- 235000013305 food Nutrition 0.000 claims description 34
- 244000025272 Persea americana Species 0.000 claims description 33
- 235000008673 Persea americana Nutrition 0.000 claims description 33
- 235000000346 sugar Nutrition 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 15
- 238000000701 chemical imaging Methods 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 26
- 238000010801 machine learning Methods 0.000 description 20
- 239000002131 composite material Substances 0.000 description 17
- 235000015278 beef Nutrition 0.000 description 16
- 239000000356 contaminant Substances 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 240000008790 Musa x paradisiaca Species 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 11
- 239000004033 plastic Substances 0.000 description 10
- 229920003023 plastic Polymers 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 241000251468 Actinopterygii Species 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 235000013399 edible fruits Nutrition 0.000 description 6
- 238000011179 visual inspection Methods 0.000 description 6
- 235000021015 bananas Nutrition 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000275 quality assurance Methods 0.000 description 5
- 235000009436 Actinidia deliciosa Nutrition 0.000 description 4
- 244000291564 Allium cepa Species 0.000 description 4
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 4
- 244000144730 Amygdalus persica Species 0.000 description 4
- 235000006040 Prunus persica var persica Nutrition 0.000 description 4
- 241000220324 Pyrus Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 235000015277 pork Nutrition 0.000 description 4
- 238000003908 quality control method Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 235000009434 Actinidia chinensis Nutrition 0.000 description 3
- 244000298697 Actinidia deliciosa Species 0.000 description 3
- 235000004936 Bromus mango Nutrition 0.000 description 3
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 3
- 244000070406 Malus silvestris Species 0.000 description 3
- 235000014826 Mangifera indica Nutrition 0.000 description 3
- 240000003768 Solanum lycopersicum Species 0.000 description 3
- 235000009184 Spondias indica Nutrition 0.000 description 3
- 235000021028 berry Nutrition 0.000 description 3
- 238000009658 destructive testing Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000123 paper Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 208000034656 Contusions Diseases 0.000 description 2
- 235000011430 Malus pumila Nutrition 0.000 description 2
- 235000015103 Malus silvestris Nutrition 0.000 description 2
- 240000007228 Mangifera indica Species 0.000 description 2
- 235000014443 Pyrus communis Nutrition 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 235000019504 cigarettes Nutrition 0.000 description 2
- 235000020971 citrus fruits Nutrition 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000004128 high performance liquid chromatography Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000007918 intramuscular administration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 150000002739 metals Chemical class 0.000 description 2
- 244000005700 microbiome Species 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 235000021017 pears Nutrition 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241000249058 Anthracothorax Species 0.000 description 1
- 241000207199 Citrus Species 0.000 description 1
- 208000001034 Frostbite Diseases 0.000 description 1
- 235000019687 Lamb Nutrition 0.000 description 1
- 235000004348 Perilla frutescens Nutrition 0.000 description 1
- 244000124853 Perilla frutescens Species 0.000 description 1
- 241000271567 Struthioniformes Species 0.000 description 1
- 230000002378 acidificating effect Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 235000013622 meat product Nutrition 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002906 microbiologic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000010238 partial least squares regression Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 150000008163 sugars Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/02—Food
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Food Science & Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
一种系统包括:存储器以及至少一个处理器,所述至少一个处理器用于:通过成像装置获取对象的高光谱图像,所述对象的高光谱图像包括所述对象的三维图像集,所述图像集中的每个图像均呈现在电磁光谱的波长范围内的所述对象;对所述对象的所述高光谱图像进行归一化;在所述高光谱图像中选择感兴趣区域,所述感兴趣区域包括所述图像集中的至少一个图像;从所述高光谱图像中的所述感兴趣区域提取光谱特征;以及将来自所述感兴趣区域的所述光谱特征与训练集中的多个图像进行比较以确定所述对象的特定特性。
Description
背景技术
食品质量和安全是除了食品可追溯性和真实性外对于消费者、政府和食品工业来说在经济和环境方面具有最高重要性的问题。外观检查、样品测试以及传统的微生物测试和基于DNA的测试已不再是足以在越来越复杂的食品供应链中确保安全的监测工具。基于在整个食品供应链中控制、监测并记录关键参数的快速、非破坏性且准确的质量保证系统的开发和应用对于食品质量和安全应用都至关重要。
对于食品生产商和零售商来说,当今的质量控制和质量保证过程涉及耗时的外观检查、样品测试以及昂贵且冗长的基于实验室的微生物采样,从而导致在食品成品中发现诸如塑料、金属、纤维和其他污染物的污染物,从而导致召回、销售损失以及品牌和声誉受损。全球食品工业需要快速、无创且准确的系统来检测加工过程中的污染物,以提高供应链的安全性和透明度。
常规的食品质量和安全控制绝大多数是模拟的,并且在食品公司之间有显著变化。食品公司使用大量不同的过时的方法。质量控制和质量保证高度依赖于外观检查、破坏性测试和基于样品的测试,从而导致大量浪费以及欺诈和污染水平越来越高。
考虑到这些问题以及其他问题,构思了本公开的各个方面。
发明内容
根据一个方面,提供了用于高光谱图像处理的系统,所述系统用于对包括对象的图像集的所述对象的高光谱图像执行高光谱图像处理,以将所述高光谱图像中的感兴趣区域与训练集中的多个图像进行比较。因此,所述系统可通过将所述高光谱图像中的所述感兴趣区域与所述训练集中的所述多个图像进行比较来确定所述对象的特性。所述系统可包括存储器以及至少一个处理器,所述至少一个处理器用于:通过成像装置获取对象的高光谱图像,所述对象的所述高光谱图像包括所述对象的三维图像集,所述图像集中的每个图像均呈现在电磁光谱的波长范围内的所述对象;对所述对象的所述高光谱图像进行归一化;在所述高光谱图像中选择感兴趣区域,所述感兴趣区域包括所述图像集中的至少一个图像的子集;从所述高光谱图像中的所述感兴趣区域提取光谱特征;将来自所述感兴趣区域的所述光谱特征与训练集中的多个图像进行比较以确定所述对象的特定特性,并且基于所述光谱特征识别所述对象。
根据另一方面,一种方法包括:由处理器通过成像装置获取对象的高光谱图像,所述对象的所述高光谱图像包括所述对象的三维图像集,所述图像集中的每个图像均呈现在电磁光谱的波长范围内的所述对象;由所述处理器对所述对象的所述高光谱图像进行归一化;由所述处理器选择所述高光谱图像中的感兴趣区域,所述感兴趣区域包括所述图像集中的至少一个图像的子集;由所述处理器从所述高光谱图像中的所述感兴趣区域提取光谱特征;由所述处理器将来自所述感兴趣区域的所述光谱特征与训练集中的多个图像进行比较以确定所述对象的特定特性;以及基于所述光谱特征识别所述对象。
根据另外的方面,一种非暂时性计算机可读存储介质包括存储在其上的指令,所述指令在由计算装置执行时致使所述计算装置执行操作,所述操作包括:通过成像装置获取对象的高光谱图像,所述对象的所述高光谱图像包括所述对象的三维图像集,所述图像集中的每个图像均呈现在电磁光谱的波长范围内的所述对象;对所述对象的所述高光谱图像进行归一化;选择所述高光谱图像中的感兴趣区域,所述感兴趣区域包括所述图像集中的至少一个图像的子集;从所述高光谱图像中的所述感兴趣区域提取光谱特征;将来自所述感兴趣区域的所述光谱特征与训练集中的多个图像进行比较以确定所述对象的特定特性;以及基于所述光谱特征识别所述对象。
本公开的这些和其他方面、特征和益处将从以下结合附图对优选实施方案和各方面进行的详细书面描述变得显而易见,尽管在不脱离本公开的新颖概念的精神和范围的情况下可对其进行变型和修改。
附图说明
附图示出本公开的实施方案和/或各方面,并且与书面描述一起用于解释本公开的原理。只要可能,在全部附图中使用相同附图标记来指代实施方案中的相同或相似元件,并且其中:
图1是根据示例性实施方案的用于高光谱图像处理的系统的框图。
图2示出根据示例性实施方案的系统的计算装置的框图。
图3示出根据示例性实施方案的用于对图像执行机器学习分类的流程图。
图4示出根据示例性实施方案的呈现三个不同像素的曲线图,每个像素具有光谱轮廓。
图5示出根据示例性实施方案的用于对对象执行高光谱图像处理的流程图。
图6示出根据示例性实施方案的计算装置的框图。
具体实施方式
用于高光谱图像处理的系统和方法的各方面提供了执行图像处理应用程序的计算装置,所述图像处理应用程序对包括对象的图像集的对象的高光谱图像执行高光谱图像处理,以将高光谱图像中的感兴趣区域与训练集中的多个图像进行比较。这可用于参照一个或多个因素或参数对对象的质量进行分类,并且可用于对易腐物品(诸如一种类型的食品)在食品供应链过程期间的质量进行分类。在一个示例中,对象可以是食品对象,诸如鳄梨。因此,应用程序可通过将高光谱图像中的感兴趣区域与训练集中的多个图像进行比较来确定对象的特性。计算装置可与捕获对象的高光谱图像的成像装置通信。对象可以是位于由至少一个照明装置照明的传送带上并移动经过成像装置的多个对象中的一个对象。
对象可以是食品对象或农业产品,诸如鳄梨、香蕉、橙子、桃子、洋葱、梨、猕猴桃、芒果、浆果、番茄、苹果、糖、猪肉、羊肉、牛肉或鱼以及其他对象中的一种。此外,成像装置可确定图像中存在污染物或异物。
所述系统包括存储器以及至少一个处理器,所述至少一个处理器用于:通过所述成像装置获取所述对象的所述高光谱图像,所述对象的高光谱图像包括所述对象的三维图像集,所述图像集中的每个图像均呈现在电磁光谱的波长范围内的所述对象;对所述对象的所述高光谱图像进行归一化;在所述高光谱图像中选择感兴趣区域,所述感兴趣区域包括所述图像集中的至少一个图像的子集;从所述高光谱图像中的所述感兴趣区域提取光谱特征;并且将来自所述感兴趣区域的所述光谱特征与训练集中的多个图像进行比较以确定所述对象的特定特性。
在一个方面,提供所述系统来使用高光谱成像确定对象(诸如鳄梨或另一种易腐物品)的干物质含量。在另一方面,提供所述系统来使用高光谱成像确定对象(诸如鳄梨或另一种易腐物品)的硬度。在另一方面,提供所述系统来使用高光谱成像确定对象(诸如鳄梨或另一种易腐物品)的成熟度。
在另一方面,提供所述系统来使用高光谱成像确定污染物(诸如不应当位于传送带上的对象)的存在。这可能是异物。污染物可以是塑料、纸、金属钩、烟蒂、硬纸板、织物或另一种类型的污染物中的一种。作为示例,塑料污染物可以是塑料件,诸如扎带。
所述系统可包括:成像模块,所述成像模块用于获取对象的至少一部分的高光谱图像;预处理模块,所述预处理模块用于分析高光谱图像以生成可被处理的数据;以及输出模块,所述输出模块用于提供关于高光谱图像的分析的输出。在一个示例中,高光谱图像可以是一起形成将由所述系统处理的高光谱数据立方体的图像集。图像集可包括对象的二百二十四个图像,每个图像均呈现高光谱图像中的波长范围。可替代地,图像集可包括不同数量的图像,每个图像均呈现高光谱图像中的波长范围。
所述系统可另外包括合成数据生成模块,所述合成数据生成模块可用于创建用于确定对象的特性的训练集,并且可生成数据的数据库或数据的库。可将成像模块所捕获的高光谱图像与数据的数据库进行比较,以分析高光谱图像。
如本文所提到的,常规的食品质量和安全控制绝大多数是模拟的,并且在食品公司之间有显著变化。食品公司使用大量不同的过时的方法。质量控制和质量保证高度依赖于外观检查、破坏性测试和样品,从而导致大量浪费以及欺诈和污染水平越来越高。
另外,对于食品生产商和零售商来说,当今的质量控制和质量保证过程涉及耗时的外观检查、样品测试以及昂贵且冗长的基于实验室的微生物采样,从而导致在食品成品中发现诸如塑料、金属、纤维和其他污染物的污染物,从而导致召回、销售损失以及品牌和声誉受损。全球食品工业需要快速无创且准确的系统来检测加工过程中的污染物,以提高供应链的安全性和透明度。
与对象(诸如易腐食物)的破坏性测试和常规测试相关联的问题可通过计算装置来解决,所述计算装置执行对象的高光谱图像分析以确定对象的特性而不破坏对象。因此,本文讨论的解决方案为食品工业提供了效率和财务益处。计算装置可执行高光谱图像处理应用程序,所述应用程序提供了人类外观检查无法提供的解决方案。通过将易腐食物的高光谱图像与图像的库或数据库进行比较并且使用机器学习来改进分析,计算装置能够能够快速且有效地分析多种易腐食物。
图像的库或数据库可基于实际对象且/或可由计算装置渲染。渲染的图像可基于实际对象,所述实际对象可由计算装置插入图像中的数据来增强或由计算装置修改。作为示例,插入到图像中的数据可以是颜色数据。可替代地,可以诸如修改图像中对象的取向和/或位置的方式修改对象。图像的库或图像的数据库中的每个图像都可具有相关联的信息,诸如对象的特性。
图1示出根据示例性实施方案的用于高光谱图像处理的系统100的框图,所述系统100用于识别对象并用于对对象的质量参数进行分类。用于高光谱图像处理的系统100可包括移动托盘或传送带装置102,所述移动托盘或传送带装置102具有沿移动托盘或传送带装置102的传送带行进的一个或多个对象104。一个或多个对象可在其上具有异物103或污染物。此外,用于高光谱图像处理的系统100可包括照明系统,所述照明系统可包括至少一个照明装置106。
此外,用于高光谱图像处理的系统100可包括至少一个成像装置108。在一个示例中,成像装置108可以是化学机器视觉相机,诸如可包括一个或多个光学传感器的高光谱相机,所述一个或多个光学传感器被配置来检测入射在传感器上的电磁能量。可使用任何数量的各种光学传感器来获得各种光谱区域中的图像,以用于分析一个或多个对象104的性质。作为示例,成像装置104可被配置来收集在400纳米至1000纳米(nm)波长区域中的图像,所述区域对应于可见光和近红外光。
因此,成像装置108可收集入射在传感器上的信息来作为图像集105,由此所述图像集中的每个图像均呈现电磁光谱的波长范围。图像集105中的每个图像均可呈现光谱带。如图1所示,图像集105可组合在一起以形成三维数据立方体,以供计算装置110进行处理和分析。图像集中的每个图像的x和y维度可呈现传送带装置102上的对象104的两个空间维度,并且立方体中的波长维度可呈现包括图像中的波长范围的光谱维度。
对象104可位于移动托盘或传送带装置102上,并且移动托盘或传送带装置102可包括线性滑块以使每个对象104移动经过成像装置108。成像装置108可以是线扫描器相机,使得通过使对象在传感器下方以恒定速度以稳定、笔直且连续的运动进行移动,成像装置108可获取图像。作为示例,如果对象104是一条冷冻鱼,则使冷冻鱼在成像装置108下方在传送带上移动可允许成像装置扫描整条冷冻鱼。
可替代地,成像装置108可以是推扫式扫描器或快照成像器。在一个示例中,移动托盘或传送带装置102可包括马达,诸如步进马达。
此外,用于高光谱图像处理的系统100可包括用于对由至少一个成像装置108捕获的高光谱图像105执行高光谱图像处理的计算装置110。此外,计算装置110可用于使成像装置108的操作与移动托盘或传送带装置102的操作同步。
照明装置106可以是可将电磁能量引导到一个或多个对象104处的集中光源。所述集中光源可被配置来将特定波长的光引导到对象处,在此之后,至少一个成像装置108可检测到来自至少一个照明装置106的反射光。至少一个照明装置可以是诸如卤素灯的光源或另一种光源。此外,至少一个光源106可朝对象104引导光以提供对象的均匀照明。在一个示例中,可存在将光以四十五度角引导到被成像的对象104处的两个光源106。所述两个光源106可面向彼此。光源106的其他布置是可以的。
计算装置110可包括处理和分析由成像装置108捕获的每个高光谱图像105的图像处理应用程序112。计算装置110可包括数据库114和/或与数据库114通信,数据库114可存储与用于高光谱图像处理的系统100相关联的数据和图像。在一个示例中,数据库114可存储诸如训练数据集的信息,所述训练数据集可包括对象104的多个图像。多个图像可由计算装置110以合成的方式生成和/或从另一源获得。此外,多个图像可由成像装置108捕获并且被包括为训练数据集的一部分。此外,数据库可存储多个图像中每个图像中的对象的特性。这些特性可包括对象的标签或名称以及其他信息,诸如对象的测量值。测量值可由计算装置110的用户手动指派和/或由计算装置110在分析高光谱图像105期间自动确定。作为示例,这些测量值可以是对象104的地面实况测量值。此外,图像处理应用程序112可通过通信网络116与其他计算装置通信。
至少一个计算装置110被配置来通过通信网络116从其他计算装置接收数据和/或向其他计算装置发射数据。作为示例,成像装置108可将每个高光谱图像105发射到计算装置110以进行分析。尽管将至少一个计算装置110示出为单个计算装置,但是预期至少一个计算装置可包括多个计算装置(例如在云计算配置中)。此外,至少一个计算装置110被配置来通过通信网络116接收数据和/或发射数据。
通信网络116可以是互联网、内联网或另一有线或无线通信网络。例如,通信网络106可包括移动通信(GSM)网络、码分多址(CDMA)网络、第三代合作伙伴计划(GPP)、互联网协议(IP)网络、无线应用协议(WAP)网络、WiFi网络或IEEE 802.11标准网络以及其各种通信。也可使用其他常规的和/或后来开发的有线和无线网络。
至少一个计算装置110包括用于处理数据的至少一个处理器111和用于存储数据的存储器113。处理器111处理通信,建立通信,从存储器113检索数据,并将数据存储到存储器113。处理器111和存储器113是硬件。存储器113可包括易失性和/或非易失性存储器(例如计算机可读存储介质,诸如高速缓存)、随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器,或用于存储数据和/或计算机可读可执行指令(诸如图像处理应用程序112的一部分或部件)的其他存储器。此外,至少一个计算装置110还包括用于发射和接收通信、消息和/或信号的至少一个通信接口。
至少一个计算装置110可在显示器上显示图形用户界面(或GUI)以在显示器上生成图形用户界面。图形用户界面可由图像处理应用程序112提供。图形用户界面使至少一个计算装置110的用户能够与至少一个计算装置110和图像处理应用程序112进行交互。
GUI可以是可由至少一个计算装置110执行的应用程序和/或服务的部件。例如,图像处理应用程序112可以是可部署的可执行代码的单个单元或可部署的可执行代码的多个单元。根据一个方面,图像处理应用程序112可以是web应用程序、本机应用程序和/或从数字分销应用平台(包括App Store和GOOGLE以及其他平台)下载的移动应用程序(例如,app),所述数字分销应用平台允许用户浏览和下载利用软件开发工具包(SDK)开发的应用程序。图像处理应用程序112或其至少一部分可以是常驻的并且由至少一个计算装置110执行,所述至少一个计算装置110可具有操作系统、基于Linux的操作系统、OS操作系统、iOS操作系统或ANDROIDTM操作系统,以及其他操作系统。
图2示出根据示例性实施方案的计算装置110的框图。计算装置110可以是具有处理器202的计算机(诸如膝上型电脑、台式计算机、平板电脑)、移动计算装置(例如,智能电话)、可穿戴装置,或具有处理器和存储器的专用电子装置。一个或多个处理器202处理机器/计算机可读的可执行指令和数据,而存储器存储包括一个或多个应用程序(包括图像处理应用程序112)的机器/计算机可读的可执行指令和数据。处理器202和存储器是硬件。存储器包括随机存取存储器(RAM)和非暂时性存储器,例如,非暂时性计算机可读存储介质,诸如一个或多个闪速存储装置或硬盘驱动器。非暂时性存储器可包括任何有形的计算机可读介质,包括例如磁盘和/或光盘、闪存驱动器等。此外,存储器还可包括具有一个或多个专用处理器的专用文件服务器、随机存取存储器(RAM)、廉价/独立磁盘冗余阵列(RAID)硬盘驱动器配置,以及以太网接口或其他通信接口,以及其他部件。
计算装置110在存储器中包括计算机可读介质(CRM)204,图像处理应用程序112或其他用户界面或应用程序存储在所述CRM 204上。计算机可读介质可包括易失性介质、非易失性介质、可移动介质、不可移动介质和/或处理器202可访问的另一可用介质。作为示例而非限制,计算机可读介质包括计算机存储介质和通信介质。计算机存储介质包括:以某种方法或技术实现的用于存储信息(诸如计算机/机器可读/可执行指令、数据结构、程序模块或其他数据)的非暂时性存储存储器、易失性介质、非易失性介质、可移动介质和/或不可移动介质。通信介质可体现计算机/机器可读/可执行指令、数据结构、程序模块或其他数据,并且包括信息传递介质或系统,两者都是硬件。
如图2所示,图像处理应用程序112可包括预处理模块206,所述预处理模块206可从成像装置108接收图像并对图像执行预处理。首先,预处理模块206可使用一个或多个子模块对图像执行预处理。子模块可包括:可对图像执行归一化的归一化模块、使用对象识别模块进行的对象识别、使用特征提取模块进行的特征提取,以及使用数据缩减模块进行的数据缩减。
可执行图像的归一化以对可具有不同照明水平的图像进行比较。捕获的光谱数据的归一化可包括与白电平归一化相结合的黑电平减法。当使用线性推扫式扫描器阵列时,可对每个采样元素执行归一化以解决空间变化的静态噪音。其他传感器类型可使用特定于其设计的归一化。归一化还可包括基于对来自单独感测设备的照明体的估计来移除照明体光谱。特征提取模块可提取特征包,所述特征包括但不限于:包括最大稳定极值区域的空间特征、Haralick纹理特征、FAST(来自加速分段测试的特征)角点特征,以及包括降维光谱、所选光谱范围和内插光谱值的光谱特征。特征提取模块可将空间特征和光谱特征组合以确定特定的质量参数分类。对象识别模块可利用机器学习(包括但不限于神经网络)来检测图像中的对象并对其进行分类。
数据缩减模块可降低图像中数据的维数。这可通过执行主成分(PC)分析或另一种类型的分析来执行。换句话说,预处理模块206可减少图像中的冗余并且可消除由成像装置108捕获的图像集中的一些图像,这些图像不是执行图像处理所必需的。某些波长范围可能比其他波长范围对图像处理和分析更有用。作为示例,如果图像集包括二百二十四个不同图像,每个图像均呈现对象的不同波长范围,则预处理模块206可选择二百二十四个不同图像中的十个作为图像集中最能呈现对象的图像。换句话说,预处理模块206可选择图像集中最能呈现对象和/或对象的光谱特征的图像集的子集。
此外,图像处理应用程序112可包括合成数据集生成模块208,所述合成数据集生成模块208可生成用于导出可呈现数据中的内容的数学模型的多个训练数据。神经网络模型倾向于对数据进行过度拟合。换句话说,神经网络模型可能对训练数据敏感,并且模型的行为可能无法推广到新的/看不见的数据。避免过度拟合的一种方法是收集大量数据。典型的神经网络可具有多达一百万个参数,并且调整这些参数可能需要不相关数据的数百万个训练实例,这可能并不总是可以的,并且在某些情况下对软件开发来说可能成本太高。通过使用合成数据集生成模块208对与数千种形状和形式的对象和异物相关联的不同材料进行分类,可解决这些问题。除了收集大量数据以外,避免过度拟合的一种此类方法可以是利用数据增强。增强是指从较小的数据集生成新训练数据的过程,使得新数据集呈现可在实践中看到的真实世界数据。
可向合成数据集生成模块208提供关于每个对象的地面实况测量值,使得输出模块210可使由成像装置108捕获的特定图像与特定地面实况测量值相关联。地面实况测量值可以是对特性(诸如对象的pH值或嫩度)的化学或物理测试。因此,计算装置110能够对来自合成数据集生成模块208的图像和由成像装置108获得的图像使用机器学习以继续对图像进行改进和比较。
数据镜射和裁剪可用作在计算机视觉和图像处理中进行数据增强的特定技术。图像数据可以各种不同的取向来呈现。换句话说,可从不同的角度或视角生成同一图像的副本。
作为示例,与合成数据集生成模块208相关联的训练数据可通过获得和/或模拟对象或农业产品(诸如鳄梨、香蕉、橙子、桃子、洋葱、梨、猕猴桃、芒果、浆果、西红柿、苹果、糖、猪肉、羊肉、牛肉或鱼以及其他对象)的图像来构建。训练数据可存储在数据库114和/或计算装置110的存储器以及其他位置中。
香蕉的不同颜色可指示不同的硬度水平。香蕉可呈现为颜色编码的风景,例如,其中绿色的字段可指示坚硬的香蕉。鳄梨的不同颜色可指示不同的硬度水平。
此外,图像处理应用程序112可能够确定与橙子相关联的碰伤或缺陷。图像处理应用程序112可能够确定桃子上的冻伤或洋葱里的酸性皮肤病。
此外,图像处理应用程序112可能够确定与猕猴桃或梨相关联的碰伤或缺陷。另外,图像处理应用程序112可能够确定与其他类型的柑橘类水果相关联的问题,诸如柑橘溃疡病。
此外,图像处理应用程序112可能够通过提供鱼眼的分析来确定鱼的新鲜度。图像处理应用程序112可能够确定猪肉、羊肉、牛肉或另一种类型的肉制品的嫩度。
作为示例,合成数据集生成模块208可生成牛肉嫩度的合成数据集。牛肉的肌内脂肪可对牛排的嫩度具有很强的影响。肌内脂肪可被视为具有不同海拔的风景中的河流或三角洲。合成数据集可包括具有河流和三角洲的渲染风景(图像),其具有带有不同嫩度级的牛排。渲染的图像可表现为已经由计算装置110或另一个计算装置创建的高光谱图像。使用合成牛肉图像,计算装置110可从牛排的图像提取光谱特征。可将合成光谱特征馈送到合成数据集生成模块208的分类器中以进一步改进和开发训练数据,由此导致更好的预测准确度。
作为示例,对于牛肉生产商来说,获取三百块牛肉并对牛肉块执行地面实况测量可能需要大约一个月的时间。对于一个人来说,这可以是一份全职工作。如果每块牛肉花费10.00美元,而付给生产商的成本为4,700美元,那么这将花费7,700美元。这仅是一种类型的牛肉块的成本,并且系统将必须适用于来自多种不同肌肉的多个不同的牛肉块。因此,为了提供适合于系统的模型,系统将必须利用来自不同牛肉生产商的不同图像。
要创建最佳的牛肉嫩度模型,理论上期望具有10,000个牛肉图像。因此,仅收集和获得数据就将花费78,000美元。然而,合成数据集生成模块208可从较小的数据集生成训练数据,以解决财务和效率问题。这可节省数据库存储,并且可提供计算效率的节省。可估计,一旦已经测试了用于初始训练的样本,合成数据集生成模块208就可将成本显著降低到几乎为零。
作为另一示例,合成数据集生成模块208可从图像集获得可与对象104(诸如水果)的不同质量参数相关的像素。某些棕色和黄色像素可用于确定香蕉的特定成熟水平。合成数据集生成模块208可能够在多个不同的位置中操纵和复制棕色和黄色像素,以模拟和创建指示香蕉的不同成熟阶段的图像。作为示例,合成数据集生成模块208可使用具有多个棕色像素的非常成熟的香蕉的高光谱图像。此外,合成数据集生成模块208可具有带有黄色和绿色像素的未成熟的香蕉的另一高光谱图像。合成数据集生成模块208可基于非常成熟的香蕉和未成熟的香蕉的这些图像来生成一定程度上在两个图像之间的新图像。
合成数据集生成模块208可接收由成像装置108捕获的图像或从另一源捕获的图像,并且可通过增强图像来向图像添加信息和数据。作为示例,合成数据集生成模块208可通过向图像的像素添加颜色来操纵图像。鳄梨可具有某种颜色的像素。通过向图像的像素添加另外的很绿的颜色,合成数据集生成模块208可改变鳄梨的成熟水平。由成像装置捕获的每个图像可具有多个通道,并且因此每个像素可具有多个相关联的数据点。
作为另一示例,合成数据集生成模块208可通过将光谱信息插入到图像中来以数字方式添加和/或修改图像中的对象。合成数据集生成模块208可自动操纵对象以在不同的位置和/或取向中渲染对象。
再另外,合成数据集生成模块208可通过在对象104上插入异物来将异物插入到图像中。外来物质或异物可在已知位置注入到图像中。然后,从受对象影响的区域/像素对光谱进行采样可提供指示外来物质的频率表格。合成数据集生成模块208可通过播种已知数据(“感染”)点来增加数据矩阵的大小。这可允许合成数据集生成模块208生成具有与所收集的真实值差别较小的许多数据点。然后可使用矩阵来创建模拟的隐藏异物的区域,并且可训练神经网络。
作为示例,可在对象上或向对象中渲染不同颜色的塑料或纸质对象,以使得对象看起来具有一个或多个异物或外来物质。合成数据集生成模块208可操纵一个或多个异物并且可在多个不同的位置和/或取向中操纵异物。因此,合成数据集生成模块208可通过增强图像来自动生成和修改图像。
在一个示例中,合成数据集生成模块208可生成要检测的一个或多个对象的三维模型。真实世界的对象可用作参考。可通过大小、取向、可见性、遮挡、变形和背景(噪声)的变化来渲染对象的动画。合成数据集生成模块208可利用预先训练过的网络来获得更高的精度并减少所使用的计算资源的量。通过“填入”更多不干扰相关联的频率表格的一般形状的像素数据来生成新像素,可“大致”确定采样像素的分布形状。这可允许合成数据集生成模块208基于真实数据适当地对学习/网络模型进行参数化并且包括增强数据。用户通过修改一系列归一化的随机变量来手动调整网络的稳健性,所述随机变量可用于结合调整网络的参数来播种生成的矩阵。
另外,图像处理应用程序112可包括输出模块210。输出模块210可执行对象的机器学习分类,并且预测质量参数并将其指派给对象。输出模块210可从预处理模块206接收已经被预处理的高光谱图像105,并且可从合成数据集生成模块208接收合成数据集。输出模块210可将高光谱图像105中的感兴趣区域与训练数据集进行比较,所述训练数据集可包括对象104的多个图像,所述多个图像可包括合成数据集。输出模块210可包括一个或多个子模块,所述一个或多个子模块可包括机器学习分类模块,所述机器学习分类模块可利用生成式对抗神经网络和/或深度学习神经网络对特征包进行分类。机器学习分类模块还可利用偏最小二乘回归法对特征包进行分类。此外,可使用其他分类模型来对特征包进行分类。
输出模块210可添加对象标签,并且可确定高光谱图像中的像素具有指示质量信息的光谱信息。输出模块210可对图像中的所选感兴趣区域执行对象识别。感兴趣区域可以是图像的特定区域,这个区域可包括用于确定对象的质量的值的信息。作为示例,可通过从成像装置108获得对象的高光谱图像105来选择感兴趣区域。对象可以是鳄梨或另一对象。可使用灰度缩放或边缘检测来自动确定感兴趣区域。作为示例,利用灰度缩放,可将整个图像转换为具有在零与一之间的灰度色值的像素。输出模块210可设定阈值,以使计算装置110能够在对象与传送带之间进行区分。
一旦识别了感兴趣区域,输出模块210就可从感兴趣区域中的像素提取所有光谱信息。可从感兴趣区域中的每个像素提取光谱信息,而且所述光谱信息用于确定感兴趣区域中的每个像素并且可被存储为与图像相关联的表格。一旦所有像素都已被分类,输出模块210就可将每个像素与相邻像素进行比较以确定像素是否具有为相同分类的相邻像素。如果一个像素有超过一个相邻像素,则所述像素可被分类为异物。可替代地,如果像素具有至少三个相邻像素或至少N个相邻像素,则所述像素可被分类为异物。此外,输出模块210可通过对是相邻像素的像素的数量进行计数来确定像素的空间值。这可用于确定维数。换句话说,如果已知一个像素呈现传送带上的一英寸乘一英寸,则通过确定被分类并且是相邻像素的像素的数量,输出模块210可测量对象的维数。
像素可用于训练输出模块210和/或识别对象的质量属性。可减少提供给机器学习分类模块的所有光谱数据,以匹配最小可行特征集,由此允许成像系统可不共享确切的规格。作为示例,最小可行特征集可以是可由不同的高光谱成像系统确定的特征。一个高光谱系统可提取在400纳米与600纳米之间的光谱值。第二高光谱系统可提取在400纳米与1000纳米之间的光谱值。第一高光谱系统和第二高光谱系统之间的最小可行特征集可以是400纳米至600纳米。这可允许计算装置110检测对象(诸如鳄梨)的光谱值与成熟度质量之间的模式。输出模块210可进一步执行从对象提取光谱数据。
此外,在将图像分类为呈现具有一定质量的特定对象之前,输出模块210可通过压缩与图像相关联的数据来减少图像中的数据。这可包括生成感兴趣区域中的光谱值的平均值。平均值可以是整个感兴趣区域的平均值或每个像素的光谱平均值。
机器学习分类可具有四个层,所述四个层包括一个输入层、两个隐藏层和一个输出层。在一个方面,机器学习分类可利用可具有三个自动编码器层的神经网络,由此第一层可充当输入层,并且其余的层可以是隐藏层。自动编码器层可一起形成堆叠式自动编码器(SAE)。自动编码器层还可包括逻辑回归层和可返回类别概率的输出层。
系统100的用户最初可通过将标签(例如,鳄梨)和质量参数信息(例如,硬度、干物质含量、糖的量)指派给一个或多个图像集来训练机器学习分类模块。质量参数信息可基于在一个或多个图像集中捕获的对象的地面实况测量值。机器学习分类模块可使用此初始训练数据来开发数学模型,所述数学模型允许机器学习分类模块通过将输入图像与训练数据中的每个图像进行比较来将特定标签和质量参数信息指派给输入图像。然后,机器学习分类模块可向训练数据添加输入图像,并从此输入图像进行学习以继续执行标签和质量参数信息的更精确指派。
在一个示例中,机器学习分类模块可利用与诸如TENSORFLOWTM的机器学习框架或另一机器学习框架相关联的库。在另一示例中,机器学习分类模块可利用一个或多个支持向量机(SVM)对图像中的对象104进行分类。
图3示出根据示例性实施方案的对高光谱图像105执行机器学习分类的示例性过程300。如图3所示,输出模块210可确定图像中存在n个像素。对于图像中的n个像素中的每个像素,输出模块210可确定存在v个光谱值。可将像素的v个光谱值中的每一个馈送到由输出模块210提供的分类器中。分类器可确定v个光谱值与k个类别相关联。对于k个类别中的每个类别,输出模块210可为像素的光谱值和类别中的每一者确定点积。将具有最高值的类别确定为图像105的预测类别。
输出模块210可基于图像集的分析来识别和确定每个对象的标签并将质量参数指派给对象。输出模块210可通过将高光谱图像105中的感兴趣区域与训练集中的多个图像进行比较来确定对象104的特性。图像的分析可基于图像集与由机器学习分类模块提供的数据的比较。作为示例,输出模块210可确定对象的近似测量值。如果对象是诸如鳄梨的水果,则测量值可包括硬度、干物质含量和糖含量。基于要分析的对象104,其他测量是可以的。
可使用安德森硬度计测量硬度。刚采摘的鳄梨的典型硬度值可以是十至十五,其中标度的范围是从零至一百一十。硬度可指示成熟水平。
干物质含量可以是用于对象(诸如鳄梨)的成熟度的指标。可用鳄梨的百分比来测量干物质,其中典型值可以是百分之二十一。
可使用高效液相色谱法测试(HPLC)(一种分析化学工具)来估计对象(诸如鳄梨)中的糖的量。糖的量可指示水果的成熟度。水果中更高的糖浓度可指示水果更成熟。可用每一百克的糖的量来测量糖含量。鳄梨中糖含量的典型值可以是每100克鳄梨0.9克糖。
图4示出具有三条不同线的曲线图400,这三条线呈现具有不同光谱轮廓的三个不同像素。每条线与高光谱图像的不同像素相关联。作为示例,每条线可指示与香蕉的图像相关联的像素。所述线可呈现棕色像素、绿色像素和黄色像素以及其他类型的像素。如图4所示,曲线图示出反射率水平和相关联的波长。
图5示出根据示例性实施方案的用于对对象104执行高光谱图像处理的过程500的流程图。在步骤502中,至少一个计算装置110从成像装置108获取对象104的高光谱图像105。对象104的高光谱图像105可以是对象的三维图像集,所述图像集中的每个图像均呈现在电磁光谱的波长范围内的对象。接下来,在步骤504中,至少一个计算装置110的图像处理应用程序112对对象104的高光谱图像进行归一化。此外,至少一个计算装置110的图像处理应用程序112可压缩对象104的高光谱图像105。
在步骤506中,至少一个计算装置110的图像处理应用程序112选择高光谱图像105中的感兴趣区域。作为示例,可在图像的三个维度中的至少两个维度中选择感兴趣区域。在一个示例中,高光谱图像105中的感兴趣区域可包括在至少一个波长范围内的对象104的呈现。在步骤508中,至少一个计算装置110的图像处理应用程序112可从对象104的高光谱图像中的感兴趣区域提取光谱特征。
在步骤510中,至少一个计算装置110的图像处理应用程序112通过将高光谱图像105与合成数据集中的图像和数据进行比较并且使用机器学习来分析感兴趣区域的光谱特征并且对光谱特征进行分类。这可包括:将来自感兴趣区域的光谱特征与训练集中的多个图像进行比较以确定对象的特定特性。这可允许图像处理应用程序112对图像105中的对象(例如,鳄梨)进行分类和/或标记,并且此外,这可包括确定对象的至少一个质量参数的值。因此,图像处理应用程序112可将值指派给对象104的相关联的质量参数,诸如干物质、硬度和成熟度以及其他参数。
作为示例,图像处理应用程序112可基于光谱特征的分类来确定至少一个质量参数,所述至少一个质量参数可包括对象104的干物质含量、对象104的硬度和对象104的成熟度。每个质量参数可具有至少一个分类等级。干物质含量可包括:当干物质含量低于21%时的第一分类等级;当干物质含量为21%时的第二分类等级;以及当干物质含量高于21%时的第三分类等级。图像处理应用程序112可为感兴趣区域中的每个像素的每个分类等级指派在零与一之间的值。
可替代地,这可包括将来自感兴趣区域的光谱特征与训练集中的多个图像进行比较以确定污染物的存在。这可能是诸如塑料、纸、金属钩、烟蒂、硬纸板、织物的污染物或另一种类型的污染物。因此,这可包括将发现的光谱特征分类为对象上的异物。
在步骤512中,至少一个计算装置110的图像处理应用程序112可基于分类的光谱特征以及高光谱图像105与合成数据集中的图像和数据进行比较来识别对象104和/或异物103。这可类似于将高光谱图像105的高光谱指纹与合成数据集中的图像和数据进行比较。这可包括将对象分类和识别为食品对象。食品对象或农业产品可以是鳄梨、香蕉、橙子、桃子、洋葱、梨、猕猴桃、芒果、浆果、番茄、苹果、糖、猪肉、羊肉、牛肉或鱼中的一种。此外,这可包括:对冷冻鱼上的塑料进行分类和识别、对诸如鳄梨的水果上的塑料进行分类以及对糖中的纤维或塑料进行分类。
图6示出可实现各种系统(诸如计算装置110)和本文所讨论的方法(诸如过程300和过程500)的示例性计算系统600。通用计算机系统600能够执行计算机程序产品以执行计算机过程。可向计算机系统600输入数据和程序文件,所述计算机系统600读取文件并在其中执行诸如图像处理应用程序112的程序。图6中示出通用计算机系统600的一些元件,其中处理器602被示出为具有输入/输出(I/O)区段604、中央处理单元(CPU)606和存储器区段608。可存在一个或多个处理器602,使得计算机系统600的处理器602包括单个中央处理单元606或多个处理单元(通常称为并行处理环境)。计算机系统600可以是常规计算机、服务器、分布式计算机或任何其他类型的计算机,诸如通过云计算架构可用的一个或多个外部计算机。当前描述的技术任选地在加载到存储器608中、存储在已配置的DVD/CD-ROM 610或存储单元612中且/或通过有线或无线网络链路614通信的软件装置中实现,由此将图6的计算机系统600转换成用于实现所描述操作的专用机器。
存储器区段608可以是易失性介质、非易失性介质、可移动介质、不可移动介质和/或可由通用或专用计算装置访问的一种或多种其他介质。例如,存储器区段608可包括非暂时性计算机存储介质和通信介质。非暂时性计算机存储介质还可包括以某种方法或技术实现的用于存储(和检索)信息(诸如计算机/机器可读/可执行指令、数据以及数据结构、引擎、程序模块和/或其他数据)的易失性、非易失性、可移动和/或不可移动介质。通信介质可例如体现计算机/机器可读/可执行、数据结构、程序模块、算法和/或其他数据。通信介质还可包括信息传递技术。通信介质可包括有线和/或无线连接和技术,并且可用于发射和/或接收有线和/或无线通信。
I/O区段604连接到一个或多个用户接口装置(例如,键盘616和显示单元618)、磁盘存储单元612和磁盘驱动单元620。通常,磁盘驱动单元620是能够读取DVD/CD-ROM介质610的DVD/CD-ROM驱动单元,所述DVD/CD-ROM介质610通常包含程序和数据622。包含用于实现根据当前描述的技术的系统和方法的机构的计算机程序产品可驻留在计算机系统600的存储器区段604中、在磁盘存储单元612上、在DVD/CD-ROM介质610上或在通过具有此类计算机程序产品的云计算架构可用的外部存储装置上,此类计算机程序产品包括一个或多个数据库管理产品、web服务器产品、应用程序服务器产品和/或其他另外的软件部件。可替代地,磁盘驱动单元620可由磁带驱动单元或其他存储介质驱动单元代替或补充。网络适配器624能够通过网络链路614将计算机系统600连接到网络,计算机系统可通过网络链路614接收指令和数据。此类系统的示例包括个人计算机、基于Intel或PowerPC的计算系统、基于AMD的计算系统、基于ARM的计算系统,以及运行基于Windows的操作系统、基于UNIX的操作系统或其他操作系统的其他系统。应当理解,计算系统还可体现诸如个人数字助理(PDA)、移动电话、平板电脑或平板、多媒体控制台、游戏控制台、机顶盒等装置。
当在LAN连网环境中使用时,计算机系统600通过网络接口或适配器624(通过有线连接和/或以无线方式)连接到局域网,所述网络接口或适配器624是一种类型的通信装置。当在WAN网络环境中使用时,计算机系统600通常包括调制解调器、网络适配器或用于通过广域网建立通信的任何其他类型的通信装置。在联网环境中,关于计算机系统600所描绘的程序模块或其部分可存储在远程存储器存储装置中。应当理解,所示的网络连接是通信装置的示例,并且可使用在计算机之间建立通信链路的其他手段。
在示例性实现方式中,由计算装置110执行的源代码、服务器上的多个内部和外部数据库、源数据库和/或缓存的数据被存储在计算装置110的存储器或其他存储系统中,诸如磁盘存储单元612或DVD/CD-ROM介质610和/或通过网络架构可用且可访问的其他外部存储装置。由计算装置110执行的源代码可由存储在此类存储系统上并且由处理器602执行的指令来体现。
本文描述的一些或全部操作可由处理器602执行,所述处理器602是硬件。另外,本地计算系统、远程数据源和/或服务以及其他相关联的逻辑代表被配置来控制高光谱图像处理系统100和/或其他部件的操作的固件、硬件和/或软件。可使用通用计算机和专用软件(诸如执行服务软件的服务器)、专用计算系统和专用软件(诸如执行服务软件的移动装置或网络设备)或其他计算配置来实现此类服务。此外,本文公开的一种或多种功能性可由处理器602生成,并且用户可使用一个或多个用户接口装置(例如,键盘616、显示单元618和用户装置604)与图形用户界面(GUI)进行交互,其中一些正在使用的数据直接来自在线资源和数据存储。图6中阐述的系统仅仅是根据本公开的各方面可采用或配置的计算机系统的一个可能的示例。
在本公开中,所公开的方法可被实现为装置可读的指令集或软件。另外,应当理解,所公开的方法中的步骤的特定顺序或层级是示例性方法的实例。基于设计偏好,应当理解,在保持在所公开的主题之内的同时,可重新布置所述方法中的步骤的特定顺序或层级。随附的方法权利要求按示范顺序呈现各个步骤的要素,但并不一定意味着局限于所呈现的特定顺序或层级。
所描述的公开可被提供为计算机程序产品或软件,所述计算机程序产品或软件可包括上面存储有可执行指令的非暂时性机器可读介质,所述可执行指令可用于对计算机系统(或其他电子装置)进行编程以执行根据本公开的过程。非暂时性机器可读介质包括用于以机器(例如,计算机)可读的形式(例如,软件、处理应用程序)存储信息的任何机构。非暂时性计算机可读介质可包括但不限于:磁性存储介质(例如软盘);光学存储介质(例如CD-ROM);磁光存储介质;只读存储器(ROM);随机存取存储器(RAM);可擦除可编程存储器(例如EPROM和EEPROM);闪速存储器;或适于存储电子可执行指令的其他类型的介质。
上面的描述包括体现本公开的技术的示例性系统、方法、技术、指令序列和/或计算机程序产品。然而,应当理解,可在没有这些具体细节的情况下实践所描述的公开。
相信通过前面的描述将理解本公开及其许多附带的优点,并且将显而易见的是,在不脱离所公开的主题或不牺牲其所有材料优点的情况下,可对部件的形式、构造和布置进行各种改变。所描述的形式仅是说明性的,并且所附权利要求意图涵盖和包括此类改变。
尽管已经参考各种实施方案描述了本公开,但是应当理解,这些实施方案是说明性的,并且本公开的范围不限于这些实施方案。很多变型、修改、添加和改进是可以的。更一般地,已经在特定实现方式的上下文中描述了根据本公开的实施方案。功能性可在本公开的各种实施方案中不同地在块中被分开或组合或者以不同术语进行描述。这些和其他变型、修改、添加和改进可落在所附权利要求所限定的本公开的范围内。
Claims (20)
1.一种系统,其包括:
存储器;以及
至少一个处理器,所述至少一个处理器用于:
通过成像装置获取对象的高光谱图像,所述对象的所述高光谱图像包括所述对象的三维图像集,所述图像集中的每个图像均呈现在电磁光谱的波长范围内的所述对象;
对所述对象的所述高光谱图像进行归一化;
选择所述高光谱图像中的感兴趣区域,所述感兴趣区域包括所述图像集中的至少一个图像的子集;
从所述高光谱图像的所述感兴趣区域提取光谱特征;
将来自所述感兴趣区域的所述光谱特征与训练集中的多个图像进行比较以确定所述对象的特定特性,并且确定所述对象的至少一个质量参数的值;并且
基于所述光谱特征识别所述对象。
2.如权利要求1所述的系统,所述至少一个处理器进一步用于使用包括所述训练集中的所述多个图像和与所述对象相关联的地面实况测量值的数据来训练对象模型,并且基于所述对象模型确定所述对象的所述特定特性。
3.如权利要求1所述的系统,所述至少一个处理器进一步用于确定所述对象的干物质含量、所述对象的硬度和所述对象的糖含量。
4.如权利要求1所述的系统,其中所述成像装置包括高光谱成像装置,并且所述系统还包括:至少一个照明装置,所述至少一个照明装置对所述对象进行照明;以及传送带,当所述高光谱成像装置捕获所述高光谱图像时,所述传送带使所述对象移动经过所述成像装置。
5.如权利要求1所述的系统,其中所述对象包括易腐食物。
6.如权利要求5所述的系统,其中所述易腐食物包括鳄梨。
7.如权利要求1所述的系统,其中所述对象包括鳄梨,并且所述至少一个处理器进一步用于基于来自所述感兴趣区域的所述光谱特征来确定所述鳄梨的干物质含量、所述鳄梨的硬度和所述鳄梨的糖含量中的至少一者。
8.一种方法,其包括:
由处理器通过成像装置获取对象的高光谱图像,所述对象的所述高光谱图像包括所述对象的三维图像集,所述图像集中的每个图像均呈现在电磁光谱的波长范围内的所述对象;
由所述处理器对所述对象的所述高光谱图像进行归一化;
由所述处理器选择所述高光谱图像中的感兴趣区域,所述感兴趣区域包括所述图像集中的至少一个图像的子集;
由所述处理器从所述高光谱图像的所述感兴趣区域提取光谱特征;
由所述处理器将来自所述感兴趣区域的所述光谱特征与训练集中的多个图像进行比较以确定所述对象的特定特性,并且确定所述对象的至少一个质量参数的值;以及
由所述处理器基于所述光谱特征识别所述对象。
9.如权利要求8所述的方法,其还包括:使用包括所述训练集中的所述多个图像和与所述对象相关联的地面实况测量值的数据来训练对象模型,以及基于所述对象模型确定所述对象的所述特定特性。
10.如权利要求8所述的方法,其还包括:确定所述对象的干物质含量、所述对象的硬度和所述对象的糖含量。
11.如权利要求8所述的方法,所述成像装置包括高光谱成像装置,并且所述方法还包括:通过至少一个照明装置对所述对象进行照明,以及当所述高光谱成像装置捕获所述高光谱图像时,通过传送带使所述对象移动经过所述成像装置。
12.如权利要求8所述的方法,其中所述对象包括易腐食物。
13.如权利要求12所述的方法,其中所述易腐食物包括鳄梨。
14.如权利要求8所述的方法,其中所述对象包括鳄梨,并且所述所述方法还包括:基于来自所述感兴趣区域的所述光谱特征来确定所述鳄梨的干物质含量、所述鳄梨的硬度和所述鳄梨的糖含量中的至少一者。
15.一种非暂时性计算机可读存储介质,其上存储有指令,所述指令在由计算装置执行时致使所述计算装置执行操作,所述操作包括:
通过成像装置获取对象的高光谱图像,所述对象的所述高光谱图像包括所述对象的三维图像集,所述图像集中的每个图像均呈现在电磁光谱的波长范围内的所述对象;
对所述对象的所述高光谱图像进行归一化;
选择所述高光谱图像中的感兴趣区域,所述感兴趣区域包括所述图像集中的至少一个图像的子集;
从所述高光谱图像的所述感兴趣区域提取光谱特征;
将来自所述感兴趣区域的所述光谱特征与训练集中的多个图像进行比较以确定所述对象的特定特性,并且确定所述对象的至少一个质量参数的值;以及
基于所述光谱特征识别所述对象。
16.如权利要求15所述的非暂时性计算机可读存储介质,所述操作还包括:使用包括所述训练集中的所述多个图像和与所述对象相关联的地面实况测量值的数据来训练对象模型,以及基于所述对象模型确定所述对象的所述特定特性。
17.如权利要求15所述的非暂时性计算机可读存储介质,所述操作还包括:确定所述对象的干物质含量、所述对象的硬度和所述对象的糖含量。
18.如权利要求15所述的非暂时性计算机可读存储介质,所述成像装置包括高光谱成像装置,并且所述操作还包括:通过至少一个照明装置对所述对象进行照明,以及当所述高光谱成像装置捕获所述高光谱图像时,通过传送带使所述对象移动经过所述成像装置。
19.如权利要求15所述的非暂时性计算机可读存储介质,其中所述对象包括易腐食物。
20.如权利要求19所述的非暂时性计算机可读存储介质,其中所述易腐食物包括鳄梨。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762521950P | 2017-06-19 | 2017-06-19 | |
US62/521950 | 2017-06-19 | ||
US15/977085 | 2018-05-11 | ||
US15/977,085 US10902577B2 (en) | 2017-06-19 | 2018-05-11 | System and method for hyperspectral image processing to identify object |
PCT/US2018/038246 WO2018236844A1 (en) | 2017-06-19 | 2018-06-19 | SYSTEM AND METHOD FOR HYPERSPECTRAL IMAGE PROCESSING TO IDENTIFY AN OBJECT |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110832545A true CN110832545A (zh) | 2020-02-21 |
Family
ID=64657557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880040968.3A Pending CN110832545A (zh) | 2017-06-19 | 2018-06-19 | 用于进行高光谱图像处理以识别对象的系统和方法 |
Country Status (9)
Country | Link |
---|---|
US (2) | US10902577B2 (zh) |
EP (1) | EP3642796A4 (zh) |
JP (1) | JP2020524326A (zh) |
KR (1) | KR20200018640A (zh) |
CN (1) | CN110832545A (zh) |
AU (1) | AU2018289402B2 (zh) |
CA (1) | CA3066249A1 (zh) |
MX (1) | MX2019013962A (zh) |
WO (1) | WO2018236844A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113588571A (zh) * | 2021-09-29 | 2021-11-02 | 广东省农业科学院动物科学研究所 | 一种基于高光谱成像的水产品的腥味识别方法及系统 |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170008671A1 (en) | 2015-07-08 | 2017-01-12 | Divert, Inc. | Bin for transporting waste or recyclable material |
US10902581B2 (en) * | 2017-06-19 | 2021-01-26 | Apeel Technology, Inc. | System and method for hyperspectral image processing to identify foreign object |
US10902577B2 (en) * | 2017-06-19 | 2021-01-26 | Apeel Technology, Inc. | System and method for hyperspectral image processing to identify object |
WO2019106639A1 (en) * | 2017-12-03 | 2019-06-06 | Seedx Technologies Inc. | Systems and methods for sorting of seeds |
WO2019232113A1 (en) * | 2018-06-01 | 2019-12-05 | Cryovac, Llc | Image-data-based classification of meat products |
US20210170452A1 (en) * | 2018-06-11 | 2021-06-10 | Cryovac, Llc | Process and system for in-line inspection of product stream for detection of foreign objects |
EP3620984B1 (en) * | 2018-09-06 | 2024-04-10 | Accenture Global Solutions Limited | Digital quality control using computer visioning with deep learning |
US10713621B2 (en) | 2018-10-05 | 2020-07-14 | Simbe Robotics, Inc. | Method for tracking and characterizing perishable goods in a store |
US10922845B2 (en) * | 2018-12-21 | 2021-02-16 | Here Global B.V. | Apparatus and method for efficiently training feature detectors |
US20200285967A1 (en) * | 2019-03-08 | 2020-09-10 | Microsoft Technology Licensing, Llc | Data enrichment on insulated appliances |
CN110046674A (zh) * | 2019-04-24 | 2019-07-23 | 哈尔滨工业大学 | 基于反馈结构的高光谱遥感图像分类方法 |
US11625726B2 (en) * | 2019-06-21 | 2023-04-11 | International Business Machines Corporation | Targeted alerts for food product recalls |
US20220252568A1 (en) * | 2019-07-15 | 2022-08-11 | Clarifruit Ltd. | Means and methods for scoring vegetables and fruits |
WO2021055812A1 (en) * | 2019-09-18 | 2021-03-25 | Divert, Inc. | Systems and methods for tracking product environment throughout a supply chain |
EP3816857A1 (en) * | 2019-11-04 | 2021-05-05 | TOMRA Sorting GmbH | Neural network for bulk sorting |
CN111598786B (zh) * | 2019-11-28 | 2023-10-03 | 南京航空航天大学 | 一种基于深度去噪自编码网络的高光谱图像解混方法 |
US11363909B2 (en) * | 2020-04-15 | 2022-06-21 | Air Products And Chemicals, Inc. | Sensor device for providing control for a food processing system |
IT202000022354A1 (it) * | 2020-09-22 | 2022-03-22 | Biometic S R L | Metodo e apparecchiatura per eseguire un esame iperspettrale della superficie esterna di prodotti vegetali |
US11615603B2 (en) * | 2020-10-30 | 2023-03-28 | Tata Consultancy Services Limited | Method and system for learning spectral features of hyperspectral data using DCNN |
CN112418314A (zh) * | 2020-11-23 | 2021-02-26 | 广东弓叶科技有限公司 | 一种光谱相似度匹配分类中阈值设定方法及装置 |
CN112801204B (zh) * | 2021-02-09 | 2022-03-15 | 中国人民解放军国防科技大学 | 基于自动神经网络的具有终身学习能力的高光谱分类方法 |
MX2023008516A (es) * | 2021-03-16 | 2023-07-27 | Apeel Tech Inc | Sistema que usa un modelo de aprendizaje automatico para determinar la madurez de los articulos alimenticios. |
CN112990027A (zh) * | 2021-03-22 | 2021-06-18 | 精英数智科技股份有限公司 | 一种基于高光谱图像的煤矸识别方法及装置 |
US11868434B2 (en) * | 2021-03-26 | 2024-01-09 | Sharper Shape Oy | Method for creating training data for artificial intelligence system to classify hyperspectral data |
CN113688845B (zh) * | 2021-08-19 | 2022-12-30 | 南京诺源医疗器械有限公司 | 适用于高光谱遥感图像的特征提取方法、装置及存储介质 |
KR20230053417A (ko) | 2021-10-14 | 2023-04-21 | 삼성전자주식회사 | 이미지 획득 장치 및 방법, 이를 포함하는 전자 장치 |
US20230138374A1 (en) * | 2021-11-01 | 2023-05-04 | Tianjin University Of Commerce | Sorting-based garbage classification method and device |
US11847681B2 (en) | 2022-04-06 | 2023-12-19 | Apeel Technology, Inc. | Ultraviolet light and machine learning-based assessment of food item quality |
EP4276775A1 (en) * | 2022-05-10 | 2023-11-15 | AM-Flow Holding B.V. | 3d-object identification and quality assessment |
CN115019215B (zh) * | 2022-08-09 | 2022-12-09 | 之江实验室 | 一种基于高光谱图像的大豆病虫害识别方法和装置 |
CN115457311B (zh) * | 2022-08-23 | 2023-08-29 | 宁波大学 | 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 |
CN115410088B (zh) * | 2022-10-10 | 2023-10-31 | 中国矿业大学 | 一种基于虚拟分类器的高光谱图像领域自适应方法 |
CN115564743B (zh) * | 2022-10-18 | 2023-11-03 | 故宫博物院 | 纸张典型光谱提取方法、装置及相关设备 |
US11887351B1 (en) | 2023-07-26 | 2024-01-30 | Timea IGNAT | System and method for hyperspectral image-based quality control analysis of crop loads |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010081116A2 (en) * | 2009-01-10 | 2010-07-15 | Goldfinch Solutions, Llc | System and method for analyzing properties of meat using multispectral imaging |
CN104297165A (zh) * | 2014-10-28 | 2015-01-21 | 南京农业大学 | 一种基于高光谱图像对腐败真菌生长预测的方法 |
US20160066775A1 (en) * | 2013-05-22 | 2016-03-10 | Ian W. Hunter | Methods, systems, and apparatus for imaging spectroscopy |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4645459A (en) | 1982-07-30 | 1987-02-24 | Honeywell Inc. | Computer generated synthesized imagery |
EP0850405A2 (en) | 1995-09-19 | 1998-07-01 | Morphometrix Technologies Inc. | A neural network assisted multi-spectral segmentation system |
JP2004530875A (ja) * | 2001-04-13 | 2004-10-07 | カーギル、インコーポレイテッド | 農業および/または食品の原料の評価方法、その適用および製品 |
US20030130767A1 (en) * | 2002-01-07 | 2003-07-10 | Carroll Ernest A. | Method of and apparatus for acquiring aerial imagery for precision farming |
US7660440B2 (en) * | 2002-11-07 | 2010-02-09 | Frito-Lay North America, Inc. | Method for on-line machine vision measurement, monitoring and control of organoleptic properties of products for on-line manufacturing processes |
US7164749B2 (en) | 2004-06-28 | 2007-01-16 | Smiths Detection, Inc. | Method and apparatus for meat scanning |
US7940396B2 (en) | 2005-04-25 | 2011-05-10 | X-Rite, Inc. | Measuring an appearance property of a surface using a spatially under-sampled bidirectional reflectance distribution function |
WO2007068056A1 (en) | 2005-12-14 | 2007-06-21 | Grains Research And Development Corporation | Stain assessment for cereal grains |
US8280144B2 (en) | 2007-02-21 | 2012-10-02 | Goldfinch Solutions, Llc | System and method for analyzing material properties using hyperspectral imaging |
DE102008046988A1 (de) | 2008-09-12 | 2010-04-22 | [0X1] Software Und Consulting Gmbh | Reflektometer und Verfahren zur Charakterisierung von Materialien und Materialoberflächen zumindest hinsichtlich optischer Streueigenschaften oder/und optischer Reflektionseigenschaften |
US8194072B2 (en) | 2010-03-26 | 2012-06-05 | Mitsubishi Electric Research Laboratories, Inc. | Method for synthetically relighting images of objects |
JP2012093963A (ja) * | 2010-10-27 | 2012-05-17 | Seiko Epson Corp | 表示処理装置および表示処理システム |
MY164318A (en) | 2010-11-30 | 2017-12-15 | Univ Putra Malaysia | A system for fruit grading and quality determination |
EP2505987B1 (en) | 2011-03-30 | 2013-03-27 | C.R.F. Società Consortile per Azioni | Method for determining the bidirectional reflectance distribution function (BRDF) of a surface |
US9626798B2 (en) | 2011-12-05 | 2017-04-18 | At&T Intellectual Property I, L.P. | System and method to digitally replace objects in images or video |
CN202614694U (zh) | 2011-12-06 | 2012-12-19 | 李同强 | 数字式食用菌杂质识别装置 |
WO2014078858A1 (en) | 2012-11-19 | 2014-05-22 | Altria Client Services Inc. | Hyperspectral imaging system for monitoring agricultural products during processing and manufacturing |
WO2014103181A1 (ja) | 2012-12-26 | 2014-07-03 | 日本電気株式会社 | 画像計測方法、システム、装置およびプログラム |
US20140267684A1 (en) | 2013-03-15 | 2014-09-18 | Chemlmage Corporation | System and method for detecting contamination in food using hyperspectral imaging |
CN103257118A (zh) | 2013-04-22 | 2013-08-21 | 华南理工大学 | 一种基于特征波段的鱼肉嫩度高光谱检测方法 |
US9367909B2 (en) | 2013-07-10 | 2016-06-14 | Canon Kabushiki Kaisha | Devices, systems, and methods for classifying materials based on a bidirectional reflectance distribution function |
CN103439285B (zh) | 2013-08-19 | 2016-04-13 | 华南理工大学 | 一种基于高光谱成像的鱼片新鲜度检测方法 |
US20160162760A1 (en) | 2014-12-08 | 2016-06-09 | Canon Kabushiki Kaisha | Devices, systems, and methods for learning and identifying visual features of materials |
US10607338B2 (en) | 2015-02-17 | 2020-03-31 | MatrixSpec Solutions Inc. | Systems, devices, and methods for detecting fertility and gender of unhatched non-incubated eggs |
JP6539901B2 (ja) * | 2015-03-09 | 2019-07-10 | 学校法人法政大学 | 植物病診断システム、植物病診断方法、及びプログラム |
US9836839B2 (en) * | 2015-05-28 | 2017-12-05 | Tokitae Llc | Image analysis systems and related methods |
US20160356704A1 (en) | 2015-06-07 | 2016-12-08 | Purdue Research Foundation | Nondestructive meat tenderness assessment |
US10395300B2 (en) * | 2015-12-21 | 2019-08-27 | International Business Machines Corporation | Method system and medium for personalized expert cosmetics recommendation using hyperspectral imaging |
WO2018085804A1 (en) * | 2016-11-07 | 2018-05-11 | Nauto Global Limited | System and method for driver distraction determination |
EP3340043A1 (en) * | 2016-12-20 | 2018-06-27 | Specim, Spectral Imaging Oy Ltd | Defining software configuration for hyperspectral imaging apparatus |
US10839503B2 (en) * | 2017-01-26 | 2020-11-17 | ClariFruit | System and method for evaluating fruits and vegetables |
US10902577B2 (en) * | 2017-06-19 | 2021-01-26 | Apeel Technology, Inc. | System and method for hyperspectral image processing to identify object |
US10902581B2 (en) * | 2017-06-19 | 2021-01-26 | Apeel Technology, Inc. | System and method for hyperspectral image processing to identify foreign object |
US10861143B2 (en) * | 2017-09-27 | 2020-12-08 | Korea Advanced Institute Of Science And Technology | Method and apparatus for reconstructing hyperspectral image using artificial intelligence |
JP6950415B2 (ja) | 2017-09-29 | 2021-10-13 | オムロン株式会社 | 制御装置 |
US10832094B2 (en) * | 2018-04-10 | 2020-11-10 | International Business Machines Corporation | Generating hyperspectral image database by machine learning and mapping of color images to hyperspectral domain |
EP3933772A1 (en) * | 2020-07-03 | 2022-01-05 | Tetra Laval Holdings & Finance S.A. | A method and a server for faciliating provision of food product information |
-
2018
- 2018-05-11 US US15/977,085 patent/US10902577B2/en active Active
- 2018-06-19 WO PCT/US2018/038246 patent/WO2018236844A1/en unknown
- 2018-06-19 MX MX2019013962A patent/MX2019013962A/es unknown
- 2018-06-19 CN CN201880040968.3A patent/CN110832545A/zh active Pending
- 2018-06-19 AU AU2018289402A patent/AU2018289402B2/en active Active
- 2018-06-19 KR KR1020207001117A patent/KR20200018640A/ko active Search and Examination
- 2018-06-19 JP JP2019566104A patent/JP2020524326A/ja not_active Ceased
- 2018-06-19 EP EP18821579.2A patent/EP3642796A4/en not_active Withdrawn
- 2018-06-19 CA CA3066249A patent/CA3066249A1/en active Pending
-
2020
- 2020-12-17 US US17/125,501 patent/US11443417B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010081116A2 (en) * | 2009-01-10 | 2010-07-15 | Goldfinch Solutions, Llc | System and method for analyzing properties of meat using multispectral imaging |
US20160066775A1 (en) * | 2013-05-22 | 2016-03-10 | Ian W. Hunter | Methods, systems, and apparatus for imaging spectroscopy |
CN104297165A (zh) * | 2014-10-28 | 2015-01-21 | 南京农业大学 | 一种基于高光谱图像对腐败真菌生长预测的方法 |
Non-Patent Citations (1)
Title |
---|
GABRIEL A LEIVA VALENZUELA: "Assessment of external and internal quality of blueberries using images" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113588571A (zh) * | 2021-09-29 | 2021-11-02 | 广东省农业科学院动物科学研究所 | 一种基于高光谱成像的水产品的腥味识别方法及系统 |
CN113588571B (zh) * | 2021-09-29 | 2021-12-03 | 广东省农业科学院动物科学研究所 | 一种基于高光谱成像的水产品的腥味识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
AU2018289402A1 (en) | 2019-12-12 |
MX2019013962A (es) | 2020-07-14 |
US11443417B2 (en) | 2022-09-13 |
AU2018289402B2 (en) | 2022-10-27 |
US20210174490A1 (en) | 2021-06-10 |
WO2018236844A1 (en) | 2018-12-27 |
EP3642796A4 (en) | 2021-03-17 |
US10902577B2 (en) | 2021-01-26 |
KR20200018640A (ko) | 2020-02-19 |
EP3642796A1 (en) | 2020-04-29 |
US20180365820A1 (en) | 2018-12-20 |
JP2020524326A (ja) | 2020-08-13 |
CA3066249A1 (en) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11410295B2 (en) | System and method for hyperspectral image processing to identify foreign object | |
US11443417B2 (en) | System and method for hyperspectral image processing to identify object | |
US11946806B2 (en) | On-line oil and foreign matter detection system and method employing hyperspectral imaging | |
Geronimo et al. | Computer vision system and near-infrared spectroscopy for identification and classification of chicken with wooden breast, and physicochemical and technological characterization | |
Kamruzzaman et al. | Application of NIR hyperspectral imaging for discrimination of lamb muscles | |
JPWO2019151393A1 (ja) | 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法 | |
Ulrici et al. | Automated identification and visualization of food defects using RGB imaging: Application to the detection of red skin defect of raw hams | |
Naganathan et al. | Hyperspectral imaging of ribeye muscle on hanging beef carcasses for tenderness assessment | |
US20230023641A1 (en) | Automated detection of chemical component of moving object | |
Kato et al. | White striping degree assessment using computer vision system and consumer acceptance test | |
Sun et al. | Predicting pork color scores using computer vision and support vector machine technology | |
Wu et al. | The use of hyperspectral techniques in evaluating quality and safety of meat and meat products | |
Lin et al. | Detection of fishbones in fish floss products using curvelet transform based square-ring band-highpass filtering techniques | |
Gunasekaran | Computer vision systems | |
Lin et al. | Creation of image models for inspecting defects on commercial dried fish floss | |
Kamruzzaman | Multivariate Analysis and Techniques | |
Arora et al. | A Meta-heuristic Approach for Design of Image Processing Based Model for Nitrosamine Identification in Red Meat Image | |
Loh | Fresh fruits selection recommender | |
Liu et al. | Detection of Invisible Damage of Kiwi Fruit Based on Hyperspectral Technique | |
Hongbin et al. | Application of Wavelet Analysis to Spectral Data for Categorization of Lamb Muscles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40020658 Country of ref document: HK |
|
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220908 Address after: California, USA Applicant after: abil technology Co.,Ltd. Address before: California, USA Applicant before: INPA vision |
|
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200221 |