CN106469447A - 物品识别系统与方法 - Google Patents
物品识别系统与方法 Download PDFInfo
- Publication number
- CN106469447A CN106469447A CN201610227033.9A CN201610227033A CN106469447A CN 106469447 A CN106469447 A CN 106469447A CN 201610227033 A CN201610227033 A CN 201610227033A CN 106469447 A CN106469447 A CN 106469447A
- Authority
- CN
- China
- Prior art keywords
- article
- module
- image
- information
- image feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000003595 spectral effect Effects 0.000 claims abstract description 82
- 238000001228 spectrum Methods 0.000 claims abstract description 81
- 238000004458 analytical method Methods 0.000 claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000012706 support-vector machine Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 3
- 208000031481 Pathologic Constriction Diseases 0.000 claims description 2
- 210000001215 vagina Anatomy 0.000 claims description 2
- 235000013305 food Nutrition 0.000 description 169
- 238000010586 diagram Methods 0.000 description 20
- 238000012360 testing method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000019601 food appearance Nutrition 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供了一种物品识别系统与方法。该物品识别系统包括:影像/光谱感测元件,以从实际物品取得物品影像以及在多个感测区域感测多个光谱;撷取模块对物品影像的每一个兴趣区域取得实际物品影像特征形态;物品影像特征分析模块从数据库搜寻出第一候选物品且分析实际物品与候选物品之间的关联;物品光谱特征分析模块从物品影像的每一个兴趣区域取得实际物品光谱特征形态;物品光谱特征分析模块从数据库搜寻第二候选物品且分析实际物品与第二候选物品之间的吻合程度;融合模块进一步分析影像特征与光谱特征的信息以确定是否有与被辧认物品吻合的物品。
Description
技术领域
本发明是有关于一种物品识别系统与方法,且特别是有关于融合影像与光谱信息的物品识别系统与方法。
背景技术
近年来,由于新兴的个人医疗保健,食物识别技术已吸引很多的注意。然而,以影像为基础的食物识别是一个挑战的工作。这是由于即使对相同的食物取得影像,但是食物的外形仍是有多样的变化。在这样的方式下,可以直接采用以组片(patch)为基础的视觉外观的方式取代以特征为基础的方式。
以视觉为基础的食物辨认是新兴辨认物品的应用之一,因为其能用来辅助估算食物热量以及分析人们的饮食习惯以进行健康管理。因此,已有许多方式被提出。在计算机视觉的研究上已经探讨在实验室环境控制下的食物的小组成或由网络所获得的食物影像的辨认。然而,仅有少数的系统尝试挑战从实际环境所获取的影像来对食物辨认,这些方法在特定的环境下可以工作得很好。然而,这些方法的困难点是要找到不变的特征,也就是指此特征在因食物的不同配置所产生不同视觉外观时仍是稳固的。
发明内容
本发明有关于根据食物的影像与光谱的组合而达到食物辨认的技术,有助于提升对于例如食物等此类物品的辨认准确性。
于一实施例,本发明提供一种物品识别系统。此系统包括影像/光谱感测元件、物品影像特征数据库、物品光谱特征数据库、物品影像特征撷取模块、物品影像特征分析模块、物品光谱特征撷取模块、物品光谱特征分析模块、融合模块。影像/光谱感测元件,以从实际物品取得实际物品影像以及在对应该实际物品影像的多个感测区域对该实际物品感测出多个光谱。物品影像特征数据库,储存对应不同的多个第一物品样本的多个影像特征形态,其中每一个物品样本是由一组片来确认,该组片由微基础阵列所构成,其中每一个影像特征形态是一个稀疏编码,代表分布在对应的一个组片上的多个特征微基础的一稀疏编码。物品光谱特征数据库,储存对应不同的多个第二物品样本的多个光谱特征形态。物品影像特征撷取模块,耦接到该物品影像特征数据库,以对应该物品影像的每一个兴趣区域(ROI)取得一实际物品影像特征形态。物品影像特征分析模块,依照该些组片的该些稀疏编码,从该些物品影像特征形态对应每一个该兴趣区域搜寻出至少一个第一候选物品,以及输出关于该至少一第一候选物品的第一信息。物品光谱特征撷取模块,耦接到该物品光谱特征数据库,以对应该物品影像的每一个该兴趣区域取得一实际物品光谱特征形态。物品光谱特征分析模块,对应每一个该兴趣区域从该些物品光谱特征形态搜寻出至少一第二候选物品,输出关于该至少一第二候选物品的第二信息。融合模块分析该第一信息与该第二信息,以决定是否在该第一信息与该第二信息存在至少一组确认物品,以确认该实际物品。
于一实施例,本发明提供一种物品识别方法。此方法包括:提供影像/光谱感测元件、提供物品影像特征数据库、提供物品光谱特征数据库、提供物品影像特征撷取模块、提供物品影像特征分析模块、提供物品光谱特征撷取模块、提供物品光谱特征分析模块、提供融合模块。该影像/光谱感测元件进行从实际物品取得实际物品影像以及在对应该实际物品影像的多个感测区域对该实际物品感测出多个光谱。该物品影像特征数据库用以储存对应不同的多个第一物品样本的多个影像特征形态,其中每一个物品样本是由一组片来确认,该组片由微基础阵列所构成,其中每一个影像特征形态是一个稀疏编码,代表分布在对应的一个组片上的多个特征微基础的一稀疏编码。该物品光谱特征数据库进行储存对应不同的多个第二物品样本的多个光谱特征形态。该物品影像特征撷取模块,进行耦接到该物品影像特征数据库,以对应该物品影像的每一个兴趣区域(ROI)取得一实际物品影像特征形态。该物品影像特征分析模块,进行依照该些组片的该些稀疏编码,从该些物品影像特征形态对应每一个该兴趣区域搜寻出至少一第一候选物品,以及输出关于该至少一第一候选物品的第一信息。该物品光谱特征撷取模块,进行耦接到该物品光谱特征数据库,以对应该物品影像的每一个该兴趣区域取得一实际物品光谱特征形态。该物品光谱特征分析模块,进行对应每一个该兴趣区域从该些物品光谱特征形态搜寻出至少一第二候选物品,输出关于该至少一第二候选物品的第二信息。该融合模块进行分析该第一信息与该第二信息,以决定是否在该第一信息与该第二信息存在至少一组确认物品,以确认该实际物品。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附附图作详细说明如下。
附图说明
图1绘示本发明一实施例的物品识别系统示意图。
图2A绘示本发明一实施例的影像/光谱感测元件示意图。
图2B绘示本发明一实施例的影像/光谱感测元件示意图。
图3绘示本发明一实施例的在初始阶段搜寻候选食物的机制示意图。
图4绘示本发明一实施例的物品影像特征分析模块示意图。
图5绘示本发明一实施例的物品光谱特征分析模块示意图。
图6绘示本发明一实施例的组合影像特征与光谱特征信息的融合模块示意图。
图7绘示本发明一实施例的依照食物组片搜寻候选食物示意图。
图8绘示本发明一实施例的食物样本的光谱特征形态示意图。
图9绘示本发明一实施例的依照方大光谱的方式以验认候选食物的机制示意图。
图10绘示本发明一实施例的依照放大光谱的方式以验认候选食物的机制示意图。
【符号说明】
80:实际食物 400:融合核心
90、90’:物镜 402:处理模块
92、92’:影像感测阵列 404:第一模块
94、94’:光谱感测阵列 406:第二模块
96:感测元件 408:第三模块
100:影像/光谱感测元件 410:第四模块
102:食物影像特征撷取模块 412:第五模块
104:食物光谱特征撷取模块 414:输出模块
106:食物影像特征分析模块 500:食物样本
108:食物光谱特征分析模块 502:组片
110:食物影像特征数据库 504:直方图
112:食物光谱特征数据库 700:食物光谱特征形态
114:融合模块 702:食物光谱特征形态
116:模块 704:食物光谱特征形态
118:应用单元
150:膳食
152:影像
154:微基础阵列
156:光谱形态
200:模块
202:模块
203:搜寻模块
204:外观搜寻模块
206:纹理搜寻模块
208:判断模块
210:外观/纹理选择模块
212:扫描结束电路
214:输出模块
300:模块
302:模块
304:搜寻模块
306:判断模块
308:支持向量机模块
310:扫描结束电路
312:输出模块
具体实施方式
本发明有关于根据物品的影像与光谱的组合而达到物品例如食物的辨认技术。影像的辨认采用一个稀疏编码(sparse code)构成一个组片来代表一个物品种类。因为影像特征与光谱特征二者都被考虑,对于实际物品的识别准确度可以提升。
提供的多个实施例是用来描述,但不是用来限制本发明。
本发明所使用的“模块”代表一个电路,其涉及计算与分析的软件程序。“模块”是属于结构而不仅是一个功能方块。
图1绘示本发明一实施例的物品识别系统示意图。请参阅图1,所述物品识别系统例如为以识别食物为例的物品识别系统,包括影像/光谱感测元件100、食物影像特征数据库110、食物光谱特征数据库112、食物影像特征撷取模块102、食物影像特征分析模块106、食物光谱特征撷取模块104、食物光谱特征分析模块108、融合模块114。此系统也可以还包括一模块116,以处理在经过食物确认后的结果数据。在应用上,其结果可以传送给外部的应用单元118或是给适合需要的任何应用。
通常,影像/光谱感测元件100是要从实际食物取得食物影像以及在对应此食物影像的多个感测区域对此实际食物感测出多个光谱。于此,食物的影像与光谱可以是分别取得,也可以是由单一感测装置整合取得。
图2A绘示本发明一实施例的影像/光谱感测元件示意图。请参阅图1与图2A,影像/光谱感测元件包括对应物镜90的影像感测阵列92以及应物镜90’的光谱感测阵列94。如此,在实际食物80的影像以及对应实际食物80的光谱可为分别取得。然而,光谱是对应实际食物80的多个区域,且会被对应到影像的空间。
另一种方式,食物的影像与光谱可以被整合。图2B绘示本发明一实施例的影像/光谱感测元件示意图。参阅图1与图2B,影像感测阵列92’与光谱感测阵列94’是被整合成感测元件96。影像/光谱感测元件100包括影像感测阵列92’与光谱感测阵列94’,其例如是被叠置在一起且其间的像素对像素是对应的。然而在另一实施例,光谱感测阵列94’的分辨率可能比影像感测阵列92’的分辨率小。于是,其就不需要像素对像素的对应,但是取的光谱的位置可以在影像上的位置相对地对应。更关于像素对像素的对应,其也可以由硬件或是软件达成。于本实施例,影像感测阵列92’与光谱感测阵列94’例如为叠置在一起,光谱感测阵列94’的传感器相对于影像感测阵列92’的几何位置可以准确得知。此两个阵列的对应可以利用硬件或是软件简单地与准确地对应。光谱感测阵列94’的每一个像素产生一个对应波长的光谱。
请再参阅图1,食物影像特征数据库110储存对应不同的多种第一食物样本的多组影像特征形态(Image Feature Pattern),用于影像识别。于此,请先参阅图7,这些食物样本500中的任一个食物样本500由一组片(patch)502来进行识别,组片502例如是由微基础阵列所构成,每一微基础阵列是由多个微基础所构成。请再参阅图7,每一个组片502中的这些微基础(Atom)对于每一种食物是在松散(Sparse)的位置以代表该种特定食物的特征形态。在每一个组片502中的这些微基础构成一组稀疏编码(Sparse Code),不同组片502的不同食物具有不同的稀疏编码。换句话说,这些影像特征形态的每一个是由一组稀疏编码来代表分布在对应的组片的多个特征微基础的一影像信息,所述影像信息例如可以是颜色信息。
请参回至图1,食物光谱特征数据库112储存对应不同的多种第二食物样本的多个光谱特征形态(Spectrum Feature Pattern)。食物影像特征撷取模块102耦接到食物影像特征数据库110以取得对应食物影像中的每一个兴趣区域(Region of Interest,ROI)的一实际物品(食物)影像特征形态。每一个兴趣区域例如是对应上述食物影像中的一个区域,而在此区域中可能有食物要被确认。这兴趣区域中,可能主要包含一种食物,或是包含多种食物的混合,又或是没有食物。一般而言,被影像感测阵列92’所摄取的实际物品影像(或食物影像),可能会是包含多种食物配置在一起的影像。可以根据图像处理技术中关于食物搜寻的算法,来于上述食物影像中找出各个食物影像的可能边缘,并通过此找出的边缘来界定出至少一个兴趣区域。关于影像边缘或区域的侦测可以参考本申请涉及的美国临时专利申请第62/206,317号的内容。但是,本发明并不限于所述的方法来决定出食物的兴趣区域,亦例如可通过一用户介面来让用户圈选决定所述兴趣区域。由前述可知,每一种食物样本各具有对应的稀疏编码,所以一个食物兴趣区域会与对应不同多种食物样本的多组稀疏编码做验证,例如与图7中显示的25种食物样本的25组片的稀疏编码做验证。
食物光谱特征撷取模块104耦接到食物光谱特征数据库112,以对应食物影像的每一个兴趣区域取得一实际物品(食物)光谱特征形态。
图3绘示本发明一实施例的在初始阶段搜寻候选食物的机制示意图。更请一并参阅图3及图1,在一实施例中,一份膳食150可能包含五种食物,其食物影像例如经前述的图像处理技术而被界定出五个兴趣区域,如图3中绘示的五个虚线框影像152。每一个兴趣区域更可以一个或是多个光谱为代表。五个兴趣区域在影像搜寻时被转换为五组微基础阵列154且有五组代表光谱形态156。食物影像特征分析模块106会根据这些组片的稀疏编码从这些影像特征形态中对应每一个兴趣区域搜寻出至少一组第一候选物品(食物),以得到初始结果。
食物影像特征分析模块106更可分析前述实际食物影像特征形态与前述至少一组第一候选物品的每一个间的关联度而给予一权重,并且输出关于前述至少一组第一候选物品的第一信息。
食物光谱特征分析模块108对应每一个兴趣区域从前述多个物品光谱特征形态搜寻出至少一组第二候选物品,以及分析前述实际物品光谱特征形态与前述至少一组第二候选物品的每一个间的吻合程度而对前述至少一组第二候选物品的每一个给予一权重,并且输出关于前述至少一组第二候选物品的第二信息。
融合模块114分析前述第一信息与第二信息,以决定是否有至少一组已确定物品(食物)存在于第一信息与第二信息中,以确认前述实际物品。
图4绘示本发明一实施例的食物(物品)影像特征分析模块示意图。请参阅图1与图4,食物影像特征撷取模块102扫描(Loop)于每一个兴趣区域,且食物影像特征分析模块106依序分析每一个该兴趣区域。于本实施例,食物影像特征撷取模块102例如是包括一模块200以确认一个或多个影像特征物品以及一模块202以扫描每一个兴趣区域以及比较影像特征。
食物影像特征分析模块106包括搜寻模块203,从食物(物品)影像特征数据库110搜寻出至少一组第一候选物品。在一实施例,搜寻模块203例如包括外观搜寻模块204与纹理搜寻模块206,以分析食物外观与食物纹理。判断模块208作为一分析核心操作(analyzing kernel operation),接收至少一组第一候选物品的信息。组片基外观/纹理选择模块(patch-based appearance/texture voting module)210,耦接到前述判断模块208以进一步根据上述组片的稀疏编码对实际物品与至少一组第一候选物品之间作分析。
上述组片基外观/纹理选择模块210可依照支持向量机(Support VectorMachine,SVM)的机制,将所有组片的全部微基础转换出一微基础特征向量,并根据该微基础特征向量的微基础分布,以确认至少一组第一候选物品。
又,扫描结束电路(loop ending circuit)212用以判断是否有任一个兴趣区域还没有被执行食物(或物品)确认,若为是时,则扫描回到上述模块202。在所有的兴趣区域都完成食物确认后,其本质的信息已经由输出模块214输出。
又,前述输出的食物的结果可以用来教育在食物影像特征数据库110中的食物样本。
图5绘示本发明一实施例的物品光谱特征分析模块示意图。请参阅图1与图5,食物光谱特征撷取模块104也扫描于每一个兴趣区域,且食物光谱特征分析模块108依序分析每一个兴趣区域。在本实施例,食物光谱特征撷取模块104例如包括一模块300以确认一个或多个光谱特征物品以及一模块302以扫描每一个兴趣区域以及比较光谱特征。食物光谱特征分析模块108包括搜寻模块304,从该食物光谱特征数据库112依据光谱比较机制,搜寻出多个初始候选物品(食物)。
判断模块306作为分析核心以用来掌控操作。支持向量机模块308耦接于判断模块306以进一步确认上述这些初始候选物品(食物),以得到至少一组第二候选食物且对前述至少一组第二候选食物给予权重。
当上述至少一组第二候选食物包含多种食物但是对应其的多个光谱特征形态是相似时,每一个光谱特征形态的至少一个特征区域可以再被放大,以进一步作细部特征的区分。
又,扫描结束电路310用以判断是否有任一个兴趣区域还没有被执行食物确认,若为是时,则扫描回到上述模块302。在所有的兴趣区域都完成食物确认后,其本质的信息已经由输出模块312输出。
图6绘示本发明一实施例的组合影像特征与频谱光谱特征信息的融合模块示意图。请参阅图6,融合模块114包括数据融合核心(data fusion kernel)400,用以一般性地处理第一信息与第二信息的数据融合。处理模块402耦接到数据融合核心400,对第一信息与第二信息交叉比对,以食物种类的机率分析出相似性以及确认实际食物。在信息融合后,全部的结果会通过输出模块414输出。输出模块414与处理结果数据模块116交流。
又,食物的结果可以用来教育在食物光谱特征数据库112中的食物样本。
在一实施例,处理模块402包括第一模块404耦接数据融合核心404,对于相同的该兴趣区域取得第一候选食物与第二候选食物。第二模块406耦接第一模块404,用以找出上述至少一组第一候选食物与上述至少一组第二候选食物之间的相似。第三模块408耦接第二模块406,根据影像特征或光谱特征以分析一可靠度。第四模块410耦接第三模块408,对上述至少一组第一候选食物与上述至少一组第二候选食物调整权重。第五模块412耦接该第四模块410,以确认实际食物。
图7绘示本发明一实施例的依照食物组片搜寻候选食物示意图。请参阅图7,本实施例是使用具有微基础阵列的食物组片来作食物识别。以下对其机制较详细描述。在食物影像特征数据库110中例如收录25种食物样本作为考虑。根据实验,基于外观与纹理的每一食物样本500可以各由一个组片502来代表,其中每一个组片502是由多个微基础所构成,如图7中间的图所绘示的多个小方块。这些微基础对于对应的每一种特定食物样本是其最具有特征的部分。每一个微基础是一个编码。这些微基础会松散(稀疏)分布在食物样本上,一个组片502的稀疏编码代表此特定食物。
上述组片基的外观/纹理选择模块210可依照SVM机制将所有组片的全部微基础转换成为一微基础特征向量,根据该微基础特征向量的微基础分布,以确认至少一个第二候选物品。请参阅图7的实施例,这25个组片的全部微基础的微基础机率分布构成一直方图504,如浅阴影的直方条(bin)所示。每一个尖峰代表一种食物。要被识别的食物的微基础机率分布是以较深阴影的直方条分布绘示于图7中,以看看是否有任何吻合的尖峰。
图8绘示本发明一实施例的食物样本的光谱特征形态示意图。请参阅图8,多种食物样本的食物光谱形态,例如5种光谱,被收录在食物光谱特征数据库112中。于图8的实施例中,仅分别绘示3种食物样本例如苹果、面食及蛋糕的多个食物光谱特征形态700、702、704,从中可知某一种食物样本可能会有多个相似程度的食物光谱形态分布。
图9为依据本发明一实施例,绘示依照放大光谱的方式以验认候选食物的机制示意图。图10为依据本发明一实施例,绘示另一依照放大光谱的方式以验认候选食物的机制示意图。
请参阅图9与图10的实施例,要被识别的实际食物的光谱特征形态是以X1为标示。标示为X2、X3的光谱特征形态是从食物光谱特征数据库112搜寻出的候选食物的光谱特征形态,例如,图9及图10分别是面食及蛋糕的光谱特征形态。因为,光谱特征形态X2与光谱特征形态X3相似于光谱特征形态X1,面食与蛋糕就为初始搜寻出的候选食物。
为了能够进一步区分面食与蛋糕,图9的面食的光谱特征形态会包含一个或是多个特征区域(例如图9的斜纹图区域),更能用来代表面食。类似地,图10的蛋糕的光谱特征形态亦会包含一个或是多个特征区域(例如图10的斜纹图区域),更能用来代表蛋糕。这些特征区域的光谱信息被放大。据此,面食与蛋糕可因此些细部特征而更准确区分出来。在这实施例,这些细部特征被用来作进一步的确认。然而,当仅有一个候选食物被搜寻出,则利用细部特征作为进一步区分的程序可以省略,又或是仅当作验正而进行此程序。另外,亦可用影像验证的程序来对候选食物进行第二次区分,其例如是用各种食物的影像的颜色信息来作为第二次区分的依据。请参回图9及图10的实施例,于本实施例,面食的光谱特征形态X2相较于蛋糕的光谱特征形态X3具有较高的机率或权重(weight)。
关于两种数据库的教育,被识别的食物品项可以用户确认的方式来响应其识别的正确性。在统计上具有足够的样本后,其多个结果可以用来调整食物样本的影像/光谱特征形态。
再者,对于以光谱为基础的识别结果与以组片为基础的识别结果,其中一个是正确,而另一个是错误的实际食物例子。在经过足够的统计后,对于此特定实际食物,对于经常得到正确识别的其一可以给予较高的权重。
然而,对于数据库的教育机制并不限于上述的各范例。
又,本发明的实施例是以食物为样本作为被识别的物品,但是本发明并不以此为限。相同的机制亦可以应用在其它关注的物品的识别,而不需要限制在食物识别。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何所属技术领域中普通技术人员,在不脱离本发明的精神和范围内,当可作部分的更改与修饰,故本发明的保护范围当视后附的权利要求所界定者为准。
Claims (19)
1.一种物品识别系统,其特征在于,包括:
一影像/光谱感测元件,以从一实际物品取得一物品影像以及在对应该物品影像的多个感测区域对该实际物品感测出多个光谱;
一物品影像特征数据库,储存分别对应多种第一物品样本的多组影像特征形态,其中每一种该第一物品样本是以一组片为代表,该组片是由包含多个微基础的一微基础阵列所构成,其中该每一组影像特征形态是以一组稀疏编码为代表分布在所对应的该组片的该微基础阵列中的多个特征微基础;
一物品影像特征撷取模块,耦接该物品影像特征数据库,以对该物品影像中的至少一兴趣区域(ROI)取得一实际物品影像特征形态;
一物品影像特征分析模块,为该至少一兴趣区域搜寻以该多组稀疏编码为代表的该多个组片的该多组影像特征形态,以选出至少一第一候选物品,以及输出关于该至少一第一候选物品的一第一信息;
一物品光谱特征数据库,储存分别对应多种第二物品样本的多组光谱特征形态;
一物品光谱特征撷取模块,耦接该物品光谱特征数据库,以对该物品影像中的该至少一兴趣区域(ROI)取得一实际物品光谱特征形态;
一物品光谱特征分析模块,为该至少一兴趣区域搜寻该些组光谱特征形态,以选出至少一组第二候选物品,以及输出关于该至少一个第二候选物品的一第二信息;以及
一融合模块,接收并分析该第一信息与该第二信息,以决定是否在该第一信息与该第二信息中存在至少一种确认物品,并以该至少一种确认物品为该实际物品。
2.根据权利要求1所述的物品识别系统,其中该影像/光谱感测元件包括一影像感测阵列及一光谱感测阵列,该影像感测阵列以及该光谱感测阵列为叠置在一起,且在位置上为相互对应。
3.根据权利要求1所述的物品识别系统,其中该物品影像特征撷取模块扫描(loop)于该至少一该兴趣区域中,且该物品影像特征分析模块依序分析各该至少一兴趣区域,其中该物品影像特征分析模块包括:
一搜寻模块,从该物品影像特征数据库搜寻出该至少一个第一候选物品;
一判断模块,接收该至少一个第一候选物品的一信息;以及
一组片基外观/纹理选择模块,耦接该判断模块以根据该组片的该稀疏编码对该实际物品与该至少一个第一候选物品作分析。
4.根据权利要求3所述的物品识别系统,其中该搜寻模块包括一外观搜寻模块与一纹理搜寻模块,以分析物品外观与物品纹理。
5.根据权利要求3所述的物品识别系统,其中该组片基外观/纹理选择模块依一支持向量机(SVM),将该些组片的全部该些微基础转换成为一微基础特征向量,并根据该微基础特征向量的微基础分布,以确认该至少一个第一候选物品。
6.根据权利要求1所述的物品识别系统,其中该物品光谱特征撷取模块扫描(loop)于该至少一个兴趣区域,且该物品光谱特征分析模块依序分析该至少一个兴趣区域,其中该物品光谱特征分析模块包括;
一搜寻模块,从该物品光谱特征数据库依据一光谱比较机制,搜寻出至少一初始候选物品;
一判断模块,用于核心操作;以及
一支持向量机模块,耦接该判断模块,以进一步确认该至少一初始候选物品,以得到该至少一第二候选物品,且对该至少一第二候选物品给予一权重。
7.根据权利要求6所述的物品识别系统,其中该光谱比较机制包括一形状吻合比较。
8.根据权利要求6所述的物品识别系统,其中当该初始选物品包括多个不同物品但是该些不同物品的光谱特征形态相似时,每一个该些光谱特征形态的至少一个特征区域被放大,以作细部特征的分辨。
9.根据权利要求1所述的物品识别系统,其中该融合模块包括:
一信息融合核心,用以对该第一信息与该第二信息作信息融合;以及
一处理模块,耦接到该数据融合核心,依据一物品种类的机率对该第一信息与该第二信息进行交叉比对,以分析出相似性。
10.根据权利要求9所述的物品识别系统,其中该处理模块包括:
一第一模块,耦接该数据融合核心,对于一相同的该兴趣区域取得该至少一第一候选物品与该至少一第二候选物品;
一第二模块,耦接该第一模块,找出该至少一第一候选物品与该至少一第二候选物品之间的相似性;
一第三模块,耦接该第二模块,根据影像特征或光谱特征以分析可靠度;
一第四模块,耦接该第三模块,对该至少一第一候选物品与该至少一第二候选物品作权重调整;以及
一第五模块,耦接该第四模块,以确认该实际物品。
11.一种物品识别方法,其特征在于,包括:
提供一影像/光谱感测元件,以从一实际物品取得一物品影像以及在对应该物品影像的多个感测区域对该实际物品感测出的多个光谱;
提供一物品影像特征数据库,储存多种第一物品样本的多组影像特征形态,其中每一种该第一物品样本是以一组片为代表,该组片是由包含多个微基础的一微基础阵列所构成,其中该每一组影像特征形态是以一组稀疏编码代表分布在所对应的该组片的该微基础阵列中的多个特征微基础;
提供一物品光谱特征数据库,储存多种第二物品样本的多个光谱特征形态;
提供一物品影像特征撷取模块,耦接到该物品影像特征数据库,以对应该物品影像的至少一兴趣区域(ROI)取得一实际物品影像特征形态;
提供一物品影像特征分析模块,为该至少一兴趣区域搜寻以该多组稀疏编码为代表的该多个组片的该多组影像特征形态,以选出至少一第一候选物品,以及输出关于该至少一第一候选物品的一第一信息;
提供一物品光谱特征撷取模块,耦接到该物品光谱特征数据库,以对应该物品影像的该至少一兴趣区域(ROI)取得一实际物品光谱特征形态;
提供一物品光谱特征分析模块,为该至少一个兴趣区域搜寻该些光谱特征形态,以选出至少一第二候选物品,以及输出关于该至少一个第二候选物品的一第二信息;以及
提供一融合模块,接收并分析该第一信息与该第二信息,以决定是否在该第一信息与该第二信息中存在至少一种确认物品,并以该至少一种确认物品为该实际物品。
12.根据权利要求11所述的物品识别方法,其中该物品影像特征撷取模块扫描于该至少一兴趣区域,且该物品影像特征分析模块依序分析该至少一兴趣区域,其中提供该物品影像特征分析模块的该步骤包括:
提供一搜寻模块,从该物品影像特征数据库搜寻出该至少一组包含第一相似的候选物品;
提供一判断模块,用于核心操作,以接收该至少一组包含第一候选物品的信息;以及
提供一组片基外观/纹理选择模块,耦接到该判断模块,根据该组片的该稀疏编码对该实际物品与该至少一第一候选物品作分析。
13.根据权利要求13所述的物品识别方法,其中该搜寻模块包括外观搜寻模块与纹理搜寻模块,以分析物品外观与物品纹理。
14.根据权利要求13所述的物品识别方法,其中该组片基础的外观/纹理选择模块依照支持向量机(SVM),将全部的该些组片的全部该些微基础转换成为微基础特征向量,根据该微基础特征向量的微基础分布,以确认该至少一组第一相似的候选物品。
15.根据权利要求11所述的物品识别方法,其中该物品光谱特征撷取模块扫描于每一个该兴趣区域,且物品光谱特征分析模块依序分析每一个该兴趣区域,其中提供该物品光谱特征撷取模块的步骤包括:
提供一搜寻模块,从该物品光谱特征数据库依据一光谱比较机制,搜寻出多个初始候选物品;
提供一判断模块,用于核心操作;以及
提供一支持向量机模块,耦接于该判断模块以进一步确认该些初始候选物品,以得出该至少一第二候选物品且对该至少一第二候选物品给予一权重。
16.根据权利要求15所述的物品识别方法,其中该光谱比较机制包括形状吻合的比较。
17.根据权利要求15所述的物品识别方法,其中当该第二候选物品包括多种物品但是该些多种物品的多个光谱特征形态相似时,每一个该些光谱特征形态的至少一特征区域被放大,以作细部特征的分辨。
18.根据权利要求11所述的物品识别方法,其中提供该融合模块的步骤包括:
提供一数据融合核心,用以控制该第一信息与该第二信息的信息融合;以及
提供一处理模块,耦接该数据融合核心,分析该第一信息与该第二信息的一物品种类相似度,以确认该实际物品。
19.根据权利要求11所述的物品识别方法,其中提供该处理模块的步骤包括:
提供一第一模块,耦接该数据融合核心,于对应相同的该至少一兴趣区域,取得该至少一第一候选物品与该至少一第二候选物品;
提供一第二模块,耦接该第一模块,找出该至少一第一候选物品与该至少一第二候选物品之间的相似度;
提供一第三模块,耦接该第二模块,根据影像特征或光谱特征以分析一可靠度;
提供一第四模块,耦接该第三模块,对该至少一第一候选物品与该至少一第二候选物品进行权重调整;以及
提供一第五模块,耦接该第四模块,以确认该实际物品。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562206317P | 2015-08-18 | 2015-08-18 | |
US62/206,317 | 2015-08-18 | ||
US14/973,676 US9824434B2 (en) | 2015-08-18 | 2015-12-17 | System and method for object recognition |
US14/973,676 | 2015-12-17 | ||
TW104143650 | 2015-12-24 | ||
TW104143650A TWI620131B (zh) | 2015-08-18 | 2015-12-24 | 物品辨識系統與方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106469447A true CN106469447A (zh) | 2017-03-01 |
CN106469447B CN106469447B (zh) | 2019-07-30 |
Family
ID=58229945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610227033.9A Active CN106469447B (zh) | 2015-08-18 | 2016-04-13 | 物品识别系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106469447B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960005A (zh) * | 2017-05-19 | 2018-12-07 | 内蒙古大学 | 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统 |
CN112446166A (zh) * | 2019-09-03 | 2021-03-05 | 财团法人工业技术研究院 | 材料推荐系统与材料推荐方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102720034A (zh) * | 2012-06-26 | 2012-10-10 | 无锡小天鹅股份有限公司 | 识别衣物污渍种类的方法 |
CN103888549A (zh) * | 2014-04-19 | 2014-06-25 | 顾坚敏 | 基于云和智能终端的营养与生活管理系统 |
CN104406916A (zh) * | 2014-11-04 | 2015-03-11 | 百度在线网络技术(北京)有限公司 | 食物的检测方法和装置 |
US20150168365A1 (en) * | 2013-12-18 | 2015-06-18 | Robert A. Connor | Caloric Intake Measuring System using Spectroscopic and 3D Imaging Analysis |
US20150228062A1 (en) * | 2014-02-12 | 2015-08-13 | Microsoft Corporation | Restaurant-specific food logging from images |
-
2016
- 2016-04-13 CN CN201610227033.9A patent/CN106469447B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102720034A (zh) * | 2012-06-26 | 2012-10-10 | 无锡小天鹅股份有限公司 | 识别衣物污渍种类的方法 |
US20150168365A1 (en) * | 2013-12-18 | 2015-06-18 | Robert A. Connor | Caloric Intake Measuring System using Spectroscopic and 3D Imaging Analysis |
US20150228062A1 (en) * | 2014-02-12 | 2015-08-13 | Microsoft Corporation | Restaurant-specific food logging from images |
CN103888549A (zh) * | 2014-04-19 | 2014-06-25 | 顾坚敏 | 基于云和智能终端的营养与生活管理系统 |
CN104406916A (zh) * | 2014-11-04 | 2015-03-11 | 百度在线网络技术(北京)有限公司 | 食物的检测方法和装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960005A (zh) * | 2017-05-19 | 2018-12-07 | 内蒙古大学 | 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统 |
CN108960005B (zh) * | 2017-05-19 | 2022-01-04 | 内蒙古大学 | 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统 |
CN112446166A (zh) * | 2019-09-03 | 2021-03-05 | 财团法人工业技术研究院 | 材料推荐系统与材料推荐方法 |
CN112446166B (zh) * | 2019-09-03 | 2024-05-14 | 财团法人工业技术研究院 | 材料推荐系统与材料推荐方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106469447B (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210064909A1 (en) | Article management system, information processing apparatus, and control method and control program of information processing apparatus | |
US10498941B2 (en) | Sensor-synchronized spectrally-structured-light imaging | |
Minervini et al. | Finely-grained annotated datasets for image-based plant phenotyping | |
TWI620131B (zh) | 物品辨識系統與方法 | |
US10113910B2 (en) | Sensor-synchronized spectrally-structured-light imaging | |
CN105335725B (zh) | 一种基于特征融合的步态识别身份认证方法 | |
CN107463946B (zh) | 一种结合模板匹配与深度学习的商品种类检测方法 | |
US20150235110A1 (en) | Object recognition or detection based on verification tests | |
JP6532642B2 (ja) | 生体情報認証装置および生体情報処理方法 | |
CN108549870A (zh) | 一种对物品陈列进行鉴别的方法及装置 | |
CN106845513B (zh) | 基于条件随机森林的人手检测器及方法 | |
Linker | A procedure for estimating the number of green mature apples in night-time orchard images using light distribution and its application to yield estimation | |
CN103325122A (zh) | 基于双向排序的行人检索方法 | |
Wang et al. | Multi-spectral dataset and its application in saliency detection | |
Meerdink et al. | Multitarget multiple-instance learning for hyperspectral target detection | |
Jayaraman et al. | An efficient color and texture based iris image retrieval technique | |
CN106469447A (zh) | 物品识别系统与方法 | |
Song et al. | Affine transforms between image space and color space for invariant local descriptors | |
Sudana et al. | Mobile Application for Identification of Coffee Fruit Maturity using Digital Image Processing | |
Ramisa et al. | Evaluation of the sift object recognition method in mobile robots | |
Andono et al. | Texture feature extraction in grape image classification using k-nearest neighbor | |
JP6717769B2 (ja) | 情報処理装置及びプログラム | |
Dibiano et al. | Food image analysis for measuring food intake in free living conditions | |
Ramya et al. | Identification of Plant Species by Embedded Technology Using MatLab | |
EP4120195A1 (en) | A method, a computer program and a system for calibrating at least one camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |