CN107873101B - 用于对象辨识和评估的成像系统 - Google Patents

用于对象辨识和评估的成像系统 Download PDF

Info

Publication number
CN107873101B
CN107873101B CN201580074085.0A CN201580074085A CN107873101B CN 107873101 B CN107873101 B CN 107873101B CN 201580074085 A CN201580074085 A CN 201580074085A CN 107873101 B CN107873101 B CN 107873101B
Authority
CN
China
Prior art keywords
food
image data
image
dimensional
food items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580074085.0A
Other languages
English (en)
Other versions
CN107873101A (zh
Inventor
克里斯多夫·M·马蒂
丹尼尔·L·劳
约翰·P·科茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spectral Pixel Co.,Ltd.
Original Assignee
Ke LisiduofuMMadi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ke LisiduofuMMadi filed Critical Ke LisiduofuMMadi
Priority to CN202210116872.9A priority Critical patent/CN114495092A/zh
Publication of CN107873101A publication Critical patent/CN107873101A/zh
Application granted granted Critical
Publication of CN107873101B publication Critical patent/CN107873101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Abstract

一种用于使用被配置为捕获一个或多个对象的二维和/或三维图像数据的一个或多个传感器的方法和系统。特别地，该方法和系统将一个或多个数字传感器与可见光和近红外照明相结合，以捕获一个或多个对象的可见和不可见范围的光谱图像数据。捕获的光谱图像数据可以用于分离和识别该一个或多个对象。另外，三维图像数据可以用于确定该一个或多个对象中的每一个的体积。可以单独地或相组合地使用一个或多个对象的识别和体积数据以获得关于对象的特征。该方法和系统向用户提供捕获一个或多个对象的图像并获得关于该一个或多个对象中的每一个的相关特征或信息的能力。

Description

用于对象辨识和评估的成像系统
相关申请的交叉引用
本申请要求于2014年11月21日提交的共同未决的美国临时申请第62/082,795号对于两个申请所共有的主题的优先权和权益。所述临时申请的全部公开内容通过引用并入本文。
技术领域
本发明大体上涉及一种将被配置为捕获一个或多个对象的二维和/或三维图像数据的一个或多个传感器组合的系统。特别地，本发明涉及一种被配置为捕获一个或多个对象例如食物项的光谱图像数据和尺寸数据并将这些数据导出到基于网络的应用的系统。该系统的基于网络的应用部分利用多个算法和表格数据数据库来促进对一个或多个对象的表征，以及实施综合程序以使用户自动地跟踪和监视该一个或多个对象的期望变量、特性和特征。
背景技术
一般地，人们一直使用多种不同的方法和设备来跟踪膳食食物消耗和健康。这些方法包括用于计算卡路里、跟踪点、排除或限制某些类型的食物等的系统。这些系统还可以包括健康跟踪，以估计用户可能关于所估计的卡路里摄入燃烧了多少卡路里。总的来说，智能电话、平板电脑和其他移动设备的广泛使用已经彻底改变了许多人对他们的食物消耗习惯的监测方式和指导方式。
然而，这些设备、系统、应用和方法有若干缺点。特别地，目前的饮食监测技术部分地基于对象成像和表征技术的缺点而具有若干缺点。最受欢迎的与食物相关的跟踪和记录应用旨在与智能电话一起使用，从而允许用户下载应用，建立用户账户，用户在该用户账户中输入他们的减肥目标、运动量、常量营养素摄入量、血压、睡眠模式等。常规的应用需要用户基于从食物和相关联值的网络数据库进行选择而通过自我报告的方式手动记录他们的食物摄入和运动。在使用手动报告的信息的情况，饮食监测应用通常基于用户输入来输出营养信息。许多用户发现手动输入食物是困难、麻烦且混乱的，这导致用户无法长时间坚持使用或正确使用该应用，而这降低了这种现有技术的有效性。
另外，使用光谱法来分析食物的化学组成(主要是识别过敏原)的若干手持式消费型光谱仪设备更为常见。然而，这些手持式光谱仪设备并未集成有自动确定各部分的体积或者自动分离和分隔盘子上的各种食物以自动分析整份膳食的任何装置。光谱仪需要用户手动输入他们的饮食摄入和运动，以监测他们的卡路里和营养摄入。另外，当用户需要捕获他们的膳食中的食物项的化学组成时，除了其他常用设备诸如智能电话以外，手持式光谱仪表示用户随身携带以供使用的另一种设备。最后，手持式消费型光谱仪设备是昂贵的。需要一种下述系统，该系统为用户提供一种综合装置，用以以更具成本效益的方式——其以更加健全的方式利用已有的用户设备诸如智能电话——捕获一个或多个对象诸如食物项的图像数据，并自动评估该一个或多个对象的特征以及使用所确定的特征来自动实施期望的处理，诸如获得、跟踪和监测卡路里和营养摄入。
发明内容
需要一种下述成像系统，其允许用户捕获一个或多个对象的图像，并立即将所捕获的图像与辨识图像中的对象的数据相关联，以及计算、确定或获得关于对象的附加的有用信息。为了本申请的目的，将在食物项分析的使用情况内描述成像系统实现，包括向系统的用户提供捕获食物项的图像以及获得与卡路里和营养相关的特征或信息(例如实际食物重量)的能力，以使得实现饮食管理。然而，如本领域技术人员将理解的，本发明的技术可以用于食物管理领域以外的领域。
在捕获食物项特征的具体实施例中，本发明的系统使用户能够捕获该用户将要消耗或购买的一个或多个食物项的图像并且立即在他们的设备上获得营养元素(fact)和成分标签(例如类似于标准食物和药物管理局(FDA)标签)的显示，显示出食物的实际重量、卡路里、胆固醇、钠、碳水化合物、糖和其他营养值，然后将这类信息记录在例如用户的账户中。
本发明的系统除了具有其他所期望的特征之外还针对于解决这些需求的其他解决方案。具体地，本发明是一种综合且自动化的系统，其将3D扫描装置以及二维和/或三维数字成像传感器的功能集合在一起，以捕获对视场内的至少一个对象诸如食物项进行识别和表征所需的数据。本发明的系统提供大量基于云和/或网络的资源集合，以利用由系统捕获的数据来收集、计算、合成关于该一个或多个对象的信息以及向用户显示这样的信息，诸如示例性实现中所扫描食物项的营养值。本发明的系统使得能够对食物和营养摄入进行自动监测。本发明的系统可以用于从对象诸如食物项的光谱特征、二维或三维数字相机图像以及3D扫描收集信息，并且将该信息同与多个算法和表格对象数据数据库通信的基于网络的应用结合使用，以收集、存储信息并向用户显示信息，并且在食物项实施例中提供与用户的饮食习惯和食物摄入相关的这类信息。
根据本发明的一说明性实施方案，提供了一种用于针对营养值自动检测和处理一盘食物的方法。该方法包括：通过至少一个传感器、基于视场中该盘食物相对于其他对象的深度检测该盘食物的边缘；以及通过该至少一个传感器捕获该盘食物的三维模型。该方法还包括：通过该至少一个传感器捕获该盘食物的图像数据，上述图像数据包括该盘食物的可见光图像和至少一个近红外(NIR)图像；以及通过处理器将上述图像数据转换成合成图像，该合成图像模拟(mimick，摹拟)由单个传感器拍摄的单个图像。该方法还包括：通过处理器识别与合成图像对应的食物项；通过处理器将所识别的食物项的三维模型转换成所识别的食物项的体积；以及通过处理器、基于所识别的食物项的体积计算该食物项的饮食信息。
根据本发明的方面，该方法可以包括：确定所识别的食物项的初始体积；确定所识别的食物项的最终体积；以及基于所识别的食物项的初始体积与所识别的食物项的最终体积之差，计算所识别的食物项的体积变化。
根据本发明的方面，该方法可以包括：从数据库获得所识别的食物项的饮食信息，以及计算所识别的食物项的体积变化的饮食含量。
根据本发明的方面，该方法可以包括：通过LED阵列照射该盘食物；获得在745nm、810nm、940nm、970nm和/或1050nm的波长下的反射图像数据；以及将反射图像数据与特征食物元素相关联。
根据本发明的方面，可以关于上述可见光图像和至少一个近红外(NIR)图像计算所识别的食物项的体积和重量。
根据本发明的一说明性实施方案，提供了一种用于自动检测和处理目标区域中的一个或多个对象的方法。该方法包括：通过至少一个传感器、基于视场中目标区域相对于其他对象的深度来检测目标区域的边缘；以及通过该至少一个传感器捕获目标区域内的一个或多个对象的三维模型。该方法还包括：通过该至少一个传感器捕获该一个或多个对象的图像数据，上述图像数据包括从来自该一个或多个对象的反射光的可见光图像分离出的RGB元素或矢量以及从来自该一个或多个对象的反射光图像数据提取的特定波长的多个近红外矢量；以及通过图像处理模块将上述图像数据转换成合成图像，该合成图像模拟由单个传感器拍摄的单个图像。该方法还包括：通过图像处理模块识别该一个或多个对象中与合成图像的颜色像素对应的至少一个对象；以及通过图像处理模块、基于像素的深度确定三维模型中的每个像素的空间体积。该方法还包括：通过图像处理模块将每一所识别的至少一个对象的每个像素的空间体积转换成该至少一个对象的体积值；以及通过图像处理模块对合成图像中的所识别的至少一个对象的颜色像素中的每一个的体积值进行求和，以计算该至少一个对象的总体积。
根据本发明的一说明性实施方案，提供了一种系统。该系统包括数字相机。该数字相机包括：至少一个图像传感器，该数字相机被配置为将捕获的在一光谱范围内的可见光和在一光谱范围内的近红外(NIR)光转换为所捕获光电压；将所捕获光电压转换为三维(3D)图像数据的至少一个图像处理模块；以及记录3D图像数据的记录设备。数字相机捕获并记录在NIR光谱范围内的至少两个不同且不重叠的光谱范围子集，而不记录不重叠的光谱范围子集之间的光谱范围间隙。该系统还包括图像处理引擎。该图像处理引擎被配置为：分析所捕获和记录的所捕获光电压以识别一个或多个对象；基于所记录的三维图像数据确定该一个或多个对象在给定时间段的体积数据；以及从一个或多个数据库获得所识别的一个或多个对象的特征信息数据。该系统还包括用于输出该一个或多个对象的体积数据和特征信息数据的显示设备。
根据本发明的方面，可以在400nm至700nm的光谱范围内捕获可见光，并且可以在700nm至1050nm的光谱范围内捕获NIR光。
根据本发明的方面，该至少一个图像传感器还可以包括：三维扫描装置，其被配置为捕获该一个或多个对象的三维点云数据；具有可见光阻挡滤光器的数字NIR相机，其被配置为捕获该一个或多个对象的光电压；以及RGB数字相机，其被配置为捕获该一个或多个对象的二维或三维图像数据。数字NIR相机通过一次一个地循环通过NIR LED阵列来捕获该至少两个不同且不重叠的光谱范围子集的一系列的两个或更多个图像。
根据本发明的方面，所捕获光电压用于识别该一个或多个对象的一个或多个子对象。可以分离出该一个或多个对象的被识别的一个或多个子对象，并且可以从一个或多个数据库获得该一个或多个子对象中的每一个的特征信息数据。
根据本发明的方面，人工智能引擎可以识别至少一个预定义图元(primitive)，并触发RGB数字相机和数字NIR相机对准该至少一个预定义图元。
根据本发明的方面，该至少一个图像处理模块可以被配置为使用该一个或多个对象的三维点云数据来确定从该至少一个图像传感器到该一个或多个对象的距离长度(range)，确定该一个或多个对象的表面积，以及在不需要使用基准参考标记的情况下使用飞行时间和表面积来计算该一个或多个对象的大小和形状。可以通过计算视场中三维点云数据的像素的数量来确定该一个或多个对象的飞行时间和表面积。
根据本发明的一说明性实施方案，提供了一种用于自动确定对象的系统。该系统包括：近红外(NIR)发光二极管(LED)阵列，该阵列包含至少两种不同波长的LED；三维扫描装置，其被配置为捕获对象的三维图像；数字RGB相机，其被配置为捕获对象的二维和/或三维可见光图像数据；以及数字NIR相机，其被配置为捕获对象的NIR图像数据。NIR LED阵列发射在预定光谱范围内的受控光，并且三维扫描装置捕获对象的三维图像数据，数字RGB相机捕获对象的二维可见光图像数据，以及数字NIR相机捕获一系列NIR数据集，该NIR数据集的捕获是在触发所述对象的每个NIR数据集的独特LED波长时进行的。该对象的三维图像数据、该对象的二维和/或三维可见光图像数据以及该对象的NIR数据由系统转换为在该对象的组成和该对象的体积方面的特征相关定义。
根据本发明的一说明性实施方案，提供了一种系统。该系统包括数字相机。该数字相机包括至少一个图像传感器，该数字相机被配置为将捕获的在一光谱范围内的可见光和在一光谱范围内的近红外(NIR)光转换成所捕获图像数据。该系统还包括被配置成捕获三维图像数据的至少一个三维图像扫描装置；其中，数字相机捕获在NIR光谱范围内的至少两个不同且不重叠的光谱范围子集，而不捕获在不重叠的光谱范围子集之间的光谱范围间隙中的光。
根据本发明的方面，该至少一个图像传感器还可以包括：被配置为捕获三维图像数据的三维扫描传感器；被配置为捕获二维可见光图像数据的数字RGB相机传感器；以及具有可见光阻挡滤光器的数字NIR相机传感器，该数字NIR相机传感器被配置为捕获二维和/或三维NIR图像数据。在一些实现中，该至少一个图像处理模块可以被配置为将来自三维扫描传感器、数字RGB相机传感器和数字NIR相机传感器的图像数据转换为源自单个传感器的代表性图像数据集。在一些实现中，该系统还可以包括被配置为产生不重叠光谱的至少两个光源设备。该至少一个图像传感器通过在该至少两个光源设备的每个单独光源的启用期间捕获图像数据来关于该至少两个光源设备中的每一个捕获在NIR光谱范围内的至少两个不同且不重叠的光谱范围子集。
根据本发明的方面，该至少一个图像处理模块可以被配置为捕获N个图像数据集。该N个图像数据集包括一可见光图像捕获的图像数据和来自N-1次NIR图像捕获的图像数据。该至少一个图像处理模块还可以被配置为在该至少两个光源设备全部被设置为关闭的情况下捕获环境图像数据，并从N个图像数据集减去环境图像数据。
根据本发明的方面，数字相机还包括镜头、传感器和三维微处理器，并且该至少一个传感器使用立体视觉、飞行时间和结构光中至少之一捕获三维图像数据。
根据本发明的方面，该至少一个图像传感器还可以包括至少微机电光谱芯片集、红外(IR)源、多个聚光透镜、狭缝、IR带通滤光器、衍射光栅、数字微镜器件、检测器和微处理器。该系统还可以包括被配置为通过网络传送数据的有线和无线连接设备。
根据本发明的方面，数字相机可以被配置为将捕获的在100nm至400nm的光谱范围内的紫外(UV)光转换为所捕获光电压。在一些实现中，可以在400nm至700nm的光谱范围内捕获可见光，并且可以在700nm至1050nm的光谱范围内捕获NIR光。
根据本发明的一说明性实施方案，提供了一种对象评估系统。该系统可以包括成像传感器应用程序接口(API)，该成像传感器API被配置为捕获并存储一个或多个对象的视觉光谱范围图像数据和近红外光谱图像数据。该系统还可以包括三维扫描装置API，该三维扫描装置API被配置为捕获并存储该一个或多个对象的三维图像数据。该系统还可以包括视觉比较API，该视觉比较API被配置为基于所捕获的视觉光谱范围图像数据和近红外光谱图像数据来识别该一个或多个对象。该系统还可以包括自动分割API，该自动分割API被配置为基于通过视觉比较API的识别来分离该一个或多个对象中的每一个，并基于三维图像数据计算经分离的一个或多个对象中的每一个的体积。
根据本发明的方面，该一个或多个对象可以为膳食中的一个或多个食物项。该系统还可以包括体积和重量API，该体积和重量API被配置为将所识别的一个或多个对象与远程数据库相互对照，以确定该一个或多个对象的营养值。该系统还可以包括营养值输出API，该营养值输出API被配置为基于营养值输出该一个或多个对象中的每一个的营养信息。
根据本发明的方面，视觉比较API可以将视觉光谱范围图像数据和近红外光谱图像数据与存储在数据库中的预定图像数据值进行比较。
根据本发明的方面，该系统还可以包括条形码和光学字符辨识API，该条形码和光学字符辨识API被配置为分析通用产品代码(UPC)或字符列表以为系统获得附加信息。
根据本发明的说明性实施方案，提供了一种方法。该方法包括通过三维图像扫描装置捕获三维图像。该方法还包括基于来自三维图像的数据确定在三维图像扫描装置与一个或多个对象之间的距离长度。该方法还包括通过图像处理模块、基于该距离长度和来自三维图像的数据来确定该一个或多个对象中的每一个的体积。该方法还包括：通过RGB相机模块捕获可见光图像；以及通过近红外(NIR)相机模块捕获NIR图像序列，该NIR图像序列的捕获是在同时触发每个捕获的NIR图像的独特LED波长时进行的。该方法还包括：通过人工智能模块分析所捕获的可见光图像和该NIR图像序列以识别该一个或多个对象中的每个独特对象；以及基于所识别的一个或多个对象和该一个或多个对象中的每一个的体积确定关于该一个或多个对象的附加特征。
根据本发明的一说明性实施方案，提供了一种成像系统，用于以任何可操作的组合进行本文中所描述的对象辨识和评估及等同物辨识和评估。
根据本发明的一说明性实施方案，提供了一种以任何可操作的步骤组合对本文中所描述的对象和等同物进行辨识和评估的方法。
附图说明
通过结合附图参考以下详细描述，将更全面地理解本发明的这些和其他特征，在附图中：
图1描绘了根据本发明的用于捕获和自动确定一个或多个对象的特征的系统；
图2描绘了根据本发明的方面的用于捕获和自动确定一个或多个对象——被实施为食物项对象——的特征的系统；
图3a、图3b、图3c和图3d示出了根据本发明的方面的用于系统的示例性壳体；
图4是根据本发明的方面的由系统捕获、解读和使用的原始光谱数据的图形表示；
图5是根据本发明的方面的从所捕获的图像数据得出的并由系统使用的光谱特征数据的图形表示；
图6是根据本发明的方面的包括使用该系统获得的许多像素数据点的云图；
图7是描绘根据本发明的方面的使用系统用于食物项评估的示例性过程的说明性流程图；
图8是描述根据本发明的方面的使用系统用于食物项评估的示例性过程的说明性流程图；
图9是根据本发明的方面的待捕获和待处理膳食的描绘；
图10a和图10b是根据本发明的方面的由扫描图9中的膳食所得到的营养信息的描绘；以及
图11是根据本发明的方面的用于实施系统和过程的高层体系结构的图解说明。
具体实施方式
本发明的说明性实施方案涉及一种系统，该系统用于对一个或多个对象进行成像并同时确定该一个或多个对象的特征(例如识别、分析等)，以及至少部分地基于对该一个或多个对象的识别和体积确定来获得关于该一个或多个对象的附加信息，而无需使用基准对象作为确定尺度(scale)的参考等。特别地，本发明涉及下述系统，该系统使用利用可见光成像和近红外三维成像二者的设备，以用于识别和分析视场内的一个或多个对象诸如食物项，并确定那些对象的体积和其他特征，诸如食物项的卡路里和营养值。如果需要，本发明的技术使得能够在单个视场内定位多个对象(例如整盘食物)，并能够实施本发明的过程以对那些多个对象进行成像和确定它们的特征。本发明利用单个二维和三维传感器或传感器与一个或多个光源的组合，以使用大部分电磁光谱来捕获该一个或多个对象的图像数据(或所捕获光电压)。本发明的系统提供通过使用传感器融合技术集合在一起的不同感测方法的独特组合。具体地，二维和三维传感器能够捕获在覆盖约400nm至700nm的可见光谱区域和约700nm至1050nm的不可见近红外光谱区域的电磁波长内的图像数据。可以通过将可见光谱范围内的图像数据的图像分析与近红外光谱区域中的图像数据的光谱分析结合来获得对该一个或多个对象的识别。可以对由二维和三维传感器捕获的数据执行光谱分析，以得到在所捕获的图像内的该一个或多个对象的光谱特征，并利用该光谱特征来识别在所捕获的图像内的该一个或多个对象。
另外，二维和三维传感器可以捕获对象的三维数据，并使用所捕获的三维数据来确定该一个或多个对象的估计体积。可以捕获和分析相结合的光谱特征和三维体积数据，以自动确定一个或多个目标对象的各种特征。在一示例性实施方案中，可以使用食物项的相结合的视觉图像数据、光谱特征数据和三维体积数据来自动确定实际的食物重量，并分离和分隔盘上的各种食物，以及确定所捕获的膳食图像中的每个食物项的标准营养元素标签。另外，三维数据可以用于确定不同时间段的体积数据之差。体积数据之差可以应用于各种有用的目的，包括例如确定用户消耗的食物项的量以及所消耗的食物项的量的相关联营养元素。
当与本发明的饮食系统结合使用时，可以使用相结合的二维视觉图像数据、光谱特征图像数据和三维体积数据来自动跟踪用户的营养摄入并向用户提供附加信息，以帮助达成营养目标。自动营养跟踪的一种实现需要用户在食用膳食前捕获图像数据和三维体积数据，并在食用膳食后再次进行这样的捕获。本发明的系统可以使用图像数据和三维体积数据来自动识别膳食中的食物项，分离各种类型的食物项，确定每种类型的初始食物体积和每种类型的最终食物体积，以及计算膳食的所消耗部分的营养值(例如，初始食物体积和最终食物体积之差的营养值)。该过程向用户提供所消耗的食物的所有营养信息，同时仅需要用户在食用膳食之前和之后捕获膳食的图像数据，而不需要使用基准项或使用户手动输入数据。在对象评估系统/饮食跟踪系统中使用的二维和三维传感器以及涉及的非常规步骤提供了对象识别技术的独特改进。特别地，使用由图像传感器捕获的数据来识别一组物项中的各个物项、确定各个所识别的物项中的每一个的体积数据以及基于该识别和体积来确定关于所识别的物项的附加特征信息的这些非常规步骤是对传统的对象识别技术的改进。如本领域技术人员将理解的，跟踪所识别的食物项的营养信息的实施例意在仅出于例示的目的，并且本发明可以为了特定目的用于识别和计算各种类型的对象的体积信息和其他特征信息。
图1至图11——其中贯穿这些附图相同的部分由相同的附图标记表示——示出了根据本发明的用于捕获一个或多个对象的光谱特征和三维体积数据以及确定该一个或多个对象的各种特征的系统和方法一个或多个示例性实施方案。虽然将参考附图中所示的一个或多个示例性实施方案描述本发明，但是应当理解，许多替代形式可以实施本发明。本领域的技术人员还将理解以一定方式更改所公开的实施方案的参数——诸如元素或材料的大小、形状或类型——的不同方法仍然符合本发明的精神和范围。此外，应当注意，除非另有说明，否则在具体实施方式、附图和权利要求中对本文以例如纳米(nm)表示的具体波长的所有引用均旨在包括指定的示例性波长加10％或减10％，如本领域技术人员容易理解的。
图1描绘了用于实施本发明的方面的说明性系统。特别地，图1描绘了包括对象评估系统102的系统100。根据一示例性实施方案，对象评估系统102可以是网络连接或云连接的计算基础设施，其提供用于捕获一个或多个对象的图像数据、转换图像数据、在经转换的图像数据中识别该一个或多个对象以及提供关于该一个或多个对象的附加特征的工具。如本领域技术人员将理解的，图像数据可以包括可以从所捕获的数字图像(例如二维图像或三维图像)获得和/或得到的任何信息。例如，对象评估系统102可以包括基于云的应用，该应用被设计为识别一个或多个食物项、确定食物项的体积、以及基于食物项的识别和体积来确定食物项的营养值。另外，对象评估系统102可以使用在膳食之前和膳食之后食物项的图像数据来估计用户的营养摄入。
对象评估系统102可以包括计算设备104、输入和输出设备112以及存储系统114，该计算设备具有处理器106、存储器108、输入输出接口110的。如本领域技术人员将理解的，计算设备104可以包括单个计算设备、网络计算系统中的一批计算设备、云计算基础设施或其组合，如本领域技术人员将理解的。类似地，如本领域技术人员将理解的，存储系统114可以包括被配置为存储和组织许多数据的计算设备的任何组合。例如，存储系统114可以是计算设备104上的本地存储设备、远程数据库设施或云计算存储环境。存储系统114还可以包括利用给定数据库模型的数据库管理系统，该数据库管理系统被配置为与用户进行交互以分析数据库数据。
继续图1，对象评估系统102可以包括被配置为执行本发明的各种功能的核心模块的组合。根据本发明的一示例性实施方案，对象评估系统102可以包括至少图像处理模块116和人工智能模块118。图像处理模块116和人工智能模块118可以是被配置为执行本发明的各方面的软件和硬件的任何组合。例如，图像处理模块116可以被配置为捕获图像数据并对图像数据执行操作，人工智能模块118可以被配置为分析从图像处理模块116接收的所产生图像数据。
根据本发明的一示例性实施方案，输入和输出设备112可以包括成像传感器120和光源设备122或以其他方式与成像传感器和光源设备通信。成像传感器120和光源设备122可以包括能够捕获图像和图像数据并提供用于捕获那些图像的照明的传感器或设备的任何组合。例如，成像传感器120可以包括能够捕获对象的可见光图像数据、红外图像数据、短波红外图像数据和近红外二维和/或三维图像数据的单个传感器。根据本发明的一示例性实施方案，成像传感器120可以包括被配置为捕获和分析对象的视觉图像数据、光谱特征图像数据和三维图像数据的数字红绿蓝(RGB)相机传感器、近红外传感器(NIR)、三维扫描装置等的任何组合。例如，成像传感器120可以捕获由入射在对象的表面上的光的波长的吸收或发射特征限定的图像数据。类似地，光源设备122可以包括能够为成像传感器120生成照明以捕获对象的可见光图像数据、不可见光图像数据和近红外二维和/或三维图像数据的光源的任何组合。例如，光源设备122可以包括能够生成适当的照明以用于由成像传感器120捕获视觉图像数据、光谱特征图像数据和三维图像数据的发光二极管(LED)阵列。根据本发明的一示例性实施方案，成像传感器120和光源设备122可以是与对象评估系统102的其余部分附接或通信的单独设备。例如，成像传感器120和光源设备122可以包括在计算设备104内，或包括在通过计算设备104的I/O接口110通信的单独输入和输出设备112内。
根据本发明的一示例性实施方案，对象评估系统102可以被配置为通过无线网络诸如电信网络126与系统100的其他计算设备124或部件(例如存储系统114、成像传感器120等)通信。其他计算设备124可以被实施为对象评估系统102的一部分，并且其任务可以被设置为执行数据获取、计算、转换、分析以及数据输出的任何组合。根据本发明的一示例性实施方案，对象评估系统102可以一体地嵌入在其他计算设备124内并与其他计算设备124协作以执行本发明的各个方面。如本领域技术人员将理解的，其他计算设备124可以包括计算设备——如关于对象评估系统102计算设备所描述的——的任何组合。例如，其他计算设备124可以包括个人计算机、膝上型计算机、平板电脑、智能电话等。根据本发明的一示例性实施方案，其他计算设备124可以被配置为通过电信网络126建立连接并进行通信以执行本发明的各方面。如本领域技术人员将理解的，电信网络126可以包括无线网络的任何组合。例如，电信网络126可以是移动网络、WAN、LAN、
Figure BDA0001356258940000141
或其他类型的无线网络技术的组合。电信网络126可以用于在计算设备之间交换数据、与存储系统114交换数据和/或从另外的数据源采集数据。
图2描绘了用于执行利用本发明的方面的示例性实现的说明性架构。特别地，图2描绘了实施如关于图1所讨论的对象评估系统102的示例性系统200。具有对象评估系统102的系统200被配置为捕获一个或多个对象的二维和/或三维图像数据、分析所捕获的图像数据、识别该一个或多个对象、确定该一个或多个对象的尺寸以及获得关于该一个或多个对象的附加特征。例如，系统200可以用于分析膳食，以识别膳食中的各个食物项、确定食物项的尺寸(例如表面积、体积等)以及基于所识别的食物项和它们相应的尺寸计算膳食的营养值和化学组成。如图2所描绘的对象评估系统102包括容纳执行本发明的功能所需的部件的计算设备104。根据本发明的一示例性实施方案，计算设备104包括微处理器106以至少处理图像数据的捕获。如本领域技术人员将理解的，微处理器106可以执行根据本发明的捕获、计算、确定、分析、转换等步骤的一部分或全部。计算设备104还包括在通信上附接至计算设备104的多个成像传感器120。多个成像传感器120可以包括近红外(NIR)相机模块120a、可见光相机模块120b(例如RGB相机模块)和三维扫描装置120c。
NIR相机模块120a可以是能够在电磁光谱的近红外区域中捕获光谱特征图像数据的任何传感器。例如，NIR相机模块120a可以是具有可见光阻挡滤光器(例如以700nm+进行截断(cutoff))、能够捕获在约700nm至1050nm的电磁波长光谱中的光谱特征图像数据的数字NIR相机传感器。数字NIR相机传感器的一个示例是配有可见光阻挡滤光器诸如Wratten88A(或在700nm进行截断的类似滤光器)的Omnivision 5647传感器。类似地，可见光相机模块120b可以是能够在可见波长光谱区域(400nm至700nm)中捕获可见光图像数据的任何传感器。例如，可见光相机模块120b可以是能够捕获在约400nm至750nm的光谱中的图像数据的数字RGB相机。数字RGB相机传感器的一个示例是具有NIR阻挡滤光器和固定聚焦模块的Omnivision 5647传感器。如本领域技术人员将理解的，存在可以被包括的许多波长的组合，并且所呈现的波长仅作为示例。另外，可见光相机模块120b还可以捕获对象的形状和纹理数据。如本领域技术人员将理解的，NIR相机模块120a和可见光相机模块120b能够捕获不同光谱波长的RGB图像。三维图像扫描装置
根据本发明的一示例性实施方案，三维扫描装置120c可以是能够捕获对象的三维图像数据或对对象进行建模的任何传感器设备。例如，三维扫描装置120c可以包括被配置为捕获和分析三维图像数据的激光器、激光二极管和感测装置、三维微处理器。根据本发明的一示例性实施方案，三维扫描装置120c可以捕获三维图像数据而无需参考/基准对象。如本领域技术人员将理解的，可以使用立体视觉、飞行时间、结构光方法或本领域已知的任何方法的任何组合来捕获三维数据。例如，三维扫描装置120c的三维微处理器可以针对所捕获的图像分析从三维图像扫描装置120c到对象的距离或距离长度(例如通过使用飞行时间)，并使用所捕获的图像数据和对距离长度的分析来创建点云数据输出(例如，以.txt或.asc文件的格式)。三维图像数据可以包括与对象的形状和体积有关的数据。如本领域技术人员将理解的，可以使用单个传感器设备来执行关于相机模块120a、120b、120c所讨论的所有功能。
根据本发明的一示例性实施方案，计算设备104包括光源设备122，以为成像传感器120捕获各种光谱图像数据提供必要的照明。如本领域技术人员将理解的，光源设备122可以包括能够产生必要的照明以捕获可见光光谱区域和不可见光/NIR光谱区域中的数据的任何照明设备。根据本发明的一示例性实施方案，光源设备122可以是包括多种不同颜色的发光二极管(LED)阵列，以模仿各种光谱的照明。例如，LED阵列可以包括用于在约700nm至1100nm的范围内的五种不同的近红外光谱波长的照明，以及用于范围从约400nm至700nm的可见光谱的白光的照明。如本领域技术人员将理解的，存在可以被包括的许多波长的组合，并且所呈现的波长仅作为示例。另外，LED阵列可以在中心波长纳米范围上加10％或减10％，其可以根据计算设备104的需要进行补偿。
根据本发明的一示例性实施方案，计算设备104可以包括在通信上附接至微处理器106、能够提供数据以用于另外的处理和分析的其他部件。例如，计算设备104可以包括有线和/或无线通信接口(例如，WiFi、
Figure BDA0001356258940000161
蜂窝、通用串行总线(USB)等)、地理定位接口(例如全球定位系统(GPS))、电源、麦克风、显示器、扬声器、运动感测设备等。有线和/或无线通信接口可以用于将信息从计算设备104发送到基于网络的应用(例如，在对象评估系统102、存储系统114、其他计算设备124等上的应用)。例如，如果对象评估系统102被实施为基于云的应用或安装在本地计算设备(例如，膝上型计算机、台式计算机等)上，则计算设备104可以通过有线或无线接口与对象评估系统10的其余部分通信。类似地，例如，计算设备104可以通过有线无线通信接口直接与中间计算设备(例如，智能电话、平板电脑、台式计算机、膝上型计算机等)通信，并且中间计算设备可以将数据传递到远程对象评估系统102。
根据本发明的一示例性实施方案，地理定位接口可以用于获得待提供给对象评估系统102的计算设备104的位置信息。根据本发明的一示例性实施方案，地理定位信息可以通过GPS获得，并由对象评估系统102使用以收集关于特定对象的附加信息。例如，在确定关于所识别的食物项的营养元素时，地理定位信息可以用于获得特定连锁餐厅的区域菜单。如本领域技术人员将理解的，计算设备104可以在通信上附接至另一设备或嵌入至另一设备内，并且利用所附接的宿主设备的无线接口、微处理器和/或地理定位接口。例如，计算设备104可以是插入到移动计算设备(例如智能电话)中的移动计算设备盒(case)，并且计算设备104可以利用移动计算设备的硬件和软件来执行无线通信、处理、地理定位、音频视觉呈现等。根据本发明的一示例性实施方案，系统200还可以包括另一个其他计算设备124和数据库126(例如存储系统114)，如关于图1所讨论的。
图3a至图3d描绘了用于容纳关于图1和图2所讨论的计算设备104的壳体实现装置(implementation)300的各种视图。特别地，图3a至图3d描绘了包围计算设备104的其他部件(例如，成像传感器120a和120b、光源设备122、有线和/或无线通信接口、地理定位接口、电源、麦克风、显示器、扬声器、运动感测设备等)的壳体实现装置300。根据本发明的一示例性实施方案，壳体实现装置300可以具有与常用的移动计算设备(例如智能电话)近似相同或相似的厚度和宽度。例如，壳体实现装置300的高度可以是约五又四分之三英寸。如本领域技术人员将理解的，壳体实现装置300可以包括单个设备、模块的组合或待连接至另一计算设备的单个外围设备。
根据本发明的一示例性实施方案，壳体实现装置300可以包括安装系统。该安装系统可以使计算设备104能够附接至另一对象的表面、下侧或包围另一对象，其中该计算设备的位置方便用户使用对象评估系统102和计算设备104。安装系统可以包括移动计算设备盒和/或柜架(cabinet bracket)。例如，柜架使设备能够附接至厨柜的下侧，使得可以方便地捕获和分析与在厨房中准备的食物有关的信息。根据本发明的一示例性实施方案，计算设备104可以直接与常用的移动计算设备集成。例如，包围计算设备104的壳体实现装置300可以用作移动计算设备的移动计算设备盒，并且可以在通信上附接至另一移动计算设备124(例如，无线地或通过移动计算设备的输入/输出端口)。
根据本发明的一示例性实施方案，计算设备104可以一体地嵌入在另一现有计算设备(例如其他计算设备124)内。图3d描绘了嵌入在另一计算设备内的计算设备104的示例性表示。特别地，图3d描绘了嵌入在智能电话设备内的计算设备104。因此，壳体实现装置300是其他计算设备124，并且计算设备104集成在壳体实现装置300(例如其他计算设备124)内并且在通信上附接至该壳体实现装置。
根据本发明的一示例性实施方案，计算设备104可以用于使移动计算设备(例如另一移动计算设备124)能够在对象评估系统102内运行。特别地，壳体实现装置300可以包括成像传感器120a和120b、光源设备122、有线和/或无线通信接口、地理定位接口、电源、麦克风、显示器、扬声器、运动感测设备，以供另一移动计算设备124使用。有线通信接口可以包括直通USB、多个适配器和盖。直通USB还可以包括一对母USB输入端。适配器可以包括公母USB插头的任何组合，并且可以用于允许计算设备104与其他计算设备124通信。例如，USB插头可以用于通过有线连接将I/O接口110连接至另一移动计算设备124诸如智能电话或平板电脑。当不使用有线连接时，可以将盖插入到设备的USB输入端中。根据本发明的一示例性实施方案，壳体实现装置300可以包括用于各种图像捕获部件(例如，成像传感器120和光源设备122)的多个外部透镜或窗口302。
继续图3a至图3d，壳体实现装置300可以包括致动机构304。致动机构304可以包括一个或多个按钮，以使用户能够在设备接近一个或多个目标对象时通过启用致动机构304来触发计算设备104的各种部件。本领域技术人员将理解，致动机构304在壳体实现装置300上的确切位置和机构可以变化，而不限于图中所示的位置和机构。根据本发明的一示例性实施方案，致动机构304可以与运动检测传感器相关联，使得当用户在一个或多个目标对象上方摆动计算设备104时，计算设备104的功能被启用。例如，用户可以在包含将被消耗的食物项的菜肴上方“摆动”计算设备104，并且致动机构304可以被运动检测传感器触发并启动成像传感器120和后续的处理步骤，如本文更详细地讨论的。根据本发明的一示例性实施方案，壳体实现装置300可以包括电源。电源向本发明的计算设备104的各部件提供电流。电源可以包括能够通过有线连接再充电的电池、经由USB输入端的有线电源或本领域已知的任何电源。
在运行中，如关于图1和图2中描绘的系统100和200所讨论的对象评估系统102可以用于自动捕获一个或多个对象的二维和三维图像数据(例如，可见光图像数据、光谱特征图像数据和三维数据)，并将图像数据转换成用于识别该一个或多个对象和确定该一个或多个对象的体积的格式。此后，对象评估系统102可以使用该一个或多个对象的识别和体积来确定关于该一个或多个对象的其他期望特征。在一示例性实现中，对象评估系统102可以用于捕获膳食的二维和三维图像数据，并使用该图像数据来识别膳食中的不同食物项、计算食物项中的每一个的尺寸(例如体积、表面积、重量等)、以及通过基于食物项的相应体积对食物项中的每一个的营养值进行求和来确定整份膳食的营养值。
根据本发明的一示例性实施方案，通过使用计算设备104的成像传感器120将一个或多个对象定为目标并在对应照明的组合下捕获可见光图像、可见近NIR图像和三维图像的组合来启动本发明的整个过程。该一个或多个对象可以是对象评估系统102被校准用于识别的、用户感兴趣获得关于其的附加信息(例如尺寸、特征等)的任何对象。例如，计算设备104和对象评估系统102可以被校准并用于识别视场内的食物项、确定各个食物项各自的体积以及随后基于体积提供关于食物项的营养信息。如本领域技术人员将理解的，校准可以包括更改用于识别特定类型的对象的硬件和软件设置的组合。例如，硬件可以包括用以产生适当的照明条件以使用成像传感器120捕获特定类型的对象的期望光谱范围图像所需的光源设备122。根据本发明的一示例实施方案，对象评估系统102可以被校准以捕获一个或多个对象的特定属性。例如，对象评估系统102可以被校准以使用745nm的特定光谱波长作为第一基线、810nm的光谱波长作为第二基线、940nm的光谱波长用于脂肪、970nm的光谱波长用于碳水化合物/水以及1020/1050nm的光谱波长用于蛋白质来捕获特征食物元素。如本领域技术人员将理解的，所识别的波长仅出于示例性目的，并且对象评估系统102可以被配置为捕获本领域已知的光谱波长的任何组合和范围，其中特定波长是基于被评估的一个或多个对象确定的。
计算设备104可以使用成像传感器120的组合来捕获视场内的一个或多个对象的二维和/或三维数字图像。根据本发明的方面，可以从数字图像中提取图像数据以供使用。如本领域技术人员将理解的，图像数据可以包括可以从由成像传感器120捕获的数字图像获得和/或得到的数据的任何组合。根据本发明的一示例实施方案，成像传感器120可以获得该一个或多个对象的覆盖各种不同的电磁波长的图像数据。例如，传感器120可以是被配置为捕获不可见近红外光谱波长图像数据(例如，约700nm至1050nm)的NIR相机模块120a和被配置为捕获可见波长图像数据(例如，约400nm至650nm)的可见光相机模块120b的组合。另外，成像传感器120可以被配置为捕获该一个或多个对象中的每一个的三维图像数据或三维模型。例如，成像传感器120可以包括可以用于捕获该一个或多个对象的三维图像数据或构建该一个或多个对象的三维模型的三维扫描装置120c。如本领域技术人员将理解的，可以使用单个成像传感器或多个成像传感器来获得关于成像传感器120a、120b、120c所讨论的图像数据。
在使用不止一个成像传感器120捕获所需图像数据的情况下，对象评估系统102可以针对传感器融合采取(例如使用微处理器106)另外的处理步骤。根据本发明的一示例性实施方案，可以组合或转换来自多个成像传感器120的数字图像(例如图像数据)，以使用本领域已知的任何方法来创建图像数据整体的单个表示。例如，对象评估系统102可以利用传感器融合将多个传感器图像数据输入转换为将所捕获的一个或多个对象的图像每一个的响应曲面定义为随光谱波长变化的一系列矢量。这样，该一个或多个对象的每个元素可以通过由IR反射响应和可见光的可见光谱响应(例如颜色)定义的光谱函数来表示。如本领域技术人员将理解的，如果使用单个成像传感器来捕获所有成像数据，则不需要传感器融合处理步骤。传感器融合可以由微处理器106、图像处理模块116或其他云计算系统的任何组合执行。
根据本发明的一示例性实施方案，在运行中，光源设备122可以被配置为提供各个成像传感器120捕获在期望的光谱波长范围的二维和三维图像数据所需的照明。光源设备122可以是本领域已知的可以为捕获在各种光谱波长范围的图像提供照明的任何光源。例如，光源设备122可以包括能够产生用于以可见光谱波长和不可见近红外光谱波长捕获图像的照明的发光二极管(LED)阵列。光源设备122可以产生用于捕获可见光谱图像数据(例如RGB)的白光源，并且可以使用一系列不同的不重叠照明用于不可见近红外光谱图像数据。如本领域技术人员将理解的，光源设备122可以通过从代替白光源LED或与白色光源LED组合的单独的红、绿和蓝LED生成的光照来产生必要的照明。
根据本发明的一示例性实施方案，LED阵列可以用于通过循环通过被配置为产生不重叠的目标波长中的每一个的特定波长LED来产生照明条件，并且在每个不重叠的波长捕获图像数据。例如，LED阵列可以包括五个LED，并且成像传感器120可以在每个LED打开同时其他四个LED关闭的情况下捕获图像数据。如本领域技术人员将理解的，LED阵列或替代光源可以包括为捕获期望的不重叠光谱波长范围的图像数据创建期望照明环境所需的任何数量的LED。
根据本发明的示例性实施方案，LED阵列可以包括五个NIR LED和三个可见红、蓝、绿(RGB)LED。八个LED的阵列可以通过如下方式使用：这样的方式即使用傅里叶变换法独特地调制各个LED，以同时采集八个波长(例如，由五个NIR LED产生的光谱图像数据和由三个RGB LED产生的可见光图像数据)。同时获得八个波长可以将光谱获取缩减至约一秒，同时降低环境光的影响。在该示例性实施方案中，可以将图像获取与调制波长同步(例如通过图像处理模块116)以将环境(未调制的)与光谱信号(经调制的)分离。如本领域技术人员将理解的，LED阵列中可以包括任何数量的LED颜色和类型及其组合，以产生根据本发明捕获图像数据所需的照明。
所产生的在各种不重叠光谱波长捕获的图像数据可以由对象评估系统102使用，以用于识别所捕获图像中的一个或多个对象。如本领域技术人员将理解的，实际捕获时刻的波长不需要是不重叠的，这是因为可以使用去卷积法来创建表示不重叠波长的图像。不重叠波长的图像数据提供跨越NIR波长光谱的足以独特地表征大多数食物项的测量值。使用不重叠波长使得更加可能产生使得能够较好地识别所捕获图像中的一个或多个对象的图像数据。换句话说，两个重叠的波长光谱将导致两个不期望的相关测量值，这意味着如果一个测量值较大，则另一个测量值也可能较大。
类似于传感器融合处理步骤，可以采用另外的处理步骤来优化在使用不重叠照明波长时所捕获的图像数据(例如去卷积)。根据本发明的一示例性实施方案，通过使用本领域已知的方法移除环境光源，可以优化以不同的不重叠照明波长所捕获的图像数据。例如，成像传感器120可以在LED阵列中的所有LED均关闭的情况下捕获图像数据，以便创建环境基线图像。环境基线图像可以用于将循环通过各个特定光谱波长LED时所捕获的所有图像转换成具有环境光已移除(例如执行减法运算)的图像数据的图像。例如，图像传感器120可以捕获N个图像(例如N＝9)，其中第一图像是可见光数字图像(例如可见光图像数据)，并且剩余的N个图像(例如8个剩余图像)是每一个均具有独特的LED照明的NIR数字图像。图像传感器120可以在所有LED均关闭的情况下再捕获一个图像，第N+1个图像。图像处理模块116可以从前N个图像(例如前9个图像)减去额外的第N+1个图像以移除环境光。
根据本发明的一示例性实施方案，对象评估系统102可以使用成像传感器120或成像传感器120a和120b结合光源设备122来捕获识别所捕获图像中的一个或多个对象所需的图像数据。例如，对象评估系统102的图像处理模块116可以用于处理由成像传感器120捕获的一个或多个对象的的信号，并执行任何附加处理(例如传感器融合、去卷积等)。一旦来自图像传感器120的图像数据被捕获、处理和转换，对象评估系统102就可以对经处理和/或转换的图像数据执行另外的分析。根据本发明的一示例性实施方案，人工智能模块118可以使用所捕获的、经处理和转换的图像数据来执行另外的分析，以用于识别对象。如本领域技术人员将理解的，可以将人工智能模块118训练成识别任何特定类别或子集类别的对象。例如，可以具体地将对象评估系统102的人工智能模块118训练成识别食物项。
根据本发明的一示例性实施方案，人工智能模块118可以对来自图像处理模块116的所捕获图像数据执行两部分式分析，以识别一个或多个对象。在该分析的第一处理部分期间，人工智能模块118可以对所捕获的图像数据运行图像分析。图像分析可以基于所捕获的视觉图像数据，并且人工智能模块118可以识别视场内的各个对象。如本领域技术人员将理解的，视场可以包括所捕获图像的整个区域或所捕获图像的整个区域的子集。根据本发明的一示例性实施方案，图像分析可以分析视觉图像数据，以识别视场内的一个或多个对象的独特大小、形状和颜色。一旦一对象被识别为独特对象，对象评估系统102就可以在第二处理步骤中将该单独对象与其他独特的一个或多个对象分离，以用于另外的分析。第一分析步骤可以继续分析所捕获的图像数据，直到所有的独特对象被识别并与一个或多个对象中的其余对象分离。例如，可以基于独特大小、形状、纹理、颜色等的分析在视觉上识别食物项。食物项的独特大小、纹理、形状和颜色可以提供一独特的图像数据集，该独特的图像数据集可以由计算机算法基于已辨识的与数据库(例如存储系统114)中已知的独特大小、纹理、形状和颜色的模式匹配进行分析。例如，可以通过与球芽甘蓝的独特大小或大小范围、颜色(具体为淡绿色)、纹理和/或形状匹配的模式识别出球芽甘蓝。根据本发明的一示例性实施方案，可以将视觉图像数据转换为要在人工智能模块118的智能模式辨识或模式匹配期间使用的颜色直方图，如关于图5进一步详细讨论的。
根据本发明的一示例性实施方案，图像处理模块116和/或人工智能模块118可以为来自第一处理部分的每个分离的对象创建独特的光谱特征。特别地，图像处理模块116和/或人工智能模块118可以使用从成像传感器120获得的在各种光谱波长范围内的光谱图像数据来转换所捕获的图像数据，以为每个分离出的对象创建独特的光谱特征。图4中描绘了从原始光谱响应(光谱图像数据)捕获的各种光谱范围的示例。特别地，图4示出了多种食物项(例如鸡肉、土豆和豌豆)的真实光谱反射。根据本发明的一示例性实施方案，如图4所描绘的光谱图像数据可以用于为所捕获图像中的一个或多个对象中的每一个创建光谱特征。例如，可以将图像数据转换成如图5的曲线图所表示的光谱特征(例如，利用相结合的可见光、RGB和NIR图像数据)。特别地，图5以直方图形式描绘了当以其中包括鸡肉、土豆和豌豆作为食物项的膳食为目标时由成像传感器120捕获的原始图像数据的图形表示。每个食物项的图像数据被转换并绘制为针对以纳米为单位的波长的隐含吸收或log1/R(R＝反射率)响应。如图5所示，每个绘制的食物项(例如，三文鱼、培根脂肪、培根瘦肉和汉堡)均具有可以归属于该食物项且用于识别的独特响应模式(例如光谱特征)。如本领域技术人员将理解的，图4和图5描绘的曲线图仅仅是为了说明的目的，并且图形数据可以以不同的形式组织和存储。
根据本发明的一示例性实施方案，该分析的第二处理部分可以利用光谱分析来进一步识别对象和/或对象的特性。特别地，人工智能模块118可以被训练成对各个分割出的对象及它们相应的光谱特征进行光谱分析。光谱分析可以包括执行对象的光谱图像数据与存储在数据库中的先前记录的已知光谱波长的交互相关。如本领域技术人员将理解的，存储在数据库中的先前记录的已知光谱波长可以是根据对象评估系统102被编程为识别的所有对象的样本所产生的光谱波长。人工智能模块118被训练成在使用的数据库中的已知光谱特征与根据所捕获图像数据创建的光谱特征之间执行模式匹配。人工智能模块118的模式匹配可以包括用于准确地预测匹配模式的任何已知的算法组合。例如，人工智能模块118可以扫描数据库中的光谱特征以找到最接近的匹配光谱特征，并确定该最接近的匹配光谱特征是该对象的身份(identity)。如本领域技术人员将理解的，人工智能模块118可以基于模式匹配内的预定阈值来识别一个或多个对象和/或那些对象的特征。
根据本发明的一示例性实施方案，人工智能模块118可以被训练用于识别一个或多个对象。人工智能模块118的逻辑可以基于机器学习并且训练人工智能基于可见光图像数据和近红外图像数据的组合来辨识对象。除了特定光谱特征(例如颜色)之外，人工智能模块118可以被训练成还将一个或多个食物项的独特大小、形状和纹理相关联。类似地，人工智能模块118可以被训练成将特定光谱特征与特定对象相关联，该关联可以存储在数据库(例如存储系统114)中。在训练人工智能模块118之前，必须为将来待由对象评估系统102识别的一个或多个对象构建知识数据库。例如，对对象评估系统102进行编程的用户可以在期望识别的所有食物项中进行扫描，并且为每个食物项创建光谱特征。如本领域技术人员将理解的，可以不断地用由服务提供商和用户库的组合创建的新对象条目来更新数据库。将所有食物项的这些记录以及食物项的名称一起供给训练AI的AI训练模块。
根据本发明的一示例性实施方案，可以使用对象评估系统102或替代训练系统、使用中性背景来获取对象的图像样本。可以将关于所获取的对象的信息手动输入到系统中，并且该信息将在数据库中与该对象相关联，以供人工智能模块118使用。例如，可以将对象的名称和实际重量记录在TIFF和/或CSV文件中。另外，可以在所获取的对象的图像内(受限于对象的边界)选择感兴趣区域。可以获得该对象的所选感兴趣区域的多个图像平面(例如二十一个平面)，并将这些图像平面存储在TIFF文件中。每个独特的对象将具有用于训练人工智能模块118的单独的文件(例如单独的CSV文件)。一旦已经创建文件(例如CSV文件)库，人工智能模块118就可以开始训练过程。如本领域技术人员将理解的，可以使用本领域已知的任何方法和系统来构建知识数据库，并且可以使用那些方法和系统中的任一种来训练人工智能模块118。
根据本发明的一示例性实施方案，可以将从图像数据转换的、待由人工智能模块118使用的光谱特征表示为标量值的矢量。标量值的矢量可以在人工智能模块118识别一个或多个对象期间用于像素分类。例如，可见光图像数据可以包括三种颜色(例如，红色、绿色、蓝色)，而近红外图像数据可以包括十五种颜色(例如，以五个特定的不重叠波长捕获的每个图像三种颜色)，并且将这些颜色相组合以针对每个像素形成十八种颜色的矢量。类似地，根据另一示例性实施方案，可以对来自五个特定的不重叠波长的图像数据求平均，以为每个像素的八种颜色的矢量创建单个单色像素值。继续该实施例，在取十八个颜色值的矢量的情况下，该矢量可以由十八维超立方体来表示(例如，相机像素范围从0.0到1.0，以创建18个维度的可能组合)。由于特定对象的像素应该是相对一致的，那么来自该对象的像素的所有点将在十八维立方体中落在彼此附近。否则，像素分类可以被认为是绘制从图像数据得出的大数据点集合，以创建数据点云。例如，蓝色对象可以具有在可识别边界内簇集在一起的蓝色数据点云，使得当该特定蓝色对象落入对应于该特定对象的预先识别边界集内时，人工智能模块118可以在所捕获图像中识别出该特定对象的出现。图6描绘了包括许多像素数据点的特定云的示例。可以基于颜色(例如光谱区域)将特定云划分成多个段，并且可以为与这些颜色相关联的落入区域建立边界。例如，如图6所描绘的，可以将特定云划分为代表红色、蓝色和绿色区域(RGB)中的每一个的三个云和边界，使得如果对象的像素落入顶部边界区域，则可以确定该对象是红色对象。如本领域技术人员将理解的，人工智能模块118可以使用任何算法组合来确定用于对特定对象进行分类的边界。例如，人工智能模块118可以使用K最近邻技术、支持向量机、决策树、贝叶斯估计、神经网络、本领域已知的其他方法。
一旦数据库已填充有足够的光谱特征集合，人工智能模块118就可以关于由成像传感器120捕获的图像数据做出推断，并且对所捕获图像数据内的一个或多个对象做出识别。例如，人工智能模块118可以将来自所接收的图像数据的数据点(例如，像素超立方体、边界等)进行比较，并将上述数据点与数据库中现有的已知光谱特征的数据点进行比较。根据比较，人工智能模块118能够确定来自所捕获图像的一个或多个对象(例如，产生图像数据的图像)是否与已知对象充分匹配。
根据本发明的一示例性实施方案，人工智能模块118可以被训练成通过使用加权匹配度量识别与一对象相关联的独特模式来识别该对象的独特化学组成。例如，蛋白质(例如约1050nm)具有与碳水化合物(例如约970nm)不同的光谱波长反射。如本领域技术人员将理解的，可以基于材料在化学组成方面的特征成分来选择光谱波长(例如，根据已知化学物质的标准响应)。根据本发明的一示例性实施方案，第二级识别/匹配利用基于经典的食物成分——诸如脂肪、碳水化合物、蛋白质——的化学特征来定义常量营养素，并利用光谱颜色成像来帮助依据肉类、蔬菜等对食物组进行分类，后面的这些成分与查找匹配而非绝对成分类型确定更加相关。例如，人工智能模块118通过以下方式来解读分隔的样本食物元素的光谱图像数据，该方式即将上述光谱图像数据分割为例如代表食物的功能元素的八个单独通道。例如，含有血红蛋白的(红肉)、含有叶绿素的(绿色蔬菜)、含有脂肪的(NIR940nm)、含有碳水化合物/水的(NIR 970nm)和含有蛋白质的(NIR 1020nm...由1050nm LED检测)。对食物材料的这种光谱分析是从可见光图像数据(从如图5所描绘的计算颜色直方图中提取的)与近红外图像数据组成——其基于从来自特定波长光源(例如使用NIR)的反射图像获得的分析——的组合得出的。例如，组合的视觉图像数据和光谱图像数据可以被转换成如图5的曲线图所示的对象的光谱相关性。在一示例性实施方案中，图5描绘了当以其中包括三文鱼、培根脂肪、培根瘦肉和汉堡作为食物项的膳食为目标时，由成像传感器120捕获的视觉图像数据和光谱图像数据的图形表示。每个食物项的图像数据被转换并绘制为针对以纳米为单位的波长的隐含吸收或log 1/R响应。如图5所示，每个绘制的食物项均具有可以由人工智能模块118用于识别对象的独特模式(例如光谱相关性)。
根据本发明的一示例性实施方案，对象评估系统102可以采集附加数据，和/或该附加数据可以存储在数据库中以用于任何分析、确定、转换和计算步骤。计算设备104可以包括用于通过条形码扫描装置、光学字符辨识、音频提示、挥发性有机化合物(VOC)传感器以及来自用户的手动输入等采集附加数据的附加部件。例如，输入和输出设备可以使用条形码扫描装置从条形码读取信息，字符辨识可以辨识成分列表，麦克风可以捕获用户说出的食物项的口头描述等。根据本发明的一示例性实施方案，对象评估系统102可以被配置为结合成像传感器120使用光谱仪。成像传感器120和光源设备122的组合可以通过以与光谱仪处理光谱数据相同的方式处理图像数据而同等地用作光谱仪。如本领域技术人员将理解的，成像传感器120可以用于发射光谱法、直接吸收或反射光谱法、或拉曼光谱法。根据本发明的一示例性实施方案，成像传感器120可以包括微电子机械光谱测量芯片集，该微电子机械光谱测量芯片集还包括IR源、多个聚光透镜、狭缝、IR带通滤光器、衍射光栅、数字微镜器件、检测器和微处理器。成像传感器120可以输出与食物项的光谱特征有关的信息，可能以绘制吸收率随波长或波数(波长倒数)变化的图形形式进行输出。
根据本发明的一示例性实施方案，从成像传感器120接收的三维图像数据可以由图像处理模块116用于确定一个或多个对象的尺寸(例如，表面积、体积、重量、密度等)。如本领域技术人员将理解的，确定一个或多个对象的尺寸可以独立于如本文所讨论的识别步骤来执行。图像处理模块116可以利用通过可见光成像和三维成像得出的函数、使用三维图像数据来确定一个或多个对象的体积、重量和密度。体积、重量和密度可以由图像处理模块116获得，而不需要针对尺度确定的基准或参考对象或不要其帮助。根据本发明的一示例性实施方案，可以利用一个或多个对象的x坐标、y坐标、z坐标来确定体积。根据本发明的一示例性实施方案，可以通过确定从成像传感器120到目标对象的距离或距离长度来确定z坐标。然后可以使用该距离或距离长度(例如z坐标)来计算x坐标和y坐标。特别地，可以使用z矢量来关于剩余坐标(例如，x矢量、y矢量)计算图像中的像素的数量。特别地，成像传感器120可以通过使用相机的视场作为参考来检测像素离相机的距离，并且该成像传感器可以被校准以给出坐标x、坐标y并直接测量一个或多个对象的大小和形状。通过算出像素的数量并获得大小和形状，图像处理模块116可以计算一个或多个对象的表面。使用一个或多个对象的范围和表面积，图像处理模块可以计算其他尺寸(例如，重量、体积等)。根据本发明的一示例性实施方案，可以关于视觉图像数据来计算对象的体积和重量。
根据本发明的一示例性实施方案，使用三维图像数据确定的一个或多个对象中的每一个的尺寸可以用于识别装盘膳食中的不同食物项的体积(或其他表面上的其他类型的对象)。如本领域技术人员将理解的，确定与一盘食物相关的x坐标、y坐标和z坐标是示例性实施例，并且不限于计算食物项的尺寸。继续该示例性实施方案，三维扫描装置102c(或其他成像传感器120)可以用于捕获三维扫描装置102c和该盘食物项之间的深度或距离长度。图像处理模块116可以识别底表面和顶表面。例如，底表面可以被识别为食物项所位于的盘或盘轮廓，而顶表面可以是盘上的食物项的顶表面的三维表面区域/形状。如果无法确定整个盘轮廓以致无法识别盘的形状，则可以使用可见区域盘来创建盘的形状。特别地，图像处理模块116可以识别与盘——其中表面上没有搁置食物来遮挡对该盘的观察——对应的图像的像素，并使用盘像素来重建盘表面。例如，假设是一对称盘，系统可以在中心点对盘的可见区域进行投射，并使该形状在360度内重复以创建整个盘形状。如本领域技术人员将理解的，可以使用任何对象来表示与被识别的一个或多个对象有关的底表面，并且盘的示例不意为限制性的。例如，继续以食物为例，在确定食物项的体积时，可以使用碗、台面、桌面等作为底表面。
然后可以使用所确定的盘形状(或其他对象形状)以及食物项的三维表面区域/形状来确定盘上的每个食物项的体积。利用从来自三维扫描装置102c的三维图像数据得出的盘像素，图像处理模块116可以使用三维图像数据来确定盘的三维形状(例如，使用x坐标、y坐标、z坐标)和盘的表面上的食物项。可以使用所识别的底表面(例如盘)和顶表面(例如食物项的表面区域)来计算x坐标、y坐标、z坐标。特别地，可以根据三维图像数据来创建像素立方体，并且像素立方体的尺寸(例如，在底表面和顶表面之间的深度用于z值，并且基于离传感器的距离的已知横向像素值用于x值、y值)可以用于确定像素立方体的体积测量。像素立方体的体积可以应用于与每个食物项的表面对应的所有像素，因此每个食物项的体积可以通过对所有相关像素体积求和来确定。因此，在体积计算期间将对底表面的识别用作代表性深度值(例如，相对于一个或多个对象的顶表面)。底表面(例如盘)并没有如依赖于传统方法那样用作基准对象。换言之，所建立的底表面(例如盘)提供在底表面和上表面之间的差(z坐标)以与x坐标和y坐标一起使用来计算对象的体积，而无需使用基准对象作为用于尺度确定的参考。
根据本发明的一示例性实施方案，食物项的体积数据可以用于确定特定食物项的至少重量、密度和卡路里值。密度可以通过利用由人工智能模块118提供的食物项的身份并从数据库中检索该特定食物项的密度来确定。根据体积和密度可以计算出食物项的特定重量。利用重量，对象评估系统可以针对该特定食物项从数据库中检索出重量到卡路里的转换。
图7和图8示出了描绘本发明的实现的示例性流程图。具体地，图7描绘了示出关于图1至图6所讨论的对象评估系统102的操作的示例性流程图。特别地，图7描绘了过程700，其中对象评估系统102捕获膳食的图像并提供关于膳食中的食物项的营养信息。在步骤702，由用户在一盘食物上方触发成像传感器102来启动该过程。例如，用户在该盘食物上方摆动计算设备104并启动对象评估系统102。计算设备104在一盘食物上方的摆动可以触发运动感测致动机构304传送信号，以启用成像传感器102捕获图像数据。一旦图像捕获过程已启动，用户就应该将计算设备104保持在固定位置，以便清楚且准确地捕获图像数据。根据本发明的一示例性实施方案，计算设备104可以显示捕获过程已经启动的指示，其中会教导用户使计算设备104在目标对象上方保持静止直到成像传感器102完成捕获图像数据。如本领域技术人员将理解的，成像传感器102可以由另一装置(例如，按压致动机构304的致动器/按钮实现装置)启用。
在步骤704，成像传感器102检测桌上的盘设置(setting)，并触发成像传感器102捕获该盘食物的图像数据。例如，成像传感器102使用三维图像数据以基于盘和在盘的边缘处的桌表面之间的深度差来检测盘的边缘。如本领域技术人员将理解的，成像传感器102可以识别视场内的另外的一个或多个对象，而不限于识别盘。在步骤704，图像处理模块116还可以确定成像传感器102和盘之间的距离长度或距离。根据本发明的一示例性实施方案，图像处理模块116可以通过从存储在存储系统114中的盘图元集合中识别预定的盘图元来辨识盘。当检测到盘时，指示成像传感器102捕获盘的图像数据。如本领域技术人员将理解的，如果存在多个盘设置，则对象评估系统102可以捕获每个盘设置或单个中心盘设置的图像数据。
在步骤706，成像传感器102捕获可见光图像数据、光谱图像数据和三维图像数据，并且图像处理模块116存储所捕获的图像数据以用于另外的处理。自动获得整盘食物项的可见光图像数据、光谱图像数据和三维图像数据，如关于图1至图6所讨论的。例如，图像传感器102可以在单次图像捕获中捕获可见光图像数据(例如使用RGB传感器102b)，并通过在同时触发用于每个期望的NIR的独特照明波长(例如使用LED阵列122)时捕获图像序列来捕获光谱图像数据(例如使用NIR传感器102a)。在步骤708，图像处理模块116和人工智能模块118处理每个单独的图像和图像集，如关于图1至图6所讨论的。例如，视觉图像数据用于由人工智能模块118使用模式匹配基于食物项的独特大小、形状、纹理和颜色来识别和分离各个食物项。类似地，光谱图像数据用于通过由人工智能模块118执行交叉匹配来确定每个单独食物项的独特光谱特征。
在步骤710，图像处理模块116可以识别与盘——其中表面上没有搁置食物来遮挡对该盘的观察——对应的图像的像素。利用盘像素，图像处理模块116可以使用三维扫描装置102c来确定盘的三维形状(例如，使用x坐标、y坐标、z坐标)。根据本发明的一示例性实施方案，如果无法确定整个盘轮廓以致无法识别盘的形状，则可以使用可见区域盘来创建盘的形状。例如，假设是一对称盘，系统可以在中心点对盘的可见区域进行投射，并将形状旋转360度以创建盘形状。然后可以使用所确定的盘形状以及食物项的三维表面区域/形状来确定盘上的每个食物项的体积。在步骤712，利用步骤708的识别和步骤710的像素大小确定，图像处理模块116可以计算食物项的体积。例如，图像处理模块116可以算出每个所识别的食物项中的像素的数量，然后使用像素的数量来确定体积。作为图7中的过程700的结果，对象评估系统102可以使用计算设备104来捕获一盘食物的图像数据、识别盘上的食物项、以及确定每个食物项的体积。
图8描绘了使用来自图7(图1至图6)的食物项的识别信息和体积信息来确定食物项的营养值的过程800。在步骤802，图像处理模块116可以获取食物项的初始列表及它们相应的体积。例如，图像处理模块116可以根据所识别的食物项，如在图7的步骤中所识别的，来获得食物项的列表及它们相应的体积。在步骤804，图像处理模块116可以获取食物项的最终列表及它们相应的体积。例如，类似于步骤802，图像处理模块116可以根据图7的步骤获取食物项的列表和相应的体积。在步骤806，图像处理模块116可以计算从初始体积到最终体积的体积变化。例如，图像处理模块116可以使用减法运算来计算步骤802中食物项的初始体积与步骤804中食物项的最终体积之间的差。在步骤808，图像处理模块116可以与数据库连接以检索所列食物项的饮食信息。例如，图像处理模块116可以联系FDA和/或美国农业部(USDA)数据库，并且请求来自步骤802的食物项列表的营养信息。在步骤810，图像处理模块116可以基于计算出的体积变化来计算食物项的饮食含量。例如，图像处理模块116可以使用从FDA和/或USDA数据库获得的营养信息，并基于在步骤806中计算出的体积变化量来计算食物项的饮食含量。
根据本发明的一示例性实施方案，终端用户可以使用对象评估系统102来执行与一个或多个对象的识别、确定一个或多个对象在不同时间点的体积以及基于识别和确定步骤收集关于该一个或多个对象的附加信息相关的任务。例如，终端用户可以将对象评估系统102作为饮食跟踪应用的一部分，以自动识别食物项以及与那些食物项相关联的营养信息。如本领域技术人员将理解的，对象评估系统102可以用于识别可识别对象的任何组合并对其执行另外的分析。
以下实施例是对象评估系统102在应用于识别食物项时的特定应用的示例性实施例。本发明不意在限于食物项的识别，并且该实施例仅用于说明的目的。按照饮食跟踪应用的提示，终端用户将在对膳食的任何消耗发生之前使用计算设备104来捕获膳食的图像数据。根据一示例性实施方案，终端用户可以通过触发计算设备104上的致动机构304来启动对象评估系统102。可以通过在容纳待被消耗的膳食的餐盘上方“摆动”计算设备104来启动致动机构304。可以在图9中看到膳食的示例。特别地，图9描绘了包括三种单独的食物项——豌豆、鸡肉和土豆泥——的膳食。“摆动”会启动一自动过程，该自动过程以自动指示成像传感器102识别盘/盘形状、至盘的深度，捕获整份膳食的视觉图像数据、光谱图像数据和三维图像数据开始。所有的图像数据由图像传感器102自动获得，并且被传递到图像处理模块116和人工智能模块118以进行另外的处理。如关于图1至图8所讨论的，图像处理模块116和人工智能模块118可以使用所捕获的图像数据来分离各个食物项(例如豌豆、鸡肉、土豆泥)、识别分离的食物项、计算食物项的体积(例如使用三维图像数据)、以及确定初始膳食中的食物项的营养值。如本领域技术人员将理解的，可以通过查找所识别的食物项的营养值从数据库中检索营养值，并基于食物项的所确定体积(部分大小)计算营养值。根据本发明的一示例性实施方案，对象评估系统102可以联系远程数据库(例如FDA和/或USDA数据库)以收集食物项的营养值。
如本领域技术人员将理解的，终端用户可以添加关于膳食的待在分析期间使用的附加信息。例如，终端用户可以使用麦克风来捕获口头描述。用户提供的任何附加信息均可以用于进一步分析食物项。例如，终端用户可以指示鸡肉是烧烤的还是烘烤的，并且对象评估系统102可以在确定营养值时将鸡肉的制备类型考虑在内。如本领域技术人员将理解的，这些处理步骤可以同时完成或顺序完成。一旦用户食用完整份膳食或该膳食的一部分，就可以通过在盘中剩余的未食用食物上方“摆动”计算设备104来再次使用致动机构。重复图像处理模块116和人工智能模块118的自动处理步骤，并且将修订由基于网络的应用存储的食物消耗数据以考虑到用户未吃完的食物项。饮食应用将基于用户消耗的食物的量(例如，从起始捕获的图像数据到最终捕获的图像数据的体积差)将所产生营养信息呈现给用户。
根据本发明的一示例性实施方案，营养信息可以(例如，在用户的移动计算设备上的饮食跟踪应用上)呈现给终端用户。图10a和图10b描绘了图9所描绘的膳食的营养值的示例性图示。特别地，本发明通过图像传感器102以对视场内的整个盘的图像数据的单次捕获来捕获整份膳食的图像，并立即产生整份膳食的营养食物标签(例如，所有食物项的综合营养信息)。不需要进行另一次图像捕获，用户就可以在计算设备104、124上滚动查看构成整份膳食的各个食物项的所分割或自动分离的营养食物标签，如图10b所示。各个营养食物标签可以包括每个食物项的实际重量。特别地，如图10b所示，图9中的膳食的单独食物项(例如豌豆、鸡肉、土豆泥)中的每一个可以具有单独的营养表，示出所消耗的食物项的所有营养值。根据本发明的一示例性实施方案，可以基于由用户消耗的食物的体积(例如，使用图像捕获之前和之后的体积)来创建营养食物标签。如本领域技术人员将理解的，可以向用户呈现与用户的健康和/或饮食相关的数据的任何组合。例如，可以通知患糖尿病用户他们已经超过其每日所需的碳水化合物/糖/其他营养限度以及脂肪与碳水化合物与钠的比例等。类似地，系统可以将记录到用户账户中的该用户在就餐之前和之后的身体活动的数据考虑在内。例如，如果用户在就餐之前进行过锻炼，系统可以指示该用户可以在下一次就餐期间享有额外的卡路里。
根据本发明的一示例性实施方案，饮食应用可以是基于网络的应用，其接收、处理、合成并显示基于使用从计算设备104发送的图像数据结合从多个公共和私人数据库(例如系统存储器114)检索的数据执行的计算的饮食信息。基于网络的应用帮助用户收集、跟踪和记录与他们的饮食有关的信息。基于网络的应用还可以包括用户账户、图形用户界面和应用编程接口套件。在用户开始使用对象评估系统102和计算设备104时，用户首先建立链接至用户的一个或多个设备(例如其他计算设备124)的用户账户。在创建用户账户时，用户输入信息，包括但不限于与用户的健康饮食需求及目标相关的数据以及食物厌恶和过敏。用户账户自动存储、处理和组织由该用户的一个或多个设备采集的食物消耗数据。图形用户界面使用户能够访问、查看、输入和更改与他们的用户账户有关的信息。
根据本发明的一示例性实施方案，饮食应用可以包括应用编程接口套件，该应用编程接口套件利用来自多个数据库的数据结合由计算设备104收集的信息来促进对象评估系统102的功能。应用编程接口套件可以包括成像传感器应用程序接口(API)、三维扫描装置API、视觉比较API、语音辨识API、自动分割API、体积到重量API、营养值输出API、3D打印模型API、条形码和光学字符辨识API以及食物库存API。成像传感器API可以使用由计算设备104的成像传感器102输出的与食物项的光谱特征有关的图像数据结合化学计量算法数据库中的多个化学计量算法来识别那些食物。
类似地，三维扫描装置API可以将由计算设备104的三维扫描装置输出的.asc或.txt文件中的三维图像数据(例如点云数据)转换为能够由计算机辅助设计软件读取的文件，包括但不限于.stl或.ply文件。视觉比较API可以使用由计算设备104的成像传感器102捕获的二维和/或三维图像数据结合多个食物图像数据库(例如存储系统114)以通过二维或三维图像识别食物，如关于图1至图9所讨论的。语音辨识API可以分析由计算设备104的麦克风捕获的音频信息，以识别用户描述的食物。根据本发明的一示例性实施方案，在成像传感器API无法识别盘上的食物的情况下，使用视觉比较API和语音辨识API二者。
利用由三维扫描装置API输出的CAD文件的自动分割API可以与对象评估系统102的专有自动分割算法、成像传感器API的光谱特征识别、和/或二维或三维图像数据结合使用，以将包含若干不同食物的菜肴自动分为构成该菜肴的各种不同的食物，并且计算该菜肴的每种构成食物的体积和尺寸。体积到重量API使用来自化学计量算法的食物识别数据、来自3D扫描装置的数据以及二维或三维相机图像，并将这些数据与数据库——包括USDA数据库、FDA和/或USDA数据库以及网络数据库——进行相互对照，以便得出那些食物的食物密度、具体重量计算常数和具体卡路里计算常数。食物密度、具体重量计算常数和具体卡路里计算常数与由自动分割API计算的那些食物的体积一起使用，以计算已扫描的食物的重量和卡路里含量。然后通过基于网络的应用存储食物的重量和卡路里含量。
营养值输出API可以使用来自化学计量学算法的食物识别数据和二维或三维图像数据，以将图像数据与存储在数据库——包括USDA数据库、FDA和/或USDA数据库和网络数据库——中的数据相互对照，以便得出膳食或各个膳食成分的营养信息，包括但不限于卡路里、蛋白质、总脂肪、饱和脂肪和脂肪酸，并使用户能在图形用户界面上查看上述信息，上述信息的格式类似于在许多食物包装上所见到的营养元素标签。三维打印模型API可以使用户能够将由三维扫描API输出的.stl或.ply CAD文件导出到三维打印模型软件，以实现膳食的三维打印模型。这些三维打印模型可以由个人用户用作用于份量控制的具有理想份量大小的模型，或者由更大的食堂或工业食物操作使用以确保足够的食物生产并为该食物设计理想的包装。条形码和光学字符辨识API可以使用算法来分析由计算设备104的相机捕获的通用产品代码(UPC)或成分列表的图像，以自动地将该食物的营养值信息导入营养值API，并识别和警告用户可能的过敏原或食物厌恶冲突。例如杂货店中的用户可以使用条形码和光学字符辨识API来快速而轻松地扫描在货架上的包装物品，以检查过敏原或不健康成分。
食物库存API可以使用户能够自动跟踪存储的食物的量。对于使用食物库存API，用户首先在存储成分时对这些成分进行扫描，诸如当物品首次从杂货店带回家并放入冰箱和食品柜时进行扫描。这就建立了库存基线值。然后，一旦准备好膳食，就扫描该膳食，并从库存基线值减去该膳食中的成分。食物库存API可以生成具有恢复库存基线值所需的物品和相关联量的购物清单。食物库存API与GPS信标协作，以确保从库存基准值中仅减去在库存附近食用的膳食的成分。例如，如果用户从杂货店带回16盎司的鸡肉，随后在准备家常膳食后在家扫描8盎司的鸡肉，然后外出就餐时在餐厅扫描8盎司鸡肉，那么仅将在家中扫描的8盎司鸡肉从鸡肉的库存基线值减去。餐馆或食堂也可以使用食物库存来管理库存。
任何合适的计算设备可以用于实施计算设备102、104和在本文中所描述的方法/功能，并且其可以通过修改硬件、软件和固件被转换为一特定系统，以用于以显著不仅是在通用计算设备上执行软件的方式执行在本文中所描述的操作和特征，如本领域技术人员将会理解的。图11中描绘了这样的计算设备1600的一种说明性实施例。计算设备1600仅是合适的计算环境的说明性实施例，而不限制本发明的范围。如图11所示的“计算设备”可以包括“工作站”、“服务器”、“膝上型计算机”、“台式计算机”、“手持式设备”、“移动设备”、“平板电脑”或其他计算设备，如本领域技术人员将理解的。考虑到计算设备1600是为了说明的目的而描绘的，本发明的实施方案可以利用任意数量的计算设备1600以各种不同的方式来实现本发明的单个实施方案。因此，如本领域技术人员将理解的，本发明的实施方案不限于单个计算设备1600，也不限于示例性计算设备1600的单一类型的实现或配置。
计算设备1600可以包括总线1610，该总线可以直接或间接地耦接至以下说明性部件中的一个或多个：存储器1612、一个或多个处理器1614、一个或多个呈现部件1616、输入/输出端口1618、输入/输出部件1620和电源1624。本领域技术人员将理解的，总线1610可以包括一个或多个总线，诸如地址总线、数据总线或其任何组合。本领域技术人员还将理解，取决于具体实施方案的预期应用和用途，这些部件中的多个部件可以由单个设备来实现。类似地，在一些情况下，单个部件可以由多个设备实现。因此，图11仅说明可以用于实现本发明的一个或多个实施方案的示例性计算设备，并不限制本发明。
计算设备1600可以包括各种计算机可读介质或与各种计算机可读介质进行交互。例如，计算机可读介质可以包括：随机存取存储器(RAM)；只读存储器(ROM)；电可擦除可编程只读存储器(EEPROM)；闪存或其他内存技术；CDROM、数字通用盘(DVD)或其他光学或全息介质；磁带盒、磁带、磁盘存储装置或可用于对信息进行编码并可被计算设备1600访问的其他磁性存储设备。
存储器1612可以包括易失性和/或非易失性存储器形式的计算机存储介质。存储器1612可以是可移除的、不可移除的或其任何组合。示例性的硬件设备为诸如硬盘驱动器、固态存储器、光盘驱动器等的设备。计算设备1600可以包括从诸如存储器1612、各种I/O部件1616等部件读取数据的一个或多个处理器。呈现部件1616向用户或其他设备呈现数据指示。示例性呈现部件包括显示设备、扬声器、打印部件、振动部件等。
I/O端口1618可以使计算设备1600逻辑上耦接至其他设备诸如I/O部件1620。I/O部件1620中的一些可以嵌入到计算设备1600中。这样的I/O部件1620的示例包括麦克风、操纵杆、记录设备、游戏机手柄、卫星天线、扫描装置、打印机、无线设备、网络设备等。
如在本文中所使用的，术语“包括(comprise)”和“包括(comprising)”旨在被解释为包含性的，而不是排他性的。如在本文中所使用的，术语“例示性”、“示例性”和“说明性”旨在表示“用作示例、实例或说明”，并且不应被解释为指示或不指示相对于其他配置的优选或有利配置。如在本文中所使用的，术语“约”和“近似”旨在涵盖主观或客观值的范围的上限和下限的可能存在的变化，诸如性质、参数、大小和尺寸的变化。在一种非限制性实施例中，术语“约”和“近似”表示靠近，或者加10％或更少，或者减10％或更少。在一种非限制性实施例中，术语“约”和“近似”表示本领域技术人员认为的要包括在相关领域中的足够接近值。如在本文中所使用的，术语“基本上”是指动作、特征、特性、状态、结构、项目或结果的完全或几乎完全的延展或程度，如本领域技术人员将理解的。例如，“基本上”圆形的对象将意味着该对象在数学上可确定的限制程度而言完全是圆的，或如本领域技术人员将意识到或理解的接近于圆的。在某些情况下，与绝对完全性的确切允许偏离程度可能取决于具体情况。然而，一般而言，接近完全的程度将达到如同所实现或获得的绝对和总体完全性相同的整体效果。如本领域技术人员将会理解的，当“基本上”以反面含义被使用时，其同样适用于表示完全或近似完全缺少动作、特征、性质、状态、结构、项目或结果。
根据前面的描述，本发明的许多修改和替代实施方案对于本领域技术人员将是明显的。因此，本说明书被理解为仅说明性的，并且是为了向本领域技术人员教示实施本发明的最佳方式的目的。在不脱离本发明的精神的情况下，结构的细节实质上可以变化，并且保留有落入所附权利要求的范围内的所有修改的排他性使用。在本说明书中已经以使所描写的说明书清楚且简明的方式描述了实施方案，但是旨在且须理解的是，在不偏离本发明的情况下可以不同地组合或分离实施方案。本发明旨在仅受限于所附权利要求所要求的范围和适用法条。
还要理解，所附权利要求书将覆盖在本文中所描述的本发明的所有通用和具体的特征，并且在语言上对本发明的范围的所有陈述被认为落于其间。

Claims (22)

1.一种用于利用发射光的不同波长来自动识别一个或多个食物项并确定一盘食物内的所述一个或多个食物项的营养含量的系统，所述系统包括：
近红外(NIR)发光二极管(LED)阵列，所述阵列包含从彼此发射至少两种不同波长的发射光的LED；
三维扫描装置，所述三维扫描装置被配置为捕获所述一个或多个食物项的三维图像；
数字RGB相机，所述数字RGB相机被配置为捕获所述一个或多个食物项的二维和/或三维可见光图像数据；
所述NIR LED阵列顺序地产生至少两种不同波长的发射光；以及
数字NIR相机，所述数字NIR相机被配置为与所述NIR LED阵列顺序地产生至少两种不同波长的发射光的每个同时，顺序地捕获所述一个或多个食物项的一系列NIR图像数据集；并且
其中，所述一个或多个食物项的所述三维图像数据、所述一个或多个食物项的所述二维和/或三维可见光图像数据以及所述一个或多个食物项的所述NIR图像数据由所述系统转换为在所述一个或多个食物项的组成和所述一个或多个食物项的体积方面的特征相关定义，以基于与该系统可访问的数据库中存储的已知的独特大小、纹理、形状、颜色和光谱特征的模式匹配从所述一个或多个食物项分离和识别单独食物项。
2.根据权利要求1所述的系统，其中，
所述数字RGB相机和所述数字NIR相机被配置为将捕获的在一光谱范围内的可见光和在一光谱范围内的近红外(NIR)光转换成所捕获图像数据；并且
所述数字RGB相机和所述数字NIR相机捕获在NIR光谱范围内的至少两个不同且不重叠的光谱范围子集，而不捕获在所述不重叠的光谱范围子集之间的光谱范围间隙中的光。
3.根据权利要求2所述的系统，其中，所述数字NIR相机还包括被配置为捕获所述一个或多个食物项的二维和/或三维NIR图像数据的可见光阻挡滤光器。
4.根据权利要求3所述的系统，还包括至少一个图像处理器，所述图像处理器被配置为将来自所述三维扫描装置、所述数字RGB相机和所述数字NIR相机的图像数据转换为源自单个传感器的代表性图像数据集。
5.根据权利要求2所述的系统，还包括至少一个图像处理器，所述图像处理器被配置为：
捕获N个图像数据集，所述N个图像数据集包括：
一可见光图像捕获的图像数据；和
来自N-1次NIR图像捕获的图像数据；
在所述至少两个光源设备全部被设置为关闭的情况下捕获环境图像数据；以及
从所述N个图像数据集减去所述环境图像数据。
6.根据权利要求2所述的系统，还包括镜头、传感器，并且所述三维扫描装置使用立体视觉、飞行时间和结构光中至少之一捕获所述三维图像数据。
7.根据权利要求2所述的系统，还包括至少微机电光谱芯片集、红外(IR)源、多个聚光透镜、狭缝、IR带通滤光器、衍射光栅、数字微镜器件、检测器和微处理器。
8.根据权利要求7所述的系统，还包括被配置为通过网络传送数据的有线和无线连接设备。
9.根据权利要求2所述的系统，其中：
所述二维和/或三维可见光图像数据是在400nm至700nm的光谱范围内捕获的；并且
所述NIR图像数据是在700nm至1050nm的光谱范围内捕获的。
10.根据权利要求1所述的系统，其中，图像处理器捕获并记录在NIR光谱范围内的至少两个不同且不重叠的光谱范围子集，而不记录所述不重叠的光谱范围子集之间的光谱范围间隙。
11.根据权利要求10所述的系统，其中，所述图像处理器被配置为使用三维点云数据来确定从所述系统到所述一盘食物的距离长度，确定所述一盘食物的表面积，以及在不使用基准参考标记的情况下使用飞行时间和所述表面积来计算所述一盘食物的大小和形状。
12.根据权利要求11所述的系统，其中，所述一盘食物的所述飞行时间和所述表面积通过计算视场中所述三维点云数据的像素的数量来确定。
13.根据权利要求1所述的系统，其中：
所述三维扫描装置被配置为捕获所述一个或多个食物项的三维点云数据；并且
所述数字NIR相机包括可见光阻挡滤光器。
14.根据权利要求13所述的系统，其中，所述数字NIR相机通过一次一个地循环通过NIRLED阵列来捕获所述至少两个不同且不重叠的光谱范围子集的一系列的两个或更多个图像。
15.根据权利要求13所述的系统，其中，人工智能引擎识别至少一个预定义图元，并触发所述数字RGB相机和所述数字NIR相机对准所述至少一个预定义图元。
16.一种用于利用发射光的不同波长来自动识别一盘食物上的一个或多个食物项并确定这一盘食物上的所述一个或多个食物项的营养值的方法，所述方法包括：
通过三维图像扫描装置捕获所述一盘食物的三维图像；
通过处理器、基于来自所述三维图像的数据确定在所述三维图像扫描装置与一个或多个食物项之间的距离长度；
通过图像处理器、基于所述距离长度和来自所述一盘食物的所述三维图像的所述数据来确定所述一个或多个食物项中的每一个的体积；
通过RGB相机捕获所述一盘食物的可见光图像；
与近红外(NIR)发光二极管(LED)阵列同时，通过近红外(NIR)相机捕获所述一盘食物的NIR光谱特征图像序列，同时触发独特LED波长的发射光，其中针对每个捕获的NIR光谱特征图像所述NIR LED阵列的至少两个LED从彼此发射不同波长的光；
利用人工智能分析所捕获的可见光图像和所述NIR光谱特征图像序列，以按照与该处理器可访问的数据库中存储的已知的独特大小、纹理、形状、颜色和光谱特征的模式匹配识别所述一个或多个食物项中的每个独特食物项；以及
通过处理器、基于所识别的一个或多个食物项的独特食物项以及所述一个或多个食物项中的每一个的体积确定关于所述一个或多个食物项的附加特征，所述附加特征包括确定这一盘食物的营养值。
17.根据权利要求16所述的方法，还包括：
通过图像传感器、基于视场中所述一盘食物相对于其他食物项的深度来检测所述一盘食物的边缘；
通过所述三维图像扫描装置捕获所述一盘食物的三维模型；
通过处理器将图像数据转换成合成图像，所述合成图像模拟由单个传感器拍摄的单个图像；
通过处理器识别与所述合成图像对应的食物项；
通过处理器将所述一盘食物的所述三维模型转换成所识别的一个或多个食物项的体积；以及
通过处理器、基于所述食物项的体积计算所识别的一个或多个食物项的饮食信息。
18.根据权利要求17所述的方法，还包括：
通过所述图像处理器识别所述一个或多个食物项中与所述合成图像的颜色像素对应的至少一个食物项；
通过所述图像处理器、基于像素的深度确定所述三维模型中的每个像素的空间体积；
通过所述图像处理器块将每一所识别的至少一个食物项的每个像素的所述空间体积转换成所述至少一个食物项的体积值；以及
通过所述图像处理器对所述合成图像中的所识别的至少一个食物项的所述颜色像素中的每一个的体积值求和，以计算所述至少一个食物项象的总体积。
19.根据权利要求16所述的方法，还包括：
确定所识别的一个或多个食物项的初始体积；
确定所识别的一个或多个食物项的最终体积；以及
基于所识别的一个或多个食物项的所述初始体积与所识别的一个或多个食物项的所述最终体积之差，计算所识别的一个或多个食物项的体积变化。
20.根据权利要求19所述的方法，还包括：
从数据库获得所识别的一个或多个食物项的饮食信息；以及
计算所识别的一个或多个食物项的所述体积变化的饮食含量。
21.根据权利要求16所述的方法，还包括：通过LED阵列照射所述一盘食物并获得在745nm、810nm、940nm、970nm和/或1050nm的波长下的反射图像数据，以及将所述反射图像数据与特征食物元素相关联。
22.根据权利要求16所述的方法，其中，所识别的一个或多个食物项的体积和重量能够关于所述可见光图像和所述NIR光谱特征图像序列进行计算。
CN201580074085.0A 2014-11-21 2015-11-20 用于对象辨识和评估的成像系统 Active CN107873101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210116872.9A CN114495092A (zh) 2014-11-21 2015-11-20 用于对象辨识和评估的成像系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462082795P 2014-11-21 2014-11-21
US62/082,795 2014-11-21
PCT/US2015/061849 WO2016081831A1 (en) 2014-11-21 2015-11-20 Imaging system for object recognition and assessment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210116872.9A Division CN114495092A (zh) 2014-11-21 2015-11-20 用于对象辨识和评估的成像系统

Publications (2)

Publication Number Publication Date
CN107873101A CN107873101A (zh) 2018-04-03
CN107873101B true CN107873101B (zh) 2022-01-11

Family

ID=56011518

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580074085.0A Active CN107873101B (zh) 2014-11-21 2015-11-20 用于对象辨识和评估的成像系统
CN202210116872.9A Pending CN114495092A (zh) 2014-11-21 2015-11-20 用于对象辨识和评估的成像系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210116872.9A Pending CN114495092A (zh) 2014-11-21 2015-11-20 用于对象辨识和评估的成像系统

Country Status (5)

Country Link
US (2) US9959628B2 (zh)
EP (1) EP3221679A4 (zh)
CN (2) CN107873101B (zh)
CA (2) CA2966635C (zh)
WO (1) WO2016081831A1 (zh)

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774455B2 (en) 2011-03-02 2014-07-08 Raf Technology, Inc. Document fingerprinting
US9443298B2 (en) 2012-03-02 2016-09-13 Authentect, Inc. Digital fingerprinting object authentication and anti-counterfeiting system
CA2966635C (en) 2014-11-21 2023-06-20 Christopher M. Mutti Imaging system for object recognition and assessment
US9460562B2 (en) * 2015-01-09 2016-10-04 International Business Machines Corporation Providing volume indicators based on received images of containers
US10956856B2 (en) * 2015-01-23 2021-03-23 Samsung Electronics Co., Ltd. Object recognition for a storage structure
US10146414B2 (en) 2015-06-09 2018-12-04 Pearson Education, Inc. Augmented physical and virtual manipulatives
US10311634B2 (en) * 2015-07-21 2019-06-04 IAM Robotics, LLC Three dimensional scanning and data extraction systems and processes for supply chain piece automation
DE102015214060A1 (de) * 2015-07-24 2017-01-26 BSH Hausgeräte GmbH System und Verfahren zur Bereitstellung eines Rezeptes
US10318976B2 (en) * 2015-07-28 2019-06-11 Walmart Apollo, Llc Methods for determining measurement data of an item
IL240872A (en) * 2015-08-27 2016-11-30 Elbit Systems Land & C4I Ltd A method and system for discovering object authenticity
US9767387B2 (en) * 2015-09-09 2017-09-19 Accenture Global Services Limited Predicting accuracy of object recognition in a stitched image
US11055552B2 (en) * 2016-01-12 2021-07-06 Disney Enterprises, Inc. Systems and methods for detecting light signatures and performing actions in response thereto
WO2017131771A1 (en) * 2016-01-29 2017-08-03 Hewlett-Packard Development Company, L.P. Identify a model that matches a 3d object
US10572883B2 (en) 2016-02-19 2020-02-25 Alitheon, Inc. Preserving a level of confidence of authenticity of an object
WO2017165621A1 (en) * 2016-03-24 2017-09-28 Anand Subra Real-time or just-in-time online assistance for individuals to help them in achieving personalized health goals
US10867301B2 (en) 2016-04-18 2020-12-15 Alitheon, Inc. Authentication-triggered processes
US20170364661A1 (en) * 2016-06-15 2017-12-21 International Business Machines Corporation Health monitoring
GB2551715A (en) * 2016-06-27 2018-01-03 Image Capture Ltd A system and method for determining the age of an individual
US10740767B2 (en) 2016-06-28 2020-08-11 Alitheon, Inc. Centralized databases storing digital fingerprints of objects for collaborative authentication
US10915612B2 (en) 2016-07-05 2021-02-09 Alitheon, Inc. Authenticated production
JP2018005720A (ja) * 2016-07-06 2018-01-11 株式会社ＥｇｇＳｔｅｌｌａｒ 食事の栄養線分を管理する管理システム
US10630959B2 (en) * 2016-07-12 2020-04-21 Datalogic Usa, Inc. System and method for object counting and tracking
EP3275361A1 (en) * 2016-07-29 2018-01-31 Leica Instruments (Singapore) Pte. Ltd. Medical imaging apparatus and method for the imaging of a light-sensitive object, such as biological tissue
US10902540B2 (en) 2016-08-12 2021-01-26 Alitheon, Inc. Event-driven authentication of physical objects
US10839528B2 (en) 2016-08-19 2020-11-17 Alitheon, Inc. Authentication-based tracking
JP6910792B2 (ja) 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器
EP3339742B1 (en) * 2016-12-21 2021-06-09 Electrolux Appliances Aktiebolag Food preparation entity
CN108262969A (zh) * 2016-12-30 2018-07-10 富泰华工业（深圳）有限公司 图像采集终端及方法
IT201700021559A1 (it) * 2017-02-27 2018-08-27 St Microelectronics Srl Procedimento per il controllo di raggi laser, dispositivo, apparecchiatura e prodotto informatico corrispondenti
WO2018162297A1 (en) * 2017-03-07 2018-09-13 Sony Corporation System, method and computer program
CN110366731B (zh) * 2017-03-07 2023-06-30 索尼公司 用于指导膳食的图像捕获的系统、方法和存储介质
WO2018165605A1 (en) * 2017-03-09 2018-09-13 Northwestern University Hyperspectral imaging sensor
US10268889B2 (en) * 2017-03-31 2019-04-23 The Boeing Company System for target material detection
DE102017206056A1 (de) * 2017-04-10 2018-10-11 BSH Hausgeräte GmbH Betreiben eines Gargeräts
CN110573883B (zh) * 2017-04-13 2023-05-30 美国西门子医学诊断股份有限公司 用于在样本表征期间确定标签计数的方法和装置
US9754168B1 (en) 2017-05-16 2017-09-05 Sounds Food, Inc. Incentivizing foodstuff consumption through the use of augmented reality features
JP6843439B2 (ja) * 2017-05-17 2021-03-17 エバ・ジャパン 株式会社 情報探索システム及び方法、情報探索プログラム
US10664716B2 (en) 2017-07-19 2020-05-26 Vispek Inc. Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence
EP3435287A3 (en) * 2017-07-25 2019-05-01 Alitheon, Inc. Model-based digital fingerprinting
CN107328364A (zh) * 2017-08-15 2017-11-07 顺丰科技有限公司 一种体积、重量测量系统及其工作方法
WO2019046689A1 (en) * 2017-09-01 2019-03-07 Azbil North America Research and Development, Inc. APPARATUS AND METHOD FOR REAL-TIME NON-INVASIVE COMPOSITION DETECTION AND IMAGING
US10832590B2 (en) * 2017-09-13 2020-11-10 At&T Intellectual Property I, L.P. Monitoring food intake
KR102400018B1 (ko) 2017-09-29 2022-05-19 삼성전자주식회사 자동 조리 장치 및 방법
CN109725117A (zh) * 2017-10-31 2019-05-07 青岛海尔智能技术研发有限公司 冰箱中食品热量检测的方法及装置
CN108230295B (zh) * 2017-11-21 2021-07-02 北京工业大学 一种红外全景监控环带显示区中关注目标的标识方法
US10596319B2 (en) * 2017-11-23 2020-03-24 Aesynt Incorporated Compounding device system
US10558844B2 (en) * 2017-12-18 2020-02-11 Datalogic Ip Tech S.R.L. Lightweight 3D vision camera with intelligent segmentation engine for machine vision and auto identification
US10469250B2 (en) * 2017-12-22 2019-11-05 Max Adel Rady Physical item mapping to blockchain framework
CA3074119A1 (en) * 2017-12-22 2019-06-27 Max Adel RADY Physical item mapping to blockchain framework
US20190205821A1 (en) * 2018-01-03 2019-07-04 International Business Machines Corporation Automated identification, status monitoring and notification of stored items
US11191281B1 (en) 2018-01-05 2021-12-07 Tyson Foods, Inc. Method and apparatus for conveying a meat product and using an ultrasonic knife for automated cutting of meat
US11944105B1 (en) 2018-01-05 2024-04-02 Tyson Foods, Inc. Method and apparatus for conveying a meat product and using a knife for automated cutting of meat
US11087013B2 (en) 2018-01-22 2021-08-10 Alitheon, Inc. Secure digital fingerprint key object database
AU2019234203B2 (en) * 2018-03-14 2023-11-23 Atlas Pacific Engineering Company Produce orientor
JP7139638B2 (ja) * 2018-03-22 2022-09-21 カシオ計算機株式会社 報知装置、報知方法及び報知プログラム
JP6951753B2 (ja) * 2018-03-27 2021-10-20 エバ・ジャパン 株式会社 情報探索システム及びプログラム
TWI672957B (zh) * 2018-03-29 2019-09-21 瑞昱半導體股份有限公司 影像處理裝置及影像處理方法
WO2020010561A1 (zh) * 2018-07-12 2020-01-16 华为技术有限公司 测量物体参数的方法及装置
US10679054B2 (en) * 2018-09-04 2020-06-09 International Business Machines Corporation Object cognitive identification solution
CN109146952B (zh) * 2018-09-06 2020-11-20 北京京东尚科信息技术有限公司 估计车厢空闲体积的方法、装置及计算机可读存储介质
KR102551358B1 (ko) * 2018-09-21 2023-07-04 삼성전자주식회사 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템
CN110966835B (zh) * 2018-09-30 2023-01-24 青岛海尔智能技术研发有限公司 检测冰箱内食材营养成分的方法与冰箱
CN109345624A (zh) * 2018-10-08 2019-02-15 北京健康有益科技有限公司 一种自动识别食物热量的估算方法及系统
US11379788B1 (en) 2018-10-09 2022-07-05 Fida, Llc Multilayered method and apparatus to facilitate the accurate calculation of freight density, area, and classification and provide recommendations to optimize shipping efficiency
US20220028083A1 (en) * 2018-11-16 2022-01-27 Snaq Ag Device and method for determining and displaying nutrient content and/or value of a food item
JP7431234B2 (ja) * 2018-11-23 2024-02-14 サノフイ カメラを有する医療用デバイス
US10963670B2 (en) 2019-02-06 2021-03-30 Alitheon, Inc. Object change detection and measurement using digital fingerprints
CN109870459B (zh) * 2019-02-21 2021-07-06 武汉光谷卓越科技股份有限公司 无砟轨道的轨道板裂缝检测方法
US10755062B1 (en) * 2019-03-19 2020-08-25 Cognex Corporation System and method for evaluating symbols
DE102019203850A1 (de) * 2019-03-21 2020-09-24 Robert Bosch Gmbh Optische Analyseeinrichtung zum Analysieren von Licht von einer Probe und Verfahren zum Betreiben einer optischen Analyseeinrichtung
KR102598199B1 (ko) * 2019-04-17 2023-11-03 주식회사 그린에스시스템즈 식품의 신선도 모니터링 방법 및 모니터링 시스템
EP3734506A1 (en) 2019-05-02 2020-11-04 Alitheon, Inc. Automated authentication region localization and capture
EP3736717A1 (en) 2019-05-10 2020-11-11 Alitheon, Inc. Loop chain digital fingerprint method and system
US20200380454A1 (en) * 2019-06-03 2020-12-03 Zebra Technologies Corporation Method, System and Apparatus for Detecting Product Facings
WO2021033033A1 (en) * 2019-08-22 2021-02-25 Foss Analytical A/S Determining physicochemical properties of a sample
CN110569759B (zh) * 2019-08-26 2020-11-03 王睿琪 一种获取个体进食数据的方法、系统、服务端及前端
JP7445856B2 (ja) * 2019-09-30 2024-03-08 パナソニックＩｐマネジメント株式会社 物体認識装置、物体認識システムおよび物体認識方法
US11238146B2 (en) 2019-10-17 2022-02-01 Alitheon, Inc. Securing composite objects using digital fingerprints
CN110874422B (zh) * 2019-10-22 2024-01-12 深圳市本牛科技有限责任公司 本地服务器和服务端共同识别绘本的系统及方法
SG10201913005YA (en) * 2019-12-23 2020-09-29 Sensetime Int Pte Ltd Method, apparatus, and system for recognizing target object
FR3105858B1 (fr) * 2019-12-26 2022-10-14 Wizama Dispositif de determination d’une face d’un de reposant sur une surface laissant passer un signal optique
CN113218880B (zh) * 2020-01-21 2023-05-16 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
KR20210094328A (ko) 2020-01-21 2021-07-29 삼성전자주식회사 대상체 인식 장치 및 그 동작 방법
EP3859603A1 (en) 2020-01-28 2021-08-04 Alitheon, Inc. Depth-based digital fingerprinting
CN111383138B (zh) * 2020-03-06 2023-06-02 腾讯科技（深圳）有限公司 餐饮数据处理方法、装置、计算机设备和存储介质
EP3885982A3 (en) 2020-03-23 2021-12-22 Alitheon, Inc. Hand biometrics system and method using digital fingerprints
EP3885984A1 (en) 2020-03-23 2021-09-29 Alitheon, Inc. Facial biometrics system and method of using digital fingerprints
US11948377B2 (en) 2020-04-06 2024-04-02 Alitheon, Inc. Local encoding of intrinsic authentication data
US11663849B1 (en) 2020-04-23 2023-05-30 Alitheon, Inc. Transform pyramiding for fingerprint matching system and method
US11593678B2 (en) 2020-05-26 2023-02-28 Bank Of America Corporation Green artificial intelligence implementation
EP3926496A1 (en) 2020-06-17 2021-12-22 Alitheon, Inc. Asset-backed digital security tokens
FR3112011B1 (fr) * 2020-06-24 2022-09-02 Kikleo Système et procédé de caractérisation de la nature et de la quantité d’aliments contenus dans un ou plusieurs récipients
TWI774088B (zh) * 2020-10-16 2022-08-11 技嘉科技股份有限公司 餐飲內容識別方法以及餐飲內容識別系統
CN114445614A (zh) * 2020-10-16 2022-05-06 技嘉科技股份有限公司 餐饮内容识别方法以及餐饮内容识别系统
US20220215356A1 (en) * 2021-01-01 2022-07-07 Bank Of America Corporation Image-based account number generator and identifier
CN115682510A (zh) * 2021-07-30 2023-02-03 海信集团控股股份有限公司 一种智能冰箱、食材识别方法、设备及介质
US20230046686A1 (en) * 2021-08-04 2023-02-16 Toshiba Global Commerce Solutions Holdings Corporation Method for Frictionless Shopping Based on Shopper Habits and Preferences
JP2023062237A (ja) * 2021-10-21 2023-05-08 アセントロボティクス株式会社 対象デジタルツインモデル生成システム、ロボットの制御システム、仮想店舗生成システム、対象デジタルツインモデル生成方法、ロボットの制御方法、および仮想店舗生成方法
US11436666B1 (en) * 2021-11-18 2022-09-06 Enzo Dalmazzo Augmented reality menu
US20230196802A1 (en) * 2021-12-20 2023-06-22 Skoopin Inc. Multi-sensor device for dietary tracking
WO2023161331A1 (en) 2022-02-24 2023-08-31 Trinamix Gmbh Spatially resolved nir spectrometer
CN114973237B (zh) * 2022-06-07 2023-01-10 慧之安信息技术股份有限公司 基于图象识别的光盘率检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012155104A1 (en) * 2011-05-11 2012-11-15 Proiam, Llc Enrollment apparatus, system, and method featuring three dimensional camera
CN103268485A (zh) * 2013-06-09 2013-08-28 上海交通大学 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法
CN104024797A (zh) * 2011-12-06 2014-09-03 赫克斯冈技术中心 用于确定对象的3d坐标的方法和装置

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4367582B2 (ja) 1999-03-17 2009-11-18 株式会社セガ 音声又は画像処理システム
US20030076983A1 (en) * 2000-06-06 2003-04-24 Cox Dale W. Personal food analyzer
US6965108B2 (en) * 2001-07-30 2005-11-15 Euro-Celtique, S.A. Method and apparatus for three dimensional imaging using infrared radiation
US6585516B1 (en) 2002-01-09 2003-07-01 Oliver Alabaster Method and system for computerized visual behavior analysis, training, and planning
DE10202050A1 (de) 2002-01-18 2003-07-31 Siemens Ag Optisches Bildgebungsverfahren und Vorrichtung zur optischen Bildgebung
US20030219513A1 (en) * 2002-05-21 2003-11-27 Roni Gordon Personal nutrition control method
US8285015B2 (en) 2002-07-05 2012-10-09 Lawrence Livermore Natioonal Security, LLC Simultaneous acquisition of differing image types
US8139141B2 (en) 2004-01-28 2012-03-20 Microsoft Corporation Single chip red, green, blue, distance (RGB-Z) sensor
CN100559161C (zh) * 2004-03-12 2009-11-11 乐世太平洋株式会社 物体的卡路里测定方法以及物体的卡路里测定装置
EP2397969B1 (en) * 2004-06-01 2013-04-17 Lumidigm, Inc. Multispectral imaging biometrics
US20060036395A1 (en) 2004-07-30 2006-02-16 Shaya Steven A Method and apparatus for measuring and controlling food intake of an individual
US20060200480A1 (en) * 2005-03-01 2006-09-07 Harris David N System and method for using product identifiers
US20070050058A1 (en) 2005-08-23 2007-03-01 Zbigniew Zuziak Placemat for calculating and monitoring calorie intake
GB2431740A (en) * 2005-10-25 2007-05-02 Hewlett Packard Development Co Method for providing electronic data
US20110284625A1 (en) * 2005-12-16 2011-11-24 Taylor Smith Digital image capture and processing system supporting multiple third party code plug-ins with configuration files having conditional programming logic controlling the chaining of multiple third-party plug-ins
US20080174777A1 (en) 2006-04-11 2008-07-24 University Of Wyoming Spectrometers using 2-dimensional microelectromechanical digital micromirror devices
US20070269557A1 (en) 2006-05-19 2007-11-22 Hannaford Licensing Corp. Method and system for assessing, scoring, grouping and presenting nutritional value information of food products
NZ560457A (en) * 2007-08-15 2010-02-26 William Bryan Woodard Image generation system
US8189855B2 (en) * 2007-08-31 2012-05-29 Accenture Global Services Limited Planogram extraction based on image processing
TR201807131T4 (tr) * 2007-10-04 2018-06-21 Nestec Sa Bilişsel işlevi iyileştirmek için kompozisyonlar ve yöntemler.
WO2009056260A2 (en) * 2007-11-01 2009-05-07 Nestec S.A. Remote data collecting systems and methods
RU2494638C2 (ru) * 2008-01-02 2013-10-10 Нестек С.А. Съедобные композиции
JP2009168747A (ja) * 2008-01-18 2009-07-30 Sumitomo Electric Ind Ltd 食品検査方法及び食品検査装置
US20110292181A1 (en) 2008-04-16 2011-12-01 Canesta, Inc. Methods and systems using three-dimensional sensing for user interaction with applications
US8485359B2 (en) * 2008-07-07 2013-07-16 Blast Max Llc Seal absorbent pad-RFID-bar code device for a dosing cap
US8284248B2 (en) * 2009-08-25 2012-10-09 Frito-Lay North America, Inc. Method for real time detection of defects in a food product
US8363913B2 (en) * 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
US8663758B2 (en) * 2008-09-09 2014-03-04 Frito-Lay North America, Inc. Partially metallized film having barrier properties
US9192142B2 (en) * 2008-09-22 2015-11-24 Nestec Sa Systems and methods for providing products to animals
WO2010057081A1 (en) * 2008-11-14 2010-05-20 The Scripps Research Institute Image analysis platform for identifying artifacts in samples and laboratory consumables
US8345930B2 (en) 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
US9292565B2 (en) * 2010-06-30 2016-03-22 International Business Machines Corporation Template-based recognition of food product information
US20120053426A1 (en) 2010-08-31 2012-03-01 General Electric Company System and method for measuring calorie content of a food sample
US8996086B2 (en) 2010-09-17 2015-03-31 OptimumTechnologies, Inc. Digital mapping system and method
KR20120039102A (ko) 2010-10-15 2012-04-25 엘지전자 주식회사 식이관리장치 및 식이관리방법
DE202011110887U1 (de) * 2010-11-24 2017-02-21 Google Inc. Wiedergeben und navigieren fotografischer Panoramen mit Tiefeninformationen in einem geographischen Informationssystem
JP2012113627A (ja) 2010-11-26 2012-06-14 Terumo Corp 携帯端末、カロリー推定方法及びカロリー推定プログラム
US8625889B2 (en) * 2010-12-30 2014-01-07 Samsung Electronics Co., Ltd. System for food recognition method using portable devices having digital cameras
US20120179665A1 (en) * 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
US9165398B2 (en) * 2011-02-25 2015-10-20 Lg Electronics Inc. Analysis of food items captured in digital images
JP2013037648A (ja) 2011-08-11 2013-02-21 Seiko Epson Corp 摂取熱量推定装置、摂取熱量推定方法および摂取熱量推定用データ出力装置
US9025024B2 (en) * 2011-09-28 2015-05-05 Xerox Corporation System and method for object identification and tracking
US20130105565A1 (en) * 2011-10-29 2013-05-02 Richard Alan Kamprath Nutritional Information System
JP2014532873A (ja) 2011-11-03 2014-12-08 ベリフード リミテッド エンドユーザ食品分析のための低費用分光分析システム
CA3192699A1 (en) 2012-02-17 2013-08-22 Good Measures, Llc Systems and methods for user-specific modulation of nutrient intake
US20130273509A1 (en) * 2012-04-16 2013-10-17 Christopher M. MUTTI Method of Monitoring Nutritional Intake by Image Processing
US8862181B1 (en) * 2012-05-29 2014-10-14 Sprint Communications Company L.P. Electronic purchase transaction trust infrastructure
KR101695252B1 (ko) 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
US20140231626A1 (en) 2012-11-26 2014-08-21 Chemlmage Corporation System and method for detecting target materials using a vis-nir detector
US9189021B2 (en) 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system
TWI498845B (zh) 2012-12-14 2015-09-01 Ind Tech Res Inst 飲食管理方法與系統
US8690578B1 (en) 2013-01-03 2014-04-08 Mark E. Nusbaum Mobile computing weight, diet, nutrition, and exercise tracking system with enhanced feedback and data acquisition functionality
JP6260080B2 (ja) * 2013-01-07 2018-01-17 セイコーエプソン株式会社 波長可変干渉フィルター、波長可変干渉フィルターの製造方法、光学モジュール、及び電子機器
KR101926489B1 (ko) 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
WO2014160298A1 (en) * 2013-03-14 2014-10-02 Sciencestyle Capital Partners, Llc Providing food-portion recommendations to faciliate dieting
EP2787459A1 (en) 2013-04-05 2014-10-08 Christopher M. Mutti Method of monitoring nutritional intake by image processing
JP6098326B2 (ja) 2013-04-18 2017-03-22 ソニー株式会社 情報処理装置および記憶媒体
EP3017423A1 (en) * 2013-07-02 2016-05-11 Roche Diagnostics GmbH Estimation of food volume and carbs
US9996726B2 (en) 2013-08-02 2018-06-12 Qualcomm Incorporated Feature identification using an RGB-NIR camera pair
US9212996B2 (en) 2013-08-05 2015-12-15 Tellspec, Inc. Analyzing and correlating spectra, identifying samples and their ingredients, and displaying related personalized information
US10366445B2 (en) * 2013-10-17 2019-07-30 Mashgin Inc. Automated object recognition kiosk for retail checkouts
CN204795370U (zh) * 2014-04-18 2015-11-18 菲力尔系统公司 监测系统及包含其的交通工具
US9734426B2 (en) * 2014-09-03 2017-08-15 Sri International Automated food recognition and nutritional estimation with a personal mobile electronic device
CA2966635C (en) 2014-11-21 2023-06-20 Christopher M. Mutti Imaging system for object recognition and assessment
US9349297B1 (en) * 2015-09-09 2016-05-24 Fitly Inc. System and method for nutrition analysis using food image recognition
US9424495B1 (en) * 2015-04-16 2016-08-23 Social & Health Research Center Digital food imaging analysis: system and method to analyze food consumption

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012155104A1 (en) * 2011-05-11 2012-11-15 Proiam, Llc Enrollment apparatus, system, and method featuring three dimensional camera
CN104024797A (zh) * 2011-12-06 2014-09-03 赫克斯冈技术中心 用于确定对象的3d坐标的方法和装置
CN103268485A (zh) * 2013-06-09 2013-08-28 上海交通大学 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法

Also Published As

Publication number Publication date
US10402980B2 (en) 2019-09-03
EP3221679A1 (en) 2017-09-27
US20160150213A1 (en) 2016-05-26
EP3221679A4 (en) 2018-11-14
US9959628B2 (en) 2018-05-01
CN114495092A (zh) 2022-05-13
CN107873101A (zh) 2018-04-03
CA2966635C (en) 2023-06-20
CA2966635A1 (en) 2016-05-26
WO2016081831A1 (en) 2016-05-26
US20180247417A1 (en) 2018-08-30
CA3195997A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
CN107873101B (zh) 用于对象辨识和评估的成像系统
US9916520B2 (en) Automated food recognition and nutritional estimation with a personal mobile electronic device
CN109655414B (zh) 电子设备、信息推送方法及相关产品
US20120179665A1 (en) Health monitoring system
EP2615567A2 (en) Web site providing cosmetic and nutrition regimen from colour images
US11756282B2 (en) System, method and computer program for guided image capturing of a meal
CN110021404A (zh) 用于处理与食物相关的信息的电子设备和方法
CN103810284A (zh) 一种厨房管理方法和装置
TWI620131B (zh) 物品辨識系統與方法
US11769244B2 (en) System, device, process and method of measuring food, food consumption and food waste
CN112053428A (zh) 一种识别食物所含营养信息的方法及装置
CN115131783B (zh) 基于机器视觉的用户饮食营养成分信息自主感知方法
CN110966833A (zh) 检测冰箱内食材信息的方法及冰箱
Raju et al. Detection of oil-containing dressing on salad leaves using multispectral imaging
Pham et al. FoodBoard: surface contact imaging for food recognition
Arunachalam et al. Real-time plant phenomics under robotic farming setup: A vision-based platform for complex plant phenotyping tasks
US20210397648A1 (en) A method and system for classifying food items
Xu Electronic eye for food sensory evaluation
KR20230071061A (ko) 센서 시스템을 사용한 음식 분석, 피드백 및 추천을 위한 시스템 및 방법
US11928769B2 (en) Employing controlled illumination for hyperspectral or multispectral imaging of food in an appliance
CN116448706A (zh) 一种冰箱、食材成分识别方法和装置
CN114282091A (zh) 食材管理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230224

Address after: Massachusetts

Patentee after: Spectral Pixel Co.,Ltd.

Address before: Massachusetts

Patentee before: Christophe M Marty