CN114445614A - 餐饮内容识别方法以及餐饮内容识别系统 - Google Patents
餐饮内容识别方法以及餐饮内容识别系统 Download PDFInfo
- Publication number
- CN114445614A CN114445614A CN202011107570.2A CN202011107570A CN114445614A CN 114445614 A CN114445614 A CN 114445614A CN 202011107570 A CN202011107570 A CN 202011107570A CN 114445614 A CN114445614 A CN 114445614A
- Authority
- CN
- China
- Prior art keywords
- food
- image
- distance
- analyzed
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 235000013305 food Nutrition 0.000 claims abstract description 160
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 71
- 235000016709 nutrition Nutrition 0.000 claims description 12
- 235000012041 food component Nutrition 0.000 claims description 5
- 235000015097 nutrients Nutrition 0.000 claims description 4
- 235000013361 beverage Nutrition 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims description 2
- 239000004615 ingredient Substances 0.000 claims description 2
- 235000015219 food category Nutrition 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 235000003166 Opuntia robusta Nutrition 0.000 description 7
- 244000218514 Opuntia robusta Species 0.000 description 7
- 235000012054 meals Nutrition 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000021049 nutrient content Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种餐饮内容识别系统,用以执行一种餐饮内容识别方法。方法包含:取得一检测区域上的多个距离值,以产生一距离分布,并检索包含检测区域的一待分析图像;将距离分布映射至待分析图像;设定一门槛距离,以在待分析图像中定义各距离值小于门槛距离的部分作为至少一待识别区块;对至少一待识别区块进行图像识别,识别位于待识别区块的一食物的种类;以及依据距离分布,取得食物的体积。
Description
技术领域
本发明有关于餐饮内容的自动识别,特别是关于一种餐饮内容识别方法及其餐饮内容识别系统。
背景技术
在需要快速记录取用餐饮内容的场合,例如自助式取餐的计价、个人饮食内容管理,往往需要人工识别并记录食物的种类、重量,以进一步汇整成其余的关联信息,例如餐饮价格、餐饮营养组成。
现有技术提出几种自动识别食物并以量取重量的技术方案。多种技术方案之一是以对应的容器盛装不同食物,容器上设置机器可判读标签,例如条形码、RFID,以供读取机器快速判读,通过标签判读得到食物种类,并以电子秤等装置进行重量的量测,借以区分食物种类以及食物重量。此一方法需要设置相对复杂的设备,同时,食物也必须事先放置于正确的容器中,需要较复杂的前置作业流程。
另一种技术方案是以图像识别方式分辨食物以及判读食物体积,再利用食物体积与食物信息换算食物重量。图像识别需要在完整的待分析图像中排除非属于食物的部分,而需要较高的运算资源进行图像处理以及图像识别,处理效能受限于硬件效能。而判读食物体积也依赖图像识别,通过图像识别分析食物体积带来了额外的运算负载。同时,为了避免判读错误,食物的三维形状也受到限制,导致了需要额外的前置作业流程进行食物的处理。
发明内容
现有技术中的自动识别食物并以量取重量的技术方案存在着需要设置相对复杂的设备、需要较高的运算资源、或增加额外处理食物的额外前置作业流程的问题。
基于上述技术问题,本发明提出一种餐饮内容识别方法,包含:取得一检测区域上的多个距离值,以产生一距离分布,并检索包含检测区域的一待分析图像;将距离分布映射至待分析图像;设定一门槛距离,以在待分析图像中定义各距离值小于门槛距离的部分作为至少一待识别区块;对至少一待识别区块进行图像识别,识别位于待识别区块的一食物的种类;以及依据距离分布,取得食物的体积。
在至少一实施例中,于取得多个距离值之前,持续检索待分析图像,分析待分析图像是否包含检测区域。
在至少一实施例中,检索待分析图像包含以一图像检索装置检索待分析图像,且图像检索装置与检测区域的一表面之间具有一实际基准距离值,门槛距离小于或等于实际基准距离值。
在至少一实施例中,检测区域的长度以及宽度在待分析图像内占据的像素数分别为Xn×Yn,且图像检索装置与检测区域的表面之间具有一预设基准距离值,该检测区域于该预设基准距离值下的一实际长度以及一实际宽度在该待分析图像内占据的像素数分别是L×W,该实际基准距离值与该预设基准距离值之间的关系为:
z0'=z0×(L/Xn);或是
z0'=z0×(W/Yn);
其中,z0为预设基准距离值,z0’为实际基准距离值。
在至少一实施例中,餐饮内容识别方法更包含判断每一距离值是否介于一距离上限值以及一距离下限值之间的范围区间;若任一距离值超出距离上限值以及距离下限值的范围区间,重新取得多个距离值以及重新检索待分析图像。
在至少一实施例中,餐饮内容识别方法更包含依据距离分布以及至少一标准容器信息,识别至少一待识别区块是否符合一正确放置的标准容器。
在至少一实施例中,识别位于待识别区块的食物的种类的步骤包含:载入至少一食物信息;其中,至少一食物信息至少包含食物的种类以及一样本图像;比对待识别区块的图像以及样本图像是否相近似,以于待识别区块识别出食物的种类。
在至少一实施例中,餐饮内容识别方法,更包含:载入至少一食物信息;其中,至少一食物信息更包含食物的食物密度;以及将食物密度乘以食物的体积以得到食物的重量。
在至少一实施例中,餐饮内容识别方法,更包含:载入至少一食物信息;其中,至少一食物信息还包含营养成分、单位重量价格;以及以营养成分乘以食物的重量,以得到食物的一营养组成;以单位重量价格乘以食物的重量,以得到食物的价格;以及关联食物的种类、重量、营养组成以及价格于一用餐者,并上传至一管理平台。
在至少一实施例中,餐饮内容识别方法更包含分析至少一待识别区块是否符合正确摆放的一标准容器;当至少一待识别区块不符合正确摆放的标准容器,产生一错误提示。
本发明还提出一种餐饮内容识别系统,包含:一三维扫瞄器、一图像检索装置以及一数据处理模块。
三维扫瞄器用以取得一检测区域上的多个距离值,以产生一距离分布。图像检索装置用以检索检测区域的一待分析图像。数据处理模块电性连接于三维扫瞄器以及图像检索装置;其中,数据处理模块将距离分布映射至待分析图像;数据处理模块并设定一门槛距离,以在待分析图像中定义各距离值小于门槛距离的部分作为至少一待识别区块;且数据处理模块对至少一待识别区块进行图像识别,识别位于至少一待识别区块的一食物的种类,并依据距离分布,取得食物的体积。
在至少一实施例中,于取得多个距离值之前,图像检索装置持续检索待分析图像,且数据处理模块分析待分析图像是否包含检测区域。
在至少一实施例中,图像检索装置与检测区域的一表面之间具有一实际基准距离值,门槛距离小于或等于实际基准距离值。
在至少一实施例中,检测区域的长度以及宽度在待分析图像内占据的像素数分别为Xn×Yn,且图像检索装置与检测区域的表面之间具有一预设基准距离值,该检测区域于该预设基准距离值下的一实际长度以及一实际宽度在该待分析图像内占据的像素数分别是L×W,该实际基准距离值与该预设基准距离值之间的关系为:
z0'=z0×(L/Xn);或是
z0'=z0×(W/Yn);
其中,z0为预设基准距离值,z0’为实际基准距离值。
在至少一实施例中,数据处理模块判断每一距离值是否介于一距离上限值以及一距离下限值之间的范围区间;若任一距离值超出距离上限值以及距离下限值的范围区间,以三维扫瞄器以及图像检索装置重新取得多个距离值以及重新检索待分析图像。
在至少一实施例中,数据处理模块由载入至少一标准容器信息,并依据距离分布以及至少一标准容器信息,识别至少一待识别区块是否符合一正确放置的标准容器。
在至少一实施例中,数据处理模块载入食物的种类以及一样本图像,并比对待识别区块的图像以及样本图像是否相近似,以于待识别区块识别出食物的种类。
在至少一实施例中,数据处理模块载入食物的食物密度,并将食物密度乘以食物的体积以得到食物的重量。
在至少一实施例中,数据处理模块载入营养成分、单位重量价格,以营养成分乘以食物的重量以得到食物的一营养组成,并以单位重量价格乘以食物的重量以得到食物的价格;且数据处理模块关联食物的种类、重量、营养组成以及价格于一用餐者,并上传至一管理平台。
在至少一实施例中,数据处理模块分析至少一待识别区块是否符合正确摆放的一标准容器;当至少一待识别区块不符合正确摆放的标准容器,产生一错误提示。
本发明通过三维扫瞄以及图像检索的结合,由检索的图像以及三维扫瞄信息的对应关系,在待分析图像中的检测区域标记出标准容器所占有的区域,而仅对标准容器所对应的待识别区块进行图像识别,取代对整个待分析图像进行图像识别,以判断食物的种类。因此,本发明可以降低进行图像识别所需要的运算负载,而可加速识别食物过程。同时,通过标准容器的应用,三维扫瞄所取得的距离分布可以用于有效地且相对精确地计算食物的体积,配合食物信息之关联,即可快速地分析完整餐饮的信息,借以结合用餐者识别信息进行后端管理。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1是本发明实施例的餐饮内容识别系统的侧面示意图。
图2是本发明实施例的餐饮内容识别系统的俯视示意图。
图3是本发明实施例的餐饮内容识别系统的系统方块图。
图4是本发明实施例中,映射距离至待分析图像的示意图。
图5是本发明实施例中,校正多个距离值的示意图。
图6是本发明实施例的餐饮内容识别方法的流程图(一)。
图7是本发明实施例的餐饮内容识别方法中,依据距离门槛定义至少一待识别区块的示意图。
图8是本发明实施例的餐饮内容识别方法中,食物数据库中的信息对照表。
图9是本发明实施例的餐饮内容识别方法中,依据距离分布取得食物的体积的示意图。
图10是本发明实施例的餐饮内容识别方法的流程图(二)。
图11是本发明实施例的餐饮内容识别方法的流程图(三)。
图12是本发明实施例的餐饮内容识别方法的流程图(四)。
图13是本发明实施例的餐饮内容识别方法中,识别检测区域的示意图。
图14是本发明实施例的餐饮内容识别方法中,定义至少一待识别区块的示意图。
图15是本发明实施例的餐饮内容识别方法中,分析至少一待识别区块是否符合正确摆放的一标准容器的示意图。
附图标记
100:餐饮内容识别系统
110:三维扫瞄器
120:图像检索装置
130:数据处理模块
140:支架
150:容器数据库
160:食物数据库
200:食物
301、302、303:标准容器
304:非标准容器
400:管理平台
A,A’:检测区域
B:待识别区块
C:待分析图像
D:间隔距离
L:检测区域A的实际长度
Xn:检测区域A’的长度
W:检测区域A的实际宽度
Yn:检测区域A’的宽度
P:距离分布
S:放置台
X:长度方向
Y:宽度方向
Z:高度方向
Δa:网格区域面积
h:网格高度
z、z(x,y):距离值
zmax:门槛距离
z0:预设基准距离值
z0’:实际基准距离值
Step112~Step170:步骤
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述:
以下说明使用的术语「模块」可以是指专用集成电路(ASIC)、电子电路、微处理器,执行一个或多个软件或固件程序的芯片、电路设计。模块被配置为执行各种算法、变换和/或逻辑处理以生成一或多个信号。当模块以软件实现时,模块可以作为芯片、电路设计可读取的程序码而通过程序码执行实现于存储器中。
如图1、图2以及图3所示,为本发明实施例所揭露的一种餐饮内容识别系统100,用以执行一餐饮内容识别方法,识别位于一检测区域A中的至少一食物200的种类。餐饮内容识别系统100包含三维扫瞄器110、图像检索装置120以及数据处理模块130。
如图1、图2以及图3所示,三维扫瞄器110以及图像检索装置120设置于一支架140上,并且三维扫瞄器110以及图像检索装置120朝向放置台S,而检测区域A位于放置台S。
如图1、图2、图3以及图4所示,三维扫瞄器110用于对于检测区域A进行三维扫描,取得检测区域A上的多个检测点的多个距离值z(x,y),以产生一距离分布P。距离分布P,亦即些距离值z(x,y)以及于检测区域A对应的位置,形成一点云(pointcloud),可呈现检测区域A的起伏状态,借以供数据处理模块130判断检测区域A上是否有摆设物件,并且可用于分析物件的三维形态。三维扫瞄器110可以是但不限于立体相机(StereoCamera)、飞行测距(TimeofFlight,TOF)摄影相机、光达、或其他的光学、声学测距装置,只要可以检测多个深度值即可。
如图1、图2、图3以及图4所示,图像检索装置120用以检索包含检测区域A的一待分析图像C。于一具体实施例中,图像检索装置120是RGB彩色摄影机,而可检索彩色的待分析图像C,以利执行图像分析。图像检索装置120不限定为彩色摄影机,不排除是单色摄影机,使待分析图像C为单色(黑白)图像。
如图1、图2、图3以及图4所示,数据处理模块130电性连接于三维扫瞄器110以及图像检索装置120,用以接收距离分布P以及待分析图像C。架设于支架140上的三维扫瞄器110以及图像检索装置120大致上位于相同高度(相对于检测区域A),但于水平方向上会间隔一间隔距离D。
如图4所示,数据处理模块130可以依据间隔距离D,对距离分布P以及待分析图像C的平面坐标关系进行平移(Shift),映射(Mapping)距离分布P至待分析图像C。
如图5所示,此外,数据处理模块130也利用检测区域A于待分析图像C的像素信息与检测区域A的实际尺寸,校正距离值z(x,y)的基准面,亦即取得图像检索装置120至检测区域A的表面的实际基准距离值z0’。
一般而言,检测区域A通常为矩型,而有固定的长度以及宽度。例如,本发明实施例以餐盘的表面作为检测区域A。标准化的餐盘会有固定的长度以及宽度。
如图5所示,在标准作业状态下,餐盘平稳地摆设在一平台上,使得检测区域A的表面至图像检索装置120之间具有一预设基准距离值z0。此时,在长度方向X以及宽度方向Y上,检测区域A的实际长度以及实际宽度在待分析图像C内占据的像素数分别是L×W。
实际操作本发明的餐饮内容识别系统100时,使用者可能不会将餐盘完整平放在平台上,也许是手拖着餐盘在某个高度。此时,检测区域A的平面至图像检索装置120之间的距离将会缩小,而使得预设基准距离值z0不适用,导致后续的门槛距离zmax设定错误,影响后续的判断以及计算作业。
如图5所示,当餐盘被提高而位于较高的高度时,作为检测区域A’的平面至图像检索装置120之间的距离会缩小成为实际基准距离值z0’。此时,数据处理模块130所检索的待分析图像C中,检测区域A’会放大,而使得检测区域A’的长度以及宽度在待分析图像C内占据的像素数分别改变为Xn×Yn。
在此种情况下,原先储存于数据处理模块130中的预设基准距离值z0不适用,而需要取得实际基准距离值z0’。此时,实际基准距离值z0’与预设基准距离值z0之间的关系为可利用像素数比例表示如下:
z0'=z0×(L/Xn);或是
z0'=z0×(W/Yn)。
如图2以及图3所示,不同的食物200分别以不同的标准容器301、302、303装填,标准容器301、302、303的开口朝向检测区域A的上方,以使得三维扫瞄器110以及图像检索装置120可以检测标准容器301、302、303的内部的状况。此外,每一标准容器301、302、303都具有环绕内部空间侧壁,使得标准容器301、302、303在检测区域A中形成一个高于检测区域A的环状区域。具体而言,数据处理模块130可内建或连接于一容器数据库150,容器数据库150中储存有标准容器301、302、303的信息,例如开口的面积与形状、侧壁厚度、容置空间的截面积大小。理想的标准容器301、302、303中,容置空间的截面积较佳地是于高度方向Z上维持一致,如柱状,而可有利于后续的分析与计算。但不排除容置空间呈现倒置的锥状,亦即由开口至底部截面积呈现渐缩,前述的截面积与高度之间的关系只要预先储存于容器数据库150,而可快速地经由查表或公式运算取得即可。
一般而言,例如在自助取餐的场合,用餐者是将所要取用的食物200连同其标准容器301、302、303放置在一餐盘上。因此,检测区域A可以设定为位于一餐盘的表面。通过颜色的差异化设定,可以让餐盘的表面(即检测区域A)与环境形成对比,而有利于标示出检测区域A。同时,标准化的餐盘也可以让检测区域A具有固定的长度(L)以及宽度(W)。
以下说明本发明实施例所揭露的餐饮内容识别方法。
如图1、图2、图4以及图6所示,首先,数据处理模块130启动并控制三维扫瞄器110以及图像检索装置120进行工作。依据数据处理模块130的控制,三维扫瞄器110对于检测区域A进行三维扫描,取得检测区域A上的多个距离值z(x,y),以产生距离分布P,如步骤Step112所示。而图像检索装置120检索包含检测区域A的一待分析图像C,如步骤Step114所示。前述步骤Step112以及步骤Step114可以同时执行,也可以是依序执行。
如图4以及图6所示,接着,数据处理模块130映射距离分布P至待分析图像C,如步骤Step120所示。此一映射步骤,用以使得每一距离值z(x,y)在待分析图像C上都有一个或一组对应的像素,亦即,每一距离值z(x,y)在待分析图像C上具有一个对应的坐标值(x,y)。
如图6以及图7所示,数据处理模块130中设定有一门槛距离zmax。依据此一门槛距离zmax,数据处理模块130在待分析图像C中定义各距离值z(x,y)小于门槛距离zmax的部分作为一或多个待识别区块B,如步骤Step130所示。
如图7所示,门槛距离zmax可以是设定为落在检测区域A的表面,也就是将实际基准距离值z0’设定为门槛距离zmax,或是设定一略小于实际基准距离值z0’的数值作为门槛距离zmax。每一标准容器301、302、303都具有环绕其内部空间的侧壁,使得标准容器301、302、303在检测区域A中形成一个高于检测区域A表面的环状区域;即使是空标准容器301、302、303中内部空间的底部,也会因为标准容器301、302、303的实体厚度而高于检测区域A表面;因此,只要高度高于零,亦即对应距离值z小于门槛距离zmax的像素,都可以视为标准容器301、302、303所涵盖的区域。因此,数据处理模块130可以将待分析图像C中相关像素占有的部分分离出来作为待识别区块B,取代对整个待分析图像C进行分析。
如图6以及图7所示,接着,数据处理模块130对待识别区块B进行图像识别,识别位于待识别区块B的一食物200的种类,如步骤Step140所示。
如图6以及图7所示,于步骤Step130中,数据处理模块130已经将可能放置餐饮的待识别区块B分割出来,而排除无关于食物200以及无关于标准容器301、302、303的像素区域。因此,在步骤Step140中,数据处理模块130只需要对待识别区块B进行图像识别而不需对整个待分析图像C进行图像识别,数据处理模块130所需要耗损的运算资源较少,而可加速图像识别效率,并且有效降低识别错误的机率。
如图3以及图8所示,数据处理模块130内建或外接一食物数据库160。食物数据库160中储存有多种食物信息。食物信息包含食物200的种类、样本图像、食物密度、营养成分、单位重量价格(例如元/100克)等信息。经由比对待识别区块B的图像以及样本图像是否相近似,数据处理模块130可于待识别区块B识别出食物200的种类。
如图6所示,依据待识别区块B中的距离分布P,数据处理模块130取得食物200的体积,如步骤Step150所示。
如图9所示,取得食物200的体积的具体实施例说明如下。待识别区块B可被切割为多个网格区域,每一网格区域对应一个距离值z(x,y)。依据标准容器信息以及检测区域A表面(即餐盘表面)的实际基准距离值z0’,数据处理模块130可换算出每一网格区域中,食物相对于标准容器301、302、303内部空间的底部的网格高度h。网格高度h乘以网格区域面积Δa,即为网格区域中的局部食物200的体积。
最后,数据处理模块130加总所有网格区域中的食物200的体积,即为标准容器301、302、303中的食物200的体积,如图中所示的斜线部分。如前所述,容置空间的截面积较佳地是于高度方向Z上维持一致,如柱状,而可有利于后续的分析与计算。但不排除容置空间呈现倒置的锥状;此时,依据标准容器信息,网格高度h可以依据斜面状况修正,如图9中位于边缘的网格高度h被扣除斜面的平均高度。标准容器信息可包含标准容器301、302、303以及容置空间的三维形态,因此,网格高度h可以依据三维形态修正,借以得到正确的食物200的体积。前述图5以及对应说明所述取得实际基准距离值z0’,就是要避免错误地采用预设基准距离值z0,而导致网格高度h被错误地增加致使食物200的体积计算错误。
如图6以及图8所示,最后,依据食物数据库160载入的食物信息以及食物200的体积计算食物200的重量,如步骤Step160所示。如前所述,食物信息还包含食物密度、营养成分、单位重量价格等信息,因此数据处理模块130将食物密度乘以食物200的体积就可以得到食物200的重量。此外,成分组成中的营养成分分别乘以重量,就可以得到食物200的营养组成。同样地,单位重量价格乘以重量可以得到食物200的价格。
前述的用餐信息,包含食物200的种类、重量、营养组成以及价格等,可关联于特定用餐者。数据处理模块130关联用餐者识别信息以及餐饮内容,并上传至一管理平台400,以进行用餐者的饮食管理或是餐饮费用管理,如步骤Step170所示。特定用餐者的识别方式,可以是生物特征识别、读取RFID、输入账号密码等,用餐者的识别可于餐饮内容识别方法执行之前进行,且可以是在步骤Step160之后进行。
前述的餐饮内容识别方法是于理想状态下进行。于实际应用场合,可能遭遇不同问题需要解决,以下进一步说明前述餐饮内容识别方法的变化例。
如图10、图11以及图12所示,首先,餐饮内容识别方法的开始,可以是手动启动,也可以是自动启动。于自动启动的场合,数据处理模块130启动并控制三维扫瞄器110以及图像检索装置120进行工作,持续对放置台S进行检测。图像检索装置120持续检索待分析图像C,并且数据处理模块130持续分析待分析图像C是否包含检测区域A,步骤Step116所示。当检测到待分析图像C包含检测区域A,数据处理模块130便执行映射距离分布P至待分析图像C,如步骤Step120所示,并且继续执行步骤Step122。
如图13所示,检测区域A为餐盘的表面,于俯视状态下具有固定的形状以及特定颜色。因此,数据处理模块130可以依据形状以及颜色,判断检测区域A(即餐盘)是否出现在放置台S,而自动启动后续识别程序。
如图5以及图10所示,接着,数据处理模块130利用分析检测区域A的图像中的像素信息与检测区域A的实际尺寸,以取得实际基准距离值z0’,如步骤Step122所示。实际基准距离值z0’与预设基准距离值z0之间的关系为可利用像素数比例表示如下:
z0'=z0×(L/Xn);或是
z0'=z0×(W/Yn)。
如图10所示,数据处理模块130依据实际基准距离值z0’分析距离值z(x,y)的分布是否合理,如步骤Step124所示。例如,依据餐盘厚度、标准容器301、302、303高度、食物可能的填装量,每一距离值z(x,y)应介于一距离上限值以及一距离下限值之间的范围区间,若距离值z(x,y)其中之一超出距离上限值以及距离下限值的范围区间,则距离值z(x,y)为不合理,而需重新执行步骤Step112以及Step114。
于步骤Step130找出的一或多个待识别区块B,即有可能是标准容器301、302、303。标准容器301、302、303的开口朝向检测区域A的上方,而有固定的俯视形状。
如图14所示,此时,数据处理模块130可以依据步骤Step116中所识别出的检测区域A,去除待分析图像C中一或多个待识别区块B以外的部分,以作为后续图像之用。
如图11所示,数据处理模块130由容器数据库150载入标准容器301、302、303的信息,例如开口的面积与形状,分析待识别区块B是否符合标准容器301、302、303的开口的面积与形状,以判断每一待识别区块B是否对应于正确摆放的标准容器301、302、303,如步骤Step132所示。
如图15所示,错误的摆放方式包含:标准容器301、302、303之间互相干涉交叠,使等标准容器301、302、303被共同定义为单一待识别区块B,导致俯视型态不符合任一标准容器301、302、303的开口形状;标准容器301、302、303倾倒,导致俯视型态不符合任一标准容器301、302、303的开口形状;标准容器301,302,303的放置超出检测区域A,而导致位于检测区域A的部分的形状不符合标准容器301、302、303的开口形状;或是,放置于检测区域A的为错误的非标准容器304。
如图11以及图15所示,所示,当一或多个待识别区块B不符合任一标准容器301、302、303的开口形状,数据处理模块130判断至少一待识别区块B所对应于标准容器301、302、303未正确摆放,则数据处理模块130产生一错误提示,并驱动一显示装置或一警示装置发出错误提示,如步骤Step134所示。
如图11所示,若每一待识别区块B对应于正确摆放的标准容器301、302、303,数据处理模块130执行步骤Step140,识别位于待识别区块B的一食物200的种类。当成功识别食物200的种类,则持续进行食物200的体积以及重量的计算,如步骤Step142、Step150、Step160,并且基于用餐者的识别,关联用餐者识别信息以及餐饮内容,上传数据至管理平台400,如步骤Step170所示。
如图11以及图12所示,部分的食物200,可能是以特定的标准容器301、302、303盛装,因此,若步骤Step142中判断无法识别食物200的种类,则数据处理模块130分析是否可依据标准容器信息,由标准容器301、302、303的种类判断食物200的种类,如步骤Step144所示。若可由标准容器301、302、303的种类判断食物200的种类,则数据处理模块130继续执行步骤Step150、Step160。若无法由标准容器301、302、303的种类判断食物200的种类,则数据处理模块130执行步骤Step134,产生错误提示。步骤Step144也可以省略,于步骤Step142中判断无法识别食物200的种类时,数据处理模块130就直接执行步骤Step134。
本发明通过三维扫瞄以及图像检索的结合,由检索的图像以及三维扫瞄信息的对应关系,在待分析图像中的检测区域标记出标准容器所占有的区域,而仅对标准容器所对应的待识别区块进行图像识别,取代对整个待分析图像进行图像识别,以判断食物的种类。因此,本发明可以降低进行图像识别所需要的运算负载,而可加速识别食物过程。同时,通过标准容器的应用,三维扫瞄所取得的距离分布可以用于有效地且相对精确地计算食物的体积,配合食物信息的关联,即可快速地分析完整餐饮的信息,借以结合用餐者识别信息进行后端管理。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (20)
1.一种餐饮内容识别方法,其特征在于,包含:
取得一检测区域上的多个距离值,以产生一距离分布,并检索包含该检测区域的一待分析图像;
将该距离分布映射至该待分析图像;
设定一门槛距离,以在该待分析图像中定义各该距离值小于该门槛距离的部分作为至少一待识别区块;
对该至少一待识别区块进行图像识别,识别位于该待识别区块的一食物的种类;以及
依据该距离分布,取得该食物的体积。
2.如权利要求1所述的餐饮内容识别方法,其特征在于,其中,于取得该多个距离值之前,持续检索该待分析图像,分析该待分析图像是否包含该检测区域。
3.如权利要求1所述的餐饮内容识别方法,其特征在于,其中,检索该待分析图像包含:以一图像检索装置检索该待分析图像,且该图像检索装置与该检测区域的一表面之间具有一实际基准距离值,该门槛距离小于或等于该实际基准距离值。
4.如权利要求3所述的餐饮内容识别方法,其特征在于,其中,该检测区域的一长度以及一宽度在待分析图像内占据的像素数分别为Xn×Yn,且该图像检索装置与该检测区域的该表面之间具有一预设基准距离值,该检测区域于该预设基准距离值下的一实际长度以及一实际宽度在该待分析图像内占据的像素数分别是L×W,该实际基准距离值与该预设基准距离值之间的关系为:
z0'=z0×(L/Xn);或是
z0'=z0×(W/Yn);
其中,z0为该预设基准距离值,z0’为该实际基准距离值。
5.如权利要求3所述的餐饮内容识别方法,其特征在于,更包含判断每一该距离值是否介于一距离上限值以及一距离下限值之间的范围区间;若任一该距离值超出该距离上限值以及该距离下限值的范围区间,重新取得该多个距离值以及重新检索该待分析图像。
6.如权利要求1所述的餐饮内容识别方法,其特征在于,更包含依据该距离分布以及至少一标准容器信息,识别该至少一待识别区块是否符合一正确放置的标准容器。
7.如权利要求1所述的餐饮内容识别方法,其特征在于,其中,识别位于该待识别区块的该食物的种类的步骤包含:
载入至少一食物信息;其中,该至少一食物信息至少包含该食物的种类以及一样本图像;
比对该待识别区块的图像以及该样本图像是否相近似,以于该待识别区块识别出该食物的种类。
8.如权利要求7所述的餐饮内容识别方法,其特征在于,更包含:
载入该至少一食物信息;其中,该至少一食物信息更包含该食物的食物密度;以及
将该食物密度乘以该食物的体积以得到该食物的重量。
9.如权利要求8所述的餐饮内容识别方法,其特征在于,更包含:
载入该至少一食物信息;其中,该至少一食物信息还包含营养成分、单位重量价格;
以该营养成分乘以该食物的重量,以得到该食物的一营养组成;
以该单位重量价格乘以该食物的重量,以得到该食物的价格;以及
关联该食物的种类、重量、营养组成以及价格于一用餐者,并上传至一管理平台。
10.如权利要求1所述的餐饮内容识别方法,其特征在于,更包含分析该至少一待识别区块是否符合正确摆放的一标准容器;当该至少一待识别区块不符合该正确摆放的标准容器,产生一错误提示。
11.一种餐饮内容识别系统,其特征在于,包含:
一三维扫瞄器,用以取得一检测区域上的多个距离值,以产生一距离分布;
一图像检索装置,用以检索该检测区域的一待分析图像;以及
一数据处理模块,电性连接于三维扫瞄器以及图像检索装置;
其中,该数据处理模块将该距离分布映射至该待分析图像;该数据处理模块并设定一门槛距离,以在该待分析图像中定义各该距离值小于该门槛距离的部分作为至少一待识别区块;且该数据处理模块对该至少一待识别区块进行图像识别,识别位于该至少一待识别区块的一食物的种类,并依据距离分布,取得该食物的体积。
12.如权利要求11所述的餐饮内容识别系统,其特征在于,其中,于取得该多个距离值之前,该图像检索装置持续检索该待分析图像,且该数据处理模块分析该待分析图像是否包含该检测区域。
13.如权利要求11所述的餐饮内容识别系统,其特征在于,其中,该图像检索装置与该检测区域的一表面之间具有一实际基准距离值,该门槛距离小于或等于该实际基准距离值。
14.如权利要求13所述的餐饮内容识别系统,其特征在于,其中,该检测区域的长度以及宽度在待分析图像内占据的像素数分别为Xn×Yn,且该图像检索装置与该检测区域的该表面之间具有一预设基准距离值,该检测区域于该预设基准距离值下的一实际长度以及一实际宽度在该待分析图像内占据的像素数分别是L×W,该实际基准距离值与该预设基准距离值之间的关系为:
z0'=z0×(L/Xn);或是
z0'=z0×(W/Yn);
其中,z0为该预设基准距离值,z0’为该实际基准距离值。
15.如权利要求14所述的餐饮内容识别系统,其特征在于,其中,该数据处理模块判断每一该距离值是否介于一距离上限值以及一距离下限值之间的范围区间;若任一该距离值超出该距离上限值以及该距离下限值的范围区间,以该三维扫瞄器以及该图像检索装置重新取得该多个距离值以及重新检索该待分析图像。
16.如权利要求11所述的餐饮内容识别系统,其特征在于,其中,该数据处理模块载入至少一标准容器信息,并依据该距离分布以及该至少一标准容器信息,识别该至少一待识别区块是否符合一正确放置的标准容器。
17.如权利要求11所述的餐饮内容识别系统,其特征在于,其中,该数据处理模块载入该食物的种类以及一样本图像,并比对该待识别区块的图像以及该样本图像是否相近似,以于该待识别区块识别出该食物的种类。
18.如权利要求17所述的餐饮内容识别系统,其特征在于,其中,该数据处理模块载入该食物的食物密度,并将该食物密度乘以该食物的体积以得到该食物的重量。
19.如权利要求18所述的餐饮内容识别系统,其特征在于,其中,该数据处理模块载入营养成分、单位重量价格,以该营养成分乘以该食物的重量以得到该食物的一营养组成,并以该单位重量价格乘以该食物的重量以得到该食物的价格;且该数据处理模块关联该食物的种类、重量、营养组成以及价格于一用餐者,并上传至一管理平台。
20.如权利要求11所述的餐饮内容识别方法,其特征在于,其中,该数据处理模块分析该至少一待识别区块是否符合正确摆放的一标准容器;当该至少一待识别区块不符合该正确摆放的标准容器,产生一错误提示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011107570.2A CN114445614A (zh) | 2020-10-16 | 2020-10-16 | 餐饮内容识别方法以及餐饮内容识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011107570.2A CN114445614A (zh) | 2020-10-16 | 2020-10-16 | 餐饮内容识别方法以及餐饮内容识别系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114445614A true CN114445614A (zh) | 2022-05-06 |
Family
ID=81357298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011107570.2A Pending CN114445614A (zh) | 2020-10-16 | 2020-10-16 | 餐饮内容识别方法以及餐饮内容识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114445614A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116825286A (zh) * | 2023-08-31 | 2023-09-29 | 北京四海汇智科技有限公司 | 一种食物成分识别及营养推荐系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110182477A1 (en) * | 2010-01-22 | 2011-07-28 | Amir Tamrakar | Method for computing food volume in a method for analyzing food |
CN107563461A (zh) * | 2017-08-25 | 2018-01-09 | 北京中骏博研科技有限公司 | 基于图像识别的餐饮行业的自动收费方法及系统 |
CN107873101A (zh) * | 2014-11-21 | 2018-04-03 | 克里斯多夫·M·马蒂 | 用于对象辨识和评估的成像系统 |
JP2018147416A (ja) * | 2017-03-09 | 2018-09-20 | 株式会社ブレイン | 食事の識別システムと識別方法及び識別プログラム |
CN109523428A (zh) * | 2018-09-13 | 2019-03-26 | 上海交通大学 | 基于图像识别技术的智能餐饮结算方法、系统、装置及介质 |
CN110188641A (zh) * | 2019-05-20 | 2019-08-30 | 北京迈格威科技有限公司 | 图像识别和神经网络模型的训练方法、装置和系统 |
CN110852733A (zh) * | 2019-10-22 | 2020-02-28 | 杭州效准智能科技有限公司 | 一种基于rfid融合菜品图像匹配识别的智能餐饮结算系统 |
-
2020
- 2020-10-16 CN CN202011107570.2A patent/CN114445614A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110182477A1 (en) * | 2010-01-22 | 2011-07-28 | Amir Tamrakar | Method for computing food volume in a method for analyzing food |
CN107873101A (zh) * | 2014-11-21 | 2018-04-03 | 克里斯多夫·M·马蒂 | 用于对象辨识和评估的成像系统 |
JP2018147416A (ja) * | 2017-03-09 | 2018-09-20 | 株式会社ブレイン | 食事の識別システムと識別方法及び識別プログラム |
CN107563461A (zh) * | 2017-08-25 | 2018-01-09 | 北京中骏博研科技有限公司 | 基于图像识别的餐饮行业的自动收费方法及系统 |
CN109523428A (zh) * | 2018-09-13 | 2019-03-26 | 上海交通大学 | 基于图像识别技术的智能餐饮结算方法、系统、装置及介质 |
CN110188641A (zh) * | 2019-05-20 | 2019-08-30 | 北京迈格威科技有限公司 | 图像识别和神经网络模型的训练方法、装置和系统 |
CN110852733A (zh) * | 2019-10-22 | 2020-02-28 | 杭州效准智能科技有限公司 | 一种基于rfid融合菜品图像匹配识别的智能餐饮结算系统 |
Non-Patent Citations (2)
Title |
---|
丁伟利;李勇;陈瑜;: "基于区域颜色特征的食物类别识别算法", 电子科技, no. 06, 15 June 2016 (2016-06-15) * |
杨帆: "数字图像处理与分析", 31 January 2019, 北京航空航天大学出版社, pages: 142 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116825286A (zh) * | 2023-08-31 | 2023-09-29 | 北京四海汇智科技有限公司 | 一种食物成分识别及营养推荐系统 |
CN116825286B (zh) * | 2023-08-31 | 2023-11-14 | 北京四海汇智科技有限公司 | 一种食物成分识别及营养推荐系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10922353B2 (en) | Hybrid detection recognition system | |
US20120106787A1 (en) | Apparatus and methods for analysing goods packages | |
CA2957433C (en) | Hybrid detection recognition system | |
CN107403128B (zh) | 一种物品识别方法及装置 | |
US20200175318A1 (en) | Medicine inspection support device, image processing device, image processing method, and program | |
US20130101205A1 (en) | Label detecting system, apparatus and method thereof | |
JP7374453B2 (ja) | 学習済みモデル生成方法、学習済みモデル生成装置、商品判別方法、商品判別装置、商品判別システム及び計量装置 | |
US9972080B2 (en) | Apparatus and method for food search service | |
CN114445614A (zh) | 餐饮内容识别方法以及餐饮内容识别系统 | |
US20190333004A1 (en) | Processing system, processing method, and non-transitory storage medium | |
CN111325084A (zh) | 一种基于yolo神经网络的菜品信息识别方法、终端 | |
CN111259980A (zh) | 标注数据的处理方法和装置 | |
TWI774088B (zh) | 餐飲內容識別方法以及餐飲內容識別系統 | |
WO2024073237A1 (en) | Methods and apparatus for machine learning system for edge computer vision and active reality | |
CN111444796A (zh) | 售货机器人的商品摆放判断方法及装置 | |
JP7130945B2 (ja) | 在庫検出プログラム、在庫検出方法及び在庫検出装置 | |
US20220254175A1 (en) | An apparatus and method for performing image-based food quantity estimation | |
US10631668B2 (en) | Inspection system, information collection apparatus, inspection method, information collection method, and non-transitory storage medium | |
CN112115901B (zh) | 一种高准确度的食物识别方法 | |
CN110738260A (zh) | 一种零售门店太空箱摆放检测方法、装置和设备 | |
CN117290399A (zh) | 一种基于文本识别的奶粉标签信息检测方法和系统 | |
CN115222702A (zh) | 一种机场行李空筐检测方法、系统、介质及电子设备 | |
US20240029275A1 (en) | System and method for identifying unmoved items on a platform during item identification | |
CN117546209A (zh) | 图像处理装置、方法以及图像处理系统 | |
KR20240080302A (ko) | 객체 종류 및 6-자유도 인식 방법 및 이를 이용한 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |