CN111783574B - 膳食图像识别方法、装置以及存储介质 - Google Patents

膳食图像识别方法、装置以及存储介质 Download PDF

Info

Publication number
CN111783574B
CN111783574B CN202010556462.7A CN202010556462A CN111783574B CN 111783574 B CN111783574 B CN 111783574B CN 202010556462 A CN202010556462 A CN 202010556462A CN 111783574 B CN111783574 B CN 111783574B
Authority
CN
China
Prior art keywords
meal
attribute
image
attributes
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010556462.7A
Other languages
English (en)
Other versions
CN111783574A (zh
Inventor
李利明
何伟
石磊
贺志晶
刘涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010556462.7A priority Critical patent/CN111783574B/zh
Publication of CN111783574A publication Critical patent/CN111783574A/zh
Application granted granted Critical
Publication of CN111783574B publication Critical patent/CN111783574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Abstract

本申请公开了一种膳食图像识别方法、装置以及存储介质。其中，该方法包括：获取待识别的膳食图像；利用预设的基于膳食属性训练的图像识别模型对膳食图像进行计算，确定膳食图像对应于多个膳食属性的概率值，其中多个膳食属性分为多个膳食属性集合，并且多个膳食属性集合分别用于描述膳食的不同特征；以及根据多个膳食属性确定多个与膳食图像相关的属性组合，其中属性组合由每个膳食属性集合中的一个膳食属性组成；以及根据概率值和属性组合，确定膳食图像中的膳食所属的类别。

Description

膳食图像识别方法、装置以及存储介质
技术领域
本申请涉及图像识别技术领域，特别是涉及一种膳食图像识别方法、装置以及存储介质。
背景技术
在图像处理技术快速发展的背景下，如何从膳食图像中识别出膳食名称是管理营养健康重要的一个环节，尤其当各类膳食之间存在形态相近但营养素不同时，需要准确识别出其膳食名字，例如：榴莲和菠萝蜜形态相近，在识别过程中需要准确识别每种膳食的名字。当前在图像识别领域中对多类别任务进行分类时，使用深度卷积网络直接对各类别图像进行特征提取，然后使用分类器直接分类。然而，然而在上述分类过程中，并没有对类别之间的差异进行分析处理，当膳食类别之间差异大的情况下识别效果良好，但对于膳食类别之间差异小的情况下识别精准度很低。
针对上述的现有技术中存在的多类别分类方法对于类别差异较小的膳食图像识别精度低的技术问题，目前尚未提出有效的解决方案。
发明内容
本公开的实施例提供了一种膳食图像识别方法、装置以及存储介质，以至少解决现有技术中存在的多类别分类方法对于类别差异较小的膳食图像识别精度低的技术问题。
根据本公开实施例的一个方面，提供了一种膳食图像识别方法，包括：获取待识别的膳食图像；利用预设的基于膳食属性训练的图像识别模型对膳食图像进行计算，确定膳食图像对应于多个膳食属性的概率值，其中多个膳食属性分为多个膳食属性集合，并且多个膳食属性集合分别用于描述膳食的不同特征；以及根据多个膳食属性确定多个与膳食图像相关的属性组合，其中属性组合由每个膳食属性集合中的一个膳食属性组成；以及根据概率值和属性组合，确定膳食图像中的膳食所属的类别。
根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。
根据本公开实施例的另一个方面，还提供了一种膳食图像识别装置，包括：图像获取模块，用于获取待识别的膳食图像；计算模块，用于利用预设的基于膳食属性训练的图像识别模型对膳食图像进行计算，确定膳食图像对应于多个膳食属性的概率值，其中多个膳食属性分为多个膳食属性集合，并且多个膳食属性集合分别用于描述膳食的不同特征；以及组合确定模块，用于根据多个膳食属性确定多个与膳食图像相关的属性组合，其中属性组合由每个膳食属性集合中的一个膳食属性组成；以及类别确定模块，用于根据概率值和属性组合，确定膳食图像中的膳食所属的类别。
根据本公开实施例的另一个方面，还提供了一种膳食图像识别装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取待识别的膳食图像；利用预设的基于膳食属性训练的图像识别模型对膳食图像进行计算，确定膳食图像对应于多个膳食属性的概率值，其中多个膳食属性分为多个膳食属性集合，并且多个膳食属性集合分别用于描述膳食的不同特征；以及根据多个膳食属性确定多个与膳食图像相关的属性组合，其中属性组合由每个膳食属性集合中的一个膳食属性组成；以及根据概率值和属性组合，确定膳食图像中的膳食所属的类别。
在本公开实施例中，在对膳食进行识别分类过程中，可以利用模型计算与膳食相关的多个膳食属性的概率值，最终结合多个膳食属性的概率值确定膳食所属的类别。因此与现有技术相比，本方案可以根据更细粒度的膳食属性对膳食进行分类，因此出现差别较小的膳食，可以结合多个膳食属性共同判断膳食的类别，因此达到了对差异较小的膳食做到精准分类的技术效果。进而解决了现有技术中存在的多类别分类方法对于类别差异较小的膳食图像识别精度低的技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；
图2是根据本公开实施例1所述的膳食图像识别方法的流程示意图；
图3是根据本公开实施例1模型计算过程的示意图；
图4是根据本公开实施例2所述的膳食图像识别装置的示意图；以及
图5是根据本公开实施例3所述的膳食图像识别装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本实施例，提供了一种膳食图像识别方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例所提供的方法实施例可以在服务器或者类似的计算设备中执行。图1示出了一种用于实现膳食图像识别方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器可用于存储应用软件的软件程序以及模块，如本公开实施例中的膳食图像识别方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的膳食图像识别方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算设备的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算设备中的部件的类型。
在上述运行环境下，根据本实施例的第一个方面，提供了一种膳食图像识别方法，该方法例如可以应用到图像分类的系统，通过该方法可以对膳食图像进行识别分类。图2示出了该方法的流程示意图，参考图2所示，该方法包括：
S202：获取待识别的膳食图像；
S204：利用预设的基于膳食属性训练的图像识别模型对膳食图像进行计算，确定膳食图像对应于多个膳食属性的概率值，其中多个膳食属性分为多个膳食属性集合，并且多个膳食属性集合分别用于描述膳食的不同特征；
S206：根据多个膳食属性确定多个与膳食图像相关的属性组合，其中属性组合由每个膳食属性集合中的一个膳食属性组成；以及
S208：根据概率值和属性组合，确定膳食图像中的膳食所属的类别。
正如背景技术中所述的，在图像处理技术快速发展的背景下，如何从膳食图像中识别出膳食名称是管理营养健康重要的一个环节，尤其当各类膳食之间存在形态相近但营养素不同时，需要准确识别出其膳食名字，例如：榴莲和菠萝蜜形态相近，在识别过程中需要准确识别每种膳食的名字。当前在图像识别领域中对多类别任务进行分类时，使用深度卷积网络直接对各类别图像进行特征提取，然后使用分类器直接分类。然而，然而在上述分类过程中，并没有对类别之间的差异进行分析处理，当膳食类别之间差异大的情况下识别效果良好，但对于膳食类别之间差异小的情况下识别精准度很低。
针对背景技术中存在的技术问题，本实施例技术方案在步骤S202中，膳食分类系统的服务器首先获取待识别的膳食图像，例如：用户可以利用该膳食识别系统的客户端(例如：APP)上传膳食图像，还可以从数据库中获取膳食图像。在这种情况下服务器可以获取待识别的膳食图像，其中膳食图像可以为多个膳食图像，并且膳食图像中可以包含多种膳食，例如：水果、蔬菜、菜品等。
进一步地，在步骤S204中，服务器利用预设的基于膳食属性训练的图像识别模型对膳食图像进行计算，确定膳食图像对应于多个膳食属性的概率值。其中多个膳食属性分为多个膳食属性集合，并且多个膳食属性集合分别用于描述膳食的不同特征。在一个具体实例中，膳食属性集合例如包括：膳食颜色属性集合、膳食形状属性集合、膳食名称属性集合、膳食类型属性集合，其中每个膳食属性集合包括多个膳食属性，例如：膳食颜色属性集合包含黄色、红色等描述膳食颜色的膳食属性，膳食形状属性集合包含长方体、球体等描述膳食形状的膳食属性，膳食类型属性集合包含菜品、食材等描述膳食类型的膳食属性，膳食名称属性集合包括香蕉、玉米等描述膳食名称的膳食属性。此外，在实际应用中还可以包含其他的膳食属性，此处不做具体限定。在模型训练过程中，可以将多个膳食属性构建成树形的标签树结构，以上述的实例为例，膳食属性标签树可以定义为一个深度为4的树结构，树的第一层为颜色层(膳食颜色属性集合)，该层的每个子节点代表一种颜色，如，红色，黄色等；树的第二层为形状层(膳食形状属性集合)，该层的每个节点代表一个体型，如，球体，长方体等；树的第三层为类型层(膳食类型属性集合)，类型层根据膳食材料复杂程度划分，如菜品、食材等；第四层为名称层(膳食名称属性集合)，该层的每个子节点表示一个具体的膳食名称，如：玉米、香蕉等。可以将多个膳食属性构建成树形结构，膳食属性集合对应于树形结构的不同层次，利用膳食属性对训练图像进行标注，然后进行模型的训练。其中，标签树能够区分膳食类别差异程度，图像识别模型可以是深度卷积神经网络模型，能够对膳食的不同差异程度进行识别，而不是将所有菜品见的差异看作同等分布。其中该深度卷积神经网络模型，需要通过对包括膳食库中大量训练样本图像进行训练得到。其中，大量训练样本图像包括常见的样本多的菜品类别，也包括样本较少的地区特色食材类别，还有常见预包装类食物产品类别。将这些多样性的训练样本图像作为训练模型学习的图像，并且所有训练图像都有对应的的类别标记数据，将这些数据通过有监督的学习方法得到可识别树状标签的深度卷积网络模型。由于所述可识别树状标签深度卷积神经网络模型训练时只需要在使用前将类别标签对应到标签树相应位置就可以进行模型学习，模型学习完成后即可对于不同的膳食进行类别识别。在分类过程中，可以将膳食图像输入到模型中，输出该膳食图像中的膳食属于多个膳食属性的概率值，例如：红色的概率值、黄色的概率值、球体的概率值、长方体的概率值等多个膳食属性的概率值。
进一步地，服务器根据多个膳食属性确定多个与膳食图像相关的属性组合，其中属性组合由每个膳食属性集合中的一个膳食属性组成。即：将多个膳食属性集合中的膳食属性进行排列组合，得到多个与膳食图像相关的属性组合。以上述实例中的膳食属性为例，得到的属性组合包括：[黄色，长方体，食材，香蕉]、[黄色，长方体，食材，玉米]、[黄色，长方体，菜品，香蕉]、[黄色，长方体，菜品，玉米]、[黄色，球体，食材，香蕉]、[黄色，球体，食材，玉米]、[黄色，球体，菜品，香蕉]、[黄色，球体，菜品，玉米]、[红色，长方体，食材，香蕉]、[红色，长方体，食材，玉米]、[红色，长方体，菜品，香蕉]、[红色，长方体，菜品，玉米]、[红色，球体，食材，香蕉]、[红色，球体，食材，玉米]、[红色，球体，菜品，香蕉]、[红色，球体，菜品，玉米]16种组合方式(属性组合)。最终，在步骤S208中，服务器根据概率值和属性组合，确定膳食图像中的膳食所属的类别。
此外，本方案具体对膳食进行识别时，待识别膳食图像可以为任何图像，当图像为非膳食类图像时，模型会自动识别为“非膳食”类别，否则，模型会给出具体识别的膳食类别名。
从而通过这种方式，在对膳食进行识别分类过程中，可以利用模型计算与膳食相关的多个膳食属性的概率值，最终结合多个膳食属性的概率值确定膳食所属的类别。因此与现有技术相比，本方案可以根据更细粒度的膳食属性对膳食进行分类，因此出现差别较小的膳食，可以结合多个膳食属性共同判断膳食的类别，因此达到了对差异较小的膳食做到精准分类的技术效果。进而解决了现有技术中存在的多类别分类方法对于类别差异较小的膳食图像识别精度低的技术问题。
可选地，利用预设的基于膳食属性训练的图像识别模型对膳食图像进行计算，确定膳食图像对应于多个膳食属性的概率值，包括：提取膳食图像的原始图像特征；对原始图像特征进行卷积得到第一图像特征，根据第一图像特征和预设的分类器，确定多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值；根据原始图像特征和第一图像特征，生成第二图像特征，并根据第二图像特征和分类器，确定多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值；以及根据第一膳食属性集合的膳食属性对应的概率值和第二膳食属性集合的膳食属性对应的概率值，确定膳食图像对应于多个膳食属性的概率值。
具体地，图3示出了模型计算过程的示意图，在利用预设的基于膳食属性训练的图像识别模型对膳食图像进行计算，确定膳食图像对应于多个膳食属性的概率值的操作中，参考图3所示，服务器首先提取膳食图像的原始图像特征(对应于图中的x特征)，例如可以采用现有技术中的图像特征提取算法提取膳食图像的原始特征。进一步地，服务器对原始图像特征进行卷积得到第一图像特征(对应于图3中的A1特征)，根据第一图像特征和预设的分类器，确定多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值。例如：第一膳食属性集合可以是膳食颜色属性集合，服务器利用提取颜色的卷积核对原始图像进行卷积，得到与颜色相关的第一图像特征，然后在第一图像特征后面加上一层分类器(例如softmax分类器)对第一图像特征进行计算，确定与颜色膳食属性集合中的膳食属性对应的概率值，例如：红色对应的概率值、黄色对应的概率值。进一步地，服务器根据原始图像特征和第一图像特征，生成第二图像特征(A2)，并根据第二图像特征和分类器，确定多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值。例如：第二膳食属性集合为膳食形状属性集合，第二图像特征则与膳食形状相关，可以通过分类器(例如softmax分类器)计算膳食形状属性集合中膳食属性的概率值，例如：长方体的概率值、球体的概率值。此外，上述只是示例性地说明了膳食颜色属性集合(第一属性集合)和膳食形状属性集合(第二属性集合)，但是不限于上述两个属性集合，例如还包括计算膳食类型属性集合和膳食名称属性集合的膳食属性对应的概率值，根据原始图像特征和第二图像特征确定与膳食类型属性结合相关的图像特征，然后根据与膳食类型属性集合相关的图像特征和原始图像特征生成与膳食名称属性集合相关的图像特征，即：根据上述的方式逐层地确定每一层相关的图像特征。最终，服务器根据第一膳食属性集合的膳食属性对应的概率值和第二膳食属性集合的膳食属性对应的概率值，确定膳食图像对应于多个膳食属性的概率值，即将每个膳食属性集合中的膳食属性的概率值作为膳食图像对应于多个膳食属性的概率值。从而通过这种方式，可以分别计算每个膳食属性集合的膳食属性的概率值，然后确定膳食图像对应于多个膳食属性的概率值，因此计算结果更加准确并且计算速度更快。
可选地，根据第一图像特征和预设的分类器，确定多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值的操作，包括：对第一图像特征进行卷积操作得到第三图像特征，利用分类器对第三图像特征进行计算，确定多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值。
具体地，在根据第一图像特征和预设的分类器，确定多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值的操作中，参考图3所示，对第一图像特征进行卷积操作得到第三图像特征(对应于图3中的A11)，其中卷积的操作可以为多次，最终卷积得到第三图像特征，然后利用分类器对第三图像特征进行计算，确定多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值。从而使得特征提取得更加精准。
可选地，根据原始图像特征和第一图像特征，生成第二图像特征的操作，包括：将原始图像特征和第一图像特征进行特征融合；以及对融合后的原始图像特征和第一图像特征进行卷积操作得到第二图像特征。
具体地，在根据原始图像特征和第一图像特征，生成第二图像特征的操作中，服务器将原始图像特征和第一图像特征进行特征融合，然后对融合后的原始图像特征和第一图像特征进行卷积操作得到第二图像特征，通过特征融合可以获取到图像的更多特征，因此有利于提高计算结果的准确率。
可选地，根据第二图像特征和分类器，确定多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值的操作，包括：对第二图像特征进行卷积操作得到第四图像特征，并利用分类器对第四图像特征进行计算，确定多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值。
具体地，在根据第二图像特征和分类器，确定多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值的操作中，服务器对第二图像特征进行卷积操作得到第四图像特征(对应于图3中的A22)，并利用分类器对第四图像特征进行计算，确定多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值。从而使得特征提取得更加精准。
对于其它层(膳食属性集合)都是进行多次的卷积操作，最终得到图像特征，然后利用分类器进行计算得到每个膳食属性的概率值，具体操作同理于上述的计算方式，此处不再赘述。参考图3所示，本方案的深度卷积模型包括8个特征提取层，4个特征融合层，4个层次分类层，以及联合4个分类结果的加权最终分类层。利用该模型识别膳食数据能达到良好的准确率。
可选地，根据概率值和属性组合，确定膳食图像中的膳食所属的类别，包括：将每个属性组合中的膳食属性对应的概率值进行累加，确定每个属性组合对应的分值；以及根据分值最大的属性组合，确定膳食图像中的膳食所属的类别。
具体地，在根据概率值和属性组合，确定膳食图像中的膳食所属的类别的操作中，将每个属性组合中的膳食属性对应的概率值进行累加，确定每个属性组合对应的分值，即将每个属性组合中的膳食属性对应的概率值进行累加，例如：[黄色，长方体，食材，香蕉]属性组合最终得分1.472，[黄色，长方体，菜品，香蕉]属性组合最终得分1.397，[黄色，长方体，食材，玉米]最终得分1.395，[黄色，长方体，菜品，玉米]最终得分1.32等。最终选择得分最高1.472的[黄色，长方体，食材，香蕉]，确定膳食图像中的膳食所属的类别。通过分值可以清楚、快速地确定膳食图像中的膳食所属的类别，提高识别效率。
可选地，多个膳食属性集合分别对应有权重值，并且将每个属性组合中的膳食属性对应的概率值进行累加，确定每个属性组合对应的分值，包括：根据权重值对属性组合中的膳食属性的概率值进行加权计算；以及将加权计算后的膳食属性的概率值进行累加，确定每个属性组合的分值。
具体地，多个膳食属性集合(膳食颜色属性集合、膳食形状属性集合、膳食名称属性集合、膳食类型属性集合)分别对应有权重值，在将每个属性组合中的膳食属性对应的概率值进行累加，确定每个属性组合对应的分值，根据权重值对属性组合中的膳食属性的概率值进行加权计算，然后将加权计算后的膳食属性的概率值进行累加，确定每个属性组合的分值。从而通过这种方式，可以有侧重点地确定每个属性组合的分值，例如：对于颜色相近的膳食，可以侧重于颜色进行分类，进而确定膳食图像所属的类别。
可选地，多个膳食属性包括膳食名称属性，并且根据分值最大的属性组合，确定膳食图像中的膳食所属的类别的操作，包括：将分值最大的属性组合中的膳食名称属性对应的膳食名称确定为膳食图像中的膳食所属的类别。
具体地，在根据分值最大的属性组合，确定膳食图像中的膳食所属的类别的操作中，将分值最大的属性组合中的膳食名称属性对应的膳食名称确定为膳食图像中的膳食所属的类别。例如：分值最大的属性组合为[黄色，长方体，食材，香蕉]，则将香蕉作为膳食图像中的膳食所属的类别，从而可以快速地确定膳食的类别。
通过以上技术方案可知，本申请利用深度卷积网络在图像识别方向的特性和类别标签的树状特性联合训练学习得到了可以识别不同差异程度的膳食类别，由于训练样本图像包括样本多的类别和样本少的类别，所以在整体膳食识别中模型既可以识别常用菜，也可以识别特色菜和有包装类的产品。经过实验证明，识别准确率能够达到90％以上。
此外，参考图1所示，根据本实施例的第二个方面，提供了一种存储介质。所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行以上任意一项所述的方法。
从而根据本实施例，在对膳食进行识别分类过程中，可以利用模型计算与膳食相关的多个膳食属性的概率值，最终结合多个膳食属性的概率值确定膳食所属的类别。因此与现有技术相比，本方案可以根据更细粒度的膳食属性对膳食进行分类，因此出现差别较小的膳食，可以结合多个膳食属性共同判断膳食的类别，因此达到了对差异较小的膳食做到精准分类的技术效果。进而解决了现有技术中存在的多类别分类方法对于类别差异较小的膳食图像识别精度低的技术问题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
图4示出了根据本实施例所述的膳食图像识别装置400，该装置400与根据实施例1的第一个方面所述的方法相对应。参考图4所示，该装置400包括：图像获取模块410，用于获取待识别的膳食图像；计算模块420，用于利用预设的基于膳食属性训练的图像识别模型对膳食图像进行计算，确定膳食图像对应于多个膳食属性的概率值，其中多个膳食属性分为多个膳食属性集合，并且多个膳食属性集合分别用于描述膳食的不同特征；以及组合确定模块430，用于根据多个膳食属性确定多个与膳食图像相关的属性组合，其中属性组合由每个膳食属性集合中的一个膳食属性组成；以及类别确定模块440，用于根据概率值和属性组合，确定膳食图像中的膳食所属的类别。
可选地，计算模块420，包括：特征提取子模块，用于提取膳食图像的原始图像特征；第一图像特征生成子模块，用于对原始图像特征进行卷积得到第一图像特征，根据第一图像特征和预设的分类器，确定多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值；第二图像特征生成子模块，用于根据原始图像特征和第一图像特征，生成第二图像特征，并根据第二图像特征和分类器，确定多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值；以及概率值确定子模块，用于根据第一膳食属性集合的膳食属性对应的概率值和第二膳食属性集合的膳食属性对应的概率值，确定膳食图像对应于多个膳食属性的概率值。
可选地，第一图像特征生成子模块，包括：第三图像特征生成单元，用于对第一图像特征进行卷积操作得到第三图像特征，利用分类器对第三图像特征进行计算，确定多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值。
可选地，第二图像特征生成子模块，包括：特征融合单元，用于将原始图像特征和第一图像特征进行特征融合；以及卷积单元，用于对融合后的原始图像特征和第一图像特征进行卷积操作得到第二图像特征。
可选地，第二图像特征生成子模块，包括：第四图像特征生成单元，用于对第二图像特征进行卷积操作得到第四图像特征，并利用分类器对第四图像特征进行计算，确定多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值。
可选地，类别确定模块440，包括：累加子模块，用于将每个属性组合中的膳食属性对应的概率值进行累加，确定每个属性组合对应的分值；以及类别确定子模块，用于根据分值最大的属性组合，确定膳食图像中的膳食所属的类别。
可选地，多个膳食属性集合分别对应有权重值，并且累加子模块，包括：权重计算单元，用于根据权重值对属性组合中的膳食属性的概率值进行加权计算；以及累加单元，用于将加权计算后的膳食属性的概率值进行累加，确定每个属性组合的分值。
可选地，多个膳食属性包括膳食名称属性，并且类别确定子模块，包括：类别确定单元，用于将分值最大的属性组合中的膳食名称属性对应的膳食名称确定为膳食图像中的膳食所属的类别。
从而根据本实施例，在对膳食进行识别分类过程中，可以利用模型计算与膳食相关的多个膳食属性的概率值，最终结合多个膳食属性的概率值确定膳食所属的类别。因此与现有技术相比，本方案可以根据更细粒度的膳食属性对膳食进行分类，因此出现差别较小的膳食，可以结合多个膳食属性共同判断膳食的类别，因此达到了对差异较小的膳食做到精准分类的技术效果。进而解决了现有技术中存在的多类别分类方法对于类别差异较小的膳食图像识别精度低的技术问题。
实施例3
图5示出了根据本实施例所述的膳食图像识别装置500，该装置500与根据实施例1的第一个方面所述的方法相对应。参考图5所示，该装置500包括：处理器510；以及存储器520，与处理器510连接，用于为处理器510提供处理以下处理步骤的指令：获取待识别的膳食图像；利用预设的基于膳食属性训练的图像识别模型对膳食图像进行计算，确定膳食图像对应于多个膳食属性的概率值，其中多个膳食属性分为多个膳食属性集合，并且多个膳食属性集合分别用于描述膳食的不同特征；以及根据多个膳食属性确定多个与膳食图像相关的属性组合，其中属性组合由每个膳食属性集合中的一个膳食属性组成；以及根据概率值和属性组合，确定膳食图像中的膳食所属的类别。
可选地，利用预设的基于膳食属性训练的图像识别模型对膳食图像进行计算，确定膳食图像对应于多个膳食属性的概率值，包括：提取膳食图像的原始图像特征；对原始图像特征进行卷积得到第一图像特征，根据第一图像特征和预设的分类器，确定多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值；根据原始图像特征和第一图像特征，生成第二图像特征，并根据第二图像特征和分类器，确定多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值；以及根据第一膳食属性集合的膳食属性对应的概率值和第二膳食属性集合的膳食属性对应的概率值，确定膳食图像对应于多个膳食属性的概率值。
可选地，根据第一图像特征和预设的分类器，确定多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值的操作，包括：对第一图像特征进行卷积操作得到第三图像特征，利用分类器对第三图像特征进行计算，确定多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值。
可选地，根据原始图像特征和第一图像特征，生成第二图像特征的操作，包括：将原始图像特征和第一图像特征进行特征融合；以及对融合后的原始图像特征和第一图像特征进行卷积操作得到第二图像特征。
可选地，根据第二图像特征和分类器，确定多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值的操作，包括：对第二图像特征进行卷积操作得到第四图像特征，并利用分类器对第四图像特征进行计算，确定多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值。
可选地，根据概率值和属性组合，确定膳食图像中的膳食所属的类别，包括：将每个属性组合中的膳食属性对应的概率值进行累加，确定每个属性组合对应的分值；以及根据分值最大的属性组合，确定膳食图像中的膳食所属的类别。
可选地，多个膳食属性集合分别对应有权重值，并且将每个属性组合中的膳食属性对应的概率值进行累加，确定每个属性组合对应的分值，包括：根据权重值对属性组合中的膳食属性的概率值进行加权计算；以及将加权计算后的膳食属性的概率值进行累加，确定每个属性组合的分值。
可选地，多个膳食属性包括膳食名称属性，并且根据分值最大的属性组合，确定膳食图像中的膳食所属的类别的操作，包括：将分值最大的属性组合中的膳食名称属性对应的膳食名称确定为膳食图像中的膳食所属的类别。
从而根据本实施例，在对膳食进行识别分类过程中，可以利用模型计算与膳食相关的多个膳食属性的概率值，最终结合多个膳食属性的概率值确定膳食所属的类别。因此与现有技术相比，本方案可以根据更细粒度的膳食属性对膳食进行分类，因此出现差别较小的膳食，可以结合多个膳食属性共同判断膳食的类别，因此达到了对差异较小的膳食做到精准分类的技术效果。进而解决了现有技术中存在的多类别分类方法对于类别差异较小的膳食图像识别精度低的技术问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种膳食图像识别方法，其特征在于，包括：
获取待识别的膳食图像；
利用预设的基于膳食属性训练的图像识别模型对所述膳食图像进行计算，确定所述膳食图像对应于多个膳食属性的概率值，包括：提取所述膳食图像的原始图像特征；对所述原始图像特征进行卷积得到第一图像特征，根据所述第一图像特征和预设的分类器，确定所述多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值；根据所述原始图像特征和所述第一图像特征，生成第二图像特征，并根据所述第二图像特征和所述分类器，确定所述多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值；以及根据所述第一膳食属性集合的膳食属性对应的概率值和所述第二膳食属性集合的膳食属性对应的概率值，确定所述膳食图像对应于多个膳食属性的概率值，其中所述多个膳食属性分为多个膳食属性集合，并且所述多个膳食属性集合分别用于描述膳食的不同特征；以及
根据所述多个膳食属性确定多个与所述膳食图像相关的属性组合，其中所述属性组合由每个膳食属性集合中的一个膳食属性组成；以及
根据所述概率值和所述属性组合，确定所述膳食图像中的膳食所属的类别。
2.根据权利要求1所述的方法，其特征在于，根据所述第一图像特征和预设的分类器，确定所述多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值的操作，包括：
对所述第一图像特征进行卷积操作得到第三图像特征，利用所述分类器对所述第三图像特征进行计算，确定所述多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值。
3.根据权利要求1所述的方法，其特征在于，根据所述原始图像特征和所述第一图像特征，生成第二图像特征的操作，包括：
将所述原始图像特征和所述第一图像特征进行特征融合；以及
对融合后的所述原始图像特征和所述第一图像特征进行卷积操作得到所述第二图像特征。
4.根据权利要求1所述的方法，其特征在于，根据所述第二图像特征和所述分类器，确定所述多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值的操作，包括：
对所述第二图像特征进行卷积操作得到第四图像特征，并利用所述分类器对所述第四图像特征进行计算，确定所述多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值。
5.根据权利要求1所述的方法，其特征在于，根据所述概率值和所述属性组合，确定所述膳食图像中的膳食所属的类别，包括：
将每个所述属性组合中的膳食属性对应的概率值进行累加，确定每个属性组合对应的分值；以及
根据分值最大的属性组合，确定所述膳食图像中的膳食所属的类别。
6.根据权利要求5所述的方法，其特征在于，所述多个膳食属性集合分别对应有权重值，并且将每个所述属性组合中的膳食属性对应的概率值进行累加，确定每个属性组合对应的分值，包括：
根据所述权重值对所述属性组合中的膳食属性的概率值进行加权计算；以及
将加权计算后的膳食属性的概率值进行累加，确定每个所述属性组合的分值。
7.根据权利要求5所述的方法，其特征在于，所述多个膳食属性包括膳食名称属性，并且根据分值最大的属性组合，确定所述膳食图像中的膳食所属的类别的操作，包括：将分值最大的属性组合中的膳食名称属性对应的膳食名称确定为所述膳食图像中的膳食所属的类别。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至7中任意一项所述的方法。
9.一种膳食图像识别装置，其特征在于，包括：
图像获取模块，用于获取待识别的膳食图像；
计算模块，用于利用预设的基于膳食属性训练的图像识别模型对所述膳食图像进行计算，确定所述膳食图像对应于多个膳食属性的概率值，包括：提取所述膳食图像的原始图像特征；对所述原始图像特征进行卷积得到第一图像特征，根据所述第一图像特征和预设的分类器，确定所述多个膳食属性集合中的第一膳食属性集合的膳食属性对应的概率值；根据所述原始图像特征和所述第一图像特征，生成第二图像特征，并根据所述第二图像特征和所述分类器，确定所述多个膳食属性集合中的第二膳食属性集合的膳食属性对应的概率值；以及根据所述第一膳食属性集合的膳食属性对应的概率值和所述第二膳食属性集合的膳食属性对应的概率值，确定所述膳食图像对应于多个膳食属性的概率值，其中所述多个膳食属性分为多个膳食属性集合，并且所述多个膳食属性集合分别用于描述膳食的不同特征；以及
组合确定模块，用于根据所述多个膳食属性确定多个与所述膳食图像相关的属性组合，其中所述属性组合由每个膳食属性集合中的一个膳食属性组成；以及
类别确定模块，用于根据所述概率值和所述属性组合，确定所述膳食图像中的膳食所属的类别。
CN202010556462.7A 2020-06-17 2020-06-17 膳食图像识别方法、装置以及存储介质 Active CN111783574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010556462.7A CN111783574B (zh) 2020-06-17 2020-06-17 膳食图像识别方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010556462.7A CN111783574B (zh) 2020-06-17 2020-06-17 膳食图像识别方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN111783574A CN111783574A (zh) 2020-10-16
CN111783574B true CN111783574B (zh) 2024-02-23

Family

ID=72757379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010556462.7A Active CN111783574B (zh) 2020-06-17 2020-06-17 膳食图像识别方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN111783574B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453653B (zh) * 2023-06-16 2023-09-01 北京四海汇智科技有限公司 基于自动采样技术的膳食数据集构建及查询方法、装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845527A (zh) * 2016-12-29 2017-06-13 南京江南博睿高新技术研究院有限公司 一种菜品识别方法
CN107004116A (zh) * 2014-12-12 2017-08-01 北京市商汤科技开发有限公司 用于预测脸部属性的方法和设备
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技（深圳）有限公司 人脸属性识别方法及装置、电子设备及存储介质
CN108256474A (zh) * 2018-01-17 2018-07-06 百度在线网络技术（北京）有限公司 用于识别菜品的方法和装置
CN109325547A (zh) * 2018-10-23 2019-02-12 苏州科达科技股份有限公司 非机动车图像多标签分类方法、系统、设备及存储介质
CN109902733A (zh) * 2019-02-22 2019-06-18 北京三快在线科技有限公司 录入物品信息的方法、装置及存储介质
CN110059654A (zh) * 2019-04-25 2019-07-26 台州智必安科技有限责任公司 一种基于细粒度识别的菜品自动结算及饮食健康管理方法
CN110807472A (zh) * 2019-10-12 2020-02-18 北京达佳互联信息技术有限公司 图像识别方法、装置、电子设备及存储介质
CN111291604A (zh) * 2018-12-07 2020-06-16 深圳光启空间技术有限公司 面部属性识别方法、装置、存储介质及处理器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230194B2 (en) * 2013-09-16 2016-01-05 Google Inc. Training image sampling
US9659225B2 (en) * 2014-02-12 2017-05-23 Microsoft Technology Licensing, Llc Restaurant-specific food logging from images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107004116A (zh) * 2014-12-12 2017-08-01 北京市商汤科技开发有限公司 用于预测脸部属性的方法和设备
CN106845527A (zh) * 2016-12-29 2017-06-13 南京江南博睿高新技术研究院有限公司 一种菜品识别方法
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技（深圳）有限公司 人脸属性识别方法及装置、电子设备及存储介质
CN108256474A (zh) * 2018-01-17 2018-07-06 百度在线网络技术（北京）有限公司 用于识别菜品的方法和装置
CN109325547A (zh) * 2018-10-23 2019-02-12 苏州科达科技股份有限公司 非机动车图像多标签分类方法、系统、设备及存储介质
CN111291604A (zh) * 2018-12-07 2020-06-16 深圳光启空间技术有限公司 面部属性识别方法、装置、存储介质及处理器
CN109902733A (zh) * 2019-02-22 2019-06-18 北京三快在线科技有限公司 录入物品信息的方法、装置及存储介质
CN110059654A (zh) * 2019-04-25 2019-07-26 台州智必安科技有限责任公司 一种基于细粒度识别的菜品自动结算及饮食健康管理方法
CN110807472A (zh) * 2019-10-12 2020-02-18 北京达佳互联信息技术有限公司 图像识别方法、装置、电子设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Multi-Task CNN Model for Attribute Prediction;Abrar H. Abdulnabi等;《IEEE TRANSACTIONS ON MULTIMEDIA》;第17卷(第11期);第1949-1959页 *
Multi-Task Learning for Food Identification and Analysis with Deep Convolutional Neural Networks;Xi-Jin Zhang等;《JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY》;第31卷(第3期);第489-500页 *
基于DCNN和迁移学习的食物图像识别;张钢等;《实验室研究与探索》;第38卷(第6期);第111-114页 *
基于多任务深度学习的人脸识别算法研究与应用;徐琛;《中国优秀硕士学位论文全文数据库 信息科技辑》(第2期);第I138-1523页 *
融合自注意力机制的跨模态食谱检索方法;林阳等;《计算机科学与探索》;第14卷(第9期);第1471-1481页 *

Also Published As

Publication number Publication date
CN111783574A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
US9734426B2 (en) Automated food recognition and nutritional estimation with a personal mobile electronic device
CN110069650B (zh) 一种搜索方法和处理设备
CN108766529A (zh) 一种智能食谱推荐方法及系统
CN107169463A (zh) 人脸检测方法、装置、计算机设备及存储介质
CN108319888B (zh) 视频类型的识别方法及装置、计算机终端
CN108986125B (zh) 物体边缘提取方法、装置及电子设备
CN109300041A (zh) 理财策略推荐方法、电子装置及可读存储介质
Lee et al. Mt-diet: Automated smartphone based diet assessment with infrared images
CN107833088A (zh) 内容提供方法、装置及智能设备
CN111783574B (zh) 膳食图像识别方法、装置以及存储介质
CN112906806A (zh) 一种基于神经网络的数据优化方法及装置
CN110706783A (zh) 食谱推荐方法、装置、计算设备及计算机存储介质
CN111882524A (zh) 食物重量计算方法、装置及存储介质
CN110276283B (zh) 图片识别方法、目标识别模型训练方法及装置
CN109934072A (zh) 人员统计方法及装置
CN111460888A (zh) 基于机器学习的物品识别方法及装置
CN111860211B (zh) 餐具和参照物识别方法、装置及存储介质
CN108319721B (zh) 应用程序推荐方法、装置、用户终端及服务器
CN111860606B (zh) 图像分类的方法、装置以及存储介质
CN110826582B (zh) 图像特征训练方法、装置和系统
CN112200369A (zh) 基于神经网络的预测方法及装置
CN112541357A (zh) 实体识别方法、装置及智能设备
CN112446202A (zh) 文本的分析方法和装置
CN109740671B (zh) 一种图像识别方法及装置
Shuang et al. Foodnet: Multi-View and Label Dependency Learning Based Multi-Task Network for Food and Ingredient Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant