CN109064509B - 食物体积和食物热量的识别方法、装置和系统 - Google Patents

食物体积和食物热量的识别方法、装置和系统 Download PDF

Info

Publication number
CN109064509B
CN109064509B CN201810693563.1A CN201810693563A CN109064509B CN 109064509 B CN109064509 B CN 109064509B CN 201810693563 A CN201810693563 A CN 201810693563A CN 109064509 B CN109064509 B CN 109064509B
Authority
CN
China
Prior art keywords
food
information
container
image
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810693563.1A
Other languages
English (en)
Other versions
CN109064509A (zh
Inventor
陈伟鹏
吴伟贤
柯锡汤
吴海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yate Intelligent Technology Co ltd
Original Assignee
Guangzhou Yate Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yate Intelligent Technology Co ltd filed Critical Guangzhou Yate Intelligent Technology Co ltd
Priority to CN201810693563.1A priority Critical patent/CN109064509B/zh
Publication of CN109064509A publication Critical patent/CN109064509A/zh
Application granted granted Critical
Publication of CN109064509B publication Critical patent/CN109064509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Details Of Rigid Or Semi-Rigid Containers (AREA)

Abstract

本发明涉及一种食物体积和食物热量的识别方法、装置和系统。其中方法包括：获取盛放有待识别食物的智能食物容器的图像；其中，所述智能食物容器内壁具有第一标识图案，所述第一标识图案与所述智能食物容器的尺寸对应；对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息；根据所述尺寸信息，对所述图像进行识别处理，根据图像中所述智能食物容器中的食物与所述第一标识图案的相对位置关系，获取所述智能食物容器中盛放的各种类食材的体积信息。本发明的上述方法，无需在容器中植入传感器，利用普通容器内壁印制的第一标识图案纹理即可实现对食物体积的识别，食物体积的获取方式简单高效，成本低廉。

Description

食物体积和食物热量的识别方法、装置和系统
技术领域
本发明涉及食物检测技术领域，特别是涉及一种食物体积和食物热量的识别方法、装置和系统。
背景技术
随着科技的发展和人们生活水平的提升，人们对于食物的摄取产生了更多精细化的计量需求。例如对于自助餐饮行业，商家需要对客户购买的食物种类和份量进行智能化的计量，又例如用户在进餐时由于控制体重以及营养均衡等的需求，需要获知摄入食物的热量的信息。
为了获取食物的信息，现有技术可以利用特制的食物容器对食物进行称量。例如可以在特制的餐具内部植入称重传感器，以检测餐具中盛放的食物的质量。
上述现有的食物检测方法，需要制备植入有传感器的特定食物容器，这种特定食物容器难以量产且制备成本高昂，此外这种用于称量的食物容器往往结构复杂，体积厚重，使用时需要细心维护，使用不便。
发明内容
基于此，有必要针对上述技术问题，提供一种成本低廉，使用方便的能够准确地采集食物信息的食物体积和食物热量的识别方法、装置和系统。
一种食物体积的识别方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
获取盛放有待识别食物的智能食物容器的图像；其中，所述智能食物容器内壁具有第一标识图案，所述第一标识图案与所述智能食物容器的尺寸对应；
对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息；
根据所述尺寸信息，对所述图像进行识别处理，根据图像中所述智能食物容器中的食物与所述第一标识图案的相对位置关系，获取所述智能食物容器中盛放的各种类食材的体积信息。
上述实施例的技术方案，服务器预存有第一标识图案对应的智能食物容器的尺寸等相关信息，利用食物容器上第一标识图案的特征，对容器内的食物进行体积信息定位，获取食物食材的体积信息。相较于传统的在容器中植入传感器感应获取容器中食物信息的方案，本发明的上述方案，通过容器图案特征运用和图像识别算法，仅需使用普通容器内壁印制第一标识图案纹理即可实现对食物体积的识别，容器制备和使用与普通容器类似，成本低廉，易于维护。食物体积的获取方式简单高效。
在一个实施例中，所述智能食物容器内壁还具有第二标识图案，用于区分所述智能食物容器与普通容器；
所述对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息包括：
对所述图像中智能食物容器的第一标识图案和第二标识图案进行识别处理，确定所述容器是否为智能食物容器；
若是，则对所述图像中智能食物容器的第一标识图案进行识别处理，提取所述第一标识图案的特征信息；
利用卷积神经网络模型，对提取的所述第一标识图案的特征信息进行特征分类，输出智能食物容器的型号信息；
根据预存的所述智能食物容器的型号与对应的尺寸信息，获取所述智能食物容器的尺寸信息。
在实际应用中，用户对于食物容器的尺寸和形状具有多样化的需求，此外，如何将这种具有第一标识图案特殊纹理的智能食物容器与普通容器进行有效区分，避免误判导致识别准确率降低也是需要解决的技术问题。
上述实施例的技术方案，通过在食物容器内壁设置的第二标识图案，将该智能食物容器与普通容器进行区别，并利用机器学习等图像处理分类方式，实现对智能食物容器的甄别，进一步，通过第一标识图案的特征提取，利用卷积神经网络模型，对第一标识图案进行高精准度的识别分类，能够准确识别出不同型号食物容器对应的型号信息，并获取该容器对应的尺寸信息，实现对不同型号容器的尺寸信息识别获取，满足用户多样化的食物容器尺寸使用需求。
在一个实施例中，所述根据所述尺寸信息，对所述图像进行识别处理，根据图像中所述智能食物容器中的食物与所述第一标识图案的相对位置关系，获取所述智能食物容器中盛放的各种类食材的体积信息包括：
识别获取所述图像中食物的食材种类信息；
根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的面积信息和各个种类食材的高度信息；
根据各个种类食材的所述面积信息和高度信息，计算所述智能食物容器中盛放的各种类食材的体积信息。
上述实施例的技术方案，先通过图像识别获取食物的种类型，再根据图像中各个种类食材与所述第一标识图案的相对位置关系，分别估算各个种类食材的面积信息和高度信息，进而估算食材体积，可以高效而精准地获取食物各食材的体积信息。
在一个实施例中，所述第一标识图案位于所述智能食物容器内壁与所述智能食物容器底部平行的环形区域；
所述尺寸信息包括所述环形区域在参考水平面的实际投影面积信息；
所述根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的面积信息包括：
根据所述尺寸信息，对所述智能食物容器上的所述环形区域进行图像分割处理，得到所述环形区域的检测面积信息；
根据识别的所述食材种类信息，对所述环形区域内的各个种类的食材进行边缘分割，得到分割的不同种类食材的单元区域；
对各个种类食材的单元区域进行面积检测，得到各个种类的食材的检测面积信息；
根据所述环形区域的检测面积信息和实际投影面积信息，各个种类的食材的检测面积信息，以及所述各个种类食材在所述环形区域的图像占比，得到各个种类食材的实际投影面积信息。
上述实施例的技术方案，将图像中的各个种类的食材进行边缘特征分割，分割成不同的种类食材的单元区域，并分别针对各个单元区域进行图像检测分析，利用位于智能食物容器底部平行的环形区域的第一标识图案作为面积标识，估算各个单元区域的面积，实现对各种类食材实际面积的快速而精准地特征识别。
在一个实施例中，所述第一标识图案包括位于所述智能食物容器内壁与所述智能食物容器底部平行的至少两条纹理圈；
所述尺寸信息包括所述两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离；
所述根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的高度信息包括：
若所述食材种类为固态物体，则针对所述图像中的覆盖于所述第二标识图案上的食物中的每个种类的食材的边缘分割的单元区域，提取各个单元区域的多个边缘特征点，并获取各个边缘特征点距离两条纹理圈中其中一条纹理圈的第一投影距离和另一条纹理圈的第二投影距离；
根据各个边缘特征点的所述第一投影距离和第二投影距离，以及两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离，分别计算各个边缘特征点的垂直距离；
取各个边缘特征点的垂直距离中的最大值与最小值之间的差值，为该单元区域食材的高度。
上述实施例的技术方案，通过位于所述智能食物容器内壁与所述智能食物容器底部平行的至少两条纹理圈，两条纹理圈分别作为两个不同距底部高度的标识，根据这两个标识对各个种类食材边缘分割的单元区域提取特征点进行识别，获取各个种类食材的高度，实现对各种类食材实际高度的快速而精准地特征识别。
在一个实施例中，所述根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的高度信息还包括：
若所述食材种类为流质物体，则检测所述流质物体的食材的边缘特征点距离两条纹理圈中其中一条纹理圈的第一投影距离和另一条纹理圈的第二投影距离；根据所述第一投影距离和第二投影距离，以及两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离，算得所述流质物体的食材的高度。
上述实施例的技术方案，在对流质食物进行体积识别时，直接利用该流质食物自动摊平的特质，识别该流质食物边缘距离纹理圈的投影距离，推算该流质食物的高度。结合前述实施例，实现根据食材固态或流质的不同状态区分分别采用合适的方式进行高度特征识别，继而运算得到对应的体积，可以有效提升不同食材的体积估算准确性和效率。
在一个实施例中，所述根据各个种类食材的所述面积信息和高度信息，计算所述智能食物容器中盛放的各种类食材的体积信息包括：
根据各个种类食材的所述面积信息和高度信息，分别将各个种类食材的面积乘以高度，得到各个种类食材的体积信息。
上述实施例的技术方案，通过识别的体积乘以高度估算得到各个食材的体积，算法简单，易于实现。
在一个实施例中，还提供一种食物热量的识别方法，包括如下步骤：
采用如上任一实施例所述的食物体积的识别方法的步骤获取智能食物容器中各个种类食材的体积信息；
根据所述各种类食材的体积信息和预存的各种类食材的密度信息，计算获取所述容器中各种类食材的质量信息；
根据所述容器中各种类食材的质量信息和预存的各种类食材的热量密度信息，计算获取所述容器中食物的热量信息。
上述实施例的食物热量的识别方法，服务器预存有第一标识图案对应的智能食物容器的尺寸等相关信息，利用食物容器上第一标识图案的特征，对容器内的食物进行体积信息定位，获取食物食材的体积信息，并进一步根据食材的体积信息和预存的食材的密度信息，获取各食材的质量，再根据各食材的热量密度，算得容器中食物的热量。相较于传统的在容器中植入传感器感应获取容器中食物信息的方案，本发明的上述方案，通过容器图案特征运用和图像识别算法，仅需使用普通容器内壁印制第一标识图案纹理即可实现对食物热量的识别，容器制备和使用与普通容器类似，成本低廉，易于维护。食物热量的获取方式简单高效。
在一个实施例中，食物热量的识别方法还包括步骤：
分别将预设种类的食材的多次密度测量值存入数据库中；
所述根据所述各种类食材的体积信息和预存的各种类食材的密度信息，计算获取所述容器中各种类食材的质量信息包括：
读取数据库中存储的各种类食材的多次密度测量值，针对各个种类食材，分别取该种类食材的多次密度测量值的统计中值，作为该种类食材的中值密度；
将各种类食材的体积与各种类食材的所述中值密度相乘，计算获取所述容器中各种类食材的质量信息。
上述实施例的技术方案，针对各个种类的食材测量的密度值建立数据库，相较于针对食材组成的菜式建立数据库，建库难度更低，可以降低数据存储量，减少系统资源占用，此外针对食材进行食物信息的识别，识别的信息相较于菜式识别也更细致准确，适应性更高，也能够提升食物信息的识别准确性。在读取密度测量值时，读取多次测量值的统计中值，能够消除单次测量值的偶然误差，提升读取的密度值的准确性，继而提升对食物热量计算的准确性。
一种食物体积的识别装置，包括：
图像获取模块，用于获取盛放有待识别食物的智能食物容器的图像；其中，所述智能食物容器内壁具有第一标识图案，所述第一标识图案与所述智能食物容器的尺寸对应；
尺寸信息获取模块，用于对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息；
体积识别模块，用于根据所述尺寸信息，以及所述智能食物容器中的食物与所述第一标识图案的相对位置关系，对所述食物进行识别处理，获取所述智能食物容器中盛放的各种类食材的体积信息。
上述食物体积的识别装置，服务器预存有第一标识图案对应的智能食物容器的尺寸等相关信息，利用食物容器上第一标识图案的特征，对容器内的食物进行体积信息定位，获取食物食材的体积信息。相较于传统的在容器中植入传感器感应获取容器中食物信息的方案，本发明的上述方案，通过容器图案特征运用和图像识别算法，仅需使用普通容器内壁印制第一标识图案纹理即可实现对食物体积的识别，容器制备和使用与普通容器类似，成本低廉，易于维护。食物体积的获取方式简单高效。
一种食物热量的识别装置，包括：
体积获取模块，所述体积获取模块包括如上任一实施例所述的食物体积的识别装置，用于采用如上任一实施例所述的食物体积的识别方法的步骤获取智能食物容器中各个种类食材的体积信息；
质量计算模块，用于根据所述各种类食材的体积信息和预存的各种类食材的密度信息，计算获取所述容器中各种类食材的质量信息；
热量计算模块，用于根据所述容器中各种类食材的质量信息和预存的各种类食材的热量密度信息，计算获取所述容器中食物的热量信息。
上述食物热量的识别装置，服务器预存有第一标识图案对应的智能食物容器的尺寸等相关信息，利用食物容器上第一标识图案的特征，对容器内的食物进行体积信息定位，获取食物食材的体积信息，并进一步根据食材的体积信息和预存的食材的密度信息，获取各食材的质量，再根据各食材的热量密度，算得容器中食物的热量。相较于传统的在容器中植入传感器感应获取容器中食物信息的方案，本发明的上述方案，通过容器图案特征运用和图像识别算法，仅需使用普通容器内壁印制第一标识图案纹理即可实现对食物热量的识别，容器制备和使用与普通容器类似，成本低廉，易于维护。食物热量的获取方式简单高效。
在一个实施例中，提供了一种食物体积的识别系统，包括服务器设备，所述服务器设备与终端设备通信连接；
所述终端设备包括图像检测装置，用于检测盛放有食物的所述智能食物容器的图像，并发送至服务器设备；
其中，所述智能食物容器内壁的环形区域设有第一标识图案，且当所述智能食物容器置于参考平面上时，所述环形区域与所述参考平面平行；
所述服务器设备包括存储器和处理器，所述存储器用于存储计算机程序，当所述计算机程序被处理器执行时实现如下步骤：
获取盛放有待识别食物的智能食物容器的图像；其中，所述智能食物容器内壁具有第一标识图案，所述第一标识图案与所述智能食物容器的尺寸对应；
对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息；
根据所述尺寸信息，以及所述智能食物容器中的食物与所述第一标识图案的相对位置关系，对所述食物进行识别处理，获取所述智能食物容器中盛放的各种类食材的体积信息。
上述食物体积的识别系统，其服务器中的处理器执行程序时，通过实现如上步骤，从而可以利用食物容器上第一标识图案的特征，对容器内的食物进行体积信息定位，获取食物食材的体积信息。相较于传统的在容器中植入传感器感应获取容器中食物信息的方案，本发明的上述方案，通过容器图案特征运用和图像识别算法，仅需使用普通容器内壁印制第一标识图案纹理即可实现对食物体积的识别，容器制备和使用与普通容器类似，成本低廉，易于维护。食物体积的获取方式简单高效。
附图说明
图1为一个实施例中食物体积的识别方法的应用环境图；
图2为一个实施例中食物体积的识别方法的流程示意图；
图3为一个实施例中智能食物容器结构示意图；
图4为一个实施例中边缘特征点高度计算的智能食物容器结构示意图；
图5为一个实施例中食物热量的识别方法的流程示意图；
图6为一个实施例中食物体积的识别装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供的食物体积的识别方法，可以应用于如图1所示的应用环境中。其中，终端设备200与服务器设备300通信连接；智能食物容器100内壁的环形区域设有用于标识食物体积信息的第一标识图案110，终端设备200为具有图像检测功能的设备，用于检测盛放有食物的智能食物容器的图像，并发送至服务器设备，服务器对接收的图像进行处理，获取食物的信息返回至终端设备。终端设备200可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器设备300可以用独立的服务器设备或者是多个服务器设备组成的服务器设备集群来实现。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，如图2所示，提供了一种食物体积的识别方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S210，获取盛放有待识别食物的智能食物容器的图像；其中，所述智能食物容器内壁具有第一标识图案，所述第一标识图案与所述智能食物容器的尺寸对应；
其中，所述图像可以是用户使用终端设备例如手机拍摄得到，手机上安装的客户端软件可以指引用户拍摄符合需求的盛放有待识别食物的智能食物容器的图像，由手机将图像发送至服务器设备；
在此步骤中，服务器设备接收终端设备发送的盛放有待识别食物的智能食物容器的图像。
S220，对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息；
其中，智能食物容器可能具有不同的大小型号，然而在拍摄的图像中，由于拍摄距离远近差异，均可能导致该食物容器的尺寸难以识别；
在此步骤中，服务器中可以预存有第一标识图案与对应的智能食物容器的尺寸信息，服务器通过对图像中第一标识图案进行识别处理，根据预存的信息匹配获取该智能食物容器的尺寸信息。
S230，根据所述尺寸信息，对所述图像进行识别处理，根据图像中所述智能食物容器中的食物与所述第一标识图案的相对位置关系，获取所述智能食物容器中盛放的各种类食材的体积信息。
在此步骤中，服务器可以根据前述步骤S220识别获取的智能食物容器的尺寸信息，对所述图像进行识别处理，根据图像中所述智能食物容器中的食物与所述第一标识图案的相对位置关系，获取所述智能食物容器中盛放的各种类食材的体积信息。
上述食物体积的识别方法，服务器预存有第一标识图案对应的智能食物容器的尺寸等相关信息，利用食物容器上第一标识图案的特征，对容器内的食物进行体积信息定位，获取食物食材的体积信息。相较于传统的在容器中植入传感器感应获取容器中食物信息的方案，本发明的上述方案，通过容器图案特征运用和图像识别算法，仅需使用普通容器内壁印制第一标识图案纹理即可实现对食物体积的识别，容器制备和使用与普通容器类似，成本低廉，易于维护。食物体积的获取方式简单高效。
在一个实施例中，所述智能食物容器内壁还具有第二标识图案，用于区分所述智能食物容器与普通容器；
S220中所述对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息包括：
S221，对所述图像中智能食物容器的第一标识图案和第二标识图案进行识别处理，确定所述容器是否为智能食物容器；
具体地，如图3所示，智能食物容器100包括底部101和与底部101连接的环绕所述底部101的侧壁102，所述侧壁102与所述底部101呈钝角；以第一标识图案110为位于侧壁102内侧边缘环形区域的两条平行纹理圈，其中a表示其中一条纹理圈，b表示另一条纹理圈，第二标识图案120为位于所述纹理圈下方的重复性纹理为例，可以通过对图像同时应用机器学习和卷积神经网络(Convolutional Neural Network，CNN)的综合算法，识别出容器的重复性纹理特征以及边缘纹理圈特征。在深度学习图像算法领域，CNN有着良好的抽取同类图案特征的能力；根据所述第一投影距离和第二投影距离，以及机器学习的图片升维处理方法,可以实现可识别纹理的智能食物容器的识别。
S222，若所述容器为智能食物容器，则对所述图像中智能食物容器的第一标识图案进行识别处理，提取所述第一标识图案的特征信息；
S223，利用卷积神经网络模型，对提取的所述第一标识图案的特征信息进行特征分类，输出智能食物容器的型号信息；
S224，根据预存的所述智能食物容器的型号与对应的尺寸信息，获取所述智能食物容器的尺寸信息。
在实际应用中，用户对于食物容器的尺寸和形状具有多样化的需求，此外，如何将这种具有第一标识图案特殊纹理的智能食物容器与普通容器进行有效区分，避免误判导致识别准确率降低也是需要解决的技术问题。
上述实施例的技术方案，通过在食物容器内壁设置的第二标识图案，将该智能食物容器与普通容器进行区别，并利用机器学习等图像处理分类方式，实现对智能食物容器的甄别，进一步，通过第一标识图案的特征提取，利用卷积神经网络模型，对第一标识图案进行高精准度的识别分类，能够准确识别出不同型号食物容器对应的型号信息，并获取该容器对应的尺寸信息，实现对不同型号容器的尺寸信息识别获取，满足用户多样化的食物容器尺寸使用需求。
在一个实施例中，S230中所述根据所述尺寸信息，对所述图像进行识别处理，根据图像中所述智能食物容器中的食物与所述第一标识图案的相对位置关系，获取所述智能食物容器中盛放的各种类食材的体积信息包括：
S231，识别获取所述图像中食物的食材种类信息；
S232，根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的面积信息和各个种类食材的高度信息；
S233，根据各个种类食材的所述面积信息和高度信息，计算所述智能食物容器中盛放的各种类食材的体积信息。
上述实施例的技术方案，先通过图像识别获取食物的种类型，再根据图像中各个种类食材与所述第一标识图案的相对位置关系，分别估算各个种类食材的面积信息和高度信息，进而估算食材体积，可以高效而精准地获取食物各食材的体积信息。
在一个实施例中，所述第一标识图案位于所述智能食物容器内壁与所述智能食物容器底部平行的环形区域；
具体地，该第一标识图案可以是包括位于所述智能食物容器内壁与所述智能食物容器底部平行的至少两条纹理圈；
所述尺寸信息包括所述环形区域在参考水平面的实际投影面积信息；
其中，所述实际投影面积，是指的智能食物容器上的环形区域第一标识图案在参考水平面的投影的真实面积。以第一标识图案为两条纹理圈为例，则可以是其中任意一条纹理圈在水平面投影的真实面积。
S232中所述根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的面积信息包括：
S2321，根据所述尺寸信息，对所述智能食物容器上的所述环形区域进行图像分割处理，得到所述环形区域的检测面积信息；
其中，所述检测面积，是指的在拍摄的图像中识别得到的面积。由于拍摄图像时终端设备与容器之间的距离可能产生变动等因素，导致拍摄的图像中的食物等特征的检测面积会随着拍摄距离不同而产生差异，因此检测面积与实际面积往往不同，需要通过例如第一标识图案等标识信息对食物进行定位识别，利用食物的检测面积等信息推算该食物的实际投影面积。
S2322，根据识别的所述食材种类信息，对所述环形区域内的各个种类的食材进行边缘分割，得到分割的不同种类食材的单元区域；
S2323，对各个种类食材的单元区域进行面积检测，得到各个种类的食材的检测面积信息；
S2324，根据所述环形区域的检测面积信息和实际投影面积信息，各个种类的食材的检测面积信息，以及所述各个种类食材在所述环形区域的图像占比，得到各个种类食材的实际投影面积信息。
具体地，各个种类食材单元区域的实际投影面积可以依照下式计算得出：
Figure GDA0002645722850000131
其中，m为食物边缘分割的单元区域的总数量，i代表其中任意一个单元区域i，Area1为环形区域的检测面积，A为环形区域对应的实际投影面积，Areas[i]为单元区域i的检测面积，a[i]为单元区域i的实际投影面积。
上述实施例的技术方案，将图像中的各个种类的食材进行边缘特征分割，分割成不同的种类食材的单元区域，并分别针对各个单元区域进行图像检测分析，利用位于智能食物容器底部平行的环形区域的第一标识图案作为面积标识，估算各个单元区域的面积，实现对各种类食材实际面积的快速而精准地特征识别。
在一个实施例中，所述第一标识图案包括位于所述智能食物容器内壁与所述智能食物容器底部平行的至少两条纹理圈；
所述尺寸信息包括所述两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离；
S232中所述根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的高度信息包括：
S2325，判断所述食材种类为固态物体还是流质物体；
具体的，由于流质物体有自动摊平的性质。分割之后形状上可以根据固态物体和流质物体的面积/周长比的不同进行简单的分类。
S2326，若所述食材种类为固态物体，则针对所述图像中的食物中的每个种类的食材的边缘分割的单元区域，提取各个单元区域的多个边缘特征点，并获取各个边缘特征点距离两条纹理圈中其中一条纹理圈的第一投影距离和另一条纹理圈的第二投影距离；
具体地，在上述步骤S2326中，对图像的分割可以采用不同的方式，例如可以采用一种改进的用于图像实体分割的深度学习算法(Mask-Region Convolutional NeuralNetwork，Mask-RCNN)对图像中的食材进行依照种类和所处区域位置的单元区域分割。
其中，第二标识图案可以是位于智能食物容器内壁第二环形区域的重复性几何图案纹理，当食物置于这些重复性几何纹理图案上时，在对食物进行边缘分割过程中，重复性纹理能够帮助增加特征定位到所属图片像素，提升图像识别的准确性。
S2327，根据各个边缘特征点的所述第一投影距离和第二投影距离，以及两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离，分别计算各个边缘特征点的垂直距离；
S2328，取各个边缘特征点的垂直距离中的最大值与最小值之间的差值，为该单元区域食材的高度。
上述实施例的技术方案，通过位于所述智能食物容器内壁与所述智能食物容器底部平行的至少两条纹理圈，两条纹理圈分别作为两个不同距底部高度的标识，根据这两个标识对各个种类食材边缘分割的单元区域提取特征点进行识别，获取各个种类食材的高度，实现对各种类食材实际高度的快速而精准地特征识别。
具体地，在一个实施例中，S2327中根据各个边缘特征点的所述第一投影距离和第二投影距离，以及两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离，分别计算各个边缘特征点的垂直距离的计算过程如下：
以两条纹理圈中其中一条纹理圈是指第一投影距离对应的纹理圈为例；
根据成像比例，参见图4所示，图4中智能食物容器100的边缘黑点表示特征点K，a表示其中一条纹理圈，b表示另一条纹理圈，在图像为正投影拍摄条件下，有如下方程式：
Figure GDA0002645722850000151
其中，d1为第一投影距离，d1＇为第一投影距离对应的真实距离，d2为第二投影距离，△x为两条纹理圈在参考水平面上的实际投影距离的差值的绝对值。
求解上述方程式可得第一投影距离对应的真实距离d1'，继而，边缘特征点的垂直距离计算如下：
h＝H1-d1′×tanθ
其中，h为边缘特征点的垂直距离，H1为第一投影距离对应的纹理圈的垂直距离，θ为两条纹理圈形成的面与参考水平面之间的夹角。
在一个实施例中，S232中所述根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的高度信息还包括：
S2329，若所述食材种类为流质物体，则检测所述流质物体的食材的边缘特征点距离两条纹理圈中其中一条纹理圈的第一投影距离和另一条纹理圈的第二投影距离；根据所述第一投影距离和第二投影距离，以及两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离，算得所述流质物体的食材的高度。
具体地，流质物体的边缘特征点的垂直距离的计算方法可以采用前述食材的单元区域的各个边缘特征点的垂直距离计算方法算得，流质物体的食材高度可以直接以流质物体的边缘特征点的垂直距离为该食材高度。
上述实施例的技术方案，在对流质食物进行体积识别时，直接利用该流质食物自动摊平的特质，识别该流质食物边缘距离纹理圈的投影距离，推算该流质食物的高度。结合前述实施例，实现根据食材固态或流质的不同状态区分分别采用合适的方式进行高度特征识别，继而运算得到对应的体积，可以有效提升不同食材的体积估算准确性和效率。
在一个实施例中，S233中所述根据各个种类食材的所述面积信息和高度信息，计算所述智能食物容器中盛放的各种类食材的体积信息包括：
S2331，根据各个种类食材的所述面积信息和高度信息，分别将各个种类食材的面积乘以高度，得到各个种类食材的体积信息。
上述实施例的技术方案，通过识别的体积乘以高度估算得到各个食材的体积，算法简单，易于实现。
在一个实施例中，如图5所示，还提供一种食物热量的识别方法，包括如下步骤：
S510，采用如上任一实施例所述的食物体积的识别方法的步骤获取智能食物容器中各个种类食材的体积信息；
S520，根据所述各种类食材的体积信息和预存的各种类食材的密度信息，计算获取所述容器中各种类食材的质量信息；
S530，根据所述容器中各种类食材的质量信息和预存的各种类食材的热量密度信息，计算获取所述容器中食物的热量信息。
上述实施例的食物热量的识别方法，服务器预存有第一标识图案对应的智能食物容器的尺寸等相关信息，利用食物容器上第一标识图案的特征，对容器内的食物进行体积信息定位，获取食物食材的体积信息，并进一步根据食材的体积信息和预存的食材的密度信息，获取各食材的质量，再根据各食材的热量密度，算得容器中食物的热量。相较于传统的在容器中植入传感器感应获取容器中食物信息的方案，本发明的上述方案，通过容器图案特征运用和图像识别算法，仅需使用普通容器内壁印制第一标识图案纹理即可实现对食物热量的识别，容器制备和使用与普通容器类似，成本低廉，易于维护。食物热量的获取方式简单高效。
进一步地，为了提升食材热量识别的准确性，在一个实施例中，智能食物容器中的各个种类食材的质量可以通过神经网络模型依照下述公式运算得出：
M[i]＝H[i]×a[i]×ρ[i]×bias，i∈[1,2,3…m]
其中，m为食物中分割出的食材的单元区域总数量，i代表其中任意一个单元区域i，M[i]为单元区域i的质量，H[i]为单元区域i的高度，a[i]为单元区域i的实际投影面积，ρ[i]为单元区域i对应食材的密度，bias为系统偏差，bias的估值可以根据流质食物中食材占比程度等等得出，将bias作为超参数在神经网络模型运算过程中进行最大似然估计，可以降低前述实施例密度估算方式与实际食物密度之间的差异值，使得运算得到的食物质量的计算更加准确，继而提升热量计算的准确性。
在一个实施例中，在上述步骤S510之前，需要预先建立食材密度信息的数据库，以从该数据库中读取各种类食材的密度信息，用于食材质量的计算，该实施例的食物热量的识别方法还包括步骤：
S540，分别将预设种类的食材的多次密度测量值存入数据库中；
S550，所述根据所述各种类食材的体积信息和预存的各种类食材的密度信息，计算获取所述容器中各种类食材的质量信息包括：
S560，读取数据库中存储的各种类食材的多次密度测量值，针对各个种类食材，分别取该种类食材的多次密度测量值的统计中值，作为该种类食材的中值密度；
S570，将各种类食材的体积与各种类食材的所述中值密度相乘，计算获取所述容器中各种类食材的质量信息。
以食材为馒头为例举例说明，实际一次测量中得到50g的面粉做出80g的馒头,因而记录时用50g除以成品80g馒头对应的体积V，V的值使用量杯水测体积法，记录测量前水体积V0和放入物体后量杯显示的体积V1，则V＝V1-V0)，如此进行多次测量得到多个测量值存入数据库，每次取值时都取当前数据库中存储的多个测量值的统计中值密度，用于进行馒头食材的密度计算。
上述实施例的技术方案，针对各个种类的食材测量的密度值建立数据库，相较于针对食材组成的菜式建立数据库，建库难度更低，可以降低数据存储量，减少系统资源占用，此外针对食材进行食物信息的识别，识别的信息相较于菜式识别也更细致准确，适应性更高，也能够提升食物信息的识别准确性。在读取密度测量值时，读取多次测量值的统计中值，能够消除单次测量值的偶然误差，提升读取的密度值的准确性，继而提升对食物热量计算的准确性。
应该理解的是，虽然图2和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种食物体积的识别装置，包括：图像获取模块610、尺寸信息获取模块620和体积识别模块630，其中：
图像获取模块610，用于获取盛放有待识别食物的智能食物容器的图像；其中，所述智能食物容器内壁具有第一标识图案，所述第一标识图案与所述智能食物容器的尺寸对应；
尺寸信息获取模块620，用于对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息；
体积识别模块630，用于根据所述尺寸信息，以及所述智能食物容器中的食物与所述第一标识图案的相对位置关系，对所述食物进行识别处理，获取所述智能食物容器中盛放的各种类食材的体积信息。
上述食物体积的识别装置，服务器预存有第一标识图案对应的智能食物容器的尺寸等相关信息，利用食物容器上第一标识图案的特征，对容器内的食物进行体积信息定位，获取食物食材的体积信息。相较于传统的在容器中植入传感器感应获取容器中食物信息的方案，本发明的上述方案，通过容器图案特征运用和图像识别算法，仅需使用普通容器内壁印制第一标识图案纹理即可实现对食物体积的识别，容器制备和使用与普通容器类似，成本低廉，易于维护。食物体积的获取方式简单高效。
在一个实施例中，所述智能食物容器内壁还具有第二标识图案，用于区分所述智能食物容器与普通容器；
所述尺寸信息获取模块620包括：
智能食物容器辨别模块，用于对所述图像中智能食物容器的第一标识图案和第二标识图案进行识别处理，确定所述容器是否为智能食物容器；
第一标识特征提取模块，用于若所述容器为智能食物容器，则对所述图像中智能食物容器的第一标识图案进行识别处理，提取所述第一标识图案的特征信息；
型号识别模块，用于利用卷积神经网络模型，对提取的所述第一标识图案的特征信息进行特征分类，输出智能食物容器的型号信息；
尺寸信息获取模块，用于根据预存的所述智能食物容器的型号与对应的尺寸信息，获取所述智能食物容器的尺寸信息。
在一个实施例中，所述体积识别模块630包括：
食材种类识别模块，用于识别获取所述图像中食物的食材种类信息；
面积高度识别模块，用于根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的面积信息和各个种类食材的高度信息；
体积计算模块，用于根据各个种类食材的所述面积信息和高度信息，计算所述智能食物容器中盛放的各种类食材的体积信息。
在一个实施例中，所述第一标识图案位于所述智能食物容器内壁与所述智能食物容器底部平行的环形区域；
所述尺寸信息包括所述环形区域在参考水平面的实际投影面积信息；
所述面积高度识别模块进一步用于：
根据所述尺寸信息，对所述智能食物容器上的所述环形区域进行图像分割处理，得到所述环形区域的检测面积信息；
根据识别的所述食材种类信息，对所述环形区域内的各个种类的食材进行边缘分割，得到分割的不同种类食材的单元区域；
对各个种类食材的单元区域进行面积检测，得到各个种类的食材的检测面积信息；
根据所述环形区域的检测面积信息和实际投影面积信息，各个种类的食材的检测面积信息，以及所述各个种类食材在所述环形区域的图像占比，得到各个种类食材的实际投影面积信息。
在一个实施例中，所述第一标识图案包括位于所述智能食物容器内壁与所述智能食物容器底部平行的至少两条纹理圈；
所述尺寸信息包括所述两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离；
所述面积高度识别模块进一步用于：
若所述食材种类为固态物体，则针对所述图像中的覆盖于所述第二标识图案上的食物中的每个种类的食材的边缘分割的单元区域，提取各个单元区域的多个边缘特征点，并获取各个边缘特征点距离两条纹理圈中其中一条纹理圈的第一投影距离和另一条纹理圈的第二投影距离；
根据各个边缘特征点的所述第一投影距离和第二投影距离，以及两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离，分别计算各个边缘特征点的垂直距离；
取各个边缘特征点的垂直距离中的最大值与最小值之间的差值，为该单元区域食材的高度。
在一个实施例中，所述面积高度识别模块还用于：
若所述食材种类为流质物体，则检测所述流质物体的食材的边缘特征点距离两条纹理圈中其中一条纹理圈的第一投影距离和另一条纹理圈的第二投影距离；根据所述第一投影距离和第二投影距离，以及两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离，算得所述流质物体的食材的高度。
在一个实施例中，所述体积计算模块进一步用于根据各个种类食材的所述面积信息和高度信息，分别将各个种类食材的面积乘以高度，得到各个种类食材的体积信息。
在一个实施例中，还提供一种食物热量的识别装置，包括：
体积获取模块，所述体积获取模块包括如上任一实施例所述的食物体积的识别装置，用于采用如上任一实施例所述的食物体积的识别方法的步骤获取智能食物容器中各个种类食材的体积信息；
质量获取模块，用于根据所述各种类食材的体积信息和预存的各种类食材的密度信息，计算获取所述容器中各种类食材的质量信息；
热量计算模块，用于根据所述容器中各种类食材的质量信息和预存的各种类食材的热量密度信息，计算获取所述容器中食物的热量信息。
上述食物热量的识别装置，服务器预存有第一标识图案对应的智能食物容器的尺寸等相关信息，利用食物容器上第一标识图案的特征，对容器内的食物进行体积信息定位，获取食物食材的体积信息，并进一步根据食材的体积信息和预存的食材的密度信息，获取各食材的质量，再根据各食材的热量密度，算得容器中食物的热量。相较于传统的在容器中植入传感器感应获取容器中食物信息的方案，本发明的上述方案，通过容器图案特征运用和图像识别算法，仅需使用普通容器内壁印制第一标识图案纹理即可实现对食物热量的识别，容器制备和使用与普通容器类似，成本低廉，易于维护。食物热量的获取方式简单高效。
在一个实施例中，食物热量的识别装置还包括：
密度测量值存储模块，用于分别将预设种类的食材的多次密度测量值存入数据库中；
所述质量计算模块包括：
中值密度获取模块，用于读取数据库中存储的各种类食材的多次密度测量值，针对各个种类食材，分别取该种类食材的多次密度测量值的统计中值，作为该种类食材的中值密度；
质量计算模块，用于将各种类食材的体积与各种类食材的所述中值密度相乘，计算获取所述容器中各种类食材的质量信息。
关于食物体积的识别装置的具体限定可以参见上文中对于食物体积的识别方法的限定，关于食物热量的识别装置的具体限定以及有益效果可以参见上文中对于食物热量的识别方法的限定及有益效果，在此不再赘述。上述食物体积的识别装置以及食物热量的识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种食物体积的识别系统，包括服务器设备，所述服务器设备与终端设备通信连接；
所述终端设备包括图像检测装置，用于检测盛放有食物的所述智能食物容器的图像，并发送至服务器设备；
其中，所述智能食物容器内壁的环形区域设有第一标识图案，且当所述智能食物容器置于参考平面上时，所述环形区域与所述参考平面平行；
所述服务器设备包括存储器和处理器，所述存储器用于存储计算机程序，当所述计算机程序被处理器执行时实现如下步骤：
获取盛放有待识别食物的智能食物容器的图像；其中，所述智能食物容器内壁具有第一标识图案，所述第一标识图案与所述智能食物容器的尺寸对应；
对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息；
根据所述尺寸信息，以及所述智能食物容器中的食物与所述第一标识图案的相对位置关系，对所述食物进行识别处理，获取所述智能食物容器中盛放的各种类食材的体积信息。
上述食物体积的识别系统，其服务器中的处理器执行程序时，通过实现如上步骤，从而可以利用食物容器上第一标识图案的特征，对容器内的食物进行体积信息定位，获取食物食材的体积信息。相较于传统的在容器中植入传感器感应获取容器中食物信息的方案，本发明的上述方案，通过容器图案特征运用和图像识别算法，仅需使用普通容器内壁印制第一标识图案纹理即可实现对食物体积的识别，容器制备和使用与普通容器类似，成本低廉，易于维护。食物体积的获取方式简单高效。
在一个实施例中，所述智能食物容器内壁还具有第二标识图案，用于区分所述智能食物容器与普通容器；
当所述计算机程序被处理器执行时还实现如下步骤：
对所述图像中智能食物容器的第一标识图案和第二标识图案进行识别处理，确定所述容器是否为智能食物容器；
若是，则对所述图像中智能食物容器的第一标识图案进行识别处理，提取所述第一标识图案的特征信息；
利用卷积神经网络模型，对提取的所述第一标识图案的特征信息进行特征分类，输出智能食物容器的型号信息；
根据预存的所述智能食物容器的型号与对应的尺寸信息，获取所述智能食物容器的尺寸信息。
在一个实施例中，当所述计算机程序被处理器执行时还实现如下步骤：
识别获取所述图像中食物的食材种类信息；
根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的面积信息和各个种类食材的高度信息；
根据各个种类食材的所述面积信息和高度信息，计算所述智能食物容器中盛放的各种类食材的体积信息。
在一个实施例中，所述第一标识图案位于所述智能食物容器内壁与所述智能食物容器底部平行的环形区域；
所述尺寸信息包括所述环形区域在参考水平面的实际投影面积信息；
当所述计算机程序被处理器执行时还实现如下步骤：
根据所述尺寸信息，对所述智能食物容器上的所述环形区域进行图像分割处理，得到所述环形区域的检测面积信息；
根据识别的所述食材种类信息，对所述环形区域内的各个种类的食材进行边缘分割，得到分割的不同种类食材的单元区域；
对各个种类食材的单元区域进行面积检测，得到各个种类的食材的检测面积信息；
根据所述环形区域的检测面积信息和实际投影面积信息，各个种类的食材的检测面积信息，以及所述各个种类食材在所述环形区域的图像占比，得到各个种类食材的实际投影面积信息。
在一个实施例中，所述第一标识图案包括位于所述智能食物容器内壁与所述智能食物容器底部平行的至少两条纹理圈；
所述尺寸信息包括所述两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离；
当所述计算机程序被处理器执行时还实现如下步骤：
若所述食材种类为固态物体，则针对所述图像中的覆盖于所述第二标识图案上的食物中的每个种类的食材的边缘分割的单元区域，提取各个单元区域的多个边缘特征点，并获取各个边缘特征点距离两条纹理圈中其中一条纹理圈的第一投影距离和另一条纹理圈的第二投影距离；
根据各个边缘特征点的所述第一投影距离和第二投影距离，以及两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离，分别计算各个边缘特征点的垂直距离；
取各个边缘特征点的垂直距离中的最大值与最小值之间的差值，为该单元区域食材的高度。
在一个实施例中，当所述计算机程序被处理器执行时还实现如下步骤：
若所述食材种类为流质物体，则检测所述流质物体的食材的边缘特征点距离两条纹理圈中其中一条纹理圈的第一投影距离和另一条纹理圈的第二投影距离；根据所述第一投影距离和第二投影距离，以及两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离，算得所述流质物体的食材的高度。
在一个实施例中，当所述计算机程序被处理器执行时还实现如下步骤：
根据各个种类食材的所述面积信息和高度信息，分别将各个种类食材的面积乘以高度，得到各个种类食材的体积信息。
在一个实施例中，当所述计算机程序被处理器执行时还实现如下步骤：
采用如上任一实施例所述的食物体积的识别方法的步骤获取智能食物容器中各个种类食材的体积信息；
根据所述各种类食材的体积信息和预存的各种类食材的密度信息，计算获取所述容器中各种类食材的质量信息；
根据所述容器中各种类食材的质量信息和预存的各种类食材的热量密度信息，计算获取所述容器中食物的热量信息。
在一个实施例中，当所述计算机程序被处理器执行时还实现如下步骤：
分别将预设种类的食材的多次密度测量值存入数据库中；
所述根据所述各种类食材的体积信息和预存的各种类食材的密度信息，计算获取所述容器中各种类食材的质量信息包括：
读取数据库中存储的各种类食材的多次密度测量值，针对各个种类食材，分别取该种类食材的多次密度测量值的统计中值，作为该种类食材的中值密度；
将各种类食材的体积与各种类食材的所述中值密度相乘，计算获取所述容器中各种类食材的质量信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种食物体积的识别方法，其特征在于，包括：
获取盛放有待识别食物的智能食物容器的图像；其中，所述智能食物容器内壁具有第一标识图案，所述第一标识图案与所述智能食物容器的尺寸对应；
对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息；
根据所述尺寸信息，对所述图像进行识别处理，根据图像中所述智能食物容器中的食物与所述第一标识图案的相对位置关系，获取所述智能食物容器中盛放的各种类食材的体积信息。
2.根据权利要求1所述的食物体积的识别方法，其特征在于，所述智能食物容器内壁还具有第二标识图案，用于区分所述智能食物容器与普通容器；
所述对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息包括：
对所述图像中智能食物容器的第一标识图案和第二标识图案进行识别处理，确定所述容器是否为智能食物容器；
若是，则对所述图像中智能食物容器的第一标识图案进行识别处理，提取所述第一标识图案的特征信息；
利用卷积神经网络模型，对提取的所述第一标识图案的特征信息进行特征分类，输出智能食物容器的型号信息；
根据预存的所述智能食物容器的型号与对应的尺寸信息，获取所述智能食物容器的尺寸信息。
3.根据权利要求1所述的食物体积的识别方法，其特征在于，所述根据所述尺寸信息，对所述图像进行识别处理，根据图像中所述智能食物容器中的食物与所述第一标识图案的相对位置关系，获取所述智能食物容器中盛放的各种类食材的体积信息包括：
识别获取所述图像中食物的食材种类信息；
根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的面积信息和各个种类食材的高度信息；
根据各个种类食材的所述面积信息和高度信息，计算所述智能食物容器中盛放的各种类食材的体积信息。
4.根据权利要求3所述的食物体积的识别方法，其特征在于，所述第一标识图案位于所述智能食物容器内壁与所述智能食物容器底部平行的环形区域；
所述尺寸信息包括所述环形区域在参考水平面的实际投影面积信息；
所述根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的面积信息包括：
根据所述尺寸信息，对所述智能食物容器上的所述环形区域进行图像分割处理，得到所述环形区域的检测面积信息；
根据识别的所述食材种类信息，对所述环形区域内的各个种类的食材进行边缘分割，得到分割的不同种类食材的单元区域；
对各个种类食材的单元区域进行面积检测，得到各个种类的食材的检测面积信息；
根据所述环形区域的检测面积信息和实际投影面积信息，各个种类的食材的检测面积信息，以及所述各个种类食材在所述环形区域的图像占比，得到各个种类食材的实际投影面积信息。
5.根据权利要求3所述的食物体积的识别方法，其特征在于，所述第一标识图案包括位于所述智能食物容器内壁与所述智能食物容器底部平行的至少两条纹理圈；
所述尺寸信息包括所述两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离；
所述根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的高度信息包括：
若所述食材种类为固态物体，则针对所述图像中的覆盖于第二标识图案上的食物中的每个种类的食材的边缘分割的单元区域，提取各个单元区域的多个边缘特征点，并获取各个边缘特征点距离两条纹理圈中其中一条纹理圈的第一投影距离和另一条纹理圈的第二投影距离；
根据各个边缘特征点的所述第一投影距离和第二投影距离，以及两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离，分别计算各个边缘特征点的垂直距离；
取各个边缘特征点的垂直距离中的最大值与最小值之间的差值，为该单元区域食材的高度。
6.根据权利要求5所述的食物体积的识别方法，其特征在于，所述根据所述尺寸信息和所述食材种类信息，对所述图像进行识别处理，根据所述图像中各个种类食材与所述第一标识图案的相对位置关系，计算食物中各个种类食材的高度信息还包括：
若所述食材种类为流质物体，则检测所述流质物体的食材的边缘特征点距离两条纹理圈中其中一条纹理圈的第一投影距离和另一条纹理圈的第二投影距离；
根据所述第一投影距离和第二投影距离，以及两条纹理圈形成的面与参考水平面之间的夹角、两条纹理圈在参考水平面上的实际投影距离，以及两条纹理圈中其中一条纹理圈的垂直距离，算得所述流质物体的食材的高度。
7.根据权利要求5所述的食物体积的识别方法，其特征在于，所述根据各个种类食材的所述面积信息和高度信息，计算所述智能食物容器中盛放的各种类食材的体积信息包括：
根据各个种类食材的所述面积信息和高度信息，分别将各个种类食材的面积乘以高度，得到各个种类食材的体积信息。
8.一种食物热量的识别方法，其特征在于，包括如下步骤：
采用如权利要求1至7任一项所述的食物体积的识别方法的步骤获取智能食物容器中各个种类食材的体积信息；
根据所述各种类食材的体积信息和预存的各种类食材的密度信息，计算获取所述容器中各种类食材的质量信息；
根据所述容器中各种类食材的质量信息和预存的各种类食材的热量密度信息，计算获取所述容器中食物的热量信息。
9.一种食物体积的识别装置，其特征在于，包括：
图像获取模块，用于获取盛放有待识别食物的智能食物容器的图像；其中，所述智能食物容器内壁具有第一标识图案，所述第一标识图案与所述智能食物容器的尺寸对应；
尺寸信息获取模块，用于对所述图像中的第一标识图案进行识别处理，获取所述智能食物容器的尺寸信息；
体积识别模块，用于根据所述尺寸信息，对所述图像进行识别处理，根据图像中所述智能食物容器中的食物与所述第一标识图案的相对位置关系，获取所述智能食物容器中盛放的各种类食材的体积信息。
10.一种食物体积的识别系统，其特征在于，包括服务器设备，所述服务器设备与终端设备通信连接；
所述终端设备包括图像检测装置，用于检测盛放有食物的所述智能食物容器的图像，并发送至服务器设备；
其中，所述智能食物容器内壁的环形区域设有第一标识图案，且当所述智能食物容器置于参考平面上时，所述环形区域与所述参考平面平行；
所述服务器设备包括存储器和处理器，所述存储器用于存储计算机程序，当所述计算机程序被处理器执行时，所述处理器实现如权利要求1至7中任一项所述的食物体积的识别方法的步骤，以识别所述智能食物容器中的食物的体积。
CN201810693563.1A 2018-06-29 2018-06-29 食物体积和食物热量的识别方法、装置和系统 Active CN109064509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810693563.1A CN109064509B (zh) 2018-06-29 2018-06-29 食物体积和食物热量的识别方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810693563.1A CN109064509B (zh) 2018-06-29 2018-06-29 食物体积和食物热量的识别方法、装置和系统

Publications (2)

Publication Number Publication Date
CN109064509A CN109064509A (zh) 2018-12-21
CN109064509B true CN109064509B (zh) 2021-04-06

Family

ID=64817992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810693563.1A Active CN109064509B (zh) 2018-06-29 2018-06-29 食物体积和食物热量的识别方法、装置和系统

Country Status (1)

Country Link
CN (1) CN109064509B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611993A (zh) * 2019-02-25 2020-09-01 青岛海尔智能技术研发有限公司 冰箱中食材体积识别的方法、装置及计算机存储介质
CN111696151A (zh) * 2019-03-15 2020-09-22 青岛海尔智能技术研发有限公司 烤箱中食材体积识别的方法、装置及计算机可读存储介质
CN110796695B (zh) * 2019-10-24 2022-04-05 深圳市瑞源祥橡塑制品有限公司 食物熟化尺寸获取方法、装置、计算机设备以及存储介质
CN112750158A (zh) * 2019-10-30 2021-05-04 青岛海尔智能技术研发有限公司 食材体积检测的方法及装置、厨电设备
CN111274951B (zh) * 2020-01-19 2023-12-26 北京迈格威科技有限公司 料箱状态的监控方法及装置、自动投料系统
CN111700518A (zh) * 2020-06-19 2020-09-25 上海纯米电子科技有限公司 食材类型获取方法、装置及烹饪设备
CN112190124A (zh) * 2020-08-24 2021-01-08 华帝股份有限公司 一种智能烹饪设备及其控制方法
CN112785554A (zh) * 2020-12-30 2021-05-11 深兰人工智能芯片研究院（江苏）有限公司 质量估计方法、装置、电子设备及存储介质
CN113591576A (zh) * 2021-06-29 2021-11-02 青岛海尔科技有限公司 食材信息的检测方法和装置、存储介质及电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1045519A (zh) * 1990-03-17 1990-09-26 北京海淀龙兴医疗设备科技开发公司 软组织检测成象方法及其装置
CN101601585A (zh) * 2009-07-02 2009-12-16 厦门强本科技有限公司 基于ct增强扫描技术的肝脏分段体积测量方法
JP2013036907A (ja) * 2011-08-09 2013-02-21 Seiko Epson Corp 摂取熱量推定装置、摂取熱量推定方法および摂取熱量推定用データ出力装置
CN106152691A (zh) * 2016-07-05 2016-11-23 合肥华凌股份有限公司 冰箱内食物重量的检测方法及装置
CN106372198A (zh) * 2016-08-31 2017-02-01 乐视控股（北京）有限公司 一种基于图像识别技术的数据提取方法及其移动终端
CN108038879A (zh) * 2017-12-12 2018-05-15 众安信息技术服务有限公司 一种食品体积估计方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363913B2 (en) * 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1045519A (zh) * 1990-03-17 1990-09-26 北京海淀龙兴医疗设备科技开发公司 软组织检测成象方法及其装置
CN101601585A (zh) * 2009-07-02 2009-12-16 厦门强本科技有限公司 基于ct增强扫描技术的肝脏分段体积测量方法
JP2013036907A (ja) * 2011-08-09 2013-02-21 Seiko Epson Corp 摂取熱量推定装置、摂取熱量推定方法および摂取熱量推定用データ出力装置
CN106152691A (zh) * 2016-07-05 2016-11-23 合肥华凌股份有限公司 冰箱内食物重量的检测方法及装置
CN106372198A (zh) * 2016-08-31 2017-02-01 乐视控股（北京）有限公司 一种基于图像识别技术的数据提取方法及其移动终端
CN108038879A (zh) * 2017-12-12 2018-05-15 众安信息技术服务有限公司 一种食品体积估计方法及其装置

Also Published As

Publication number Publication date
CN109064509A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109064509B (zh) 食物体积和食物热量的识别方法、装置和系统
US10074028B2 (en) Real-time diet assessment and food identification using thermal imaging
WO2021000524A1 (zh) 孔位保护门检测方法、装置、计算机设备和存储介质
US11151427B2 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
CN108447061B (zh) 商品信息处理方法、装置、计算机设备和存储介质
US11403839B2 (en) Commodity detection terminal, commodity detection method, system, computer device, and computer readable medium
WO2019184646A1 (zh) 货品识别方法及装置、货柜
US20180253674A1 (en) System and method for identifying retail products and determining retail product arrangements
CN109815770B (zh) 二维码检测方法、装置及系统
CN108416902B (zh) 基于差异识别的实时物体识别方法和装置
CN109840524B (zh) 文字的类型识别方法、装置、设备及存储介质
KR20190068266A (ko) 영상을 이용한 가축 무게 측정 장치 및 방법
CN108710916B (zh) 图片分类的方法及装置
CN109740417B (zh) 发票类型识别方法、装置、存储介质和计算机设备
US20220405973A1 (en) Analysis of urine test strips with mobile camera analysys and providing recommendation by customising data
CN111144285A (zh) 胖瘦程度识别方法、装置、设备及介质
CN115272234A (zh) 瓶盖质量检测方法、装置、计算机设备及存储介质
CN115082941A (zh) 表格文档影像的表格信息获取方法及装置
CN112232334B (zh) 一种智能售货商品识别检测方法
CN109034169B (zh) 智能食物容器识别方法、装置、系统和存储介质
CN108090728A (zh) 一种基于智能终端的快递信息录入方法及录入系统
CN113874678A (zh) 食物测量方法、装置及程序
CN116486212A (zh) 一种基于计算机视觉的水尺识别方法、系统及存储介质
Balbin et al. Determination of calorie content in different type of foods using image processing
CN115187972A (zh) 基于特征对比的菜品识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant