CN110379483A - 针对疾病人群的饮食监督与推荐方法 - Google Patents

针对疾病人群的饮食监督与推荐方法 Download PDF

Info

Publication number
CN110379483A
CN110379483A CN201910508076.8A CN201910508076A CN110379483A CN 110379483 A CN110379483 A CN 110379483A CN 201910508076 A CN201910508076 A CN 201910508076A CN 110379483 A CN110379483 A CN 110379483A
Authority
CN
China
Prior art keywords
commodity
user
food materials
diet
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910508076.8A
Other languages
English (en)
Inventor
段凌宇
张琳
王策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201910508076.8A priority Critical patent/CN110379483A/zh
Publication of CN110379483A publication Critical patent/CN110379483A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Nutrition Science (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于人工智能应用领域，具体涉及一种针对疾病人群的饮食监督与推荐方法。包括识别购买的商品，以及基于购买的商品，针对用户的饮食偏好与该用户的具体日营养需求，生成用户定制化的饮食方案。本发明同时考虑了用户喜好、可用食材、营养摄入，具有集成性和简略性，具有显著的使用性。

Description

针对疾病人群的饮食监督与推荐方法
技术领域
本发明属于人工智能应用领域，具体涉及一种针对疾病人群的饮食监督与推荐方法。
背景技术
合理的饮食可以保证足够的营养摄入，可以保持健康，预防各种疾病。不合理的饮食会对健康带来不同程度的损害，导致各种疾病(肥胖，糖尿病，心血管疾病等)，甚至加速死亡。大多数人没有专业知识来判断饮食的健康状况，需要饮食助手来帮助他们建立健康合理的饮食习惯。然而，目前的饮食助手对用户饮食信息的分析取决于用户上传的饮食图像，而不是使用综合完整的用户饮食记录。在这种情况下，如果用户忽略或忘记上传饮食图像，分析出的饮食信息会误导系统制定错误的饮食规划，对健康产生不良影响，特别是那那些对营养摄入有严格要求的患者。
图1展示了传统的饮食推荐方法，用户饮食的记录依赖用户手动拍摄和上传饮食图像至服务器，服务器分析图像获得饮食的详细信息，包括食品的种类、营养含量、体积等，结合饮食与营养知识进行饮食推荐。这种方法在用户遗忘或忽略饮食的拍摄时，会输出错误的饮食推荐结果，影响人体饮食摄入平衡，特别是对于那些对营养摄入有高要求的疾病人群。此外，目前的方法仅单方面考虑一种因素，如用户喜好、可用食材、营养摄入，没有所有变量结合起来，建立联合的推荐模型。
发明内容
本发明实施例提供了一种针对疾病人群的饮食监督与推荐方法，同时考虑了用户喜好、可用食材、营养摄入，具有集成性和简略性，具有显著的使用性。
根据本发明实施例的第一方面，一种针对疾病人群的饮食监督与推荐方法，包括
识别购买的商品，以及
基于购买的商品，针对用户的饮食偏好与该用户的具体日营养需求，生成用户定制化的饮食方案。
所述生成用户定制化的饮食方案包括：
基于饮食偏好和食谱数据库，使用训练好的LSTM模型和训练好的推荐模型推荐一个满足用户饮食偏好的初步食谱列表；
使用用户饮食报告中的零食的营养摄入量和可用食材列表，过滤初步食谱列表中不适当的食谱，得到推荐食谱。
推荐模型的训练包括：
使用用户饮食偏好中部分的数据作为用户饮食偏好；
使用训练好的LSTM模型提取用户饮食数据和食谱数据的特征；
将用户饮食数据特征输入广义矩阵分解GMF模型，提取用户饮食数据特征将食谱数据特征输入基于神经网络的协同过滤NCF模型，提取食谱数据特征
计算饮食数据用户特征和食谱数据特征的内积，得到关系特征将其输入神经协同过滤推荐NeuMF模型和sigmoid函数，得到该用户对该食谱的“喜爱”分数；
使用交叉熵损失计算损失，其中选用剩余用户饮食偏好数据，进行检验，当检验结果达到阈值或者迭代次数达到设定值，训练结束；否则，更改模型参数继续训练。
识别购买的商品，包括：
将完整的购物视频划分为多个视频片段；
针对每一视频片段，从所述视频片段中提取N帧图像帧，其中，N为大于1的整数；
分析提取的图像帧获得所述视频频段对应的购物动作类型；并
根据获得的各视频片段对应的购物动作类型，识别购买动作类型的视频片段对应的商品。
分析提取的图像帧获得所述视频频段对应的购物动作类型，具体包括：
使用非局部神经网络分析提取的图像帧获得所述视频频段对应的购物动作类型。
购物动作类型包括购买动作，识别购买动作类型的视频片段对应的商品，具体包括：
将购买动作对应的视频片段输入分类网络得到所述视频片段中包含的商品类型，所述商品类型包括食材类或非食材类；
对于食材类商品，使用多分类模型识别其中关键帧的商品；
对于非食材类商品，使用多物体检索的方法检索关键帧中的非食材商品。
7、如权利要求6所述的方法，其特征在于，非局部神经网络的基本网络为ResNet50，将ResNet50转换为3D ResNet50网络，在3D ResNet50网络的前三个block的结尾均插入一个非局部块。
对于食材类商品识别，包括以下子步骤：
2.a.1提取视频片段的图像帧的关键帧；
2.a.2将关键帧依次输入预训练好的空间正则化网络，得到该帧在每一个食材类别上的预测分数；
2.a.3所有关键帧的对应类别分数相加，除以关键帧数量，得到视频片段在每个食材类别上的预测分数。
对于非食材商品识别，具体包括以下子步骤：
2.b.1提取视频片段的图像帧的关键帧；
2.b.2预处理，使用网络公开的商品数据集RPC，训练一个fast r-cnn网络；RPC数据集包括多张商品图，每张图片用多个检测框bbox给所有检测框bbox一个统一的标签“商品”类别；在训练时，构建一个商品图像库，该库包含多个商品图像，每个图像都包含一个商品，并且是干净背景的，对于该商品库的所有图片，使用紧凑视觉搜索技术建立提取特征，建立索引；
2.b.3对每一个关键帧，使用训练好的fast r-cnn进行商品区域的检测，产生多个检测框bbox，以及检测框bbox的预测分数，保留预测分数大于0.5的检测框bbox。
2.b.4对每个关键帧，使用检测框bbox对图像进行剪裁，生成多个局部图。
2.b.5对每个关键帧，将其剪裁出的多个局部图，每个局部图都使用紧凑视觉搜索技术提取特征，使用商品库建立的索引，在商品库中检索相关的商品，得到每个局部图的相关商品列表，其中相关程度从高到低。
2.b.6对于一个视频片段的多个关键帧，每个关键帧都有多个局部图，每个图有一个相关商品列表，按照局部图的预测分数得到相关商品列表。
所述步骤2.a.2的空间正则化网络包括
将关键帧依次输入ResNet50，提供粗略的类预测以及初步特征fcls；
将初步特征fcls输入空间正则化模块，生成两个特征图，注意力特征图fatt和置信度特征图fcof；
然后fatt被fcof重新加权，并输出一系列卷积层的精确预测结果通过对fatt进行线性转换样得到一个粗略的预测
通过得到预测值。
所述步骤2.a.2中，在训练过程中，预测值是 在应用中预测值是
本发明实施例提供的技术方案可以包括以下有益效果：
1、传统方法使用消费者上传的商品图片进行分析的方法，本专利使用第一人称视角的消费者购物视频，进行全面的消费分析，相对于基于图片的分析方法，本专利节省了消费者拍摄和上传的负担，并且可以全面地分析整个购物过程，得到完整的消费记录。
2、对于商店商品随时间变更问题，本专利减小商品类别改变所需的模型改变。对于食材类商品，尽管其原产地、生产商不尽相同，但食材的类别一样，新生产商的食材商品也隶属于原食材类别，因此模型保持不变。对于非食材类商品，需要根据生产商和属性区别，建立个体级别的识别模型，新商品的引入也会带来新的商品类别。本专利使用紧凑检索技术，保证在商店商品的变更过程中，只需要加入新商品的白背景商品图片到商品库中，不需要对检索模型做任何改动，即可找到相关商品。其他方法往往不考虑模型变动问题，并且对食材和非食材类商品进行统一处理。
3、针对疾病人群，同时考虑了用户喜好、可用食材、营养摄入，具有集成性和简略性，具有显著的使用性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是传统的饮食分析和推荐方法示意图；
图2是本发明提供了一种针对疾病人群的饮食监督与推荐方法示意图；
图3是本发明提供了一种针对疾病人群的饮食监督与推荐方法流程图；
图4是本发明非食材类商品的视频片段在局部图上的预测分数示意图；
图5是使用的紧凑视觉搜索在特征提取上的流程示意图；
图6是本发明考虑到用户多种饮食需求的饮食推荐方法示意图；
图7是本发明一种针对疾病人群的饮食监督与推荐方法概念图。
具体实施方式
图7展示了方法的概念图。膳食可计算模型使用视频动作分类和视频内容分析处理第一人称商店购物视频，以总结在购物期间购买食品的报告。在视频动作分类中，杂货购物视频基于不同的购买行为被分成几个动作片段。考虑到超市中相似性较大的购物动作，采用非局部神经网络来关注视频帧间的变化和相关性，以发现更多的类别信息。对于包含用户喜欢商品的动作片段，在视频内容分析使用多产品检索来定位具体商品信息，具体使用紧凑视觉搜索技术来更多地关注本地功能，挖掘存在于包装上的文字和纹理之间的商品类别差异。最终购物报告包含用户购买的食品类别信息。
实施例一
发明提供了一种针对疾病人群的饮食监督与推荐方法，包括以下步骤：
识别购买的商品，以及
基于购买的商品，针对用户的饮食偏好与该用户的具体日营养需求，生成用户定制化的饮食方案。
实施例二
如图2、3所示，本发明提供了一种针对疾病人群的饮食监督与推荐方法，包括以下步骤：
对于完整的购物视频，将视频分为多个视频片段，将每个视频片段等时间间隔选取N个图像帧，将视频片段进行购物动作的分类。
对于完整的用户在商店的购物视频，基于不同的消费者行为定义，将视频等时间间隔将购物视频分为若干视频片段，并从所述视频片段中提取N帧图像帧，其中，N为正整数；优选的，隔两秒取一个两秒视频片段，在视频片段中抽取相等间隔的16帧进行动作预测；
优选的，将视频片段进行购物动作的分类，为视频片段的N个图像帧，输入到预训练好的非局部神经网络中，得到该片段在每一个购物动作上的预测分数，取最高分数对应的购物动作，作为该视频片段的动作类别；
非局部神经网络预训练为采集视频，把视频分成了视频片段，然后人工标注好类别标签，视频拆成帧做成矩阵输入非局部神经网络，非局部神经网络输出一个分数向量，将向量和真实的类别标签使用交叉熵损失函数计算损失，使用反向传播的方式更新网络参数。
购物视频首先输入购物行为分类模型，以获取不同消费者行为的若干动作片段。因为第一人称购物视频只能记录场景变化，消费者的行为是不可见的，从而难以从视频中估计动作类别；此外，购物动作数据存在较大的类间相似性，这是由于视频中的背景总是商店，而且购物动作之间的差异很小。因此，分类模型应该更加关注帧之间的变化和相关性，以发现类别判别性外观。在这个系统中，我们使用非局部神经网络进行购物行为分类。
优选的，非局部神经网络的基本网络可以为ResNet50，为了在视频数据上使用它，将ResNet50转换为3D ResNet50网络，即把所有卷积层换成3d卷积，在3D ResNet50网络的前三个block的结尾，即activation_59、activation_71、activation_89的输出端均插入一个非局部块。
非局部神经网络使用非局部块来捕获数据的空间，时间和时空之间的依赖性。
优选的，对于插入的非局部块，位置i的输出被视为输入中所有位置深度信息的规范化线性组合，即线性系数f(xi,xj)是一个反映位置之间关系的标量，g(xj)包含位置j中输入的深层信息。非局部神经网络可以处理所有输入信号上的消息。通过使用该网络，分类模型可以发现信息流和帧中的变化。g(xj)是线性转换Wgxj，其中Wg是一个可学习的权重矩阵。
对于视频动作的分类如表1所示。
表1视频动作的分类
将购物动作的片段中属于“选择”的视频片段输入分类网络，区分其中的商品为食材类或非食材类；
对于食材类商品，使用多分类模型识别视频片段的关键帧的多个食材类别；
对于非食材类商品，由于种类较多且不断增长，使用多物体检索的方法检索视频片段的关键帧中的非食材商品；
将视频分为多个动作片段后，我们对其中“选择”动作片段进行视频内容分析，以获得消费者购物记录，因为这些片段包含用户喜欢和购买的商品信息。商品包括食材类和非食材类商品，我们对这两种类型的商品使用两种视觉分析模型。
优选的，我们首先在输入视频片段的关键帧上使用RetNet50分类网络区分食材类和非食材类商品帧。然后将食物帧输入到相应的分类或检索模型。
对于食材类，例如蔬菜和肉类，采用多分类模型，因为虽然它们可能具有不同的生长区域，但是类别是有限的和固定的。具体包括以下子步骤：
2.a.1采用ffmpeg提取视频片段的图像帧的关键帧；
2.a.2将关键帧依次输入预训练好的空间正则化网络(SRN)，得到该帧在每一个食材类别上的预测分数；
2.a.3所有关键帧的对应类别分数相加，除以关键帧数量，得到视频片段在每个食材类别上的预测分数。
商店的环境复杂，拍摄过会遇到反射、色变等问题，食材在商店中往往也被切分和包装，使用空间正则化网络(SRN)作为多分类模型，专注于类区域，发现细粒度特征并同时调整图片出现在局部的反射、色变问题。
SRN由两部分组成，即特征提取模块和空间正则化模块。特征提取模块使用ResNet50，提供粗略的类预测以及初步特征fcls。
空间正则化模块将初步特征fcls作为输入，首先生成两个特征图——注意力特征图fatt和置信度特征图fcof。然后fatt被fcof重新加权，并输出一系列卷积层的精确预测结果通过对fatt进行线性转换同样可以得到一个粗略的预测空间正则化模块中的机制将极大地促进性能,因为注意力特征图为每个类生成重要的区域，以发现细微的类别特征，置信度特征图调整fatt中的局部条件，从而调整反射和色变等问题。
优选的，在训练过程中，模型使用交叉熵损失优化，优化的预测值是在应用中使用作为预测分数。
对于非食材商品，考虑到其类别多样性以及不断增长的数量，采用检索技术来保证数据扩展后方法的可用性。系统只需要逐步更新商品数据库，不需要重新培训新模型。
对于非食材类商品，具体包括以下子步骤：
2.b.1采用ffmpeg提取视频片段的图像帧的关键帧；
2.b.2预处理，使用网络公开的商品数据集RPC，训练一个fast r-cnn网络，最终在该数据集上达到97.6％的检测结果。RPC数据集包括多张商品图，每张图片用多个检测框(bounding box，bbox)标注该图的多个商品区域，每个检测框有一个附带的商品类别标签。在训练时，我们忽略附带的商品类别标签，而是给所有bbox一个统一的标签“商品”类别。同时构建一个商品图像库，该库包含多个商品图像，每个图像都包含一个商品，并且是干净背景的(面临商店商品更新，只需要更新商品库的商品图片，加入新商品的干净背景图即可)。对于该商品库的所有图片，使用紧凑视觉搜索技术建立提取特征，建立索引。
2.b.3对每一个关键帧，使用训练好的fast r-cnn进行商品区域的检测，产生多个bbox，以及bbox的预测分数(0-1之间，表示该bbox有多大可能包含商品)。保留预测分数大于0.5的bbox。
2.b.4对每个关键帧，使用bbox对图像进行剪裁，生成多个局部图。
2.b.5对每个关键帧，将其剪裁出的多个局部图，每个局部图都使用紧凑视觉搜索技术提取特征，使用商品库建立的索引，在商品库中检索相关的商品，得到每个局部图的相关商品列表，其中相关程度从高到低。
2.b.6对于一个视频片段的多个关键帧，每个关键帧都有多个局部图，每个图有一个相关商品列表，按照局部图的预测分数将局部图从上到下排列，结果如图4所示，图中的圆圈代表商品检索列表。其中横着的一行圆圈代表的商品不可能重复，但竖着的一列可能重复，因为每个局部图的检测是相互不影响的。
首先将一个关键帧的结果融合。假设有k个局部图B1-Bk，预测分数从高到低，对于局部图Bi取前30个商品相关程度从高到低。融合时，维护一个列表L，首先将B1-Bk的第一个商品依次加入L，如果有已经在L中，则跳过。之后将B1-Bk的第二个商品依次加入L，以此类推，直到L中的商品达到30个为止。这样每一个关键帧，都有一个长为30的列表L。
接着将所有关键帧的结果融合。假设有t个关键帧F1-Ft，相关程度从高到低，对于关键帧Fi的列表Li，有商品相关程度从高到低。融合时，维护一个列表E，统计将F1-Fk的第一个商品的商品类别数和每个类别出现个数，按照出现个数从高到低将商品类别加入E。之后对F1-Fk的第二个商品进行统计，加入E，如果已经存在于E中则跳过，以此类推，直到E中的商品达到30个为止。
我们使用多产品检索方法来获取消费者购买或喜欢的产品。为了获得更准确的检索结果，我们首先使用商品位置检测模型将图像裁剪成多个可能包含商品的的区域，这部分将增加计算需求和时间。此外，实现超细粒度的商品检索，例如同一薯片品牌的不同口味，将面临较小的类间差异(如商品包装的文本和纹理中)。为了解决这两个问题，使用紧凑视觉搜索技术来检索产品，从而更多地关注局部特征，达到更高效的检索。在使用紧凑视觉搜索技术之前，
图5展示了紧凑视觉搜索技术的特征提取流程示意图。
步骤2.b.2和步骤2.b.5紧凑视觉搜索技术的特征提取可以分为6部分：兴趣点检测，局部特征选择，局部特征描述，局部特征压缩，局部特征位置压缩，局部特征聚合。使用基于块的频域拉普拉斯高斯(BFLoG)方法与ALP检测器集成作为兴趣点检测方法；计算相关性用来对特征排序，选择固定数量的局部特征；使用SIFT描述子作为特征描述子；采用了低复杂度的变换编码方案，将小线性变换应用于SIFT描述符的每个单独空间区间的8个值，在比特流中仅包括变换的描述符元素的子集，从而对局部特征进行压缩；采用直方图编码方案对局部特征位置进行压缩，位置数据表示为由二进制图和一组直方图计数组成的空间直方图；采用可缩放压缩Fisher矢量，基于总特征数据预算选择来自高斯混合模型的高斯分量的子集，仅保留所选分量中的信息。基于能量在Fisher矢量中的集中位置，为每个图像选择一组不同的分量，从而进行局部特征聚合。
步骤2.b.2建立索引，采用MBIT检索技术，对于长二进制全局描述符，可以非常快速地计算汉明距离。MBIT将特征之间的穷举距离计算减少为对齐的组件-组件的独立匹配问题，并为这些组件构造多个哈希表。给定查询描述符，使用查询二进制子向量(即组件)作为其对应的哈希表的索引来检索其候选的相关数据，从而显着减少用于后续线性搜索的所需候选图像的数量。
对于“选择”视频片段，使用食材预测第一个对应的食材类别以及非食材检索的第一个检索结果，作为用户购买的商品记录。
最终的消费者购物记录由用户购买和感兴趣的商品信息构成，其中消费者购买的商品为在“选择”动作视频片段上的食材分类第一个食材类别和非食材检索第一个商品类别，消费者感兴趣商品为在“挑选”动作视频片段上的食材分类前三个食材类别和非食材检索前三个商品类别。
基于购买的商品，在非食材类商品中选择零食，零食对于零食和食材类商品，针对用户的饮食偏好与该用户特殊身份(疾病)下的具体日营养需求，生成用户定制化的饮食方案。
在个性化饮食推荐模型处理前已经存好的数据：饮食偏好：用户过去吃过的菜；食谱数据库：包括很多食谱，每个食谱包含一张图像，食谱标题，食谱所用食材，食谱营养总量，食谱制作步骤，食谱营养总量用所有食材的营养相加，每种食材营养使用单个食材的营养乘食谱中食材的数量，如果是半个，三分之一个就乘如果是千克，就用食材的质量乘一个食材营养总量除以食谱中该食材质量；健康状况：即有没有疾病，有哪种疾病；营养知识：每种疾病对应的日营养需求量。
在个性化饮食推荐模型中，来自膳食可计算模型的购物报告用于总结用户饮食报告，包括零食营养摄入量和可用食材。基于饮食报告，用户偏好，用户健康状况和营养知识，个性化饮食推荐模型生成定制饮食，同时满足用的特殊的营养需求和偏好。
个性化饮食推荐模型使用膳食可计算模型的购物报告，根据用户信息和营养知识生成定制饮食。特别地，对于不同健康状况的人们，根据其不同的营养需求设计饮食计划。系统流程图如图6所示。具体包括：
预处理，训练LSTM模型和训练推荐模型。
使用Recipe1M数据集训练一个LSTM模型，LSTM模型为长短期记忆模型。Recipe1M数据集包含多个食谱，每个食谱有食材、和制作过程和图像数据。对每一个食谱，使用双向LSTM分别提取食材和食谱的特征，进行拼接；使用VGG16网络提取该食谱图像特征；使用两个特征进行余弦损失计算，将损失反向传播，更新LSTM和VGG16网络。在所有食谱上进行一次损失计算和网络更新为一个迭代，200个迭代后训练终止。
使用收集的用户饮食偏好和食谱数据库训练推荐模型。饮食偏好里的食谱是食谱数据库里食谱的一部分，它记录着用户过去吃过的菜。将饮食偏好里的食谱记为用户喜爱的食谱，从而在用户饮食偏好和食谱数据库之间建立关系。食谱数据库中包含在饮食偏好里的食谱，和用户之间是“喜爱”关系，不包含在饮食偏好里的食谱，和用户之间是“不喜爱”关系。
推荐模型分为三部分，GMF、NCF和NeuMF，广义矩阵分解(GMF)和基于神经网络的协同过滤(NCF)首先将用户饮食偏好数据特征和食谱数据特征的信息映射为可交互的特征，这样“喜爱”和“不喜爱”关系就可以表示为用户特征和食谱特征的内积。
在训练过程中使用用户饮食偏好中70％的数据作为用户饮食偏好，剩下30％用于计算损失。
4.a.1使用训练好的LSTM模型提取用户饮食数据和食谱数据的特征。
4.a.2将用户饮食数据特征输入GMF模型，提取用户饮食数据特征将食谱数据特征输入NCF模型，提取食谱数据特征
4.a.3计算用户特征和食谱特征的内积，得到关系特征将其输入NeuMF和sigmoid函数，得到该用户对该食谱的“喜爱”分数。
4.a.4使用交叉熵损失计算损失，其中上述的30％食谱为“喜爱”关系，不在用户饮食偏好里的为“不喜爱”关系。所有用户的损失计算和网络更新为一个迭代，200个迭代后网络终止。
广义矩阵分解(GMF)和基于神经网络的协同过滤(NCF)首先将用户和食材的信息转换为映射为可交互的特征。GMF将用户和食谱投射到联合的潜在特征空间，这样交互可以表示为用户特征和食谱特征的内积。NCF用一系列神经协同过滤层取代了GMF的内积计算，它的每一层都将捕获不同的潜在交互结构。
采用NeuMF作为推荐模型，以更好地发现隐含的偏好信息，将特征输入到NeuMF和Sigmoid激活函数以获得偏好分数。
使用购物报告总结用户饮食报告，包括两部分，可用的食材列表和零食的营养摄入量。其中可用食材列表包括所有购买的食材，零食的营养摄入量为每种零食的营养的相加(通过零食生产商的网站获得有关零食的营养信息)。
基于饮食偏好和食谱数据库，使用NeuMF推荐模型(神经协同过滤推荐模型)推荐一个满足用户饮食偏好的初步食谱列表。
4.b.1使用训练好的LSTM模型提取用户饮食数据和食谱数据的特征。
4.b.2将用户饮食数据特征输入GMF模型，提取用户饮食数据特征将食谱数据特征输入NCF模型，提取食谱数据特征
4.b.3计算用户特征和食谱特征的内积，得到关系特征将其输入NeuMF和sigmoid函数，得到最终“喜爱”分数。
4.b.4选择分数大于0.5的食谱，组成初步食谱列表。
使用用户饮食报告中的零食的营养摄入量和可用食材列表，过滤初步食谱列表中不适当的食谱。
4.c.1对于初步食谱列表中的食谱，删除食材不包含在可用食材列表中的食谱，得到食谱列表B。
4.c.2计算该用户所需营养。在营养知识中，查找该用户健康状况对应的日营养需求量Nd。令零食的营养摄入量为Ns，那么该用户所需营养Nr为Nd-Ns。
4.c.3对于食谱列表B，删除食谱营养超过所需营养Nr的食谱，剩下的食谱就是最终的推荐食谱。
使用的用户饮食报告中的零食的营养摄入量和可用食材列表，过滤初步食谱列表中不适当的食谱。
4.d.1对于初步食谱列表中的食谱，删除食材不包含在可用食材列表中的食谱，得到食谱列表B。
4.d.2计算该用户所需营养。在营养知识中，查找该用户健康状况对应的日营养需求量Nd。令零食的营养摄入量为Ns，那么该用户所需营养Nr为Nd-Ns。
4.d.3对于食谱列表B，删除食谱营养超过所需营养Nr的食谱，剩下的食谱就是最终的推荐食谱。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种针对疾病人群的饮食监督与推荐方法，其特征在于，包括
识别购买的商品，以及
基于购买的商品，针对用户的饮食偏好数据与该用户的具体日营养需求数据，生成用户定制化的饮食方案。
2.如权利要求1所述的方法，其特征在于，所述生成用户定制化的饮食方案包括：
基于饮食偏好和食谱数据库，使用训练好的长短期记忆网络LSTM模型和训练好的推荐模型推荐一个满足用户饮食偏好的初步食谱列表；
使用用户饮食报告中的零食的营养摄入量和可用食材列表，过滤初步食谱列表中不适当的食谱，得到推荐食谱。
3.如权利要求2所述的方法，其特征在于，推荐模型的训练包括：
使用用户饮食偏好数据中部分的数据作为用户饮食偏好；
使用训练好的LSTM模型提取用户饮食数据和食谱数据的特征；
将用户饮食数据特征输入广义矩阵分解GMF模型，提取用户饮食数据特征将食谱数据特征输入基于神经网络的协同过滤NCF模型，提取食谱数据特征
计算饮食数据用户特征和食谱数据特征的内积，得到关系特征将其输入神经协同过滤推荐NeuMF模型和sigmoid函数，得到该用户对该食谱的“喜爱”分数；
使用交叉熵损失计算损失，其中选用剩余用户饮食偏好数据，进行检验，当检验结果达到阈值或者迭代次数达到设定值，训练结束；否则，更改模型参数继续训练。
4.如权利要求1所述的方法，其特征在于，识别购买的商品，包括：
将完整的购物视频划分为多个视频片段；
针对每一视频片段，从所述视频片段中提取N帧图像帧，其中，N为大于1的整数；
分析提取的图像帧获得所述视频频段对应的购物动作类型；并
根据获得的各视频片段对应的购物动作类型，识别购买动作类型的视频片段对应的商品。
5.如权利要求4所述的方法，其特征在于，分析提取的图像帧获得所述视频频段对应的购物动作类型，具体包括：
使用非局部神经网络分析提取的图像帧获得所述视频频段对应的购物动作类型。
6.如权利要求5所述的方法，其特征在于，购物动作类型包括购买动作，识别购买动作类型的视频片段对应的商品，具体包括：
将购买动作对应的视频片段输入分类网络得到所述视频片段中包含的商品类型，所述商品类型包括食材类或非食材类；
对于食材类商品，使用多分类模型识别其中关键帧的商品；
对于非食材类商品，使用多物体检索的方法检索关键帧中的非食材商品。
7.如权利要求6所述的方法，其特征在于，非局部神经网络的基本网络为ResNet50，将ResNet50转换为三维3D ResNet50网络，在3D ResNet50网络的前三个块block的结尾均插入一个非局部块。
8.如权利要求7所述的方法，其特征在于，对于食材类商品识别，包括以下子步骤：
2.a.1提取视频片段的图像帧的关键帧；
2.a.2将关键帧依次输入预训练好的空间正则化网络，得到该帧在每一个食材类别上的预测分数；
2.a.3所有关键帧的对应类别分数相加，除以关键帧数量，得到视频片段在每个食材类别上的预测分数。
9.如权利要求8所述的方法，其特征在于，对于非食材商品识别，具体包括以下子步骤：
2.b.1提取视频片段的图像帧的关键帧；
2.b.2预处理，使用网络公开的商品数据集RPC，训练一个基于区域的快速卷积神经网络fast r-cnn网络；RPC数据集包括多张商品图，每张图片用多个检测框bbox给所有检测框bbox一个统一的标签“商品”类别；在训练时，构建一个商品图像库，该库包含多个商品图像，每个图像都包含一个商品，并且是干净背景的，对于该商品库的所有图片，使用紧凑视觉搜索技术建立提取特征，建立索引；
2.b.3对每一个关键帧，使用训练好的fast r-cnn进行商品区域的检测，产生多个检测框bbox，以及检测框bbox的预测分数，保留预测分数大于0.5的检测框bbox。
2.b.4对每个关键帧，使用检测框bbox对图像进行剪裁，生成多个局部图。
2.b.5对每个关键帧，将其剪裁出的多个局部图，每个局部图都使用紧凑视觉搜索技术提取特征，使用商品库建立的索引，在商品库中检索相关的商品，得到每个局部图的相关商品列表，其中相关程度从高到低。
2.b.6对于一个视频片段的多个关键帧，每个关键帧都有多个局部图，每个图有一个相关商品列表，按照局部图的预测分数得到相关商品列表。
10.如权利要求9所述的方法，其特征在于，所述步骤2.a.2的空间正则化网络包括
将关键帧依次输入ResNet50，提供粗略的类预测以及初步特征fcls；
将初步特征fcls输入空间正则化模块，生成两个特征图，注意力特征图fatt和置信度特征图fcof；
然后fatt被fcof重新加权，并输出一系列卷积层的精确预测结果通过对fatt进行线性转换样得到一个粗略的预测
通过得到预测值。
CN201910508076.8A 2019-06-12 2019-06-12 针对疾病人群的饮食监督与推荐方法 Pending CN110379483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910508076.8A CN110379483A (zh) 2019-06-12 2019-06-12 针对疾病人群的饮食监督与推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910508076.8A CN110379483A (zh) 2019-06-12 2019-06-12 针对疾病人群的饮食监督与推荐方法

Publications (1)

Publication Number Publication Date
CN110379483A true CN110379483A (zh) 2019-10-25

Family

ID=68250198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910508076.8A Pending CN110379483A (zh) 2019-06-12 2019-06-12 针对疾病人群的饮食监督与推荐方法

Country Status (1)

Country Link
CN (1) CN110379483A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139120A (zh) * 2020-01-20 2021-07-20 佛山市顺德区美的电热电器制造有限公司 电子设备及食谱的推荐方法和装置
CN114743194A (zh) * 2022-05-24 2022-07-12 深圳小小小科技有限公司 基于深度残差神经网络的食谱生成方法
CN117198466A (zh) * 2023-11-08 2023-12-08 北京四海汇智科技有限公司 针对肾病患者的饮食管理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030171944A1 (en) * 2001-05-31 2003-09-11 Fine Randall A. Methods and apparatus for personalized, interactive shopping
CN107341340A (zh) * 2017-06-08 2017-11-10 美的集团股份有限公司 食谱推荐方法、系统及终端
CN107680652A (zh) * 2017-09-13 2018-02-09 天津大学 一种基于机器学习的营养饮食推荐及评价方法
CN108335731A (zh) * 2018-02-09 2018-07-27 辽宁工程技术大学 一种基于计算机视觉的病人饮食推荐方法
CN109409175A (zh) * 2017-08-16 2019-03-01 图灵通诺（北京）科技有限公司 结算方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030171944A1 (en) * 2001-05-31 2003-09-11 Fine Randall A. Methods and apparatus for personalized, interactive shopping
CN107341340A (zh) * 2017-06-08 2017-11-10 美的集团股份有限公司 食谱推荐方法、系统及终端
CN109409175A (zh) * 2017-08-16 2019-03-01 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN107680652A (zh) * 2017-09-13 2018-02-09 天津大学 一种基于机器学习的营养饮食推荐及评价方法
CN108335731A (zh) * 2018-02-09 2018-07-27 辽宁工程技术大学 一种基于计算机视觉的病人饮食推荐方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139120A (zh) * 2020-01-20 2021-07-20 佛山市顺德区美的电热电器制造有限公司 电子设备及食谱的推荐方法和装置
CN114743194A (zh) * 2022-05-24 2022-07-12 深圳小小小科技有限公司 基于深度残差神经网络的食谱生成方法
CN117198466A (zh) * 2023-11-08 2023-12-08 北京四海汇智科技有限公司 针对肾病患者的饮食管理方法及系统
CN117198466B (zh) * 2023-11-08 2024-01-26 北京四海汇智科技有限公司 针对肾病患者的饮食管理方法及系统

Similar Documents

Publication Publication Date Title
Deldjoo et al. Movie genome: alleviating new item cold start in movie recommendation
US20240028867A1 (en) Methods and apparatus for detecting, filtering, and identifying objects in streaming video
US10671853B2 (en) Machine learning for identification of candidate video insertion object types
US8897485B2 (en) Determining an interest level for an image
US8873851B2 (en) System for presenting high-interest-level images
US9014510B2 (en) Method for presenting high-interest-level images
US9014509B2 (en) Modifying digital images to increase interest level
KR102119868B1 (ko) 홍보용 미디어 콘텐츠 제작 시스템 및 그 방법
US11809985B2 (en) Algorithmic apparel recommendation
CN108713212A (zh) 用于基于分组信息提供信息的方法、系统和介质
US20130094756A1 (en) Method and system for personalized advertisement push based on user interest learning
CN110379483A (zh) 针对疾病人群的饮食监督与推荐方法
US20140002644A1 (en) System for modifying images to increase interestingness
Nie et al. Multimodal learning toward micro-video understanding
CN103198089A (zh) 信息处理装置、信息处理方法和程序
CN105765574A (zh) 用于物品和物品集合匹配的系统和方法
Mameli et al. Deep learning approaches for fashion knowledge extraction from social media: a review
CN109391829A (zh) 视频打点位置分析系统、分析方法及储存媒体
CN111949889A (zh) 一种基于大数据的共享平台智能推荐方法、系统及可读存储介质
CN110378215A (zh) 基于第一人称视角购物视频的购物分析方法
Vandecasteele et al. Spott: On-the-spot e-commerce for television using deep learning-based video analysis techniques
Kim et al. Key Color generation for affective multimedia production: an initial method and its application
Zoghbi et al. I pinned it. Where can i buy one like it? Automatically linking Pinterest pins to online Webshops
Khattar et al. Analysis of online grocery recommendation systems
Narasimhan Multimodal Long-Term Video Understanding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191025