CN111680570A - 增强现实图像数据处理方法、装置、设备和存储介质 - Google Patents

增强现实图像数据处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111680570A
CN111680570A CN202010403622.4A CN202010403622A CN111680570A CN 111680570 A CN111680570 A CN 111680570A CN 202010403622 A CN202010403622 A CN 202010403622A CN 111680570 A CN111680570 A CN 111680570A
Authority
CN
China
Prior art keywords
food material
real scene
network
food materials
food
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010403622.4A
Other languages
English (en)
Inventor
陈翀
李少鹏
陈亚玲
岳冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010403622.4A priority Critical patent/CN111680570A/zh
Publication of CN111680570A publication Critical patent/CN111680570A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种增强现实图像数据处理方法、装置、计算机设备和存储介质，所述方法包括：获取冰箱上搭载的摄像头采集的现实场景图像；通过食材识别模型识别出现实场景图像中的食材，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络；获取现实场景图像中的食材的对应的虚拟资源，虚拟资源为根据食材的营养成分设计的虚拟动画资源；将虚拟动画资源与现实场景图像结合展示。其中，特征金字塔网络和YOLOV3网络可以提取不同尺度的食材，符合食材多种多样的需求，且检测速率快，可以快速准确的识别出食材，通过AR(增强现实)的方式展示虚拟动画形象展示食材营养成分，用户根据营养成分选择食材，保证饮食质量。

Description

增强现实图像数据处理方法、装置、设备和存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种增强现实图像数据处理方法、装置、设备和存储介质。
背景技术
随着生活水平的提升，人们对饮食质量的要求也日趋提高，不但要求食物满足自己的口味喜好，更要符合营养健康需要。而每个用户对于营养知识掌握不同，很难根据购买的食材确定对应的营养成分，导致在做饭前很难选择合适营养成分的食材，从而影响饮食质量。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种。
本申请提供了一种增强现实图像数据处理方法，包括：
获取冰箱上搭载的摄像头采集的现实场景图像；
通过食材识别模型识别出现实场景图像中的食材，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络；
获取现实场景图像中的食材的对应的虚拟资源，虚拟资源为根据食材的营养成分设计的虚拟动画资源；
将虚拟动画资源与现实场景图像结合展示。
本申请提供了一种增强现实图像数据处理装置，包括：
图像获取模块，用于获取冰箱上搭载的摄像头采集的现实场景图像；
食材识别模块，用于通过食材识别模型识别出现实场景图像中的食材，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络；
虚拟资源获取模块，用于获取现实场景图像中的食材的对应的虚拟资源，虚拟资源为根据食材的营养成分设计的虚拟动画资源；
展示模块，用于将虚拟动画资源与现实场景图像结合展示。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取冰箱上搭载的摄像头采集的现实场景图像；
通过食材识别模型识别出现实场景图像中的食材，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络；
获取现实场景图像中的食材的对应的虚拟资源，虚拟资源为根据食材的营养成分设计的虚拟动画资源；
将虚拟动画资源与现实场景图像结合展示。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取冰箱上搭载的摄像头采集的现实场景图像；
通过食材识别模型识别出现实场景图像中的食材，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络；
获取现实场景图像中的食材的对应的虚拟资源，虚拟资源为根据食材的营养成分设计的虚拟动画资源；
将虚拟动画资源与现实场景图像结合展示。
上述增强现实图像数据处理方法、装置、设备和存储介质，所述方法包括：获取冰箱上搭载的摄像头采集的现实场景图像；通过食材识别模型识别出现实场景图像中的食材，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络；获取现实场景图像中的食材的对应的虚拟资源，虚拟资源为根据食材的营养成分设计的虚拟动画资源；将虚拟动画资源与现实场景图像结合展示。通过特征金字塔网络提取现实场景图像的特征，并通过YOLOV3网络对特征金字塔网络输出的特征进行筛选和识别，从而实现食材的识别，其中，特征金字塔网络和YOLOV3网络可以提取不同尺度的食材，符合食材多种多样的需求，且检测速率快，可以快速准确的识别出食材，通过AR(增强现实)的方式展示虚拟动画形象展示食材营养成分，用户根据营养成分选择食材，保证饮食质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中增强现实图像数据处理方法的流程示意图；
图2为一个实施例中增强现实图像数据处理系统的结构示意图；
图3为一个实施例中增强现实图像数据处理装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，在一个实施例中，提供了一种增强现实图像数据处理方法。参照图1，该增强现实图像数据处理方法具体包括如下步骤：
步骤S201，获取冰箱上搭载的摄像头采集的现实场景图像。
步骤S202，通过食材识别模型识别出现实场景图像中的食材。
在本具体实施例中，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络。
其中，现实场景图像为冰箱上搭载的摄像头采集的冰箱内部的图像。食材识别模型识别为对大量的携带食材标签的数据进行训练得到的模型，该模型能够对输入的图像进行食材识别，得到对应的食材。食材识别模型为特征金字塔网络和YOLOV3网络的级联网络。其中特征金字塔网络(FPN)中各个网络层与YOLOV3网络各个网络层提取对应的特征，即FPN可以融合YOLOV3网络各个网络层提取的特征，并对融合后的特征进行特征提取，通过各个网络层输出的特征图识别出现实场景图像中包含的食材。YOLOV3网络属于小众的深度学习框架——darknet的目标检测的开源项目，darknet短小精悍，即网络量级轻对计算资源的占用少。YOLOV3网络源都是用纯C语言和CUDA底层编写的，运算速度快，可以充分发挥多核处理器和GPU并行运算的功能。识别的准确度也非常高，尤其是在尺寸中等偏小的物体上有非常高的准确率，而食材大部分都属于中等偏小的物体，故对食材的识别准确率较高。Yolov3是一个目标检测算法项目，而目标检测的本质，就是识别与回归，而处理图像用的最多的就是卷积神经网络CNN，Yolov3本质上，就是一个实现了回归功能的深度卷积神经网络。
具体地，获取至少一个摄像头采集的现实场景图像，其中采集的现实场景图像可以为同一个摄像头的多个时刻的多张图像，也可以为多个摄像头在同一时刻或多个时刻采集的多张图像。将现实场景图像发送至终端，通过终端上部署的食材识别模型对现实场景图像进行识别，识别出现实场景图像上包含的食材。
在一个实施例中，生成食材识别模型的步骤，包括：获取多个携带标准食材标签的训练图像；获取初始食材识别模型；输入各个训练图像至初始食材识别模型；通过初始食材识别模型中的特征金字塔网络和YOLOV3网络对训练图像进行特征提取，并融合特征金字塔网络和YOLOV3网络提取的特征，得到融合特征图，根据融合特征图识别出训练图像中的预测食材标签；根据训练图像的标准食材标签和对应的预测食材标签，判断初始食材识别模型是否收敛；当收敛时，得到食材识别模型；当未收敛时，根据训练图像的标准食材标签和对应的预测食材标签，更新初始食材识别模型的网络参数，直至更了参数的初始食材识别模型收敛，得到食材识别模型。
具体地，标准食材标签是指人为定义的食材标签，每种食材存在对应的标签，标准食材标签包括西红柿、西兰花和鲤鱼等等。训练图像可以是直接从网络下载的图像，也可以是用户自己拍摄的图像，且图像中包含食材和食材对应的标签信息。初始食材识别模型是指定义的数学网络模型，即为YOLOV3和FPN的级联网络。将YOLOV3和FPN的级联网络作为迁移学习预训练模型，将训练图像送入模型中，进行特征提取，经卷积层的处理后输出图片特征，并将特征向量与标签输入到softmax分类器中，通过梯度下降法不断反复更新网络权值和偏置(初始食材识别模型的网络参数)，以使得网络分类准确率达到最高。同时，利用训练图像的预测食材标签和标准食材标签对模型验证，得到适合食材分类的模型，即食材识别模块。
训练卷积神经网络(初始食材识别模型)，相对于FAST R-CNN中使用regionproposal(候选区域)特征提取，初始食材识别模型选择了对于图片的全局区域进行训练，速度加快的同时，能够更好的区分目标和背景。食材识别网络中的Yolov3网络在预测图片上采用的是端对端的检测，将整个图片的分为S*S个区域，而如果一个物体的中心落在某个区域上，则对应的网络会对它进行检测。而对于每个网络，都有一个bounding box，就是预测区域，每次预测时有四个坐标参数，左上角的xi,yi,宽度和高度tw,th，以及一个置信度。这个置信度就是逻辑回归的产物。置信度判断这个bounding box是否会被忽略，如果不会被忽略，则又会进行多标签分类的逻辑回归，从而贴上标签。Yolov3最重要的内容就是一个庞大而丰富的深度卷积神经网络模型，它一共有53个全连接卷积层，所以作者在Github上又将该项目称为Darknet-53，但实际上卷积层不止53层，因为特征提取也用到了大量的卷积核。
步骤S203，获取现实场景图像中的食材的对应的虚拟资源。
在本具体实施例中，虚拟资源为根据食材的营养成分设计的虚拟动画资源。
步骤S204，将虚拟动画资源与现实场景图像结合展示。
具体地，预先配置食材与营养成分的对应关系，以及营养成分和虚拟动画资源之间的对应关系。不同的食材具有不同的营养成分，每种食材的营养成分可以通过专业人员和营养学知识等等途径获取得到。营养成分包括蛋白质、脂肪酸等元素等，设计每种营养成分的虚拟动画形象，保存虚拟动画形象，以及营养成分和虚拟动画形象的之间的对应关系。在现实场景图像上叠加虚拟动画资源展示。即将虚拟动画资源叠加在现实场景图像之上。采用AR(增强现实)技术将动画形象投射在现实场景图像上，营养素的动漫形象可以吸引人的注意力，并在一定程度上会促使人们产生主动摄入的想法，解决挑食现象，保持身体所需营养平衡。
在一个实施例中，用户还可以通过虚拟动画资源进行食材组合，根据组合的食材下发菜谱。其中菜谱可以是音视频资源或图文资源等等。展示菜谱，展示菜谱时，可以在展示虚拟动画之后在展示，也可以是结合展示。
上述增强现实图像数据处理方法，包括：本申请涉及一种增强现实图像数据处理方法、装置、计算机设备和存储介质，所述方法包括：获取冰箱上搭载的摄像头采集的现实场景图像；通过食材识别模型识别出现实场景图像中的食材，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络；获取现实场景图像中的食材的对应的虚拟资源，虚拟资源为根据食材的营养成分设计的虚拟动画资源；将虚拟动画资源与现实场景图像结合展示。其中，特征金字塔网络和YOLOV3网络可以提取不同尺度的食材，符合食材多种多样的需求，且检测速率快，可以快速准确的识别出食材，通过AR(增强现实)的方式展示虚拟动画形象展示食材营养成分，用户根据营养成分选择食材，保证饮食质量。
在一个实施例中，根据现实场景图像中的食材获取对应的菜谱；在将虚拟动画资源与现实场景图像结合展示之后，还包括：展示菜谱。
具体地，在识别出实场景图像中的食材后，获取与每个食材对应的菜谱，或者自动对食材进行组合，获取组合后的食材得到的菜品的菜谱。在获取到对应的菜谱后，将菜谱直接在现实场景图像上展示，或者采用菜谱对应的数据覆盖现实场景图像和虚拟动画资源的叠加图像。根据识别到的食材利用推荐算法推荐菜谱，便于用户对食材的处理，进而提升饮食的质量。
在一个实施例中，根据现实场景图像中的食材获取对应的菜谱，包括：根据现实场景图像中的食材进行搭配，得到菜品；获取菜品对应的菜谱。
具体地，在识别出食材后，相对食材是否可以进行组合进行判断，若是可以组合，则先对食材进行组合，得到对应的菜品，获取菜品的菜谱。菜谱包括各个食材的烹饪顺序、烹饪时间等等。优先对冰箱内的食材进行组合，展示组合食材对应的菜谱，避免缺少菜品对应的食材，从而无法怕烹饪该菜品。
在一个实施例中，接收用户的膳食信息根据用户的膳食信息和现实场景图像中的食材进行搭配，得到菜品。
具体地，用户的膳食信息包括用户的对膳食的需求信息、未装载在冰箱内的食材的信息、季节信息等等。需求信息包括口味信息、营养需求、热量等等。口味信息包括清淡、麻辣、香辣等等。根据用户的膳食信息进行搭配，得到对应的菜品，获取并展示该菜品的菜谱。在进行搭配时，可以根据输入的食材和现实场景图像中识别出的食材进行搭配，得到对应的菜品，获取并展示该菜品的菜谱，也可以是根据用户的口味信息，对现实场景图像中识别出的食材进行搭配，还可以是根据口味信息，对输入的食材和现实场景图像中识别出的食材进行搭配。
在一个实施例中，将虚拟动画资源与现实场景图像结合展示之后，还包括：接收用户在虚拟动画资源上的选择操作；根据选择操作得到目标食材，获取目标食材对应的目标菜谱；展示目标菜谱。
具体地，在展示的营养素的虚拟动画资源上，执行选择操作。用户对营养素进行选择，选择过程中，用户可以根据需求添加和删除，在确定最终的营养素后，根据选择的营养素和食材之间的对应关系，确定目标食材，获取目标食材的目标菜谱，展示该目标菜谱。
在一个具体地实施例中，如图2所示，图2为增强现实图像数据处理系统的结构示意图，其中，增强现实图像数据处理系统应用于冰箱，冰箱上包括：摄像头301、图像处理模块302、推荐模块303、展示模304和信息接收模块305。
摄像头301，用于采集食材图像。将食材放置冰箱冷藏室内，通过摄像头进行食材图像识别，方便简单。
图像处理模块302，用于根据图像分类模型识别出食材图像中的食材，如西兰花、鲤鱼等。将图像识别技术带入到生活中，能够使得冰箱自动识别待识别的食材。
推荐模块303，用于根据图像识别模块传递的食材，利用推荐算法自主推荐适合该类食材的菜谱参数，包括调味料及调味量、制作时间等，使得冰箱变得更加智能化。
展示模块304，用于利用AR投影技术将营养元素的动漫形象显示在冰箱显示屏上。在图像处理模块识别出对应的食材之后，将食材中的营养元素匹配AR技术中的营养动漫形象，利用AR投影技术将营养元素的动漫形象显示在冰箱显示屏上，从而吸引人的注意力。
信息接收模块305，用于接收用户输入的个人口味及爱好及对营养的需求。用户可选择适合自己口味及喜欢的菜谱，按照视频教学进行食材的制作，进行食材烹饪，做出一道美味佳肴。这样既可以避免做菜时选择困难症，又能搭配营养，保证饮食营养均衡，提高身体免疫力，促使身体健康。
图1为一个实施例中增强现实图像数据处理方法的流程示意图。应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种增强现实图像数据处理装置200，包括：
图像获取模块201，用于获取冰箱上搭载的摄像头采集的现实场景图像。
食材识别模块202，用于通过食材识别模型识别出所述现实场景图像中的食材，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络。
虚拟资源获取模块203，用于获取现实场景图像中的食材的对应的虚拟资源，虚拟资源为根据食材的营养成分设计的虚拟动画资源。
展示模块204，用于将虚拟动画资源与现实场景图像结合展示。
在一个实施例中，上述增强现实图像数据处理装置200，还包括：
菜谱获取模块，用于营养根据现实场景图像中的食材获取对应的菜谱。
展示模块204还用于在将虚拟动画资源与现实场景图像结合展示之后，展示菜谱。
在一个实施例中，菜谱获取模块具体用于根据所述现实场景图像中的食材进行搭配，得到菜品；获取菜品对应的菜谱。
在一个实施例中，上述增强现实图像数据处理装置200，还包括：
膳食信息接收模块，用于接收用户的膳食信息。
菜谱获取模块具体还用于根据用户的膳食信息和现实场景图像中的食材进行搭配，得到菜品。
在一个实施例中，上述增强现实图像数据处理装置200，还包括：
操作接收模块，用于接收用户在虚拟动画资源上的选择操作。
菜谱获取模块还用于根据选择操作确定目标食材，获取目标食材对应的目标菜谱。
展示模块还用于展示目标菜谱。
在一个实施例中，上述增强现实图像数据处理装置200，还包括：
模型生成模块，用于生成食材识别模型，其中模型生成模块具体用于获取多个携带标准食材标签的训练图像；获取初始食材识别模型；输入各个训练图像至初始食材识别模型；通过所述初始食材识别模型中的特征金字塔网络和YOLOV3网络对训练图像进行特征提取，并融合特征金字塔网络和YOLOV3网络提取的特征，得到融合特征图，根据所述融合特征图识别出所述训练图像中的预测食材标签；根据训练图像的标准食材标签和对应的预测食材标签，判断初始食材识别模型是否收敛；当收敛时，得到食材识别模型。
在一个实施例中，模型生成模块具体还用于当未收敛时，根据训练图像的标准食材标签和对应的预测食材标签，更新初始食材识别模型的网络参数，直至更了参数的初始食材识别模型收敛，得到食材识别模型。
图4示出了一个实施例中计算机设备的内部结构图。如图4所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现增强现实图像数据处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行增强现实图像数据处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的增强现实图像数据处理装置可以实现为一种计算机程序的形式，计算机程序可在如图4所示的计算机设备上运行。计算机设备的存储器中可存储组成该增强现实图像数据处理装置的各个程序模块，比如，图3所示的图像获取模块201、食材识别模块202、虚拟资源获取模块203和展示模块204。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的增强现实图像数据处理方法中的步骤。
例如，图4所示的计算机设备可以通过如图3所示的增强现实图像数据处理装置200中的图像获取模块201执行获取冰箱上搭载的摄像头采集的现实场景图像。计算机设备可以通过食材识别模块202执行通过食材识别模型识别出现实场景图像中的食材，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络。计算机设备可以通过虚拟资源获取模块203执行获取现实场景图像中的食材的对应的虚拟资源，虚拟资源为根据食材的营养成分设计的虚拟动画资源。计算机设备可以通过展示模块204执行将虚拟动画资源与现实场景图像结合展示。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取冰箱上搭载的摄像头采集的现实场景图像；通过食材识别模型识别出现实场景图像中的食材，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络；获取现实场景图像中的食材的对应的虚拟资源，虚拟资源为根据食材的营养成分设计的虚拟动画资源；将虚拟动画资源与现实场景图像结合展示。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据现实场景图像中的食材获取对应的菜谱；在将虚拟动画资源与现实场景图像结合展示之后，还包括：展示菜谱。
在一个实施例中，根据现实场景图像中的食材获取对应的菜谱，包括：根据现实场景图像中的食材进行搭配，得到菜品；获取菜品对应的菜谱。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收用户的膳食信息；根据现实场景图像中的食材进行搭配，得到菜品，包括：根据用户的膳食信息和现实场景图像中的食材进行搭配，得到菜品。
在一个实施例中，将虚拟动画资源与现实场景图像结合展示之后，处理器执行计算机程序时还实现以下步骤：接收用户在虚拟动画资源上的选择操作；根据选择操作得到目标食材，获取目标食材对应的目标菜谱；展示目标菜谱。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：生成食材识别模型，包括：获取多个携带标准食材标签的训练图像；获取初始食材识别模型；输入各个训练图像至初始食材识别模型；通过所述初始食材识别模型中的特征金字塔网络和YOLOV3网络对训练图像进行特征提取，并融合特征金字塔网络和YOLOV3网络提取的特征，得到融合特征图，根据所述融合特征图识别出所述训练图像中的预测食材标签；根据训练图像的标准食材标签和对应的预测食材标签，判断初始食材识别模型是否收敛；当收敛时，得到食材识别模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当未收敛时，根据训练图像的标准食材标签和对应的预测食材标签，更新初始食材识别模型的网络参数，直至更了参数的初始食材识别模型收敛，得到食材识别模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取冰箱上搭载的摄像头采集的现实场景图像；通过食材识别模型识别出现实场景图像中的食材，食材识别模型为特征金字塔网络和YOLOV3网络的级联网络；获取现实场景图像中的食材的对应的虚拟资源，虚拟资源为根据食材的营养成分设计的虚拟动画资源；将虚拟动画资源与现实场景图像结合展示。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据现实场景图像中的食材获取对应的菜谱；在将虚拟动画资源与现实场景图像结合展示之后，还包括：展示菜谱。
在一个实施例中，根据现实场景图像中的食材获取对应的菜谱，包括：根据现实场景图像中的食材进行搭配，得到菜品；获取菜品对应的菜谱。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：接收用户的膳食信息；根据现实场景图像中的食材进行搭配，得到菜品，包括：根据用户的膳食信息和现实场景图像中的食材进行搭配，得到菜品。
在一个实施例中，将虚拟动画资源与现实场景图像结合展示之后，计算机程序被处理器执行时还实现以下步骤：接收用户在虚拟动画资源上的选择操作；根据选择操作得到目标食材，获取目标食材对应的目标菜谱；展示目标菜谱。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：生成食材识别模型，包括：获取多个携带标准食材标签的训练图像；获取初始食材识别模型；输入各个训练图像至初始食材识别模型；通过所述初始食材识别模型中的特征金字塔网络和YOLOV3网络对训练图像进行特征提取，并融合特征金字塔网络和YOLOV3网络提取的特征，得到融合特征图，根据所述融合特征图识别出所述训练图像中的预测食材标签；根据训练图像的标准食材标签和对应的预测食材标签，判断初始食材识别模型是否收敛；当收敛时，得到食材识别模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当未收敛时，根据训练图像的标准食材标签和对应的预测食材标签，更新初始食材识别模型的网络参数，直至更了参数的初始食材识别模型收敛，得到食材识别模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种增强现实图像数据处理方法，所述方法包括：
获取冰箱上搭载的摄像头采集的现实场景图像；
通过食材识别模型识别出所述现实场景图像中的食材，所述食材识别模型为特征金字塔网络和YOLOV3网络的级联网络；
获取所述现实场景图像中的食材的对应的虚拟资源，所述虚拟资源为根据食材的营养成分设计的虚拟动画资源；
将所述虚拟动画资源与所述现实场景图像结合展示。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述现实场景图像中的食材获取对应的菜谱；
在所述将所述虚拟动画资源与所述现实场景图像结合展示之后，还包括：
展示所述菜谱。
3.根据权利要求2所述的方法，其特征在于，所述根据所述现实场景图像中的食材获取对应的菜谱，包括：
根据所述现实场景图像中的食材进行搭配，得到菜品；
获取所述菜品对应的菜谱。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
接收用户的膳食信息；
所述根据所述现实场景图像中的食材进行搭配，得到菜品，包括：根据所述用户的膳食信息和所述现实场景图像中的食材进行搭配，得到所述菜品。
5.根据权利要求1所述的方法，其特征在于，所述将所述虚拟动画资源与所述现实场景图像结合展示之后，还包括：
接收用户在所述虚拟动画资源上的选择操作；
根据所述选择操作得到目标食材，获取所述目标食材对应的目标菜谱；
展示所述目标菜谱。
6.根据权利要求1至5任意一项所述的方法，其特征在于，生成所述食材识别模型的步骤，包括：
获取多个携带标准食材标签的训练图像；
获取初始食材识别模型；
输入各个所述训练图像至所述初始食材识别模型；
通过所述初始食材识别模型中的特征金字塔网络和YOLOV3网络对训练图像进行特征提取，并融合特征金字塔网络和YOLOV3网络提取的特征，得到融合特征图，根据所述融合特征图识别出所述训练图像中的预测食材标签；
根据所述训练图像的标准食材标签和对应的所述预测食材标签，判断所述初始食材识别模型是否收敛；
当收敛时，得到所述食材识别模型。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当未收敛时，根据所述训练图像的标准食材标签和对应的所述预测食材标签，更新所述初始食材识别模型的网络参数，直至更了参数的所述初始食材识别模型收敛，得到所述食材识别模型。
8.一种增强现实图像数据处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取冰箱上搭载的摄像头采集的现实场景图像；
食材识别模块，用于通过食材识别模型识别出所述现实场景图像中的食材，所述食材识别模型为特征金字塔网络和YOLOV3网络的级联网络，所述特征金字塔网络的输出为所述YOLOV3网络的输入；
虚拟资源获取模块，用于获取所述现实场景图像中的食材的对应的虚拟资源，所述虚拟资源为根据食材的营养成分设计的虚拟动画资源；
展示模块，用于将所述虚拟动画资源与所述现实场景图像结合展示。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010403622.4A 2020-05-13 2020-05-13 增强现实图像数据处理方法、装置、设备和存储介质 Pending CN111680570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010403622.4A CN111680570A (zh) 2020-05-13 2020-05-13 增强现实图像数据处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010403622.4A CN111680570A (zh) 2020-05-13 2020-05-13 增强现实图像数据处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN111680570A true CN111680570A (zh) 2020-09-18

Family

ID=72433700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010403622.4A Pending CN111680570A (zh) 2020-05-13 2020-05-13 增强现实图像数据处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111680570A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966617A (zh) * 2021-03-11 2021-06-15 北京三快在线科技有限公司 摆盘图像的生成方法、图像生成模型的训练方法及装置
CN113854851A (zh) * 2021-08-17 2021-12-31 青岛海尔科技有限公司 食材加热方法及装置、存储介质及电子装置
CN113934297A (zh) * 2021-10-13 2022-01-14 西交利物浦大学 一种基于增强现实的交互方法、装置、电子设备及介质
CN114140559A (zh) * 2021-12-15 2022-03-04 深圳市前海手绘科技文化有限公司 一种动画生成方法以及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361041A (zh) * 2014-10-28 2015-02-18 华南理工大学 智能冰箱的辅助方法及辅助系统
CN106407658A (zh) * 2016-08-31 2017-02-15 广东格兰仕集团有限公司 一种基于图像识别的菜谱推送系统及其使用方法
CN106773051A (zh) * 2016-12-28 2017-05-31 太仓红码软件技术有限公司 展示ar标识物虚拟营养信息的增强现实装置及其方法
CN108304039A (zh) * 2018-02-13 2018-07-20 京东方科技集团股份有限公司 基于ar的烹饪指导装置及方法
CN110858279A (zh) * 2018-08-22 2020-03-03 格力电器（武汉）有限公司 食材识别方法及装置
CN111105862A (zh) * 2019-11-22 2020-05-05 青岛海信智慧家居系统股份有限公司 一种基于冰箱已有食材的食谱推荐的方法及装置、冰箱

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361041A (zh) * 2014-10-28 2015-02-18 华南理工大学 智能冰箱的辅助方法及辅助系统
CN106407658A (zh) * 2016-08-31 2017-02-15 广东格兰仕集团有限公司 一种基于图像识别的菜谱推送系统及其使用方法
CN106773051A (zh) * 2016-12-28 2017-05-31 太仓红码软件技术有限公司 展示ar标识物虚拟营养信息的增强现实装置及其方法
CN108304039A (zh) * 2018-02-13 2018-07-20 京东方科技集团股份有限公司 基于ar的烹饪指导装置及方法
CN110858279A (zh) * 2018-08-22 2020-03-03 格力电器（武汉）有限公司 食材识别方法及装置
CN111105862A (zh) * 2019-11-22 2020-05-05 青岛海信智慧家居系统股份有限公司 一种基于冰箱已有食材的食谱推荐的方法及装置、冰箱

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966617A (zh) * 2021-03-11 2021-06-15 北京三快在线科技有限公司 摆盘图像的生成方法、图像生成模型的训练方法及装置
CN113854851A (zh) * 2021-08-17 2021-12-31 青岛海尔科技有限公司 食材加热方法及装置、存储介质及电子装置
CN113934297A (zh) * 2021-10-13 2022-01-14 西交利物浦大学 一种基于增强现实的交互方法、装置、电子设备及介质
CN114140559A (zh) * 2021-12-15 2022-03-04 深圳市前海手绘科技文化有限公司 一种动画生成方法以及装置

Similar Documents

Publication Publication Date Title
CN111680570A (zh) 增强现实图像数据处理方法、装置、设备和存储介质
Zhang et al. Deep learning in food category recognition
US11574187B2 (en) Pedestrian attribute identification and positioning method and convolutional neural network system
US10210178B2 (en) Machine learning image processing
US10671853B2 (en) Machine learning for identification of candidate video insertion object types
US10032072B1 (en) Text recognition and localization with deep learning
US11232324B2 (en) Methods and apparatus for recommending collocating dress, electronic devices, and storage media
US9916520B2 (en) Automated food recognition and nutritional estimation with a personal mobile electronic device
US11425338B2 (en) Refrigerator, and system and method for controlling same
CN111340126B (zh) 物品识别方法、装置、计算机设备和存储介质
CN110378420A (zh) 一种图像检测方法、装置及计算机可读存储介质
CN110674736A (zh) 一种识别食材新鲜度的方法、装置、服务器及存储介质
CN110249304A (zh) 电子设备的视觉智能管理
JP4668680B2 (ja) 属性識別システムおよび属性識別辞書生成装置
KR101959762B1 (ko) 인공 지능 기반 영상 및 음성 인식 영양 평가 방법
US10379721B1 (en) Interactive interfaces for generating annotation information
JP6529686B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11354549B2 (en) Method and system for region proposal based object recognition for estimating planogram compliance
CN113255713A (zh) 用于跨对象变化的数字图像选择的机器学习
US20210042663A1 (en) Data attribution based on spatial memory using machine learning pipeline
CN112906780A (zh) 一种果蔬图像分类系统及方法
CN109829484B (zh) 一种服饰分类方法、设备及计算机可读存储介质
CN111695971B (zh) 物品推荐方法、装置和设备及计算机存储介质
Sudana et al. Mobile Application for Identification of Coffee Fruit Maturity using Digital Image Processing
CN109460485A (zh) 一种图像库建立方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination