CN111353333B - 一种食材识别方法、家电设备及食材识别系统 - Google Patents

一种食材识别方法、家电设备及食材识别系统 Download PDF

Info

Publication number
CN111353333B
CN111353333B CN201811568182.7A CN201811568182A CN111353333B CN 111353333 B CN111353333 B CN 111353333B CN 201811568182 A CN201811568182 A CN 201811568182A CN 111353333 B CN111353333 B CN 111353333B
Authority
CN
China
Prior art keywords
food material
user
food
subset
error correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811568182.7A
Other languages
English (en)
Other versions
CN111353333A (zh
Inventor
朱泽春
刘磊
李宏峰
喻均文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Joyoung Co Ltd
Original Assignee
Joyoung Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Joyoung Co Ltd filed Critical Joyoung Co Ltd
Priority to CN201811568182.7A priority Critical patent/CN111353333B/zh
Publication of CN111353333A publication Critical patent/CN111353333A/zh
Application granted granted Critical
Publication of CN111353333B publication Critical patent/CN111353333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41Interactive pattern learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Abstract

本发明公开了一种食材识别方法、家电设备及食材识别系统,其中,食材识别方法包括:接收第一用户的食材识别请求,食材识别请求中包括第一用户的身份唯一标识;获取待识别食材图片,以及获取与第一用户的身份唯一标识匹配的第一用户食材子集;基于第一用户食材子集,根据待识别食材图片确定识别结果。本发明公开的食材识别方法、家电设备及食材识别系统,通过用户级的使用习惯来生成针对该用户的虚拟识别模型库,从而可以提升在该用户使用环境下的识别准确率。

Description

一种食材识别方法、家电设备及食材识别系统
技术领域
本发明涉及智能家电领域,尤指一种食材识别方法、家电设备及食材识别系统。
背景技术
基于食材的图像识别过程中存在诸多不确定因素,如光照、食材尺寸、形状、人或食材移动速度等因素都会影响到食材识别准确率。随着家电智能化趋势的发展,基于图像识别技术及视频识别技术的家电设备食材管理功能得到普遍的应用。对于一般的智能家电产品,不同的设备在识别过程中往往采用同一个训练模型,且针对不同用户的使用习惯或常用食材的购买并没有区别对待,导致同一模型并不能适应所有的用户行为。
发明内容
为了解决上述技术问题,本发明提供了一种食材识别方法、家电设备及食材识别系统,通过用户级的使用习惯来生成针对该用户的虚拟识别模型库,从而可以提升在该用户使用环境下的识别准确率。
为了达到本发明目的,第一方面,本发明提供了一种食材识别方法,包括:
接收第一用户的食材识别请求,所述食材识别请求中包括所述第一用户的身份唯一标识;
获取待识别食材图片,以及获取与所述第一用户的身份唯一标识匹配的第一用户食材子集;
基于所述第一用户食材子集,根据所述待识别食材图片确定识别结果。
第二方面,本发明提供了一种家电设备,包括:
接收模块,用于接收第一用户的食材识别请求,所述食材识别请求中包括所述第一用户的身份唯一标识;
获取模块,用于获取待识别食材图片,以及获取与所述第一用户的身份唯一标识匹配的第一用户食材子集;
识别模块,用于基于所述第一用户食材子集,根据所述待识别食材图片确定识别结果。
第三方面,本发明提供了一种食材识别系统,包括:家电设备和云服务器;
所述家电设备,用于采集待识别食材图片,并将采集的待识别食材图片发送给云服务器;
所述云服务器,用于执行如第一方面实施例所述的食材识别方法。
本发明至少一个实施例提供的食材识别方法、家电设备及食材识别系统,通过用户级的使用习惯来生成针对该用户的虚拟识别模型库,从而可以提升在该用户使用环境下的识别准确率等指标,使得同一训练模型实现个人用户识别正确率的优化,针对不同用户的识别率会显著提升。
本发明实施例的一些实施方式中,还可以达到以下效果:1、通过为第一用户食材子集中的每一食材引入一个第一预分值,用来标注食材识别结果可信赖程度,从而提高食材识别的准确率。2、通过获取用户的反馈结果,对食材识别结果进行闭环操作,以进一步优化食材识别准确率。3、通过为每一用户建立一相应的用户纠错食材子集,以及为每一纠错食材设置一标注纠错食材识别结果的可信赖程度的第二预分值,进一步提升食材识别准确率。4、通过不断的大量数据推演出更精确的数学公式,计算出食材的预分值;以及对于用户常用的食材,经过多次操作或纠错后,会很快形成用户个性化的食材集,从而提高食材识别准确率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为现有数据模型中数据样本的分布示意图;
图2为本发明实施例一提供的食材识别方法的流程图;
图3为本发明实施例提供的食材识别模型生成的架构示意图;
图4为本发明实施例二提供的食材识别方法的流程图;
图5为本发明实施例提供的食材微调算法对食材信息微调的流程图;
图6为本发明实施例提供的家电设备的结构示意图;
图7为本发明实施例提供的食材识别系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
目前主要的食材识别方法,一般都采用大数据样本训练的方法,但是这种方法对于终端用户来说未考虑其使用习惯,而且当光照、食材尺寸、形状或运动等因素导致识别条件较差的情况下,识别率会变差。此时想要提高识别率,只能不断的积累训练数据。而对于恶劣情况下,训练数据足够多的情况下,食材识别操作在耗费大量运算资源后,识别率可能也无法得到明显提升。此外,一般的数据集中,各种类别的数据样本数量并不一致。图1为现有数据模型中数据样本的分布示意图,如图1所示,如从大量的数据模型中,针对用户使用频率直接反馈给识别服务器,若提高A用户的识别率,可能造成B用户数据存在不平衡的问题,反而降低了B用户的识别率。最常见的食材种类(例如苹果15000幅图像)是最少的食材种类(例如土豆只有1500幅图像)的10倍多,而图像数据较少的食材直接使用深度学习方法也很难获得高的识别准确率。
针对以上问题,本发明提出一种基于预分值的家电复杂场景下视觉识别食材的方案,一是根据不同用户的家庭使用习惯等因素,来实现用户级定制识别方案,通过用户级的使用习惯来生成针对该用户的虚拟识别模型库,从而可以提升在该用户使用环境下的识别准确率等指标。二是提出基于预分值的食材识别方法,在机器学习图像识别基础上增加人工干预,提升食材识别准确率。
图2为本发明实施例一提供的食材识别方法的流程图,如图2所示,本发明实施例提供的食材识别方法,包括:
S201:接收第一用户的食材识别请求,食材识别请求中包括第一用户的身份唯一标识。
其中,本实施例中的食材识别方法以第一用户为例进行阐述,其他用户与第一用户的食材识别方法类似,本实施例在此不进行赘述。
具体的,第一用户在用户终端上下载并安装APP应用,完成注册并登录。第一用户通过APP应用与家电设备绑定后,发送食材识别请求。其中,第一用户通过APP应用与家电设备绑定的实现原理和方法与现有技术相同,本实施例在此不进行赘述。其中,本发明实施例中的家电设备可以包括冰箱、微波炉或烤箱等。
本实施例中,家电设备接收第一用户的食材识别请求,并获取食材识别请求中第一用户的身份唯一标识。其中,第一用户的身份唯一标识可以包括:用户账号的身份唯一标识或用户使用的终端的身份唯一标识。也即,第一用户的身份唯一标识可以是APP应用第一用户注册时,用户账号的身份唯一标识,如第一用户的账号名称。第一用户的身份唯一标识也可以是APP应用下载安装时,所获取到的用户终端的身份唯一标识,如手机串号(International Mobile Equipment Identity,简称IMEI)或用户终端的物理(MediaAccess Control,简称MAC)地址等。
S202:获取待识别食材图片,以及获取与第一用户的身份唯一标识匹配的第一用户食材子集。
本实施例中,获取待识别食材图片以及对待识别食材图片的识别可以通过以下两种实现方式:
一是本地拍照和本地识别结合:家电设备采集待识别食材图片,并对待识别食材图片进行识别。也即,本发明实施例的执行主体可以是家电设备。其中,本实现方式适用于待识别食材较少的情况。
二是本地拍照和远程识别结合:家电设备采集待识别食材图片,并将采集的待识别食材图片发送给远程服务器(如云端识别服务器),由远程服务器对待识别食材图片进行识别。也即,本发明实施例的执行主体可以是远程服务器。其中,本实现方式适用于待识别食材较多的情况。
本发明实施例中,主要根据不同用户的家庭使用习惯等因素,来实现用户级定制识别方案。图3为本发明实施例提供的食材识别模型生成的架构示意图,如图3所示,本方案主要是通过用户级的使用习惯来生成针对该用户的虚拟识别模型库,从而可以提升在该用户使用环境下的识别准确率等指标。同时更准确的记录用户数据,进行相应的健康分析等智能应用。对于用户习惯生成规则,可以根据用户相关食材的使用频率或使用多样性等因素综合考虑。本发明实施例将基于用户食材使用频率为例,进行用户级虚拟识别模型的生成。
具体的,可以预先为每一用户建立一相应的用户食材子集。对于每个用户,由于一般家庭采用的食材并不会很多,且存在个性化,因此对每个用户建一个食材子集,例如A用户经常都买的30种食材,设置A用户食材子集的大小为30种食材。初始化时,A用户食材子集中的食材设置为A用户经常使用的30种食材。
S203:基于第一用户食材子集,根据待识别食材图片确定识别结果。
本实施例中,在进行食材识别时,可以将第一用户食材子集中与待识别食材图片匹配的食材作为识别结果;也可以为第一用户食材子集中的每一个食材建立一个第一预分值,根据该第一预分值确定待识别食材图片的识别结果。其具体识别方法详见下述实施例的描述,本实施例在此不进行赘述。
本发明实施例提供的食材识别方法,获取与第一用户的身份唯一标识匹配的第一用户食材子集,以及基于第一用户食材子集,根据待识别食材图片确定识别结果,通过用户级的使用习惯来生成针对该用户的虚拟识别模型库,从而可以提升在该用户使用环境下的识别准确率等指标。使得同一训练模型实现个人用户识别正确率的优化,针对不同用户的识别率会显著提升。
进一步地,在上述实施例中,基于第一用户食材子集,根据待识别食材图片确定识别结果可以包括:查找第一用户食材子集,将第一用户食材子集中与待识别食材图片匹配的食材作为识别结果。
本实施例中,对于第一用户食材子集中的食材,当进行食材识别,存在识别结果有多种疑似食材时,将优先推荐第一用户食材子集中与待识别食材匹配的食材作为识别结果。
进一步地,在上述实施例中,本发明实施例提供的食材识别方法,还可以包括:为第一用户建立一相应的第一用户食材子集,第一用户食材子集包括每一食材的第一预分值,第一预分值用来标注食材识别结果的可信赖程度。
本实施例中,第一预分值是为了提高食材识别准确率引入的一个辅助算法因子。服务器端建立所有食材训练模型,每个食材存在一个第一预分值的属性,这个属性对于服务器端大食材模型集来说是通过机器学习得到的。第一预分值用来标注食材识别结果可信赖程度,其取值范围为(0,1),初始值为1。服务器端根据机器学习结果可以实时更新食材模型集的各食材的预分值。
将第一用户食材子集中与待识别食材匹配的食材作为识别结果包括:在第一用户食材子集中与待识别食材匹配的食材为多个时,将第一预分值最高的食材作为识别结果。
本实施例中,当光照、食材尺寸、形状或运动等因素导致识别条件较差的情况下,获取的待识别食材图片不清晰或不完整,识别结果有多个,使得识别率变差时,可以基于食材的第一预分值确定待识别食材图片的识别结果。具体的,可以将第一预分值最高的食材作为识别结果。比如,与待识别食材匹配的食材可能是苹果、梨和香蕉时,将苹果、梨和香蕉三个中第一预分值最高的作为识别结果。
本发明实施例提供的食材识别方法,在上述实施例的基础上,通过为第一用户食材子集中的每一食材引入一个第一预分值,用来标注食材识别结果可信赖程度,从而提高食材识别的准确率。
另外,本发明实施例为每一用户食材子集中的每一食材引入一个第一预分值,服务器端只需建立一个所有用户的基准模型,每一用户食材子集的初始值均设置为该基准模型即可。随着识别次数的增加,不同用户常用的食材不同,使得不同用户食材子集中食材的第一预分值会不断调整,即会形成每个用户自己个性化的用户食材子集。
举例来说,服务器端根据图1所示数据样本,通过机器学习得到一个基准模型的食材可以包括苹果、梨和土豆,同时由于苹果数量最多,土豆数量最少,可以设置苹果、梨和土豆的第一预分值为0.8、0.5和0.3,即可得到基准模型{(苹果,0.8),(梨,0.5)……(土豆,0.3)},刚开始A用户的B用户的用户食材子集均为该基准模型,对于每个用户,由于一般家庭采用的食材并不会很多,且存在个性化,比如A用户生活在沿海城市,喜欢苹果以及常买的食材多为海鲜(如皮皮虾),蔬菜如土豆很少购买,随着识别次数的增加,A用户的用户食材子集的苹果的第一预分值会更高,土豆的第一预分值会更低,甚至在后续的用户食材子集更新或纠错时会被海鲜食材替换。此时A用户的用户食材子集可能会变成{(苹果,1),(皮皮虾,0.8)……(梨,0.3)},形成A用户自己的用户食材子集。
本发明实施例提供的食材识别方法,通过为每一用户食材子集中的每一食材引入一个第一预分值,一是服务器端只需建立一个所有用户共用的基准模型,每一用户食材子集的初始值均设置为该基准模型即可,而不用为每一个用户单独学习建立一个基准模型。二是随着识别次数的增加,通过每一用户食材子集中第一预分值的不断调整,会形成每一用户自己的用户食材子集。使得不用为每一个用户单独学习建立一个基准模型,且对基准模型不用作大的调整,即可形成用户自己个性化的用户食材子集,同时提高了食材识别率。
图4为本发明实施例二提供的食材识别方法的流程图,如图4所示,本发明实施例提供的食材识别方法,在S203之后,还可以包括:
S401:将识别结果发送给第一用户确认。
S402:接收第一用户发送的反馈结果,反馈结果用于指示识别结果是否正确。
本实施例中,由于识别结果可能存在错误率,本实施例通过获取用户的反馈,以进一步优化食材识别准确率。
具体的,本实施例相比较于一般的食材识别系统多了用户反馈模块,这个模块对食材识别结果进行闭环操作,通过用户反馈形成用户个性化信息,提升了单个用户特殊场景和特殊喜好下的食材识别准确率。其中,用户反馈模块根据实际使用场景设置在家电设备或者APP上。
S403:识别结果是否正确。若识别结果正确,则执行S405;否则,执行S404。
S404:接收第一用户发送的待识别食材的正确名称。
本发明实施例,可以基于用户的反馈结果,获取待识别食材的正确名称,以优化食材识别准确率。
S405:判断食材是否在第一用户食材子集中。若是,则执行S406;若否,则执行S407。
S406:更新食材的第一预分值,结束。
本实施例中,更新食材的第一预分值可以包括以下两种情况:一是在识别结果正确时,更新该食材的第一预分值。二是在识别结果不正确,但用户反馈的正确名称的食材在第一用户食材子集中时,更新该食材的第一预分值。本实施例中,对于包括用户常用食材的用户食材子集,经过多次食材第一预分值的更新,会很快形成用户个性化的食材集,从而提高食材识别准确率。
其中,由于本实施例中的识别结果是基于第一用户食材子集确定的,因此,在用户的反馈结果指示识别正确时,可以直接更新第一用户食材子集中该食材的第一预分值,而不用判断该食材是否在第一用户食材子集中。
具体的,更新食材的第一预分值,可以包括:采用公式w1new=w1old·p·μ计算食材更新后的第一预分值w1new;将食材更新前的第一预分值w1old替换为更新后的第一预分值w1new;其中,p为食材识别时食材出现的概率,μ为预设加权系数,w1old的初始值为1。
举例来说,如服务器端一共进行了食材识别10000次,苹果出现了500次,那么其概率p为0.05。进行了10000次食材识别,苹果就占到了500次,可以认为苹果是一种常见的食材,设定加权系数根据食材识别次数分为10档,其取值范围为(1,10),假定统计得出出现次数为500的食材为最高一档的常见食材,那么可以将苹果的加权系数μ设置为10。那么苹果这一食材更新后的第一预分值为:w1new=1×0.05×10=0.5。
S407:启动食材微调算法对食材信息微调。
本实施例中,本实施例在识别结果不正确时,将正确名称的食材作为纠错食材,并更新第一用户食材子集。
具体的,当用户的反馈结果指示识别不正确,且用户食材不在用户食材子集中时,启用微调算法对食材信息进行微调,调整主要涉及到调更新纠错食材的第二预分值和更新第一用户食材子集。其具体启用微调算法对食材信息进行微调详见下述实施例的描述,本实施例在此不进行赘述。
本发明实施例提供的食材识别方法,在上述实施例的基础上,通过获取用户的反馈结果,对食材识别结果进行闭环操作,以进一步优化食材识别准确率。
进一步地,在上述实施例中,本发明实施例提供的食材识别方法还可以包括:为第一用户建立一相应的第一用户纠错食材子集,第一用户纠错食材子集包括每一纠错食材的第二预分值,第二预分值用来标注纠错食材识别结果的可信赖程度。
将正确名称的食材作为纠错食材,包括:判断正确名称的食材是否在第一用户纠错食材子集中;若是,则更新与正确名称对应的纠错食材的第二预分值;若否,则将正确名称的食材放入到第一用户纠错食材子集中,并记录纠错食材的第二预分值。
本实施例中,针对每个用户再建立一个用户纠错食材子集,用来存放识别结果错误的食材,并且记录相应的出现次数。其中,用户纠错食材子集容量可以根据识别结果实际的出错率而定,比如,用户纠错食材子集容量可以为5个食材。对于纠错食材,其存在是为了提升一次食材识别准确率。
本发明实施例提供的食材识别方法,在上述实施例的基础上,通过为每一用户建立一相应的用户纠错食材子集,以及为每一纠错食材设置一标注纠错食材识别结果的可信赖程度的第二预分值,进一步提升食材识别准确率。
图5为本发明实施例提供的食材微调算法对食材信息微调的流程图,如图5所示,其可以包括以下步骤:
S501:根据第二预分值的更新公式更新纠错食材的第二预分值。
本实施例中,S501为更新纠错食材的第二预分值。其中,更新纠错食材的第二预分值,可以包括:采用公式w2new=w2old+w2old·p·2n-1计算纠错食材更新后的第二预分值w2new;将纠错食材更新前的第二预分值w2old替换为更新后的第二预分值w2new;其中,p为食材识别时纠错食材出现的概率,n为第一用户的纠错次数。
本实施例中,纠错食材主要反应用户的主观使用习惯,当多次出现识别错误时,应相应提高纠错食材的预分值。纠错食材的第二预分值的更新公式为:w2new=w2old+w2old·p·2n-1,公式中p为纠错食材在该用户进行食材识别中出现的概率,n为用户纠错次数。其中,第二预分值的取值范围为(0,1),其初始值可以设置为0.1。
举例来说,若梨子不在用户食材子集中,苹果在用户食材子集中,假定苹果的预分值为0.5,梨子的预分值为0.1,那么对于将梨子识别成苹果的情况,梨子将作为纠错食材。表1为纠错食材的纠错次数和纠错食材梨子的第二预分值对应表,其中,第二预分值可以称为纠错食材的预分值。由表1可知,当纠错次数增加时,纠错食材梨子的第二预分值的增长幅度呈指数级,可知一般情况下,对于纠错食材梨子,在有限次数纠错后,会替换掉用户食材子集中不常用食材。
表1
本发明实施例通过不断的大量数据推演出纠错食材的第二预分值的更新公式w2new=w2old+w2old·p·2n-1,如表1所示,纠错食材的第二预分值增长幅度呈指数级,一旦出现食材识别错误,纠错两到三次,纠错食材的第二预分值就会提高很多,从而可以实现快速纠错,效率比较高;且快速纠错后能够快速更新用户食材子集,快速形成用户自己的用户食材子集,确保每一用户的用户食材子集符合用户习惯。
S502:比较用户纠错食材子集中各食材的第二预分值与用户食材子集中各食材的第一预分值。
S503:是否存在第二预分值大于第一预分值。若是,则执行S504;若否,则结束。
S504:删除用户食材子集中第一预分值低于第二预分值的食材,并将用户纠错食材子集中第二预分值高于第一预分值的食材添加到用户食材子集中。
本实施例中,S502~S504为更新第一用户食材子集。其中,更新第一用户食材子集可以包括:将第一用户纠错食材子集中每一个纠错食材的第二预分值与第一用户纠错食材子集中每一个食材的第一预分值比较;在存在第二预分值大于第一预分值的纠错食材时,将第二预分值大于第一预分值的纠错食材添加到第一用户食材子集中,同时删除第一用户食材子集中第一预分值小于第二预分值的食材。
本实施例中,当食材识别结果多次出现纠错食材时,就要更新用户食材子集,将用户纠错食材子集中的纠错食材加入到用户食材子集中,并剔除用户食材子集中不常用的食材。具体的,可以根据预分值确定是否将纠错食材加入到用户食材子集中,在存在第二预分值大于第一预分值的纠错食材时,将第二预分值大于第一预分值的纠错食材添加到第一用户食材子集中。
举例来说,用户纠错食材子集中有西蓝花、香蕉和火龙果等纠错食材,其第二预分值分别为0.5、0.4和0.1;用户食材子集中有苹果、哈密瓜、香菜和牛油果等常用食材,其第一预分值分别为0.8、0.3、0.2和0.5,经过比较后,则可以将用户纠错食材子集中的西蓝花和香蕉添加到用户食材子集中,将用户食材子集中的哈密瓜和香菜删除。
本发明实施例提供的食材识别方法,可以通过不断的大量数据推演出更精确的数学公式,计算出食材的预分值;对于用户常用的食材,经过多次操作或纠错后,会很快形成用户个性化的食材集,从而提高食材识别准确率。
图6为本发明实施例提供的家电设备的结构示意图,如图6所示,本发明实施例提供的家电设备,包括:接收模块61、获取模块62和识别模块63。
接收模块61,用于接收第一用户的食材识别请求,所述食材识别请求中包括所述第一用户的身份唯一标识;
获取模块62,用于获取待识别食材图片,以及获取与所述第一用户的身份唯一标识匹配的第一用户食材子集;
识别模块63,用于基于所述第一用户食材子集,根据所述待识别食材图片确定识别结果。
本发明实施例提供的家电设备用于执行图2所示方法实施例的技术方案,其实现原理和实现效果类似,此处不再赘述。
进一步地,在上述实施例中,识别模块63基于所述第一用户食材子集,根据所述待识别食材图片确定识别结果包括:查找所述第一用户食材子集,将所述第一用户食材子集中与所述待识别食材图片匹配的食材作为识别结果。
进一步地,在上述实施例中,本发明实施例提供的家电设备还可以包括:模型建立模块,用于为所述第一用户建立一相应的第一用户食材子集,所述第一用户食材子集包括每一食材的第一预分值,所述第一预分值用来标注食材识别结果的可信赖程度;
识别模块63将所述第一用户食材子集中与所述待识别食材匹配的食材作为识别结果包括:
在所述第一用户食材子集中与所述待识别食材匹配的食材为多个时,将第一预分值最高的食材作为识别结果。
进一步地,在上述实施例中,本发明实施例提供的家电设备还可以包括:发送模块,用于将所述识别结果发送给第一用户确认;
接收模块61还用于接收所述第一用户发送的反馈结果,所述反馈结果用于指示所述识别结果是否正确;
本发明实施例提供的家电设备还可以包括:更新模块和判断模块;
所述更新模块,用于在所述识别结果正确时,更新所述食材的第一预分值;
接收模块61,还用于在所述识别结果不正确时,接收所述第一用户发送的所述待识别食材的正确名称;
所述判断模块,用于判断正确名称的食材是否在所述第一用户食材子集中;
所述更新模块,还用于在正确名称的食材在所述第一用户食材子集中时,更新所述食材的预分值;在正确名称的食材不在所述第一用户食材子集中时,将所述正确名称的食材作为纠错食材,并更新所述第一用户食材子集。
进一步地,在上述实施例中,所述更新模块更新所述第一用户食材子集包括:采用公式w1new=w1old·p·μ计算所述食材更新后的第一预分值w1new;将所述食材更新前的第一预分值w1old替换为更新后的第一预分值w1new;其中,p为食材识别时所述食材出现的概率,μ为预设加权系数,w1old的初始值为1。
进一步地,在上述实施例中,所述模型建立模块,还用于为所述第一用户建立一相应的第一用户纠错食材子集,所述第一用户纠错食材子集包括每一纠错食材的第二预分值,所述第二预分值用来标注纠错食材识别结果的可信赖程度;
所述更新模块将所述正确名称的食材作为纠错食材,包括:判断所述正确名称的食材是否在所述第一用户纠错食材子集中;若是,则更新与所述正确名称对应的纠错食材的第二预分值;若否,则将所述正确名称的食材放入到所述第一用户纠错食材子集中,并记录所述纠错食材的第二预分值。
进一步地,在上述实施例中,所述更新模块更新所述第一用户食材子集包括:
将所述第一用户纠错食材子集中每一个纠错食材的第二预分值与第一用户纠错食材子集中每一个食材的第一预分值比较;
在存在第二预分值大于第一预分值的纠错食材时,将第二预分值大于第一预分值的纠错食材添加到所述第一用户食材子集中,同时删除所述第一用户食材子集中第一预分值小于第二预分值的食材。
进一步地,在上述实施例中,所述更新模块更新纠错食材的第二预分值,包括:
采用公式w2new=w2old+w2old·p·2n-1计算纠错食材更新后的第二预分值w2new
将纠错食材更新前的第二预分值w2old替换为更新后的第二预分值w2new
其中,p为食材识别时所述纠错食材出现的概率,n为所述第一用户的纠错次数。
本发明实施例还提供一种食材识别系统,包括:家电设备和云服务器。图7为本发明实施例提供的食材识别系统的结构示意图,如图7所示,食材识别系统可以包括:图像采集模块71、图像编码模块72、图像识别模块73和用户反馈模块74。
本实施例中,图像采集模块71和图像编码模块72可以设置在家电设备上,用于采集待识别食材图片,并将采集的待识别食材图片发送给云服务器。
本实施例中,图像识别模块73可以设置在云服务器上,用于执行如上述任一实施例所述的食材识别方法。
本实施例中,用户反馈模块74可以设置在家电设备上,实现识别结果的用户反馈。
其中,本发明实施例提供的食材识别系统还可以包括用户终端,用户终端上下载有相应的APP。用户反馈模块74也可以设置在APP上,实现识别结果的用户反馈。
本发明实施例提供的食材识别系统,相比较于一般的食材识别系统多了用户反馈模块,这个模块对食材识别结果进行闭环操作,通过用户反馈形成用户个性化信息,提升了单个用户特殊场景和特殊喜好下的食材识别准确率。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。

Claims (10)

1.一种食材识别方法,其特征在于,包括:
接收第一用户的食材识别请求,所述食材识别请求中包括所述第一用户的身份唯一标识;
获取待识别食材图片,以及获取与所述第一用户的身份唯一标识匹配的第一用户食材子集;
基于所述第一用户食材子集,根据所述待识别食材图片确定识别结果。
2.根据权利要求1所述的方法,其特征在于,基于所述第一用户食材子集,根据所述待识别食材图片确定识别结果包括:
查找所述第一用户食材子集,将所述第一用户食材子集中与所述待识别食材图片匹配的食材作为识别结果。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
为所述第一用户建立一相应的第一用户食材子集,所述第一用户食材子集包括每一食材的第一预分值,所述第一预分值用来标注食材识别结果的可信赖程度;
将所述第一用户食材子集中与所述待识别食材匹配的食材作为识别结果包括:
在所述第一用户食材子集中与所述待识别食材匹配的食材为多个时,将第一预分值最高的食材作为识别结果。
4.根据权利要求3所述的方法,其特征在于,根据所述待识别食材图片确定识别结果之后,所述方法还包括:
将所述识别结果发送给第一用户确认,并接收所述第一用户发送的反馈结果,所述反馈结果用于指示所述识别结果是否正确;
在所述识别结果正确时,更新所述食材的第一预分值;
或者;
在所述识别结果不正确时,接收所述第一用户发送的所述待识别食材的正确名称,判断正确名称的食材是否在所述第一用户食材子集中;若是,则更新所述食材的预分值;若否,则将所述正确名称的食材作为纠错食材,并更新所述第一用户食材子集。
5.根据权利要求4所述的方法,其特征在于,所述更新所述食材的第一预分值,包括:
采用公式w1new=w1old·p·μ计算所述食材更新后的第一预分值w1new
将所述食材更新前的第一预分值w1old替换为更新后的第一预分值w1new
其中,p为食材识别时所述食材出现的概率,μ为预设加权系数,w1old的初始值为1。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
为所述第一用户建立一相应的第一用户纠错食材子集,所述第一用户纠错食材子集包括每一纠错食材的第二预分值,所述第二预分值用来标注纠错食材识别结果的可信赖程度;
将所述正确名称的食材作为纠错食材,包括:
判断所述正确名称的食材是否在所述第一用户纠错食材子集中;
若是,则更新与所述正确名称对应的纠错食材的第二预分值;
若否,则将所述正确名称的食材放入到所述第一用户纠错食材子集中,并记录所述纠错食材的第二预分值。
7.根据权利要求6所述的方法,其特征在于,所述更新所述第一用户食材子集包括:
将所述第一用户纠错食材子集中每一个纠错食材的第二预分值与第一用户食材子集中每一个食材的第一预分值比较;
在存在第二预分值大于第一预分值的纠错食材时,将第二预分值大于第一预分值的纠错食材添加到所述第一用户食材子集中,同时删除所述第一用户食材子集中第一预分值小于第二预分值的食材。
8.根据权利要求6所述的方法,其特征在于,更新纠错食材的第二预分值,包括:
采用公式w2new=w2old+w2old·p·2n-1计算纠错食材更新后的第二预分值w2new
将纠错食材更新前的第二预分值w2old替换为更新后的第二预分值w2new
其中,p为食材识别时所述纠错食材出现的概率,n为所述第一用户的纠错次数。
9.一种家电设备,其特征在于,包括:
接收模块,用于接收第一用户的食材识别请求,所述食材识别请求中包括所述第一用户的身份唯一标识;
获取模块,用于获取待识别食材图片,以及获取与所述第一用户的身份唯一标识匹配的第一用户食材子集;
识别模块,用于基于所述第一用户食材子集,根据所述待识别食材图片确定识别结果。
10.一种食材识别系统,其特征在于,包括:家电设备和云服务器;
所述家电设备,用于采集待识别食材图片,并将采集的待识别食材图片发送给云服务器;
所述云服务器,用于执行如权利要求1-8任一项所述的食材识别方法。
CN201811568182.7A 2018-12-21 2018-12-21 一种食材识别方法、家电设备及食材识别系统 Active CN111353333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811568182.7A CN111353333B (zh) 2018-12-21 2018-12-21 一种食材识别方法、家电设备及食材识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811568182.7A CN111353333B (zh) 2018-12-21 2018-12-21 一种食材识别方法、家电设备及食材识别系统

Publications (2)

Publication Number Publication Date
CN111353333A CN111353333A (zh) 2020-06-30
CN111353333B true CN111353333B (zh) 2023-10-20

Family

ID=71196871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811568182.7A Active CN111353333B (zh) 2018-12-21 2018-12-21 一种食材识别方法、家电设备及食材识别系统

Country Status (1)

Country Link
CN (1) CN111353333B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104103015A (zh) * 2013-12-24 2014-10-15 珠海优特电力科技股份有限公司 一种口味信息识别码、应用服务器及应用终端
CN105897886A (zh) * 2016-04-07 2016-08-24 美的集团股份有限公司 食材购买提醒方法、设备、智能终端、云服务器及汽车
CN107341350A (zh) * 2017-07-05 2017-11-10 百度在线网络技术(北京)有限公司 食材智能管理方法和装置、服务器、智能冰箱、存储介质
CN107341340A (zh) * 2017-06-08 2017-11-10 美的集团股份有限公司 食谱推荐方法、系统及终端
CN107480711A (zh) * 2017-08-04 2017-12-15 合肥美的智能科技有限公司 图像识别方法、装置、计算机设备和可读存储介质
CN107514869A (zh) * 2016-06-17 2017-12-26 九阳股份有限公司 一种智能冰箱的信息录入方法及智能冰箱
CN107566908A (zh) * 2017-08-30 2018-01-09 深圳Tcl新技术有限公司 智能电视获取菜谱的方法、智能电视及存储介质
CN107609554A (zh) * 2017-09-12 2018-01-19 海信(山东)冰箱有限公司 一种识别冰箱中食材的方法及装置
CN108038509A (zh) * 2017-12-21 2018-05-15 合肥美的智能科技有限公司 基于图像识别模型的图像识别方法和装置
CN108345907A (zh) * 2018-02-09 2018-07-31 广东美的制冷设备有限公司 识别方法、增强现实设备及存储介质
CN108470184A (zh) * 2018-02-11 2018-08-31 青岛海尔智能技术研发有限公司 食材识别方法、识别装置及家电设备
CN108766528A (zh) * 2018-05-08 2018-11-06 天津大学 一种饮食管理系统及其构建方法、一种食材管理方法
CN108766529A (zh) * 2018-05-16 2018-11-06 北京豆果信息技术有限公司 一种智能食谱推荐方法及系统
CN108852023A (zh) * 2018-06-27 2018-11-23 佛山市云米电器科技有限公司 一种可实现智能互联的蒸烤设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8439683B2 (en) * 2009-01-07 2013-05-14 Sri International Food recognition using visual analysis and speech recognition
US20100332571A1 (en) * 2009-06-30 2010-12-30 Jennifer Healey Device augmented food identification
US10083475B1 (en) * 2011-07-01 2018-09-25 Safeway Inc. SimpleNutrition nutritional management system
DE102015214060A1 (de) * 2015-07-24 2017-01-26 BSH Hausgeräte GmbH System und Verfahren zur Bereitstellung eines Rezeptes

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104103015A (zh) * 2013-12-24 2014-10-15 珠海优特电力科技股份有限公司 一种口味信息识别码、应用服务器及应用终端
CN105897886A (zh) * 2016-04-07 2016-08-24 美的集团股份有限公司 食材购买提醒方法、设备、智能终端、云服务器及汽车
CN107514869A (zh) * 2016-06-17 2017-12-26 九阳股份有限公司 一种智能冰箱的信息录入方法及智能冰箱
CN107341340A (zh) * 2017-06-08 2017-11-10 美的集团股份有限公司 食谱推荐方法、系统及终端
CN107341350A (zh) * 2017-07-05 2017-11-10 百度在线网络技术(北京)有限公司 食材智能管理方法和装置、服务器、智能冰箱、存储介质
CN107480711A (zh) * 2017-08-04 2017-12-15 合肥美的智能科技有限公司 图像识别方法、装置、计算机设备和可读存储介质
CN107566908A (zh) * 2017-08-30 2018-01-09 深圳Tcl新技术有限公司 智能电视获取菜谱的方法、智能电视及存储介质
CN107609554A (zh) * 2017-09-12 2018-01-19 海信(山东)冰箱有限公司 一种识别冰箱中食材的方法及装置
CN108038509A (zh) * 2017-12-21 2018-05-15 合肥美的智能科技有限公司 基于图像识别模型的图像识别方法和装置
CN108345907A (zh) * 2018-02-09 2018-07-31 广东美的制冷设备有限公司 识别方法、增强现实设备及存储介质
CN108470184A (zh) * 2018-02-11 2018-08-31 青岛海尔智能技术研发有限公司 食材识别方法、识别装置及家电设备
CN108766528A (zh) * 2018-05-08 2018-11-06 天津大学 一种饮食管理系统及其构建方法、一种食材管理方法
CN108766529A (zh) * 2018-05-16 2018-11-06 北京豆果信息技术有限公司 一种智能食谱推荐方法及系统
CN108852023A (zh) * 2018-06-27 2018-11-23 佛山市云米电器科技有限公司 一种可实现智能互联的蒸烤设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卷积神经网络在食材图像分类中的应用;崔建华;CNKI;全文 *
食材数据库统计与对比实验性能分析;郭礼华;罗材;中国图象图形学报;第22卷(第008期);全文 *

Also Published As

Publication number Publication date
CN111353333A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
EP2948926A1 (en) Systems and methods for tracking and detecting a target object
JP2017097807A (ja) 学習方法、学習プログラムおよび情報処理装置
CN109740113B (zh) 超参数阈值范围确定方法、装置、存储介质及电子设备
CN107729578B (zh) 一种音乐推荐方法及装置
CN109547808A (zh) 数据处理方法、装置、服务器及存储介质
US9807785B2 (en) Scheduling and processing method and apparatus for WiFi station
KR20130108424A (ko) 사용자 장비에 대한 자산들의 프리-패치를 위한 자원 프로파일의 조정
CN108989889A (zh) 一种视频播放量预测方法、装置及电子设备
CN109284412B (zh) 给音频数据配图的方法和装置
CN111353333B (zh) 一种食材识别方法、家电设备及食材识别系统
CN103984469A (zh) 一种应用图标的匹配方法、终端及网络系统
CN111581442A (zh) 一种实现图嵌入的方法、装置、计算机存储介质及终端
CN110309357A (zh) 应用数据推荐的方法、模型训练的方法、装置及存储介质
CN113220883B (zh) 一种文本分类方法、装置及存储介质
WO2019051841A1 (zh) 确定滤波器系数的方法及其装置、终端
WO2022155450A1 (en) Crowdsourcing platform for on-demand media content creation and sharing
CN106658161A (zh) 基于连接关系的机顶盒信息推送方法和机顶盒
US20220050942A1 (en) Digital Signal Processing Using Recursive Hierarchical Particle Swarm Optimization
CN109976826B (zh) 一种应用软件处理方法、移动终端及云服务器
CN115796275A (zh) 基于区块链的联邦学习方法、装置、电子设备及存储介质
WO2023142351A1 (zh) 权重的调整方法和装置、存储介质及电子装置
CN110890932A (zh) 基于esn模型的5g毫米波信道信息确定的方法及装置
CN104936042A (zh) 一种视频片段下载方法及装置
WO2018040561A1 (zh) 数据处理方法、装置及系统
EP3195438A1 (en) System, method and apparatuses for determining parameter settings for a power generation system and a tangible computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant