CN107816841A - 冰箱间室内部食物种类的检测系统及其检测方法 - Google Patents

冰箱间室内部食物种类的检测系统及其检测方法 Download PDF

Info

Publication number
CN107816841A
CN107816841A CN201610825963.4A CN201610825963A CN107816841A CN 107816841 A CN107816841 A CN 107816841A CN 201610825963 A CN201610825963 A CN 201610825963A CN 107816841 A CN107816841 A CN 107816841A
Authority
CN
China
Prior art keywords
food species
list
food
species list
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610825963.4A
Other languages
English (en)
Other versions
CN107816841B (zh
Inventor
于海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Smart Technology R&D Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Smart Technology R&D Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Smart Technology R&D Co Ltd filed Critical Qingdao Haier Smart Technology R&D Co Ltd
Priority to CN201610825963.4A priority Critical patent/CN107816841B/zh
Publication of CN107816841A publication Critical patent/CN107816841A/zh
Application granted granted Critical
Publication of CN107816841B publication Critical patent/CN107816841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00Arrangement or mounting of control or safety devices
    • F25D29/003Arrangement or mounting of control or safety devices for movable devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00Problems to be solved
    • F25D2500/06Stock management

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本发明提供了一种冰箱间室内部食物种类的检测系统及其检测方法,其中方法包括:获取间室内部的动态视频;根据动态视频获取第一食物种类列表;获取间室内部的至少一张静态图像;根据每张静态图像获取一份第二食物种类列表;以及根据第一食物种类列表与每份第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。本发明的方法拍摄冰箱内部的静态图像,并在门体开启的时间内获取间室内部的动态视频,通过动态视频和静态图像分别识别间室内部食物种类,并将两次的识别结果进行比较,从而得到最终食物种类的检测结果,实现了对冰箱内部食物种类的检测。

Description

冰箱间室内部食物种类的检测系统及其检测方法
技术领域
本发明涉及冰箱领域,特别涉及一种冰箱间室内部食物种类的检测系统及其检测方法。
背景技术
目前,冰箱内的食材管理是用户非常关注的重点,而实现冰箱内食材的管理首先要解决冰箱内食品种类的识别问题,目前,用户接受程度最高的识别方式主要包括静态的图像识别以及动态的视频流识别。
但是,静态的图像识别仅根据一张采集到的食品原图像进行识别,由于冰箱内部食材之间会相互遮挡,经常会造成某些食材漏检,从而造成识别正确率较低,影响用户体验。动态视频识别虽然识别正确率较高,但是冰箱一旦断电,冰箱内食品种类发生变动的话,识别得到的食品列表无法进行更新,只能维持原有的食品列表,造成体验效果较差。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的冰箱间室内部食物种类的检测系统及其检测方法。
本发明一个进一步的目的是检测冰箱间室内部的食物种类。
本发明的另一个进一步的目的是使得检测更加准确。
根据本发明的一个方面,本发明提供了一种冰箱间室内部食物种类的检测方法,包括:在间室的门体被打开的时间范围内,拍摄间室内部的动态视频;根据动态视频获取第一食物种类列表,第一食物种类列表包含根据动态视频确定得出的间室内部所有食物种类;在门体被关闭后,获取间室内部的至少一张静态图像;根据每张静态图像获取一份第二食物种类列表,每份第二食物种类列表包含根据一张静态图像确定得出的间室内部所有食物种类;以及根据第一食物种类列表与每份第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。
可选地,根据比较结果生成第三食物种类列表的步骤之后还包括:判断冰箱是否断电重启;若是,重新获取间室内部的静态图像;根据重新获取的静态图像重新获取第二食物种类列表;判断重新获取的第二食物种类列表和第三食物种类列表是否相同;若否,将重新获取的第二食物种类列表以及静态图像发送至用户终端,以供用户参考并修改第三食物种类列表;以及接收经用户修改后的第三食物种类列表并进行存储,以替代原先的第三食物种类列表。
可选地,根据动态视频获取第一食物种类列表的步骤包括:将动态视频上传至云服务器;云服务器根据动态视频识别间室内部的食物种类,并根据识别结果生成第一食物种类列表;以及获取云服务器反馈的第一食物种类列表。
可选地,根据静态图像获取第二食物种类列表的步骤包括:将静态图像上传至云服务器;云服务器根据静态图像识别间室内部的食物种类,并根据识别结果生成第二食物种类列表;以及获取云服务器反馈的第二食物种类列表。
可选地,根据第一食物种类列表与每份第二食物种类列表的比较结果生成第三食物种类列表的步骤包括:依次比较第一食物种类列表与每份第二食物种类列表包含的食物种类是否相同;若连续预设次数的比较结果中至少出现一次相同的情况,则将第一食物种类列表作为第三食物种类列表;若连续预设次数的比较结果均为不相同,则将静态图像和第一食物种类列表发送至用户终端,以供用户参考并制定第三食物种类列表;以及接收经用户制定的第三食物种类列表并进行存储。
根据本发明的另一个方面,本发明还提供了一种冰箱间室内部食物种类的检测系统,包括:门体开闭检测模块,配置成检测间室的门体是否被打开;第一拍摄模块,配置成在门体被打开的时间范围内,拍摄间室内部的动态视频;第二拍摄模块,配置成获取在门体被关闭后,间室内部的至少一张静态图像;列表获取模块,配置成根据动态视频获取第一食物种类列表,根据每张静态图像获取一份第二食物种类列表,第一食物种类列表包含根据动态视频确定得出的间室内部所有食物种类,每份第二食物种类列表包含根据一张静态图像确定得出的间室内部所有食物种类;其中列表获取模块,还配置成根据第一食物种类列表以及第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。
可选地,第一拍摄模块包括摄像头,设置于冰箱间室顶部;第二拍摄模块包括摄像头,设置于冰箱门体侧边边框上。
可选地,上述检测系统还包括:电路检测模块,配置成检测冰箱是否断电重启;和用户终端;其中第二拍摄模块,还配置成在冰箱断电重启后,重新获取间室内部的静态图像;列表获取模块,还配置成根据重新获取的静态图像重新获取第二食物种类列表,并在重新获取的第二食物种类列表和第三食物种类列表不相同时,将第二食物种类列表以及静态图像发送至用户终端,以供用户参考并修改第三食物种类列表;用户终端配置成,接收列表获取模块发送的重新获取的第二食物种类列表和静态图像;列表获取模块,还配置成接收经用户修改后的第三食物种类列表并进行存储,以替代原先的第三食物种类列表。
可选地,上述检测系统还包括:云服务器,配置成接收动态视频和静态图像,根据动态视频识别间室内部的食物种类,并根据识别结果生成第一食物种类列表,根据静态图像识别间室内部的食物种类,并根据识别结果生成第二食物种类列表;其中列表获取模块,还配置成上传动态视频和静态图像,并接收云服务器反馈的第一食物种类列表和第二食物种类列表。
可选地,列表获取模块,还配置成依次比较第一食物种类列表与每份第二食物种类列表包含的食物种类是否相同,在连续预设次数的比较结果中至少出现一次相同的情况下,将第一食物种类列表作为第三食物种类列表,在连续预设次数的比较结果均为不相同的情况下,将静态图像和第一食物种类列表发送至用户终端,以供用户参考并制定第三食物种类列表,以及接收经用户制定的第三食物种类列表并进行存储;用户终端,还配置成接收列表获取模块发送的第二食物种类列表和静态图像。
本发明提供了一种用于冰箱间室内部食物种类的检测方法,包括:在间室的门体被打开的时间范围内,获取间室内部的动态视频;根据动态视频获取第一食物种类列表;在门体被关闭后,获取间室内部的至少一张静态图像;根据每张静态图像获取一份第二食物种类列表;以及根据第一食物种类列表与每份第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。本发明的方法拍摄冰箱内部的静态图像,并在门体开启的时间内获取间室内部的动态视频,通过动态视频和静态图像分别识别间室内部食物种类,并将两次的识别结果进行比较,从而得到最终食物种类的检测结果,实现了对冰箱内部食物种类的检测。由于动态视频识别无法在间室内部静止时检测冰箱内部食物,而静态图像识别又存在遮挡等原因,导致识别准确率较低,为了克服两种识别手段的弊端,本发明的方法将动态视频识别和静态图像识别的手段相结合,提高了识别的准确度。
更进一步地,本发明的检测方法还在冰箱断电重启后,重新获取间室内部的静态图像;根据重新获取的静态图像重新获取第二食物种类列表;在重新获取的第二食物种类列表和第三食物种类列表是不相同时,将重新获取的第二食物种类列表以及静态图像发送至用户终端,以供用户参考并修改第三食物种类列表;以及接收经用户修改后的第三食物种类列表并进行存储,以替代原先的第三食物种类列表。本发明的检测方法在冰箱断电重启后,重新对冰箱内食物进行识别,结合用户手动修正,以重新确定冰箱内部的食物种类。本发明的方法防止在冰箱断电期间,用户拿取食物,造成的食物信息不准确,提高了检测的准确度。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1是根据本发明一个实施例的冰箱间室内部食物种类的检测系统的示意图;
图2是根据本发明一个实施例的冰箱间室内部食物种类的检测系统的冰箱外观示意图;
图3是根据本发明另一个实施例的冰箱间室内部食物种类的检测系统的示意图;
图4是根据本发明一个实施例的冰箱间室内部食物种类的检测方法的示意图;
图5是根据本发明一个实施例的冰箱间室内部食物种类的检测方法的流程图;以及
图6是根据本发明另一个实施例的冰箱间室内部食物种类的检测方法的流程图。
具体实施方式
本实施例首先提供了一种冰箱间室内部食物种类的检测系统,图1是根据本发明一个实施例的冰箱间室内部食物种类的检测系统的示意图,该系统包括:第一拍摄模块10、第二拍摄模块20、门体开闭检测模块30和列表获取模块40。
图2是根据本发明一个实施例的冰箱间室内部食物种类的检测系统的冰箱外观示意图。第一拍摄模块10用于在间室的门体被打开的时间范围内,拍摄间室内部的动态视频。在本实施例中,第一拍摄模块10包括摄像头,可以设置于冰箱间室顶部,且朝向下设置,以拍摄冰箱内部景象,检测系统还包括门体开闭检测模块30,用于检测冰箱门体是否被开启,门体开闭检测模块30可以为设置于门体和冰箱箱体之间的压力传感器,通过检测压力的大小判断门体的开闭状态。当检测到门体被打开时,第一拍摄模块10开始拍摄冰箱间室内部视频,当检测到门体被关闭时,结束拍摄。当检测到门体被关闭后,第二拍摄模块20用于获取间室内部的至少一张静态图像。在本实施例中,第二拍摄模块20包括摄像头,摄像头可以设置于冰箱门体侧边边框上。第二拍摄模块20可以只拍摄间室内部的一张静态图像,也可以间隔预设时间,连续拍摄间室内部的多张静态图像。在另外一些实施例中,第二拍摄模块20还可以包括多个摄像头,多个摄像头安装于冰箱内或冰箱门体的不同位置,以多角度拍摄冰箱内部的多张静态图像。
列表获取模块40根据动态视频获取第一食物种类列表,根据每张静态图像获取一份第二食物种类列表,第一食物种类列表包含根据动态视频确定得出的间室内部所有食物种类,每份第二食物种类列表包含根据一张静态图像确定得出的间室内部所有食物种类。
图3是根据本发明另一个实施例的冰箱间室内部食物种类的检测系统的示意图。在本实施例中,检测系统还可以包括:云服务器50。列表获取模块40上传静态图像和经过压缩处理的动态视频。云服务器50接收静态图像和动态视频,使用图像识别软件,根据静态图像识别间室内部的食物种类,并根据识别结果生成第二食物种类列表,第二食物种类列表包括多种被检测出的食物名称,如“鸡蛋、苹果”等。云服务还根据动态视频,分析视频流中的信息,并通过视频前后帧的对比识别出间室内部的食物种类,并根据识别结果生成第一食物种类列表。表获取模块接收云服务器50反馈的第一食物种类列表和第二食物种类列表。在另外一些实施例中,第一食物种类列表、第二食物种类列表也可以在冰箱本地进行识别,并由列表获取模块40获取。
列表获取模块40还根据第一食物种类列表以及每份第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。在一些可选的实施例中,可以将第一食物种类列表和第二食物种类列表的食物种类进行汇总得到第三食物种类列表。例如,第一食物种类列表包含A、B、C三种食物,第二食物种类列表包含A、B、D三种食物,那么汇总后的第三食物种类列表包含A、B、C、D四种食物。
在本实施例中,通过对第一食物种类列表和第二食物种类列表的对比,并结合用户手动设置,来确定第三食物种类列表。
具体地,列表获取模块40依次判断每份第一食物种类列表与第二食物种类列表包含的食物种类是否相同,例如,第二拍摄模块20获取了间室内部的3张静态图像,并获取了三份第二食物种类列表,将三份第二食物种类列表分别与第一食物种类列表进行比较。
因为静态识别存在遮挡等问题,正常情况下识别正确率比视频识别正确率低,若在连续预设次数的比较结果中至少出现一次第一食物种类列表与第二食物种类列表包含的食物种类相同的情况下,则认定视频识别结果正确可靠,将第一食物种类列表作为第三食物种类列表。例如,在本实施例中,获取了三份第二食物种类列表,若其中一份第二食物种类列表与第一食物种类列表完全一致,则将第一食物种类列表作为第三食物种类列表,即最终的冰箱内部食物的检测结果。另外,在一些可选的实施例中,第二拍摄模块20可以先拍摄一张静态图像,生成第二食物种类列表与第一食物种类列表进行比较后,再拍摄后续的静态图像,如果某一份第二食物种类列表与第一食物种类列表相同,则第二拍摄模块20无需再拍摄后续的静态图像。
在本实施例中,检测系统还可以包括用户终端60。在本实施例中,用户终端60可以包括手机、平板电脑等设备。若在连续预设次数的比较结果中,第一食物种类列表与第二食物种类列表包含的食物种类均不相同,则认定视频识别结果有所偏差,将静态图像发送至用户终端60,以供用户参考并制定第三食物种类列表,最后接收经用户制定的第三食物种类列表并进行存储。例如第一食物种类列表包含A、B、C三种食物,第二食物种类列表却包含A、B、D三种食物,且连续预设次数(例如3次,该预设次数可由用户设定)第二食物种类列表包含的食物种类均与第一食物种类列表不同,则将多幅静态图像和第一食物种类列表发送至用户终端60,用户可以通过静态图像向用户终端60手动输入食物名称或对第一食物种类列表进行校对,以完成第三食物种类列表。列表获取模块40接收用户终端60反馈的第三食物种类列表。
在本实施例中,检测系统还可以包括显示模块70,显示模块70可以为显示屏,设置于冰箱门体前侧,用于生成并显示第三食物种类列表。在每次检测到用户开门动作后,检测系统对冰箱内部食物种类进行一次检测,同时,显示模块70对第三食物种类列表进行更新。
本实施例中的检测系统还包括:电路检测模块和用户终端60。电路检测模块用于检测冰箱是否断电重启。在冰箱断电期间无法确定用户是否对冰箱进行过操作,在冰箱重启后,需要对冰箱的第三食物种类列表进行更新。第二拍摄模块20在冰箱断电重启后,重新获取间室内部的静态图像。列表获取模块40根据重新获取的静态图像重新获取第二食物种类列表,
若重新获取的第二食物种类列表和第三食物种类列表相同,则证明在断电期间,用户没有对冰箱内的食物进行操作,无需更新第三食物种类列表。在重新获取的第二食物种类列表和第三食物种类列表不相同时,则证明在断电期间,用户对冰箱内的食物进行过操作,将第二食物种类列表以及静态图像发送至用户终端60,以供用户参考并修改第三食物种类列表。
用户终端60接收列表获取模块40发送的重新获取的第二食物种类列表和静态图像。待用户查看后,根据静态图像结合第二食物种类列,向用户终端60手动输入以修改第三食物种类列表。列表获取模块40接收经用户修改后的第三食物种类列表并进行存储,以替代原先的第三食物种类列表,完成更新并将更新后的第三食物种类列表显示在显示模块70上。
图4是根据本发明一个实施例的冰箱间室内部食物种类的检测方法的示意图,本实施例还提供了一种冰箱间室内部食物种类的检测方法。该方法包括:
步骤S402,在间室的门体被打开的时间范围内拍摄间室内部的动态视频;在本实施例中,第一拍摄模块10用于在间室的门体被打开的时间范围内,获取间室内部的动态视频。
步骤S404,根据动态视频获取第一食物种类列表。第一食物种类列表包含根据动态视频确定得出的间室内部所有食物种类。
步骤S406,在门体被关闭后,获取间室内部的至少一张静态图像。第二拍摄模块20用于获取间室内部的至少一张静态图像。第二拍摄模块20可以只拍摄间室内部的一张静态图像,也可以间隔预设时间,连续拍摄间室内部的多张静态图像。第二拍摄模块20还可以包括多个摄像头,多个摄像头安装于冰箱内的不同位置,以多角度拍摄冰箱内部的多张静态图像。
步骤S408,根据每张静态图像获取一份第二食物种类列表。每份第二食物种类列表包含根据一张静态图像确定得出的间室内部所有食物种类。
步骤S410,根据第一食物种类列表与每份第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。在一些可选的实施例中,可以将第一食物种类列表和第二食物种类列表的食物种类进行汇总得到第三食物种类列表。例如,第一食物种类列表包含A、B、C三种食物,第二食物种类列表包含A、B、D三种食物,那么汇总后的第三食物种类列表包含A、B、C、D四种食物。
图5是根据本发明一个实施例的冰箱间室内部食物种类的检测方法的流程图,该方法依次执行以下步骤:
步骤S502,判断门体是否被打开。门体开闭检测模块30用于检测冰箱门体是否被开启,门体开闭检测模块30可以为设置于门体和冰箱箱体之间的压力传感器,通过检测压力的大小判断门体的开闭状态。
步骤S504,若步骤S502的判断结果为是,在间室的门体被打开的时间范围内拍摄间室内部的动态视频。
步骤S506,上传动态视频,获取云服务器50反馈的第一食物种类列表。云服务根据动态视频,分析视频流中的信息,并通过视频前后帧的对比识别出间室内部的食物种类,并根据识别结果生成第一食物种类列表。第一食物种类列表包括多种被检测出的食物名称,如“鸡蛋、苹果”等。列表获取模块40用于获取云服务器50反馈的第一食物种类列表。
步骤S508,在门体被关闭后,获取间室内部的至少一张静态图像。
步骤S510,上传每张静态图像,获取云服务器50反馈的多份第二食物种类列表。云服务器50接收静态图像,使用图像识别软件,根据静态图像识别间室内部的食物种类,并根据识别结果生成第二食物种类列表。列表获取模块40用于获取云服务器50反馈的第二食物种类列表。
步骤S512,依次比较第一食物种类列表与每份第二食物种类列表包含的食物种类是否相同。
步骤S514,判断在连续预设次数的比较结果中是否至少出现一次相同。将第一食物种类列表与多份第二食物种类列表进行逐一比对,判断第一食物种类列表是否与某一个第二食物种类列表相同。
步骤S516,若步骤S514的判断结果为是,将第一食物种类列表作为第三食物种类列表。因为静态识别存在遮挡等问题,正常情况下识别正确率比视频识别正确率低,若在连续预设次数的比较结果中至少出现一次第一食物种类列表与第二食物种类列表包含的食物种类相同的情况下,则认定视频识别结果正确可靠,将第一食物种类列表作为第三食物种类列表。例如,在本实施例中,获取了三份第二食物种类列表,若其中一份第二食物种类列表与第一食物种类列表完全一致,则将第一食物种类列表作为第三食物种类列表,即最终的冰箱内部食物的检测结果。另外,在一些可选的实施例中,第二拍摄模块20可以先拍摄一张静态图像,生成第二食物种类列表与第一食物种类列表进行比较后,再拍摄后续的静态图像,如果某一份第二食物种类列表与第一食物种类列表相同,则第二拍摄模块20无需再拍摄后续的静态图像。
步骤S518,若步骤S514的判断结果为否,将静态图像和第一食物种类列表发送至用户终端60,以供用户参考并制定第三食物种类列表。若在连续预设次数的比较结果中,第一食物种类列表与第二食物种类列表包含的食物种类均不相同,则认定视频识别结果有所偏差,将静态图像发送至用户终端60,以供用户参考并制定第三食物种类列表。例如第一食物种类列表包含A、B、C三种食物,第二食物种类列表却包含A、B、D三种食物,且连续预设次数(例如3次)第二食物种类列表包含的食物种类均与第一食物种类列表不同,则将多幅静态图像和第一食物种类列表发送至用户终端60,用户可以通过静态图像向用户终端60手动输入食物名称或对第一食物种类列表进行校对,以完成第三食物种类列表。
步骤S520,接收经用户制定的第三食物种类列表并进行存储。列表获取模块40接收用户终端60反馈的第三食物种类列表并进行存储。
在每次检测到用户开门动作后,检测系统对冰箱内部食物种类进行一次检测,同时,对第三食物种类列表进行一次更新,并将更新结果显示给用户。
图6是根据本发明另一个实施例的冰箱间室内部食物种类的检测方法的流程图,该检测方法用于冰箱断电重启后,对第三食物种类列表进行更新。该方法依次执行以下步骤:
步骤S602,判断冰箱是否断电重启,若冰箱即没有断电重启又没有被打开门体,则无需对第三食物种类列表进行更新。
步骤S604,若步骤S602的判断结果为是,重新获取间室内部的静态图像。利用第二拍摄模块20获取间室内部的静态图像。
步骤S606,根据每张重新获取的静态图像获取一份第二食物种类列表。
步骤S608,判断重新获取的第二食物种类列表和第三食物种类列表是否相同。
步骤S610,若步骤S608的判断结果为是,不更新第三食物种类列表。若重新获取的第二食物种类列表和第三食物种类列表相同,则证明在断电期间,用户没有对冰箱内的食物进行操作,无需更新第三食物种类列表。
步骤S612,若步骤S608的判断结果为否,将重新获取的第二食物种类列表以及静态图像发送至用户终端60,以供用户参考并修改第三食物种类列表。在重新获取的第二食物种类列表和第三食物种类列表不相同时,则证明在断电期间,用户对冰箱内的食物进行过操作,将第二食物种类列表以及静态图像发送至用户终端60,以供用户参考并修改第三食物种类列表。用户终端60接收列表获取模块40发送的重新获取的第二食物种类列表和静态图像。待用户查看后,根据静态图像结合第二食物种类列,向用户终端60手动输入以修改第三食物种类列表。
步骤S614,接收经用户修改后的第三食物种类列表并进行存储,以替代原先的第三食物种类列表。列表获取模块40接收经用户修改后的第三食物种类列表并进行存储,以替代原先的第三食物种类列表,完成更新并将更新后的第三食物种类列表显示在显示模块70上。
本实施例提供了一种用于冰箱间室内部食物种类的检测方法,包括:获取间室内部的动态视频;根据动态视频获取第一食物种类列表;获取间室内部的至少一张静态图像;根据每张静态图像获取一份第二食物种类列表;根据第一食物种类列表与每份第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。本实施例的方法拍摄冰箱内部的静态图像,并在门体开启的时间内获取间室内部的动态视频,通过动态视频和静态图像分别识别间室内部食物种类,并将两次的识别结果进行比较,从而得到最终食物种类的检测结果,实现了对冰箱内部食物种类的检测。由于动态视频识别无法在间室内部静止时检测冰箱内部食物,而静态图像识别又存在遮挡等原因,导致识别准确率较低,为了克服两种识别手段的弊端,本实施例的方法将动态视频识别和静态图像识别的手段相结合,提高了识别的准确度。
更进一步地,本实施例的检测方法还在冰箱断电重启后,重新获取间室内部的静态图像;根据重新获取的静态图像重新获取第二食物种类列表;在重新获取的第二食物种类列表和第三食物种类列表是不相同时,将重新获取的第二食物种类列表以及静态图像发送至用户终端60,以供用户参考并修改第三食物种类列表;以及接收经用户修改后的第三食物种类列表并进行存储,以替代原先的第三食物种类列表。本实施例的检测方法在冰箱断电重启后,重新对冰箱内食物进行识别,结合用户手动修正,以重新确定冰箱内部的食物种类。本实施例的方法防止在冰箱断电期间,用户拿取食物,造成的食物信息不准确,提高了检测的准确度。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种冰箱间室内部食物种类的检测方法,包括:
在所述间室的门体被打开的时间范围内,拍摄所述间室内部的动态视频;
根据所述动态视频获取第一食物种类列表,所述第一食物种类列表包含根据所述动态视频确定得出的所述间室内部所有食物种类;
在所述门体被关闭后,获取所述间室内部的至少一张静态图像;
根据每张所述静态图像获取一份第二食物种类列表,每份所述第二食物种类列表包含根据一张所述静态图像确定得出的所述间室内部所有食物种类;以及
根据所述第一食物种类列表与每份所述第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。
2.根据权利要求1所述的检测方法,其中根据所述比较结果生成第三食物种类列表的步骤之后还包括:
判断所述冰箱是否断电重启;
若是,重新获取所述间室内部的静态图像;
根据所述重新获取的静态图像重新获取第二食物种类列表;
判断所述重新获取的第二食物种类列表和所述第三食物种类列表是否相同;
若否,将所述重新获取的第二食物种类列表以及所述静态图像发送至用户终端,以供用户参考并修改所述第三食物种类列表;以及
接收经用户修改后的所述第三食物种类列表并进行存储,以替代原先的所述第三食物种类列表。
3.根据权利要求1或2所述的检测方法,其中根据所述动态视频获取第一食物种类列表的步骤包括:
将所述动态视频上传至云服务器;
所述云服务器根据所述动态视频识别所述间室内部的食物种类,并根据识别结果生成所述第一食物种类列表;以及
获取所述云服务器反馈的所述第一食物种类列表。
4.根据权利要求1或2所述的检测方法,其中根据所述静态图像获取第二食物种类列表的步骤包括:
将所述静态图像上传至云服务器;
所述云服务器根据所述静态图像识别所述间室内部的食物种类,并根据识别结果生成所述第二食物种类列表;以及
获取所述云服务器反馈的所述第二食物种类列表。
5.根据权利要求1所述的检测方法,其中根据所述第一食物种类列表与每份所述第二食物种类列表的比较结果生成第三食物种类列表的步骤包括:
依次比较所述第一食物种类列表与每份所述第二食物种类列表包含的食物种类是否相同;
若连续预设次数的比较结果中至少出现一次相同的情况,则将所述第一食物种类列表作为所述第三食物种类列表;
若连续预设次数的比较结果均为不相同,则将所述静态图像和所述第一食物种类列表发送至所述用户终端,以供用户参考并制定所述第三食物种类列表;以及
接收经用户制定的所述第三食物种类列表并进行存储。
6.一种冰箱间室内部食物种类的检测系统,包括:
门体开闭检测模块,配置成检测所述间室的门体是否被打开;
第一拍摄模块,配置成在所述门体被打开的时间范围内,拍摄所述间室内部的动态视频;
第二拍摄模块,配置成获取在所述门体被关闭后,所述间室内部的至少一张静态图像;
列表获取模块,配置成根据所述动态视频获取第一食物种类列表,根据每张所述静态图像获取一份第二食物种类列表,所述第一食物种类列表包含根据所述动态视频确定得出的所述间室内部所有食物种类,每份所述第二食物种类列表包含根据一张所述静态图像确定得出的所述间室内部所有食物种类;其中
所述列表获取模块,还配置成根据所述第一食物种类列表与每份所述第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。
7.根据权利要求6所述的检测系统,其中
所述第一拍摄模块包括摄像头,设置于所述冰箱间室顶部;
所述第二拍摄模块包括摄像头,设置于所述冰箱门体侧边边框上。
8.根据权利要求6所述的检测系统,其中还包括:
电路检测模块,配置成检测所述冰箱是否断电重启;和
用户终端;其中
所述第二拍摄模块,还配置成在所述冰箱断电重启后,重新获取所述间室内部的静态图像;
所述列表获取模块,还配置成根据所述重新获取的静态图像重新获取第二食物种类列表,并在所述重新获取的第二食物种类列表和所述第三食物种类列表不相同时,将所述重新获取的第二食物种类列表以及所述静态图像发送至用户终端,以供用户参考并修改所述第三食物种类列表;
所述用户终端配置成,接收所述列表获取模块发送的所述重新获取的第二食物种类列表和所述静态图像;
所述列表获取模块,还配置成接收经用户修改后的所述第三食物种类列表并进行存储,以替代原先的所述第三食物种类列表。
9.根据权利要求6至8中任一项所述的检测系统,其中还包括:
云服务器,配置成接收所述动态视频和静态图像,根据所述动态视频识别所述间室内部的食物种类,并根据识别结果生成第一食物种类列表,根据所述静态图像识别所述间室内部的食物种类,并根据识别结果生成第二食物种类列表;其中
所述列表获取模块,还配置成上传所述动态视频和静态图像,并接收所述云服务器反馈的所述第一食物种类列表和第二食物种类列表。
10.根据权利要求6所述的检测系统,其中
所述列表获取模块,还配置成依次比较所述第一食物种类列表与每份所述第二食物种类列表包含的食物种类是否相同,在连续预设次数的比较结果中至少出现一次相同的情况下,将所述第一食物种类列表作为所述第三食物种类列表,在连续预设次数的比较结果均为不相同的情况下,将所述静态图像和所述第一食物种类列表发送至所述用户终端,以供用户参考并制定所述第三食物种类列表,以及接收经用户制定的所述第三食物种类列表并进行存储;
所述用户终端,还配置成接收所述列表获取模块发送的所述第二食物种类列表和所述静态图像。
CN201610825963.4A 2016-09-14 2016-09-14 冰箱间室内部食物种类的检测系统及其检测方法 Active CN107816841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610825963.4A CN107816841B (zh) 2016-09-14 2016-09-14 冰箱间室内部食物种类的检测系统及其检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610825963.4A CN107816841B (zh) 2016-09-14 2016-09-14 冰箱间室内部食物种类的检测系统及其检测方法

Publications (2)

Publication Number Publication Date
CN107816841A true CN107816841A (zh) 2018-03-20
CN107816841B CN107816841B (zh) 2020-08-07

Family

ID=61600964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610825963.4A Active CN107816841B (zh) 2016-09-14 2016-09-14 冰箱间室内部食物种类的检测系统及其检测方法

Country Status (1)

Country Link
CN (1) CN107816841B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109945594A (zh) * 2019-03-22 2019-06-28 上海五宝网络科技有限公司 基于动态视频检测的智能视觉冰箱
WO2021057769A1 (zh) * 2019-09-25 2021-04-01 青岛海尔电冰箱有限公司 用于查看并跟踪所储存的物品的方法
CN113239780A (zh) * 2021-05-10 2021-08-10 珠海格力电器股份有限公司 食材的确定方法、装置、电子设备、冰箱及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070152076A1 (en) * 2004-12-13 2007-07-05 Chiang Kuo C Monitoring system with a wireless transmitting/receiving module
CN103776232A (zh) * 2013-11-05 2014-05-07 四川长虹电器股份有限公司 一种基于图像识别的光合保鲜冰箱及其实现方法
KR20140081267A (ko) * 2012-12-21 2014-07-01 엘지전자 주식회사 냉장고, 및 그 동작 방법
CN104019615A (zh) * 2014-05-16 2014-09-03 上海尖顶信息技术有限公司 一种查看冰箱内食材的方法
CN104075518A (zh) * 2013-03-27 2014-10-01 Lg电子株式会社 冰箱
CN104482715A (zh) * 2014-12-31 2015-04-01 合肥华凌股份有限公司 冰箱中食物的管理方法和冰箱
CN104980698A (zh) * 2015-05-29 2015-10-14 青岛海尔股份有限公司 一种冰箱内食物检测监控系统及方法
CN105222503A (zh) * 2014-07-02 2016-01-06 博西华电器(江苏)有限公司 冰箱及其控制方法
CN105352260A (zh) * 2015-11-10 2016-02-24 合肥海尔电冰箱有限公司 冰箱内储物信息的更新方法及装置
CN105758108A (zh) * 2016-03-09 2016-07-13 北京京东尚科信息技术有限公司 用于智能冷藏设备的信息反馈方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070152076A1 (en) * 2004-12-13 2007-07-05 Chiang Kuo C Monitoring system with a wireless transmitting/receiving module
KR20140081267A (ko) * 2012-12-21 2014-07-01 엘지전자 주식회사 냉장고, 및 그 동작 방법
CN104075518A (zh) * 2013-03-27 2014-10-01 Lg电子株式会社 冰箱
CN103776232A (zh) * 2013-11-05 2014-05-07 四川长虹电器股份有限公司 一种基于图像识别的光合保鲜冰箱及其实现方法
CN104019615A (zh) * 2014-05-16 2014-09-03 上海尖顶信息技术有限公司 一种查看冰箱内食材的方法
CN105222503A (zh) * 2014-07-02 2016-01-06 博西华电器(江苏)有限公司 冰箱及其控制方法
CN104482715A (zh) * 2014-12-31 2015-04-01 合肥华凌股份有限公司 冰箱中食物的管理方法和冰箱
CN104980698A (zh) * 2015-05-29 2015-10-14 青岛海尔股份有限公司 一种冰箱内食物检测监控系统及方法
CN105352260A (zh) * 2015-11-10 2016-02-24 合肥海尔电冰箱有限公司 冰箱内储物信息的更新方法及装置
CN105758108A (zh) * 2016-03-09 2016-07-13 北京京东尚科信息技术有限公司 用于智能冷藏设备的信息反馈方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109945594A (zh) * 2019-03-22 2019-06-28 上海五宝网络科技有限公司 基于动态视频检测的智能视觉冰箱
WO2021057769A1 (zh) * 2019-09-25 2021-04-01 青岛海尔电冰箱有限公司 用于查看并跟踪所储存的物品的方法
CN113239780A (zh) * 2021-05-10 2021-08-10 珠海格力电器股份有限公司 食材的确定方法、装置、电子设备、冰箱及存储介质

Also Published As

Publication number Publication date
CN107816841B (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
WO2021017561A1 (zh) 人脸识别方法及装置、电子设备和存储介质
US8913156B2 (en) Capturing apparatus and method of capturing image
JP6309111B2 (ja) 撮像条件を検出するための方法および装置
CN105472239A (zh) 照片处理方法及装置
US20170032219A1 (en) Methods and devices for picture processing
US9998720B2 (en) Image processing method for locally adjusting image data of real-time image
CN107743224A (zh) 镜头脏污的提醒方法、系统、可读存储介质及移动终端
WO2018214693A1 (zh) 视频通信系统的检测方法、装置、存储介质和计算机设备
CN110619350B (zh) 图像检测方法、装置及存储介质
WO2016011750A1 (zh) 一种发送、接收物品信息的方法和装置
US20170205629A9 (en) Method and apparatus for prompting based on smart glasses
CN108154086A (zh) 一种图像提取方法、装置及电子设备
CN107566749B (zh) 拍摄方法及移动终端
EP3687157A1 (en) Method for capturing images and electronic device
US11074449B2 (en) Method, apparatus for controlling a smart device and computer storge medium
US10922580B2 (en) Image quality estimation using a reference image portion
US20170374335A1 (en) Electronic device and color temperature adjusting method
CN107816841A (zh) 冰箱间室内部食物种类的检测系统及其检测方法
US9799376B2 (en) Method and device for video browsing based on keyframe
CN103795919A (zh) 图像处理方法及拍摄终端
CN109544503B (zh) 图像处理方法、装置、电子设备及存储介质
CN105528078A (zh) 控制电子设备的方法及装置
CN108921178B (zh) 获取图像模糊程度分类的方法、装置、电子设备
US10778947B2 (en) Sympathetic assistive mutation of live camera preview/display image stream
CN105513067A (zh) 一种图像清晰度检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201105

Address after: 266101 No. 1 Haier Road, Laoshan District, Shandong, Qingdao

Patentee after: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd.

Patentee after: Haier Zhijia Co.,Ltd.

Address before: 266101 No. 1 Haier Road, Laoshan District, Shandong, Qingdao

Patentee before: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd.