CN104896868A - 一种根据远程图像识别管理冰箱食品列表的方法 - Google Patents
一种根据远程图像识别管理冰箱食品列表的方法 Download PDFInfo
- Publication number
- CN104896868A CN104896868A CN201510341953.9A CN201510341953A CN104896868A CN 104896868 A CN104896868 A CN 104896868A CN 201510341953 A CN201510341953 A CN 201510341953A CN 104896868 A CN104896868 A CN 104896868A
- Authority
- CN
- China
- Prior art keywords
- refrigerator
- food
- identification
- mobile terminal
- refrigerator system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
- F25D29/003—Arrangement or mounting of control or safety devices for movable devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2500/00—Problems to be solved
- F25D2500/06—Stock management
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明公开了一种根据远程图像识别管理冰箱食品列表的方法，其特征是：在冰箱的搁架及瓶框各处内置摄像头，通过多重触发方式，启动摄像头程序运行，依次调用摄像头进行拍摄，冰箱系统将图片传输数据到云端服务器，启动图像识别软件，将云端服务器的图片数据转化为食品数据信息，并回传数据到冰箱系统和移动终端，当软件识别失败时，可由后台服务终端进行辅助识别，若仍识别失败，则通过发送提示到冰箱系统和移动终端。本发明能自动化自动生成食品列表，从而提高冰箱智能化水平，提升用户体验。
Description
技术领域
本发明涉及智能家电领域，具体地说是一种根据远程图像识别管理冰箱食品列表的方法。
背景技术
随着家电智能化的发展，冰箱也开始智能化，日益繁忙的人们经常去超市购物时想不起来家里冰箱有什么食品，因而造成重复购买或者漏买食品，目前的智能冰箱在管理食品方面一般采用手动、语音、条码等方式，都需要用户手动操作录入信息，从而生成食品列表，操作繁琐，且改变了用户的使用习惯，没有很好的体验感。
发明内容
本发明是为避免上述现有技术所存在的不足之处，提供一种根据远程图像识别管理冰箱食品列表的方法，以期能自动化自动生成食品列表，从而提高冰箱智能化水平，提升用户体验。
本发明为解决技术问题采用如下技术方案：
本发明一种根据远程图像识别管理冰箱食品列表的方法的特点是应用于包含云端服务器、移动终端和后台服务终端的网络环境中，所述云端服务器存储有云端食品图片数据库，所述方法是按如下步骤进行：
步骤1、在冰箱的搁架及瓶框各处内置摄像头，并通过多重触发方式向冰箱系统发送触发信号，用于启动摄像头程序运行；
步骤2、冰箱系统接收触发信号，并启动摄像头程序运行，依次调用各个摄像头对冰箱内部进行拍照，获取若干图片数据；
步骤3、完成拍照后，冰箱系统上传所述若干图片数据到云端服务器进行存储；
步骤4、云端服务器接收到所述若干图片数据，并启动图像识别软件依次进行识别处理，若识别成功，则将获得的识别结果分别与所述云端食品图片数据库中的数据进行一一比对，并筛选出相似度大于90％的识别结果所表示的食品数据发送到所述冰箱系统或/和移动终端的显示界面；若识别失败，则将识别失败的图片数据发送到后台服务终端进行辅助识别；若辅助识别成功，则获得的识别结果所表示的食品数据输出到冰箱系统或/和移动终端的显示界面；若辅助识别失败，则发送提示信息到冰箱系统或/和移动终端的显示界面；
步骤5、冰箱系统或/和移动终端的显示界面接收所述食品数据或提示消息进行实时显示。
本发明所述的根据远程图像识别管理冰箱食品列表的方法的特点也在于：
所述摄像头可安装在冰箱的箱体侧面、背面、门体上；且每层搁架或者保鲜盒中至少分配一个摄像头，并通过HUB板连接到冰箱系统中。
所述多重触发方式可以是：冰箱门开关触发、移动终端远程触发、手动触发、定时触发中至少一种触发方式。
所述辅助识别包括图像识别软件进一步识别和/或人工辅助识别。
与已有技术相比，本发明的有益效果体现在：
本发明采用摄像头装置能实时采集冰箱内部食品存放情况，并通过云端服务器所带有的图像识别软件进行自动识别，获得冰箱内部真实食品库存信息并发送到用户手机或冰箱显示面板上，从而使得用户将食品放入冰箱后，无需再手动操作，即可远程查看或直接查看和管理冰箱食品，避免了重复购买和漏买食品，方便快捷，不改变用户的使用习惯，用户体验感良好。
附图说明
图1为本发明系统构成框图；
图2为本发明系统控制流程示意图；
图3为本发明系统摄像头安装结构的一个实施例。
具体实施方式
如图1所示，本实施例中，一种根据远程图像识别管理冰箱食品列表的方法，是应用于包含云端服务器、移动终端和后台服务终端的网络环境中，云端服务器存储有云端食品图片数据库，如图2所示，其方法按如下步骤进行：
步骤1、在冰箱的每层搁架及瓶框各处内置一个或者多个摄像头，并通过多重触发方式向冰箱系统发送触发信号，用于启动摄像头程序运行；如图3所示，具体实施中，摄像头可安装在冰箱的箱体侧面、背面、门体上；且每层搁架或者保鲜盒中至少分配一个摄像头，并通过HUB板连接到冰箱系统中；而多重触发方式可以是：冰箱门开关触发、移动终端远程触发、手动触发、定时触发中至少一种触发方式；
步骤2、冰箱系统接收触发信号，触发信号可能是门开关、冰箱界面手动触发或者手机端触发中的任意一种，并发送指令启动摄像头程序运行，依次调用各个摄像头对冰箱内部进行拍照，获取若干图片数据；
步骤3、完成拍照后，冰箱系统上传若干图片数据到云端服务器进行存储；
步骤4、云端服务器接收到若干图片数据，并启动图像识别软件依次进行识别处理，若识别成功，则将获得的识别结果分别与云端食品图片数据库中的数据进行一一比对，并筛选出相似度大于90％的识别结果所表示的食品数据发送到冰箱系统或/和移动终端的显示界面；若识别失败，则将识别失败的图片数据发送到后台服务终端进行辅助识别；辅助识别包括图像识别软件进一步识别和/或人工辅助识别；后台服务终端所配备的人工服务，可以是专业人员进行辅助识别，也可以是用户进行人工识别，若辅助识别成功，则获得的识别结果所表示的食品数据输出到冰箱系统或/和移动终端的显示界面；若辅助识别失败，则发送提示信息到冰箱系统或/和移动终端的显示界面；
步骤5、冰箱系统或/和移动终端的显示界面接收食品数据或提示消息进行实时显示。
Claims (4)
1.一种根据远程图像识别管理冰箱食品列表的方法，其特征是应用于包含云端服务器、移动终端和后台服务终端的网络环境中，所述云端服务器存储有云端食品图片数据库，所述方法是按如下步骤进行：
步骤1、在冰箱的搁架及瓶框各处内置摄像头，并通过多重触发方式向冰箱系统发送触发信号，用于启动摄像头程序运行；
步骤2、冰箱系统接收触发信号，并启动摄像头程序运行，依次调用各个摄像头对冰箱内部进行拍照，获取若干图片数据；
步骤3、完成拍照后，冰箱系统上传所述若干图片数据到云端服务器进行存储；
步骤4、云端服务器接收到所述若干图片数据，并启动图像识别软件依次进行识别处理，若识别成功，则将获得的识别结果分别与所述云端食品图片数据库中的数据进行一一比对，并筛选出相似度大于90％的识别结果所表示的食品数据发送到所述冰箱系统或/和移动终端的显示界面；若识别失败，则将识别失败的图片数据发送到后台服务终端进行辅助识别；若辅助识别成功，则获得的识别结果所表示的食品数据输出到冰箱系统或/和移动终端的显示界面；若辅助识别失败，则发送提示信息到冰箱系统或/和移动终端的显示界面；
步骤5、冰箱系统或/和移动终端的显示界面接收所述食品数据或提示消息进行实时显示。
2.根据权利要求1所述的根据远程图像识别管理冰箱食品列表的方法，其特征是：所述摄像头可安装在冰箱的箱体侧面、背面、门体上；且每层搁架或者保鲜盒中至少分配一个摄像头，并通过HUB板连接到冰箱系统中。
3.根据权利要求1所述的根据远程图像识别管理冰箱食品列表的方法，其特征是：所述多重触发方式可以是：冰箱门开关触发、移动终端远程触发、手动触发、定时触发中至少一种触发方式。
4.根据权利要求1所述的根据远程图像识别管理冰箱食品列表的方法，其特征是：所述辅助识别包括图像识别软件进一步识别和/或人工辅助识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510341953.9A CN104896868A (zh) | 2015-06-18 | 2015-06-18 | 一种根据远程图像识别管理冰箱食品列表的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510341953.9A CN104896868A (zh) | 2015-06-18 | 2015-06-18 | 一种根据远程图像识别管理冰箱食品列表的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104896868A true CN104896868A (zh) | 2015-09-09 |
Family
ID=54029687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510341953.9A Pending CN104896868A (zh) | 2015-06-18 | 2015-06-18 | 一种根据远程图像识别管理冰箱食品列表的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104896868A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105605879A (zh) * | 2016-02-25 | 2016-05-25 | 合肥华凌股份有限公司 | 冰箱及其控制方法 |
| CN105783375A (zh) * | 2016-04-05 | 2016-07-20 | 上海绿联软件股份有限公司 | 一种开门式冰箱 |
| CN105953520A (zh) * | 2016-05-06 | 2016-09-21 | 青岛海尔股份有限公司 | 智能冰箱控制方法及其控制系统 |
| CN106091565A (zh) * | 2016-06-12 | 2016-11-09 | 合肥华凌股份有限公司 | 基于冰箱显示屏的信息推送方法、系统和冰箱 |
| CN106247754A (zh) * | 2016-10-31 | 2016-12-21 | 四川长虹电器股份有限公司 | 一种具有食品管理功能的智能冰箱系统 |
| CN106679321A (zh) * | 2016-12-19 | 2017-05-17 | Tcl集团股份有限公司 | 一种智能冰箱食物管理方法及智能冰箱 |
| CN107796168A (zh) * | 2016-09-07 | 2018-03-13 | 北京京东尚科信息技术有限公司 | 智能冰箱的食品信息管理方法 |
| CN107798572A (zh) * | 2016-09-07 | 2018-03-13 | 北京京东尚科信息技术有限公司 | 用于智能冰箱的购物触发方法 |
| CN107886028A (zh) * | 2016-09-29 | 2018-04-06 | 九阳股份有限公司 | 一种冰箱的食材录入方法及食材录入装置 |
| CN108397974A (zh) * | 2017-02-04 | 2018-08-14 | 北京京东尚科信息技术有限公司 | 食品管理方法及装置 |
| JPWO2017179188A1 (ja) * | 2016-04-15 | 2018-09-20 | 三菱電機株式会社 | 冷蔵庫及びそれを含むネットワークシステム |
| CN109000424A (zh) * | 2017-06-07 | 2018-12-14 | 博西华电器（江苏）有限公司 | 获取冰箱内部信息的方法及冰箱 |
| CN109028744A (zh) * | 2018-05-31 | 2018-12-18 | 上海康斐信息技术有限公司 | 一种冰箱菜品保鲜的提醒方法及系统 |
| CN109631456A (zh) * | 2017-10-06 | 2019-04-16 | 东芝生活电器株式会社 | 冰箱 |
| CN110426964A (zh) * | 2019-08-13 | 2019-11-08 | 合肥美的电冰箱有限公司 | 家电控制装置、智能设备、家电、家电控制系统及方法 |
| CN113883818A (zh) * | 2021-09-30 | 2022-01-04 | 创维电器股份有限公司 | 一种实现冰箱冷冻室食品追踪及食品管理方法 |
| CN113915822A (zh) * | 2021-01-22 | 2022-01-11 | 海信（山东）冰箱有限公司 | 冰箱、冰箱控制方法、冰箱自动补货方法和系统 |
| WO2022242491A1 (zh) * | 2021-05-18 | 2022-11-24 | 青岛海尔电冰箱有限公司 | 冰箱储物间室使用状态的检测方法和冰箱 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002236798A (ja) * | 2001-02-13 | 2002-08-23 | Matsushita Refrig Co Ltd | 冷蔵庫の食品管理装置及び食品管理方法 |
| JP2005037086A (ja) * | 2003-07-17 | 2005-02-10 | Sanyo Electric Co Ltd | 冷蔵庫並びに冷蔵庫の食品管理方法 |
| CN103335485A (zh) * | 2013-02-07 | 2013-10-02 | 江苏大学 | 基于物联网技术的智能冰箱及其存储食品管理方法 |
| CN103604271A (zh) * | 2013-11-07 | 2014-02-26 | 四川长虹电器股份有限公司 | 一种基于智能冰箱的食品识别方法 |
| CN103604273A (zh) * | 2013-11-13 | 2014-02-26 | 四川长虹电器股份有限公司 | 智能冰箱食品管理的方法 |
| CN103884149A (zh) * | 2012-12-24 | 2014-06-25 | 遵义市亿易通科技网络有限责任公司 | 冰箱智能识别系统 |
-
2015
- 2015-06-18 CN CN201510341953.9A patent/CN104896868A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002236798A (ja) * | 2001-02-13 | 2002-08-23 | Matsushita Refrig Co Ltd | 冷蔵庫の食品管理装置及び食品管理方法 |
| JP2005037086A (ja) * | 2003-07-17 | 2005-02-10 | Sanyo Electric Co Ltd | 冷蔵庫並びに冷蔵庫の食品管理方法 |
| CN103884149A (zh) * | 2012-12-24 | 2014-06-25 | 遵义市亿易通科技网络有限责任公司 | 冰箱智能识别系统 |
| CN103335485A (zh) * | 2013-02-07 | 2013-10-02 | 江苏大学 | 基于物联网技术的智能冰箱及其存储食品管理方法 |
| CN103604271A (zh) * | 2013-11-07 | 2014-02-26 | 四川长虹电器股份有限公司 | 一种基于智能冰箱的食品识别方法 |
| CN103604273A (zh) * | 2013-11-13 | 2014-02-26 | 四川长虹电器股份有限公司 | 智能冰箱食品管理的方法 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105605879B (zh) * | 2016-02-25 | 2018-08-28 | 合肥华凌股份有限公司 | 冰箱及其控制方法 |
| CN105605879A (zh) * | 2016-02-25 | 2016-05-25 | 合肥华凌股份有限公司 | 冰箱及其控制方法 |
| CN105783375A (zh) * | 2016-04-05 | 2016-07-20 | 上海绿联软件股份有限公司 | 一种开门式冰箱 |
| JPWO2017179188A1 (ja) * | 2016-04-15 | 2018-09-20 | 三菱電機株式会社 | 冷蔵庫及びそれを含むネットワークシステム |
| EP3438577A4 (en) * | 2016-05-06 | 2019-05-08 | Qingdao Haier Joint Stock Co., Ltd | INTELLIGENT REFRIGERATOR AND CONTROL METHOD AND CONTROL SYSTEM THEREOF |
| CN105953520A (zh) * | 2016-05-06 | 2016-09-21 | 青岛海尔股份有限公司 | 智能冰箱控制方法及其控制系统 |
| WO2017190518A1 (zh) * | 2016-05-06 | 2017-11-09 | 青岛海尔股份有限公司 | 智能冰箱及其控制方法和控制系统 |
| CN106091565A (zh) * | 2016-06-12 | 2016-11-09 | 合肥华凌股份有限公司 | 基于冰箱显示屏的信息推送方法、系统和冰箱 |
| CN107798572A (zh) * | 2016-09-07 | 2018-03-13 | 北京京东尚科信息技术有限公司 | 用于智能冰箱的购物触发方法 |
| WO2018045838A1 (zh) * | 2016-09-07 | 2018-03-15 | 北京京东尚科信息技术有限公司 | 智能冰箱的食品信息管理方法、设备和计算机可读存储介质 |
| CN107796168A (zh) * | 2016-09-07 | 2018-03-13 | 北京京东尚科信息技术有限公司 | 智能冰箱的食品信息管理方法 |
| CN107886028A (zh) * | 2016-09-29 | 2018-04-06 | 九阳股份有限公司 | 一种冰箱的食材录入方法及食材录入装置 |
| CN106247754A (zh) * | 2016-10-31 | 2016-12-21 | 四川长虹电器股份有限公司 | 一种具有食品管理功能的智能冰箱系统 |
| CN106679321A (zh) * | 2016-12-19 | 2017-05-17 | Tcl集团股份有限公司 | 一种智能冰箱食物管理方法及智能冰箱 |
| CN108397974A (zh) * | 2017-02-04 | 2018-08-14 | 北京京东尚科信息技术有限公司 | 食品管理方法及装置 |
| CN109000424A (zh) * | 2017-06-07 | 2018-12-14 | 博西华电器（江苏）有限公司 | 获取冰箱内部信息的方法及冰箱 |
| CN109631456A (zh) * | 2017-10-06 | 2019-04-16 | 东芝生活电器株式会社 | 冰箱 |
| CN109631456B (zh) * | 2017-10-06 | 2021-04-13 | 东芝生活电器株式会社 | 冰箱 |
| CN109028744A (zh) * | 2018-05-31 | 2018-12-18 | 上海康斐信息技术有限公司 | 一种冰箱菜品保鲜的提醒方法及系统 |
| CN110426964A (zh) * | 2019-08-13 | 2019-11-08 | 合肥美的电冰箱有限公司 | 家电控制装置、智能设备、家电、家电控制系统及方法 |
| CN113915822A (zh) * | 2021-01-22 | 2022-01-11 | 海信（山东）冰箱有限公司 | 冰箱、冰箱控制方法、冰箱自动补货方法和系统 |
| WO2022242491A1 (zh) * | 2021-05-18 | 2022-11-24 | 青岛海尔电冰箱有限公司 | 冰箱储物间室使用状态的检测方法和冰箱 |
| CN113883818A (zh) * | 2021-09-30 | 2022-01-04 | 创维电器股份有限公司 | 一种实现冰箱冷冻室食品追踪及食品管理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104896868A (zh) | 一种根据远程图像识别管理冰箱食品列表的方法 | |
| EP3032369B1 (en) | Methods for clearing garbage and devices for the same | |
| CN103604273B (zh) | 智能冰箱食品管理的方法 | |
| CN106679321A (zh) | 一种智能冰箱食物管理方法及智能冰箱 | |
| CN110460905A (zh) | 基于多设备的视频自动续播方法、装置及存储介质 | |
| CN105812723A (zh) | 一种智能摄像头监控的方法及装置 | |
| CN105847067A (zh) | Zigbee设备的升级方法和装置 | |
| CN108334651B (zh) | 收集用户端数据实现预设需求的方法、装置及存储介质 | |
| WO2017084220A1 (zh) | 一种拍照处理的方法、装置以及终端 | |
| TWI507046B (zh) | 視頻留言系統、終端及實現方法 | |
| CN105320098A (zh) | 智能家居控制方法及系统 | |
| CN110087131A (zh) | 电视系统中的电视控制方法及主控终端 | |
| CN113452772B (zh) | 智能场景的处理方法、装置、存储介质及电子设备 | |
| CN109872177A (zh) | 流程处理方法、装置、计算机设备及计算机可读存储介质 | |
| CN207458230U (zh) | 一种储物柜控制装置及系统 | |
| CN107426064A (zh) | 物联网控制情景的配置方法及装置 | |
| CN115202599A (zh) | 一种投屏显示方法和相关装置 | |
| CN108986444A (zh) | 一种红外编码的学习方法及其发射设备 | |
| JP6625247B2 (ja) | 分散協調システム、機器行動監視装置及び家電機器 | |
| CN104394258B (zh) | 对通讯对象的联系方式变化进行处理的方法和装置 | |
| CN105897570A (zh) | 推送方法及装置 | |
| CN103227942A (zh) | 数字电视智能授权方法 | |
| CN204631844U (zh) | 家庭微云存储系统 | |
| CN111814996B (zh) | 基于bim的数据处理方法及相关装置 | |
| CN114242054A (zh) | 智能设备控制方法、装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150909 |
|
| RJ01 | Rejection of invention patent application after publication |