CN105953520B - 智能冰箱控制方法及其控制系统 - Google Patents
智能冰箱控制方法及其控制系统 Download PDFInfo
- Publication number
- CN105953520B CN105953520B CN201610302282.XA CN201610302282A CN105953520B CN 105953520 B CN105953520 B CN 105953520B CN 201610302282 A CN201610302282 A CN 201610302282A CN 105953520 B CN105953520 B CN 105953520B
- Authority
- CN
- China
- Prior art keywords
- article
- identified
- identification information
- refrigerator
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
- F25D29/005—Mounting of control devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
- F25D2400/36—Visual displays
- F25D2400/361—Interactive visual displays
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2500/00—Problems to be solved
- F25D2500/06—Stock management
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明揭示了一种智能冰箱控制方法及控制系统,所述方法包括:通过网络接收冰箱发送的待识别物品的图像信息;以接收的待识别物品的图像信息查询网络数据库,获取与其匹配的标识信息;将所述标识信息通过网络发送至冰箱,以通过冰箱的显示界面显示。本发明的智能冰箱控制方法及控制系统,基于网络识别待识别物品的图像信息,并对其进行匹配;进一步的,根据冰箱使用过程中产生的数据更新网络数据库,当再次产生新的图像信息时,即可以依据更新后的网络数据库对其进行处理,如此,借助用户端冰箱反馈的数据,增大所述网络数据库中存储的数据,保证后台食物识别的准确性,并进一步提升用户体验感。
Description
技术领域
本发明涉及家用电器领域,尤其涉及一种智能冰箱控制方法及其控制系统。
背景技术
物联网是继计算机、互联网与移动通信之后又一次全球信息化浪潮,是全球信息化发展的新阶段,随着物联网概念的兴起,家电行业产品加速智能化,推出一系列智能冰箱。
现有的智能冰箱,通常采用摄像头采集其内的物品图片,根据物品图片对应的物品标识,对物品进行分类,进而控制冰箱的温度对物品进行保鲜等操作。
通过摄像头对物品进行识别过程中,需要预先设置一数据库对物品的图片以及相应标识进行保持。现有冰箱识别系统中,数据库的建立通常采用下述方法:
在冰箱出厂之前,测试人员对大量食材进行数次拍照、定义、标记,之后将获得的数据上传到数据库,并进一步将该数据库植入到客户端的冰箱内,为了保证后期识别的准确性,该数据库中需要存储的物品信息十分庞大,如此,需要大量的人力、物力建设该数据库,进一步的,当冰箱出厂之后,该数据库即始终保持不变,如此,随着科技的进步,当越来越多的异类物品出现时,摄像头对物品识别的准确率也会大大降低。
发明内容
本发明的目的在于提供一种智能冰箱控制方法及其控制系统及方法。
为实现上述发明目的之一,本发明一实施方式提供了一种智能冰箱控制方法,所述方法包括:通过网络接收冰箱发送的待识别物品的图像信息;
以接收的待识别物品的图像信息查询网络数据库,获取与其匹配的标识信息;
将所述标识信息通过网络发送至冰箱,以通过冰箱的显示界面显示。
作为本发明一实施方式的进一步改进,所述方法还包括:
若接收到确认信息,所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果正确;
将所述待识别物品的图像信息及标识信息对应更新至所述网络数据库。
作为本发明一实施方式的进一步改进,所述方法还包括:若接收到确认信息,所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果错误;
为所述待识别物品的图像信息配置正确的标识信息,并将所述待识别物品的图像信息以及对应的正确的标识信息更新至网络数据库。
作为本发明一实施方式的进一步改进,以接收的待识别物品的图像信息查询网络数据库,获取与其匹配的标识信息后,所述方法还包括:
将所述待识别物品的图像信息和标识信息一一进行匹配,并同步发送至冰箱,以通过冰箱的显示界面显示。
作为本发明一实施方式的进一步改进,所述方法还包括:
对在冰箱的显示界面显示的所述待识别物品的图像信息以及对应的标识信息借助所述网络数据库进行反向审核,若通过审核,则更新所述网络数据库。
为实现上述发明目的之一,本发明一实施方式提供了一种智能冰箱控制系统,所述系统包括:数据获取模块,用于通过网络接收冰箱发送的待识别物品的图像信息;
查询处理模块,用于以接收的待识别物品的图像信息查询网络数据库,获取与其匹配的标识信息;
输出模块,用于将所述标识信息通过网络发送至冰箱,以通过冰箱的显示界面显示。
作为本发明一实施方式的进一步改进,所述查询处理模块还用于:
若接收到确认信息,所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果正确;
将所述待识别物品的图像信息及标识信息对应更新至所述网络数据库。
作为本发明一实施方式的进一步改进,所述查询处理模块还用于:
若接收到确认信息,所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果错误;
为所述待识别物品的图像信息配置正确的标识信息,并将所述待识别物品的图像信息以及对应的正确的标识信息更新至网络数据库。
作为本发明一实施方式的进一步改进,所述输出模块还用于:
将所述待识别物品的图像信息和标识信息一一进行匹配,并同步发送至冰箱,以通过冰箱的显示界面显示。
作为本发明一实施方式的进一步改进,所述查询处理模块还用于:
对在冰箱的显示界面显示的所述待识别物品的图像信息以及对应的标识信息借助所述网络数据库进行反向审核,若通过审核,则更新所述网络数据库。
相对于现有技术,本发明的技术效果在于:本发明的智能冰箱控制方法及控制系统,基于网络识别待识别物品的图像信息,并对其进行匹配;进一步的,基于冰箱使用过程中产生的数据更新网络数据库,当再次产生新的图像信息时,即可以依据更新后的网络数据库对其进行处理,如此,借助用户端冰箱反馈的数据,增大所述网络数据库中存储的数据,保证后台食物识别的准确性,并进一步提升用户体验感。
附图说明
图1是本发明一实施方式中智能冰箱控制方法的流程示意图;
图2是本发明一实施方式中智能冰箱控制系统的模块示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
结合图1所示,本发明提供一种智能冰箱控制方法,所述方法包括:
S1、通过网络接收冰箱发送的待识别物品的图像信息;
所述待识别物品的图像信息,为冰箱中存储物品的图像信息,其通常由冰箱中设置的采集装置进行获取,例如:摄像头。
为了防止冰箱误操作,所述冰箱外侧通常还设置若干控制按钮,相应控制按钮启动时,视为发出识别信号,开始启动摄像头识别冰箱中保存物品的图像信息。当然,在本发明的其他实施方式中,还可以在冰箱上设置传感器等设备,用于发出识别信号。在本发明一优选实施方式中,当打开冰箱门后,即视为发出识别信号,在此不做详细赘述。
可以理解的是,每次图像采集装置工作时,根据其安装位置以及光线的明暗度的变化,其获取物品的数量及颜色均可能不同,例如:其获取的物品图片上可能存在一种物品,也可能存在多种不同的物品,在此不做详细赘述。
所述网络的连接方式不做具体限定,例如:RFID、蓝牙、WIFI、Internet、局域网等连接方式。
进一步的,本发明一实施方式中,所述方法还包括:
S2、以接收的待识别物品的图像信息查询网络数据库,获取与其匹配的标识信息;
所述网络数据库包括:物品的属性信息以及对应的标识信息。
所述网络数据库可存储于云端或单独的服务器上,用户端的冰箱通过网络与该网络数据库进行连接以及进行交换。
所述网络数据库存储的数据可根据用户对其客户端冰箱的操作进行更新,如此,所述网络数据库存储的初始数据并不要求十分庞大,进而节约建库的人力、物力成本,以下将会详细介绍。
所述标识信息通常为物品名称。
本发明一优选实施方式中,所述步骤S2具体包括:
采用轮廓检测技术及背景分割技术对图像信息进行预处理,以获取图像信息的特征向量组,所述特征向量组包括:物品的形状、颜色、纹理等。
查找所述网络数据库,从分别对应不同物品的多个特征向量类中,选择与所述待识别物品的图像信息所对应的特征向量之间具有最大相关度的特征向量类;
将所述具有最大相关度的特征向量类所对应的标识信息赋予所述待测物品对应的图像信息。
通常情况下,每个特征向量类包括多组特征向量。
所述相似度可以用数值表示;其可为特征向量组中的各个特征向量的相似度的平均值,中值、加权平均值等。
例如:以相似度采用特征向量组中的各个特征向量的相似度的平均值表示,
假设将待识别物品的图像信息的特征向量组与所述网络数据库400中的特征向量类进行比对搜索后,待识别物品1,其对应的颜色的相似度为90%、形状相似度为96%、纹理相似度为93%,那么所述相似度的值为(90%+96%+93%)/3=93%;待识别物品2,其对应的颜色的相似度为50%、形状相似度为40%、纹理相似度为60%,那么所述相似度的值为(50%+40%+60%)/3=50%,在此不做详细赘述。
进一步的,本发明一实施方式中,所述方法还包括:
S3、将所述标识信息通过网络发送至冰箱,以通过冰箱的显示界面显示。
本实施方式中,为了避免冰箱与网络数据库交互过程中产生较多的数据,当识别到物品的图像信息后,将所述图像信息直接发送给网络数据库进行解析,同时,发送到冰箱的显示界面进行显示;进一步的,仅将经过网络数据库解析后匹配的标识信息返回给冰箱,并进一步的在冰箱的显示界面进行显示。
本发明另一实施方式中,将所述待识别物品的图像信息和标识信息一一进行匹配,并同步发送至冰箱,以通过冰箱的显示界面显示。
相应的,冰箱的显示界面上,在图像信息的显示区域内,同步显示标识信息;或是以列表的形式,一一进行匹配显示所述图像信息以及其对应的标识信息,在此不做详细赘述。
该实施方式中,当所述待识别物品的图像信息匹配到标识信息后,将所述待识别物品的图像信息和与之匹配的标识信息一一进行匹配并同时返回给冰箱,通过冰箱的显示界面进行显示,如此,当接收的图像信息为多个物品的图像信息时,用户可以更易观察图像信息与标识信息的匹配关系。
当然,显示方式有多种,例如:分区域显示、列表显示等,在此不做详细赘述。
进一步的,本发明一实施方式中,所述方法还包括:
S41、若接收到确认信息,所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果正确;将所述待识别物品的图像信息及标识信息对应更新至所述网络数据库。
该实施方式中,判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果是否正确;若匹配结果正确,将获得的待识别物品的图像信息及标识信息更新至所述网络数据库。
S42、若接收到确认信息,所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果错误;为所述待识别物品的图像信息配置正确的标识信息,并将所述待识别物品的图像信息以及对应的正确的标识信息更新至网络数据库。
该实施方式中,判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果是否错误;若匹配结果错误,为所述待识别物品的图像信息配置正确的标识信息,并将所述待识别物品的图像信息以及对应的标识信息更新至所述网络数据库。
上述步骤S41、S42为选择关系,在此不做详细赘述。
判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果是否正确有多种方式;
本发明一种实施方式中,借助用户辅助识别输出至冰箱的显示界面的物品图像信息和标识信息的匹配结果是否正确,并由用户操作显示界面进而更新相应数据。
本发明一种实施方式中,设置一相似度阈值,当所述待识别物品的图像信息的特征向量组与所述网络数据库中的特征向量类的相似度大于所述相似度阈值时,判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果为正确;否则为错误。
所述相似度阈值为一固定数值,其取值范围通常在50%至100%之间。
为了方便理解,以下将描述一具体示例用于理解本发明。
假设相似度阈值为70%,那么接续上述示例,待识别物品1的相似度大于系统预设的相似度阈值,则判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果为正确;待识别物品2的相似度小于系统预设的相似度阈值,则判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果为错误。
如此,通过用户端的冰箱操作,主动扩充所述网络数据库中存储的数据,进而节约建库的人力、物力成本。
本发明一优选实施方式中,所述方法还可包括:
S5、对在冰箱的显示界面显示的所述待识别物品的图像信息以及对应的标识信息通过所述网络数据库进行反向审核,若通过审核,则更新所述网络数据库。
所述反向审核过程中,以所述标识信息查询所述网络数据库,获取所述网络数据库中与所述标识信息对应的唯一特征向量类;将所述待识别物品的图像信息与所述特征向量类进行比对,并通过比对结果确定所述待识别物品的图像信息以及对应的标识信息是否可以通过所述网络数据库的反向审核。
本发明具体示例中,结合步骤S2所述内容,可以同样采用轮廓检测技术及背景分割技术对所述待识别物品的图像信息进行预处理,以获取所述待识别物品的图像信息的特征向量组,所述特征向量组包括:物品的形状、颜色、纹理等。
同样设置一审核相似度阈值,当所述待识别物品的图像信息的特征向量组与所述网络数据库中已知的特征向量类的相似度大于所述相似度阈值时,判断返回至网络数据库的待识别物品的图像信息和标识信息通过审核,如此,可以避免用户误操作而扰乱网络数据库。
所述审核相似度阈值同样为一固定数值,其取值范围通常在50%至100%之间。
场景1下:
例如:待识别物品为“橘子”,在通过网络接收到“橘子”的图片信息时,经过查询网络数据库后,识别出该物品对应的标识信息为“橘子”,并进一步的将“橘子”的图片信息和匹配的标识信息发送至冰箱,以通过冰箱的显示界面显示。
显示界面显示的图片信息和匹配的标识信息未做任何改动;同时,以标识信息为“橙子”反向查询所述网络数据库,经过再次比对后,确认通过审核,并将当次获取的待识别物品的图片信息和标识信息更新至网络数据库。
场景2下:
例如:待识别物品为“橘子”,在通过网络接收到“橘子”的图片信息时,经过查询网络数据库后,识别出该物品对应的标识信息为“橘子”,并进一步的将“橘子”的图片信息和匹配的标识信息发送至冰箱,以通过冰箱的显示界面显示。
对显示界面显示的图片信息和匹配的标识信息进行改动,例如:用户误操作,将对应“橙子”的图片信息的标识信息更改为“香蕉”;并进一步的以标识信息为“香蕉”反向查询所述网络数据库,经过再次比对后,可确认改动后的数据未能通过审核,此时,为了简化程序,防止进入死循环,可直接对该相应数据做丢弃处理。
场景3下:
例如:待识别物品为“橘子”,在通过网络接收到“橘子”的图片信息时,经过查询网络数据库后,由于光线的明暗变化等因素,采集出的图片信息经过查询数据库后,识别出该物品对应的标识信息被误认为“橙子”,并进一步的将“橙子”的图片信息和匹配的标识信息发送至冰箱,以通过冰箱的显示界面显示。
对显示界面显示的图片信息和匹配的标识信息进行改动,例如:将对应“橙子”的图片信息的标识信息由“橙子”更改为“橘子”;并进一步的以标识信息为“橘子”反向查询所述网络数据库,经过再次比对后,改动后的数据确认通过审核,如此后,将当次获取的待识别物品的图片信息和标识信息更新至网络数据库。
当然,在本发明的其他实施方式中,还可以设置次数阈值,用户端在一个时间段内,对网络数据库给出的标识信息N次进行修改后,N大于等于次数阈值,则将该用户端设置为恶意操作用户端,并限制其在一定时间内禁止对数据进行更改,在此不做详细赘述。
当然,在本发明的技术领域中,通过图像比对,判断数据的准确性还具有多种方式,在此不在一一列举。在本发明的其他优选实施方式中,为了缩减计算量,还可以设置网络数据库的更新周期,例如:1小时、1天、一周等,也可以有网络数据库的管理者按照需求定期更新,当网络数据库接收到相应的更新信息后,先对相应的更新信息进行存储,之后在设定的更新周期下,统一对数据进行更新,如此,缩减计算量,在此不做详细赘述。
另外,本发明一实施方式中,当所述网络数据库接收到用户端上传的数据后,也可以由所述网络数据库的管理者辅助检测上传数据的有效性,之后再进行相应的更新操作,在此不做详细赘述。
进一步的,当再次通过网络接收到图像信息后,即可以依据更新后的网络数据库对其进行处理,如此,借助用户端反馈的数据,增大所述网络数据库中存储的数据,保证后台食物识别的准确性。
可以理解的是,本发明的网络数据库,通过网络统一进行管理,如此,可以根据客户的需求,给与更好的服务,同时,还可以通过网络数据库为用户端的冰箱增加推送内容,便于统一管理。
结合图2所示,本发明一实施方式中,智能冰箱控制系统包括:用户端以及与之进行网络连接的服务器端;所述用户端包括:图像采集模块100,用于采集待识别物品的图像信息。所述服务器端包括:数据获取模块200,查询处理模块300,输出模块400、网络数据库500。
数据获取模块200用于通过网络接收冰箱发送的待识别物品的图像信息;
所述待识别物品的图像信息,为冰箱中存储物品的图像信息,其通常由冰箱中设置的图像采集模块100进行获取,例如:摄像头。
为了防止冰箱误操作,所述冰箱外侧通常还设置若干控制按钮,相应控制按钮启动时,视为发出识别信号,开始启动图像采集模块100识别冰箱中保存物品的图像信息。当然,在本发明的其他实施方式中,还可以在冰箱上设置传感器等设备,用于发出识别信号。在本发明一优选实施方式中,当打开冰箱门后,即视为发出识别信号,在此不做详细赘述。
可以理解的是,每次图像采集模块100工作时,根据其安装位置以及光线的明暗度的变化,其获取物品的数量及颜色均可能不同,例如:其获取的物品图片上可能存在一种物品,也可能存在多种不同的物品,在此不做详细赘述。
所述网络的连接方式不做具体限定,例如:RFID、蓝牙、WIFI、Internet、局域网等连接方式。
进一步的,本发明一实施方式中,查询处理模块300用于:以接收的待识别物品的图像信息查询网络数据库500,获取与其匹配的标识信息;
网络数据库500包括:物品的属性信息以及对应的标识信息。
网络数据库500可存储于云端或单独的服务器上,用户端的冰箱通过网络与该网络数据库500进行连接以及进行交换。
网络数据库500存储的数据可根据用户对其客户端冰箱的操作进行更新,如此,网络数据库500在初始状态下,可以不存储数据,或仅存储少量数据,进而节约建库的人力、物力成本,以下将会详细介绍。
所述标识信息通常为物品名称。
本发明一优选实施方式中,查询处理模块300具体用于:
采用轮廓检测技术及背景分割技术对图像信息进行预处理,以获取图像信息的特征向量组,所述特征向量组包括:物品的形状、颜色、纹理等。
查找所述网络数据库500,从分别对应不同物品的多个特征向量类中,选择与所述待识别物品的图像信息所对应的特征向量之间具有最大相关度的特征向量类;
将所述具有最大相关度的特征向量类所对应的标识信息赋予所述待测物品对应的图像信息。
通常情况下,每个特征向量类包括多组特征向量。
所述相似度可以用数值表示;其可为特征向量组中的各个特征向量的相似度的平均值,中值、加权平均值等。
例如:以相似度采用特征向量组中的各个特征向量的相似度的平均值表示,
假设将待识别物品的图像信息的特征向量组与网络数据库500中的特征向量类进行比对搜索后,待识别物品1,其对应的颜色的相似度为90%、形状相似度为96%、纹理相似度为93%,那么所述相似度的值为(90%+96%+93%)/3=93%;待识别物品2,其对应的颜色的相似度为50%、形状相似度为40%、纹理相似度为60%,那么所述相似度的值为(50%+40%+60%)/3=50%,在此不做详细赘述。
进一步的,本发明一实施方式中,输出模块400用于:将所述标识信息通过网络发送至冰箱,以通过冰箱的显示界面显示。
本实施方式中,为了避免用户端的冰箱与网络数据库500交互过程中产生较多的数据,当识别到物品的图像信息后,将所述图像信息直接发送给网络数据库500进行解析,同时,发送到冰箱的显示界面进行显示;进一步的,仅将经过网络数据库500解析后匹配的标识信息返回给冰箱,并进一步的在冰箱的显示界面进行显示。
本发明另一实施方式中,输出模块400或用于将所述待识别物品的图像信息和标识信息一一进行匹配,并同步发送至冰箱,以通过冰箱的显示界面显示。
相应的,冰箱的显示界面上,在图像信息的显示区域内,同步显示标识信息;或是以列表的形式,一一进行匹配显示所述图像信息以及其对应的标识信息,在此不做详细赘述。
该实施方式中,当所述待识别物品的图像信息匹配到标识信息后,输出模块400将所述待识别物品的图像信息和与之匹配的标识信息一一进行匹配并同时返回给冰箱,通过冰箱的显示界面进行显示,如此,当接收的图像信息为多个物品的图像信息时,用户可以更易观察图像信息与标识信息的匹配关系。
当然,显示方式有多种,例如:分区域显示、列表显示等,在此不做详细赘述。
进一步的,本发明一实施方式中,查询处理模块300还用于:若接收到确认信息,所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果正确;将所述待识别物品的图像信息及标识信息对应更新至所述网络数据库500。
该实施方式中,判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果是否正确;若匹配结果正确,将获得的待识别物品的图像信息及标识信息更新至所述网络数据库500。
查询处理模块300还用于:若接收到确认信息,所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果错误;为所述待识别物品的图像信息配置正确的标识信息,并将所述待识别物品的图像信息以及对应的正确的标识信息更新至网络数据库500。
该实施方式中,判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果是否错误;若匹配结果错误,为所述待识别物品的图像信息配置正确的标识信息,并将所述待识别物品的图像信息以及对应的标识信息更新至所述网络数据库500。
判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果是否正确有多种方式;
本发明一种实施方式中,借助用户辅助识别输出至冰箱的显示界面的物品图像信息和标识信息的匹配结果是否正确,并由用户操作显示界面进而更新相应数据。
本发明一种实施方式中,设置一相似度阈值,当查询处理模块300判断所述待识别物品的图像信息的特征向量组与所述网络数据库500中的特征向量类的相似度大于所述相似度阈值时,判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果为正确;否则为错误。
所述相似度阈值为一固定数值,其取值范围通常在50%至100%之间。
为了方便理解,以下将描述一具体示例用于理解本发明。
假设相似度阈值为70%,那么接续上述示例,待识别物品1的相似度大于系统预设的相似度阈值,则判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果为正确;待识别物品2的相似度小于系统预设的相似度阈值,则判断输出至显示界面的待识别物品的图像信息和标识信息的匹配结果为错误。
如此,通过用户端的冰箱操作,主动扩充所述网络数据库500中存储的数据,进而节约建库的人力、物力成本。
本发明一优选实施方式中,查询处理模块300还用于:对在冰箱的显示界面显示的所述待识别物品的图像信息以及对应的标识信息通过所述网络数据库500进行反向审核,若通过审核,则更新所述网络数据库500。
所述反向审核过程中,查询处理模块300以所述标识信息查询网络数据库500,获取所述网络数据库500中与所述标识信息对应的唯一特征向量类;将所述待识别物品的图像信息与所述特征向量类进行比对,并通过比对结果确定所述待识别物品的图像信息以及对应的标识信息是否可以通过所述网络数据库的反向审核。
本发明具体示例中,查询处理模块300可以同样采用轮廓检测技术及背景分割技术对所述待识别物品的图像信息进行预处理,以获取所述待识别物品的图像信息的特征向量组,所述特征向量组包括:物品的形状、颜色、纹理等。
同样设置一审核相似度阈值,当所述待识别物品的图像信息的特征向量组与所述网络数据库中的已知特征向量类的相似度大于所述相似度阈值时,判断返回至网络数据库的待识别物品的图像信息和标识信息通过审核,如此,可以避免用户误操作而扰乱网络数据库。
所述审核相似度阈值同样为一固定数值,其取值范围通常在50%至100%之间。
场景1下:
例如:待识别物品为“橘子”,在通过网络接收到“橘子”的图片信息时,经过查询网络数据库后,识别出该物品对应的标识信息为“橘子”,并进一步的将“橘子”的图片信息和匹配的标识信息发送至冰箱,以通过冰箱的显示界面显示。
显示界面显示的图片信息和匹配的标识信息未做任何改动;同时,以标识信息为“橙子”反向查询所述网络数据库,经过再次比对后,确认通过审核,并将当次获取的待识别物品的图片信息和标识信息更新至网络数据库。
场景2下:
例如:待识别物品为“橘子”,在通过网络接收到“橘子”的图片信息时,经过查询网络数据库后,识别出该物品对应的标识信息为“橘子”,并进一步的将“橘子”的图片信息和匹配的标识信息发送至冰箱,以通过冰箱的显示界面显示。
对显示界面显示的图片信息和匹配的标识信息进行改动,例如:用户误操作,将对应“橙子”的图片信息的标识信息更改为“香蕉”;并进一步的以标识信息为“香蕉”反向查询所述网络数据库,经过再次比对后,可确认改动后的数据未能通过审核,此时,为了简化程序,防止进入死循环,可直接对该相应数据做丢弃处理。
场景3下:
例如:待识别物品为“橘子”,在通过网络接收到“橘子”的图片信息时,经过查询网络数据库后,由于光线的明暗变化等因素,采集出的图片信息经过查询数据库后,识别出该物品对应的标识信息被误认为“橙子”,并进一步的将“橙子”的图片信息和匹配的标识信息发送至冰箱,以通过冰箱的显示界面显示。
对显示界面显示的图片信息和匹配的标识信息进行改动,例如:将对应“橙子”的图片信息的标识信息由“橙子”更改为“橘子”;并进一步的以标识信息为“橘子”反向查询所述网络数据库,经过再次比对后,改动后的数据确认通过审核,如此后,将当次获取的待识别物品的图片信息和标识信息更新至网络数据库。
当然,在本发明的其他实施方式中,还可以设置次数阈值,用户端在一个时间段内,对网络数据库给出的标识信息N次进行修改后,N大于等于次数阈值,则将该用户端设置为恶意操作用户端,并限制其在一定时间内禁止对数据进行更改,在此不做详细赘述。
当然,在本发明的技术领域中,通过图像比对,判断数据的准确性还具有多种方式,在此不在一一列举。
在本发明的其他优选实施方式中,为了缩减计算量,还可以设置网络数据库500的更新周期,例如:1小时、1天、一周等,也可以有网络数据库500的管理者按照需求定期更新,当网络数据库500接收到相应的更新信息后,先对相应的更新信息进行存储,之后在设定的更新周期下,统一对数据进行更新,如此,缩减计算量,在此不做详细赘述。
另外,本发明一实施方式中,当所述网络数据库500接收到用户端上传的数据后,也可以由所述网络数据库500的管理者辅助检测上传数据的有效性,之后再进行相应的更新操作,在此不做详细赘述。
进一步的,当再次通过网络接收到图像信息后,即可以依据更新后的网络数据库500对其进行处理,如此,借助用户端反馈的数据,增大所述网络数据库500中存储的数据,保证后台食物识别的准确性。
可以理解的是,本发明的网络数据库500,通过网络统一进行管理,如此,可以根据客户的需求,给与更好的服务,同时,还可以通过网络数据库500为用户端的冰箱增加推送内容,便于统一管理。
综上所述,本发明的智能冰箱控制方法及控制系统,基于网络识别待识别物品的图像信息,并对其进行匹配;进一步的,基于冰箱使用过程中产生的数据更新网络数据库,当再次产生新的图像信息时,即可以依据更新后的网络数据库对其进行处理,如此,借助用户端冰箱反馈的数据,增大所述网络数据库中存储的数据,保证后台食物识别的准确性,并进一步提升用户体验感。
在本发明所提供的几个实施方式中,应该理解到,以上所描述的结构、系统以及方法的实施方式仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其他的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。
另外,在本发明各个实施方式中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以2个或2个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
最后应说明的是:以上实施方式仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施方式对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。
Claims (4)
1.一种智能冰箱控制方法,其特征在于,所述方法包括:
通过网络接收冰箱发送的待识别物品的图像信息;
以接收的待识别物品的图像信息查询网络数据库,获取与其匹配的标识信息;
将所述标识信息通过网络发送至冰箱,以通过冰箱的显示界面显示;
若接收到确认信息,
当所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果正确时,将所述待识别物品的图像信息及标识信息对应更新至所述网络数据库;
当所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果错误时,为所述待识别物品的图像信息配置正确的标识信息,并将所述待识别物品的图像信息以及对应的正确的标识信息更新至网络数据库;
对在冰箱的显示界面显示的所述待识别物品的图像信息以及对应的标识信息借助所述网络数据库进行反向审核,以所述标识信息查询所述网络数据库,获取所述网络数据库中与所述标识信息对应的特征向量类;
将所述待识别物品的图像信息与所述特征向量类进行比对,若比对成功,则将所述待识别物品的图像信息及标识信息对应更新至所述网络数据库,或者,将所述待识别物品的图像信息以及对应的正确的标识信息更新至网络数据库;若比对失败,则不更新所述网络数据库。
2.根据权利要求1所述的智能冰箱控制方法,其特征在于,
以接收的待识别物品的图像信息查询网络数据库,获取与其匹配的标识信息后,所述方法还包括:
将所述待识别物品的图像信息和标识信息一一进行匹配,并同步发送至冰箱,以通过冰箱的显示界面显示。
3.一种智能冰箱控制系统,其特征在于,包括:
数据获取模块,用于通过网络接收冰箱发送的待识别物品的图像信息;
查询处理模块,用于以接收的待识别物品的图像信息查询网络数据库,获取与其匹配的标识信息;
若接收到确认信息,当所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果正确,将所述待识别物品的图像信息及标识信息对应更新至所述网络数据库;
当所述确认信息为所述待识别物品的图像信息和输出至冰箱的标识信息的匹配结果错误,为所述待识别物品的图像信息配置正确的标识信息,并将所述待识别物品的图像信息以及对应的正确的标识信息更新至网络数据库;
对在冰箱的显示界面显示的所述待识别物品的图像信息以及对应的标识信息借助所述网络数据库进行反向审核,以所述标识信息查询所述网络数据库,获取所述网络数据库中与所述标识信息对应的特征向量类;将所述待识别物品的图像信息与所述特征向量类进行比对,若比对成功,则将所述待识别物品的图像信息及标识信息对应更新至所述网络数据库,或者,将所述待识别物品的图像信息以及对应的正确的标识信息更新至网络数据库;若比对失败,则不更新所述网络数据库;
输出模块,用于将所述标识信息通过网络发送至冰箱,以通过冰箱的显示界面显示。
4.根据权利要求3所述的智能冰箱控制系统,其特征在于,
所述输出模块还用于:
将所述待识别物品的图像信息和标识信息一一进行匹配,并同步发送至冰箱,以通过冰箱的显示界面显示。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610302282.XA CN105953520B (zh) | 2016-05-06 | 2016-05-06 | 智能冰箱控制方法及其控制系统 |
PCT/CN2016/113927 WO2017190518A1 (zh) | 2016-05-06 | 2016-12-30 | 智能冰箱及其控制方法和控制系统 |
EP16901039.4A EP3438577A4 (en) | 2016-05-06 | 2016-12-30 | INTELLIGENT REFRIGERATOR AND CONTROL METHOD AND CONTROL SYSTEM THEREOF |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610302282.XA CN105953520B (zh) | 2016-05-06 | 2016-05-06 | 智能冰箱控制方法及其控制系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105953520A CN105953520A (zh) | 2016-09-21 |
CN105953520B true CN105953520B (zh) | 2018-08-10 |
Family
ID=56914470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610302282.XA Active CN105953520B (zh) | 2016-05-06 | 2016-05-06 | 智能冰箱控制方法及其控制系统 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3438577A4 (zh) |
CN (1) | CN105953520B (zh) |
WO (1) | WO2017190518A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105953520B (zh) * | 2016-05-06 | 2018-08-10 | 青岛海尔股份有限公司 | 智能冰箱控制方法及其控制系统 |
CN107062794A (zh) * | 2017-03-29 | 2017-08-18 | 青岛海尔股份有限公司 | 智能冰箱,其控制方法及控制系统 |
CN107665247B (zh) * | 2017-09-19 | 2020-12-25 | 北京奇艺世纪科技有限公司 | 一种物品召回方法、装置及电子设备 |
CN110955791A (zh) * | 2018-09-27 | 2020-04-03 | 上海小蚁科技有限公司 | 物品入库、物品信息检索方法及装置、存储介质、终端 |
CN109784193A (zh) * | 2018-12-20 | 2019-05-21 | 上海扩博智能技术有限公司 | 用于智能冰箱的终端数据采集装置及系统 |
CN111692829B (zh) * | 2019-03-13 | 2022-02-01 | 青岛海尔电冰箱有限公司 | 用于冰箱的数据交互方法及交互系统 |
CN110013197A (zh) * | 2019-04-16 | 2019-07-16 | 上海天诚通信技术股份有限公司 | 一种扫地机器人物体识别方法 |
CN112988765B (zh) * | 2019-12-02 | 2023-11-03 | 青岛海尔电冰箱有限公司 | 冰箱保鲜模型数据更新方法、设备及存储介质 |
CN113465251B (zh) * | 2020-05-28 | 2022-10-18 | 海信集团有限公司 | 智能冰箱及食材识别方法 |
CN112270217A (zh) * | 2020-10-13 | 2021-01-26 | 深圳拓邦股份有限公司 | 应用于智能家电设备的本地图像识别装置、系统及方法 |
CN112861684A (zh) * | 2021-01-29 | 2021-05-28 | 北京电解智科技有限公司 | 一种物品展示方法和装置 |
CN113065394B (zh) * | 2021-02-26 | 2022-12-06 | 青岛海尔科技有限公司 | 用于图像识别物品的方法、电子设备及存储介质 |
CN116629285B (zh) * | 2023-07-24 | 2023-10-13 | 长沙智医云科技有限公司 | 一种rfid温度导入智能冰箱的管理方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001349661A (ja) * | 2000-06-05 | 2001-12-21 | Sharp Corp | 冷蔵庫 |
KR20120117464A (ko) * | 2011-04-15 | 2012-10-24 | 엘지전자 주식회사 | 냉장고 및 냉장고의 제어방법 |
US9733012B2 (en) * | 2012-08-23 | 2017-08-15 | Trumed Systems, Inc. | Smart storage of temperature sensitive pharmaceuticals |
EP2843336A1 (en) * | 2013-09-03 | 2015-03-04 | Panasonic Corporation | Refrigerator and refrigerator system for monitoring food |
CN103604271B (zh) * | 2013-11-07 | 2016-04-13 | 四川长虹电器股份有限公司 | 一种基于智能冰箱的食品识别方法 |
CN103604273B (zh) * | 2013-11-13 | 2016-01-20 | 四川长虹电器股份有限公司 | 智能冰箱食品管理的方法 |
WO2016036015A1 (en) * | 2014-09-04 | 2016-03-10 | Samsung Electronics Co., Ltd. | Refrigerator and controlling method thereof |
CN104197632A (zh) * | 2014-09-19 | 2014-12-10 | 合肥美的电冰箱有限公司 | 一种智能调温冰箱 |
CN104896868A (zh) * | 2015-06-18 | 2015-09-09 | 合肥美菱股份有限公司 | 一种根据远程图像识别管理冰箱食品列表的方法 |
CN105953520B (zh) * | 2016-05-06 | 2018-08-10 | 青岛海尔股份有限公司 | 智能冰箱控制方法及其控制系统 |
CN106016892B (zh) * | 2016-05-24 | 2018-11-16 | 青岛海尔股份有限公司 | 智能冰箱控制方法及其控制系统 |
-
2016
- 2016-05-06 CN CN201610302282.XA patent/CN105953520B/zh active Active
- 2016-12-30 WO PCT/CN2016/113927 patent/WO2017190518A1/zh active Application Filing
- 2016-12-30 EP EP16901039.4A patent/EP3438577A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2017190518A1 (zh) | 2017-11-09 |
CN105953520A (zh) | 2016-09-21 |
EP3438577A4 (en) | 2019-05-08 |
EP3438577A1 (en) | 2019-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105953520B (zh) | 智能冰箱控制方法及其控制系统 | |
CN108416901A (zh) | 智能货柜内货品识别方法及装置、智能货柜 | |
CN110363076A (zh) | 人员信息关联方法、装置及终端设备 | |
CN108062971A (zh) | 冰箱菜谱推荐的方法、装置及计算机可读存储介质 | |
CN109951627A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN102119343A (zh) | 对象检测装置和对象检测方法 | |
CN108154086A (zh) | 一种图像提取方法、装置及电子设备 | |
CN112508132B (zh) | 一种识别sku的训练方法及装置 | |
CN110648257B (zh) | 基于物联网操作系统的信息提示方法和装置、存储介质 | |
CN106016892B (zh) | 智能冰箱控制方法及其控制系统 | |
CN106028088B (zh) | 媒体数据的插入方法和装置 | |
CN109509228A (zh) | 用于定位一个或多个候选数字图像的方法 | |
CN109474785A (zh) | 电子装置和电子装置的焦点追踪拍照方法 | |
WO2022227526A1 (zh) | 物品查找方法、装置、空调设备和存储介质 | |
CN110837829B (zh) | 扫地机器人的控制方法和系统 | |
CN114266959A (zh) | 食材的烹饪方法及装置、存储介质、电子装置 | |
CN110472537B (zh) | 一种自适应识别方法、装置、设备及介质 | |
CN111083065B (zh) | 一种防止输入命令阻塞的方法及存储介质和计算机设备 | |
CN112235602A (zh) | 智能电视的个性化屏保系统、方法和智能电视 | |
CN115599260A (zh) | 智能场景的生成方法、装置、系统、存储介质及电子装置 | |
CN109543628A (zh) | 一种人脸解锁、底库录入方法、装置和电子设备 | |
CN106095806A (zh) | 一种自动匹配系统及方法 | |
CN113869473A (zh) | 一种配电终端定值智能核对方法和装置 | |
CN111401235A (zh) | 一种基于物联网的家庭智能控制系统 | |
CN111860704A (zh) | 一种衣物信息处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |