CN106052294A - 冰箱及其储物区物品变化的判断方法 - Google Patents

冰箱及其储物区物品变化的判断方法 Download PDF

Info

Publication number
CN106052294A
CN106052294A CN201610374491.5A CN201610374491A CN106052294A CN 106052294 A CN106052294 A CN 106052294A CN 201610374491 A CN201610374491 A CN 201610374491A CN 106052294 A CN106052294 A CN 106052294A
Authority
CN
China
Prior art keywords
article
storing part
image
refrigerator
pick
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610374491.5A
Other languages
English (en)
Other versions
CN106052294B (zh
Inventor
张明明
潘舒伟
钱振
李颉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Hualing Co Ltd
Midea Group Co Ltd
Original Assignee
Hefei Hualing Co Ltd
Midea Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Hualing Co Ltd, Midea Group Co Ltd filed Critical Hefei Hualing Co Ltd
Priority to CN201610374491.5A priority Critical patent/CN106052294B/zh
Publication of CN106052294A publication Critical patent/CN106052294A/zh
Application granted granted Critical
Publication of CN106052294B publication Critical patent/CN106052294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00Arrangement or mounting of control or safety devices
    • F25D29/003Arrangement or mounting of control or safety devices for movable devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00Problems to be solved
    • F25D2500/06Stock management

Landscapes

  • Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

本发明公开了一种冰箱,该冰箱包括:箱体、图像采集装置、人体检测装置和控制装置,其中,箱体内限定有存储物品的储物区;图像采集装置用于采集储物区内物品的图像;人体检测装置用于检测在储物区内取放物品时的人体信号并生成人体检测信号;控制装置获取所述人体检测信号,并根据人体检测信号判定在储物区内有取放物品动作,则在本次物品取放完之后控制图像采集装置采集储物区物品的图像,以及将图像与本次在储物区内取放物品之前的储物区内物品的图像进行比较以判断本次物品取放之后储物区内物品的变化。该冰箱可以更加准确、有效地判断存储物品的变化情况。本发明还公开了一种冰箱储物区物品变化的判断方法。

Description

冰箱及其储物区物品变化的判断方法
技术领域
本发明属于电器制造技术领域,尤其涉及一种冰箱,以及该冰箱储物区物品变化的判断方法。
背景技术
冰箱智能化已经成为一种趋势,食品以及营养管理是智能冰箱的一大卖点,但现有冰箱食品管理技术还在进化中。如图1所示为相关技术中的一种智能冰箱的示意图,该智能冰箱1包括置于冰箱1内部且用于采集所述冰箱内部存储物品的图像的图像采集装置11,与用于接收指令控制所述图像采集装置采集图像、接收采集的图像并发送给远程终端的控制装置12。基于上述的智能冰箱1,在该相关技术中还提供了包含该智能冰箱的冰箱系统及其控制方法。采用该技术方案,可以满足用户对远程获取冰箱内部储存情况的智能冰箱以便安排采购需求。
但是,由于冰箱内空间复杂且物品相互遮挡,导致图像识别技术无法及时有效获取其内部存储信息,且由于物品的相互遮挡而导致物品统计数量不准确。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明需要提出一种冰箱,该冰箱可以更加准确、有效地判断存储物品的变化情况。
本发明还提出一种冰箱储物区物品变化的判断方法。
为了解决上述问题,本发明一方面提出一种冰箱,该冰箱包括:箱体,所述箱体内限定有存储物品的储物区;图像采集装置,用于采集所述储物区内物品的图像;人体检测装置,用于检测在所述储物区内取放物品时的人体信号并生成人体检测信号;控制装置,所述控制装置获取所述人体检测信号,并根据所述人体检测信号判定在所述储物区内有取放物品动作,则在本次物品取放完之后控制所述图像采集装置采集所述储物区物品的图像,以及将所述图像与本次在所述储物区内取放物品之前的所述储物区内物品的图像进行比较以判断本次物品取放之后所述储物区内物品的变化。
本发明实施例的冰箱,结合图像检测装置和人体检测装置,在物品取放完之后,控制装置即控制图像采集装置采集储物区物品的图像,相较于相关技术中未结合用户操作来对冰箱内物品进行图像采集,结合人体检测装置控制图像采集装置采集时机,可以获得更加及时有效的储物区内物品的图像,避免后来物品堆积遮挡而造成的采集的物品图像不全,对物品的识别更加准确,减少控制装置的数据处理工作量,本方案简单易行,成本低廉。
在本发明的一些实施例中,所述控制装置进一步用于在所述人体检测信号从初始检测信号跳转为有效检测信号时认为在所述储物区内取放物品,所述人体检测信号从所述有效检测信号跳转回所述初始检测信号认为本次物品取放完成,则控制所述图像采集装置采集所述储物区内物品的图像,并将所述图像与所述人体检测信号从所述初始检测信号跳转为所述有效检测信号之前的所述储物区内物品的图像进行比较。
其中,所述控制装置进一步用于在所述人体检测信号从所述初始检测信号跳转至所述有效检测信号且达到第一预设时间时认为在所述储物区内有物品取放动作。
其中,所述控制装置进一步用于在所述人体检测信号跳转回所述初始检测信号且达到第二预设时间时认为本次物品取放完成。
在本发明的一些实施例中,在物品取放完之后,所述图像采集装置每隔第三预设时间采集一次图像以获得本次物品取放后所述储物区内物品的多张图像,所述控制装置选择所述多张图像中的一张图像与所述本次物品取放之前的所述储物区内物品的图像进行比较。
在本发明的一些实施例中,所述控制装置还用于获取所述图像采集装置采集的多次物品取放后所述储物区内物品的图像序列,并将所述图像序列中的每张图像与该次所述物品取放之前的所述储物区内物品的图像进行比较以获得所述储物区内物品数量的变化值。
在本发明的一些实施例中,所述控制装置还用于记录在第四预设时间内在所述储物区内取放物品的时间和次数以生成管理信息,并将所述管理信息提供给用户。
在本发明的一些实施例中,所述冰箱还包括:重量传感器,用于在所述储物区取放物品之后检测所述储物区物品的重量,所述控制装置还用于根据所述重量传感器的检测值判断所述储物区内被取放物品的重量。
具体地,所述人体检测装置嵌入在所述箱体胆口平面与所述冰箱的储物抽屉到位后装饰面之间的四壁泡层内。
为了解决上述问题,本发明另一方面提出一种冰箱储物区物品变化的判断方法,其中,所述冰箱包括人体检测装置和图像采集装置,所述判断方法包括以下步骤:获取所述人体检测装置输出的人体检测信号;根据所述人体检测信号判断是否有在所述储物区内取放物品动作;如果判断在所述储物区内有取放物品动作,则在本次物品取放完之后控制所述图像采集装置采集所述储物区物品的图像;以及将所述图像与本次在所述储物区内取放物品之前的所述储物区物品的图像进行比较以判断本次物品取放之后所述储物区内物品的变化。
本发明实施例的冰箱储物区物品变化的判断方法,基于图像检测装置和人体检测装置的结合,在物品取放完之后,即控制图像采集装置采集储物区物品的图像,相较于相关技术中未结合用户操作来对冰箱内物品进行图像采集,结合人体检测信号控制图像采集装置采集时机,可以获得更加及时有效的储物区内物品的图像,避免后来物品堆积遮挡而造成的采集的物品图像不全,对物品的识别更加准确,更加有利于数据处理并减少数据处理工作量,本方案简单易行。
其中,在所述人体检测信号从初始检测信号跳转为有效检测信号时认为在所述储物区内取放物品;所述人体检测信号从所述有效检测信号跳转回所述初始检测信号认为本次物品取放完成,则控制所述图像采集装置采集所述储物区内物品的图像。
在本发明的一些实施例中,所述将所述图像与本次在所述储物区内取放物品之前的所述储物区物品的图像进行比较,进一步包括:将所述图像与所述人体检测信号从所述初始检测信号跳转为所述有效检测信号之前的所述储物区内物品的图像进行比较。
其中,在所述人体检测信号从所述初始检测信号跳转至所述有效检测信号且达到第一预设时间时认为在所述储物区内有物品取放动作。
其中,在所述人体检测信号跳转回所述初始检测信号且达到第二预设时间时认为本次物品取放完成。
在本发明的一些实施例中,在物品取放完之后,进一步包括:控制所述图像采集装置每隔第三预设时间采集一次图像以获得本次物品取放后所述储物区内物品的多张图像;以及选择所述多张图像中的一张图像与所述本次物品取放之前的所述储物区内物品的图像进行比较。
在本发明的一些实施例中,所述判断方法还包括:获取所述图像采集装置采集的多次物品取放后所述储物区内物品的图像序列;以及将所述图像序列中的每张图像与该次所述物品取放之前的所述储物区内物品的图像进行比较以获得所述储物区内物品数量的变化值。
在本发明的一些实施例中,所述判断方法还包括:记录在第四预设时间内在所述储物区内取放物品的时间和次数以生成管理信息,并将所述管理信息提供给用户。
所述冰箱还包括重量传感器,所述判断方法还包括:在所述储物区取放物品之后获取所述重量传感器输出的所述储物区物品的重量;以及根据所述重量传感器输出的所述储物区物品的重量获得所述储物区内被取放物品的重量。
附图说明
图1是相关技术中的一种智能冰箱的示意图;
图2是根据本发明的一个实施例的冰箱的框图;
图3是根据本发明的一个实施例的人体信号检测过程的示意图;
图4是根据本发明的一个具体实施例的人体检测信号判断规则的示意图;以及
图5是根据本发明的一个实施例的冰箱储物区物品变化的判断方法的流程图。
附图标记:
冰箱 100,
箱体 10、图像采集装置 20、人体检测装置 30和控制装置 40。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
针对相关技术中的问题,考虑到要想准确识别冰箱内物品的存储状况,则需要解决物品之间相互堆积遮挡的问题,那么只要有人手进出冰箱,并进行一次拍照记录,并与此前一次拍摄的图片进行对比分析,就可以判断冰箱内增加了什么,或者减少了什么,或者什么物品移动了位置。进一步地,如果实现上述方案,则可以借助人体传感器判断是否感应到有人体出入冰箱。基于前述考虑,本申请公开一种冰箱以及冰箱储物区物品变化的判断方法。
下面参照附图描述根据本发明实施例提出的冰箱及其储物区物品变化的判断方法。
图2是根据本发明的一个实施例的冰箱的框图,如图2所示,该冰箱100包括箱体10、图像采集装置20、人体检测装置30和控制装置40。
其中,箱体10内限定有存储物品的储物区;图像采集装置20用于采集储物区内物品的图像;人体检测装置30,例如热释电传感器,用于检测在储物区内取放物品时的人体信号并生成人体检测信号。
控制装置40获取人体检测信号,并根据人体检测信号判定在储物区内有取放物品动作,则在物品取放完之后控制图像采集装置20采集储物区物品的图像,以及将图像与本次在储物区内取放物品之前的储物区内物品的图像进行比较以判断本次物品取放之后储物区内物品的变化。可以理解的是,控制装置40可以包括本地的具有数据处理功能的控制装置,也可以包括云端服务器即通过云服务器进行数据处理。
具体来说,如图3所示为根据本发明的一个实施例的人体检测装置检测过程的示意图,在本发明的一个实施例中,人体检测装置30嵌入在箱体10胆口平面与冰箱100的储物抽屉到位后装饰面之间的四壁泡层内,可以在冰箱100的箱体10胆口平面形成探测区如图3中的阴影部分即T区域所示,当冰箱100的门体打开时,部分人体进入探测区后,人体检测装置30检测到人体信号,进而控制装置40根据人体检测信号判断有人手进出冰箱即在冰箱100的储物区取放物品的动作,则可以为图像检测装置20输出一个有人正在操作的信号,以准备在人体离开探测区之后,控制图像采集装置20采集储物区物品的图像,进而控制装置40根据采集的图像与本次取放动作之前的储物区物品的图像进行比较,从而可以判断储物区内物品的变化例如数量、种类或位置。其中,在用户取放冰箱内的物品之后,即进行图像更新采集,从而可以利于获得储物区中被后来放入的物品遮挡住的图像,避免因为物品相互遮挡而导致的图像采集不全,最终提升冰箱100内物品的自动识别率。
而相关技术中,如图1所示的冰箱,多采用摄像头对冰箱100内物品进行拍摄,但不能够根据用户操作来调控拍摄时机,往往拍摄的图片重复无效,因而增加数据传输量以及云端的存储负担量,系统运行慢,用户体验不佳。
本发明实施例的冰箱100,结合图像检测装置20和人体检测装置30,在物品取放完之后,控制装置40即控制图像采集装置20采集储物区物品的图像,相较于相关技术中未结合用户操作来对冰箱内物品进行图像采集,结合人体检测装置30控制图像采集装置20采集时机,可以获得更加及时有效的储物区内物品的图像,避免后来物品堆积遮挡而造成的采集的物品图像不全,对物品的识别更加准确,更加有利于控制装置40的数据处理并减少其工作量,本方案简单易行,成本低廉。
进一步地,人体检测装置30检测中会存在误判,例如对于热释电传感器,其感应角度可以达到150°以上,但是当人的肢体在探测区域内没有移动动作时,则热释电传感器则认为区域内没有人的肢体存在,而实际上有可能是人手在热释电传感器的检测区域内停顿了以下,但是误认为人手退出,进而控制装置40控制图像采集装置30采集图像,而此时拍摄的图像中不仅仅有人的肢体造成对物品的遮挡,也会导致频繁的图像采集,造成图像对比分析的系统压力倍增。
基于上述考虑,为了避免误判以及由此为控制装置40进行数据处理带来的压力,本申请进一步提出控制装置40对人体检测装置30的输出信号进行判断的方法。
其中,在本发明的一个实施例中,在人体检测信号从初始检测信号跳转为有效检测信号时认为在储物区内取放物品,人体检测信号从有效检测信号跳转回初始检测信号认为物品取放完成,则控制装置40控制图像采集装置20采集储物区内物品的图像,并将该图像与人体检测信号从初始检测信号跳转为有效检测信号之前的储物区内物品的图像进行比较,从而根据图像的变化即可判断本次物品取放之后储物区内物品的变化情况。
具体来说,图4所示为根据本发明的一个具体实施例的人体检测信号判断规则的示意图,如图4所示,其中,横轴为时间轴,时间轴上方为人体检测装置30输出高电平信号即初始检测信号,时间轴的下方为低电平信号即有效检测信号,高电平信号表示没有人体进出感应区,低电平信号表示有人体在感应区移动。当控制装置40接收到达到预设时间例如大于或等于1秒的低电平信号时判定为感应到有人体,记录为人体已操作。
为了避免过多的误判断,其中,在人体检测信号从初始检测信号跳转至有效检测信号且达到第一预设时间时,如图4所示,即人体检测信号从高电平跳转为低电平且维持第一预设时间例如大于或等于1秒时,则认为在储物区内有物品取放动作。参照图4所示,如果控制装置40接收到两个大于等于1秒的低电平信号之间存在一个小于1秒的高电平信号,则判定为该小于1秒的高电平信号为错误信号,可以忽略它的存在,可以作为一个连续超过3秒的低电平信号处理,即三个信号合并判定为一个取放动作。因为在正常的冰箱取放物品的过程中,操作时间小于1秒的停顿,可以视为一个取放动作之间的停顿,或者人体在冰箱100内停顿了短时间,作为人体检测装置30例如热释电传感器其自身的缺陷产生的误判断。
同样地,在人体检测信号跳转回初始检测信号且达到第二预设时间时认为本次物品取放完成。如果控制装置40接收到大于等于1秒的高电平信号则认为没有人体进入人体检测装置30的感应区,或物品取放动作完成。参照图4所示,如果在两个大于或等于1秒的高电平信号之间存在一个小于1秒的低电平信号,则判定中间的小于1秒的低电平信号为错误信号,可以忽略它的存在,将其认定为不存在,信号可以合并为一个连续超过3秒的高电平信号处理,则获取前一高电平信号时采集的储物区物品的图像中的一帧以及后一高电平信号时采集的储物区物品的图像中的一帧,进而判断两帧图像的重合度,并进行修正之后作为一帧图像,以将该一帧图像与本次物品取放之前的图像进行比较。因为在正常的冰箱取放物品过程中,不可能在1秒内将人手探入冰箱完成取放物品的动作,故而可以认为该两个高电平信号之间的小于1秒的低电平信号是一个误判断,可以忽略。
在本发明的另一个实施例中,在物品取放完之后,图像采集装置20每隔第三预设时间采集一次图像以获得本次物品取放后储物区内物品的多张图像,控制装置40选择该多张图像中的一张图像与本次物品取放之前的储物区内物品的图像进行比较。例如图4所示,在冰箱100的门体开启的时间段内,且人体检测装置30连续输出大于或等于1秒的高电平信号即未感应到有人体的时间内,图像采集装置20例如摄像头以至少0.5秒/张的速度连续拍摄,进而控制装置40检测到门体关闭之后,在每一个有效的高电平时间段内拍摄的多张图像中选择中间帧作为有效图片,这样选择出来的图片便可以进行对比判定储物区内物品的变化量了。当然,也可以将选择的一帧图片上传至网络,在云端进行比较分析之后,把物品变化情况反馈至用户移动信息终端以提供给用户。
在本发明的一个实施例中,控制装置40还用于获取图像采集装置20采集的多次物品取放后储物区内物品的图像序列,并将图像序列中的每张图像与该次物品取放之前的储物区内物品的图像进行比较以获得储物区内物品数量的变化值。具体来说,利用人体检测装置30输出的人体检测信号作为控制图像采集装置20采集图像的触发条件,控制装置40可以准确记载每一次取放动作之后储物区物品的图像的差异项,累计判断分析,即可推算出物品种类和数量,即使物品比较拥挤,存在一定的遮挡,也可以通过上述方法采集图像序列,并根据人手每次进出冰箱100的前后,相关物品数量的变化过程,计算出物品数量的变化值,进一步解决了在图像识别领域中,由于物品的相互遮挡而导致的统计数量不准确的问题。
综上,本发明实施例的冰箱100,可以解决冰箱100中物品之间相互堆积遮挡导致物品存储导致物品存储情况无法判断的问题,准确识别冰箱内物品的储存情况。另外,结合图像采集装置20和人体检测装置30,可以有效减少图像采集系统重复无效的工作,减少数据传输量以及控制装置40的数据处理量或者云端的存储负担量,能够加速后台的运行速度,给用户更好的体验。根据人体检测信号控制图像采集实际,并记录以便进行用户习惯分析,而获得的每个物品变化的图像序列后,可以准确判断物品数量变化。
另外,控制装置40还用于记录在第四预设时间例如一天内在储物区内取放物品的时间和次数以生成管理信息,并将管理信息提供给用户。通过记录用户操作的时间和次数,可以根据用户的习惯来为用户提供更加准确的营养管理信息以及异常操作提醒。
再就是,如图5所示,该冰箱100还包括重量传感器50,重量传感器50用于在储物区取放物品之后检测储物区物品的重量,进而控制装置40可以根据重量传感器50的检测值判断储物区内被取放物品的重量。结合重量传感器50可以将操作中存储区变化精确到一种物品,从而可以判断物品的数量、种类以及重量的变化,更加精确地管理冰箱100内的物品。
基于上述方面实施例的冰箱,下面参照附图描述根据本发明实施例提出的冰箱储物区变化的判断方法。其中,冰箱包括人体检测装置和图像采集装置。
图5是根据本发明的一个实施例的冰箱储物区物品变化的判断方法的流程图,如图5所示,该判断方法包括以下步骤:
S1,获取人体检测装置输出的人体检测信号。
S2,根据人体检测信号判断是否有在储物区内取放物品动作。
在本发明的一个实施例中,在人体检测信号从初始检测信号跳转为有效检测信号时认为在储物区内取放物品;人体检测信号从有效检测信号跳转回所述初始检测信号认为物品取放完成,则控制图像采集装置采集储物区内物品的图像。其中,输出初始检测信号时表示未检测到人体在感应区内移动,输出有效检测信号时认为检测到人体在感应区内移动即在储物区内有取放物品动作。
S3,如果判断在储物区内有取放物品动作,则在物品取放完之后控制图像采集装置采集储物区物品的图像。
即根据人体检测信号控制采集储物区物品图像的时机,
S4,将图像与本次在储物区内取放物品之前的储物区物品的图像进行比较以判断本次物品取放之后储物区内物品的变化。
具体地,将采集的图像与人体检测信号从初始检测信号跳转为有效检测信号之前的储物区内物品的图像进行比较,从而可以判断储物区内物品的变化例如数量、种类或位置。其中,在用户取放冰箱内的物品之后,即进行图像更新采集,从而可以利于获得储物区中被后来放入的物品遮挡住的图像,避免因为物品相互遮挡而导致的图像采集不全,最终提升冰箱内物品的自动识别率。
可以看出,本发明实施例的冰箱储物区物品变化的判断方法,基于图像检测装置和人体检测装置的结合,在物品取放完之后,即控制图像采集装置采集储物区物品的图像,相较于相关技术中未结合用户操作来对冰箱内物品进行图像采集,结合人体检测信号控制图像采集装置采集时机,可以获得更加及时有效的储物区内物品的图像,避免后来物品堆积遮挡而造成的采集的物品图像不全,对物品的识别更加准确,更加有利于数据处理并减少数据处理工作量,本方案简单易行。
为了避免误判以及由此为数据处理带来的压力,本申请进一步提出对人体检测装置的输出信号进行判断的方法。
其中,在人体检测信号从初始检测信号跳转至有效检测信号且达到第一预设时间时认为在储物区内有物品取放动作。参照图4所示,如果控制装置接收到两个大于等于1秒的低电平信号之间存在一个小于1秒的高电平信号,则判定为该小于1秒的高电平信号为错误信号,可以忽略它的存在,可以作为一个连续超过3秒的低电平信号处理。因为在正常的冰箱取放物品的过程中,操作时间小于1秒的停顿,可以视为一个取放动作之间的停顿,或者人体在冰箱内停顿了短时间,作为人体检测装置例如热释电传感器其自身的缺陷产生的误判断。
其中,在人体检测信号跳转回初始检测信号且达到第二预设时间时认为本次物品取放完成。如果控制装置接收到大于等于1秒的高电平信号则认为没有人体进入人体检测装置的感应区,参照图4所示,如果在两个大于或等于1秒的高电平信号之间存在一个小于1秒的低电平信号,则判定中间的小于1秒的低电平信号为错误信号,可以忽略它的存在,将其认定为不存在,信号可以合并为一个连续超过3秒的高电平信号处理。因为在正常的冰箱取放物品过程中,不可能在1秒内将人手探入冰箱完成取放物品的动作,故而可以认为是一个误判断。
在本发明的另一个实施例中,在物品取放完之后,所述判断方法进一步包括:控制图像采集装置每隔第三预设时间采集一次图像以获得本次物品取放后储物区内物品的多张图像;选择多张图像中的一张图像与本次物品取放之前的储物区内物品的图像进行比较。
在本发明的一个实施例中,该判断方法还包括:获取图像采集装置采集的多次物品取放后储物区内物品的图像序列;以及将图像序列中的每张图像与该次物品取放之前的储物区内物品的图像进行比较以获得储物区内物品数量的变化值。
另外,本发明实施例的冰箱储物区物品变化的判断方法还包括:记录在第四预设时间例如一天内在储物区内取放物品的时间和次数以生成管理信息,并将管理信息提供给用户。通过记录用户操作的时间和次数,可以根据用户的习惯来为用户提供更加准确的营养管理信息以及异常操作提醒。
再就是,冰箱还可以包括重量传感器,本发明的判断方法还包括:在储物区取放物品之后获取重量传感器输出的储物区物品的重量;以及根据重量传感器输出的储物区物品的重量获得储物区内被取放物品的重量。结合重量传感器可以将操作中存储区变化精确到一种物品,从而可以判断物品的数量、种类以及重量的变化,更加精确地管理冰箱内的物品。
总之,本发明实施例的冰箱储物区物品变化的判断方法,可以解决冰箱中物品之间相互堆积遮挡导致物品存储导致物品存储情况无法判断的问题,准确识别冰箱内物品的储存情况。另外,结合图像采集装置和人体检测装置,可以有效减少图像采集系统重复无效的工作,减少数据传输量以及控制装置的数据处理量或者云端的存储负担量,能够加速后台的运行速度,给用户更好的体验。另外,可以确定冰箱内存放物品的数量、品种以及数量,还可以结合用户习惯更好地进行营养信息管理。
需要说明的是,在本说明的描述中,流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种冰箱,其特征在于,包括:
箱体,所述箱体内限定有存储物品的储物区;
图像采集装置,用于采集所述储物区内物品的图像;
人体检测装置,用于检测在所述储物区内取放物品时的人体信号并生成人体检测信号;
控制装置,所述控制装置获取所述人体检测信号,并根据所述人体检测信号判定在所述储物区内有取放物品动作,则在本次物品取放完之后控制所述图像采集装置采集所述储物区物品的图像,以及将所述图像与本次在所述储物区内取放物品之前的所述储物区内物品的图像进行比较以判断本次物品取放之后所述储物区内物品的变化。
2.如权利要求1所述的冰箱,其特征在于,所述控制装置进一步用于在所述人体检测信号从初始检测信号跳转为有效检测信号时认为在所述储物区内取放物品,所述人体检测信号从所述有效检测信号跳转回所述初始检测信号认为本次物品取放完成,则控制所述图像采集装置采集所述储物区内物品的图像,并将所述图像与所述人体检测信号从所述初始检测信号跳转为所述有效检测信号之前的所述储物区内物品的图像进行比较。
3.如权利要求2所述的冰箱,其特征在于,所述控制装置进一步用于在所述人体检测信号从所述初始检测信号跳转至所述有效检测信号且达到第一预设时间时认为在所述储物区内有物品取放动作。
4.如权利要求2所述的冰箱,其特征在于,所述控制装置进一步用于在所述人体检测信号跳转回所述初始检测信号且达到第二预设时间时认为本次物品取放完成。
5.如权利要求1所述的冰箱,其特征在于,其中,在物品取放完之后,所述图像采集装置每隔第三预设时间采集一次图像以获得本次物品取放后所述储物区内物品的多张图像,所述控制装置选择所述多张图像中的一张图像与所述本次物品取放之前的所述储物区内物品的图像进行比较。
6.如权利要求1所述的冰箱,其特征在于,所述控制装置还用于获取所述图像采集装置采集的多次物品取放后所述储物区内物品的图像序列,并将所述图像序列中的每张图像与该次所述物品取放之前的所述储物区内物品的图像进行比较以获得所述储物区内物品数量的变化值。
7.如权利要求1所述的冰箱,其特征在于,所述控制装置还用于记录在第四预设时间内在所述储物区内取放物品的时间和次数以生成管理信息,并将所述管理信息提供给用户。
8.如权利要求1所述的冰箱,其特征在于,还包括:
重量传感器,用于在所述储物区取放物品之后检测所述储物区物品的重量,所述控制装置还用于根据所述重量传感器的检测值判断所述储物区内被取放物品的重量。
9.如权利要求1所述的冰箱,其特征在于,所述人体检测装置嵌入在所述箱体胆口平面与所述冰箱的储物抽屉到位后装饰面之间的四壁泡层内。
10.一种冰箱储物区物品变化的判断方法,其特征在于,所述冰箱包括人体检测装置和图像采集装置,所述判断方法包括以下步骤:
获取所述人体检测装置输出的人体检测信号;
根据所述人体检测信号判断是否有在所述储物区内取放物品动作;
如果判断在所述储物区内有取放物品动作,则在本次物品取放完之后控制所述图像采集装置采集所述储物区物品的图像;以及
将所述图像与本次在所述储物区内取放物品之前的所述储物区物品的图像进行比较以判断本次物品取放之后所述储物区内物品的变化。
11.如权利要求10所述的冰箱储物区物品变化的判断方法,其特征在于,其中,
在所述人体检测信号从初始检测信号跳转为有效检测信号时认为在所述储物区内取放物品;
所述人体检测信号从所述有效检测信号跳转回所述初始检测信号认为本次物品取放完成,则控制所述图像采集装置采集所述储物区内物品的图像。
12.如权利要求11所述的冰箱储物区物品变化的判断方法,其特征在于,所述将所述图像与本次在所述储物区内取放物品之前的所述储物区物品的图像进行比较,进一步包括:
将所述图像与所述人体检测信号从所述初始检测信号跳转为所述有效检测信号之前的所述储物区内物品的图像进行比较。
13.如权利要求12所述的冰箱储物区物品变化的判断方法,其特征在于,其中,在所述人体检测信号从所述初始检测信号跳转至所述有效检测信号且达到第一预设时间时认为在所述储物区内有物品取放动作。
14.如权利要求12所述的冰箱储物区物品变化的判断方法,其特征在于,其中,在所述人体检测信号跳转回所述初始检测信号且达到第二预设时间时认为本次物品取放完成。
15.如权利要求10所述的冰箱储物区物品变化的判断方法,其特征在于,在物品取放完之后,进一步包括:
控制所述图像采集装置每隔第三预设时间采集一次图像以获得本次物品取放后所述储物区内物品的多张图像;以及
选择所述多张图像中的一张图像与所述本次物品取放之前的所述储物区内物品的图像进行比较。
16.如权利要求10所述的冰箱储物区物品变化的判断方法,其特征在于,还包括:
获取所述图像采集装置采集的多次物品取放后所述储物区内物品的图像序列;以及
将所述图像序列中的每张图像与该次所述物品取放之前的所述储物区内物品的图像进行比较以获得所述储物区内物品数量的变化值。
17.如权利要求10所述的冰箱储物区物品变化的判断方法,其特征在于,还包括:
记录在第四预设时间内在所述储物区内取放物品的时间和次数以生成管理信息,并将所述管理信息提供给用户。
18.如权利要求10所述的冰箱,其特征在于,所述冰箱还包括重量传感器,所述判断方法还包括:
在所述储物区取放物品之后获取所述重量传感器输出的所述储物区物品的重量;以及
根据所述重量传感器输出的所述储物区物品的重量获得所述储物区内被取放物品的重量。
CN201610374491.5A 2016-05-26 2016-05-26 冰箱及其储物区物品变化的判断方法 Active CN106052294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610374491.5A CN106052294B (zh) 2016-05-26 2016-05-26 冰箱及其储物区物品变化的判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610374491.5A CN106052294B (zh) 2016-05-26 2016-05-26 冰箱及其储物区物品变化的判断方法

Publications (2)

Publication Number Publication Date
CN106052294A true CN106052294A (zh) 2016-10-26
CN106052294B CN106052294B (zh) 2019-03-12

Family

ID=57172954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610374491.5A Active CN106052294B (zh) 2016-05-26 2016-05-26 冰箱及其储物区物品变化的判断方法

Country Status (1)

Country Link
CN (1) CN106052294B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108800749A (zh) * 2018-06-14 2018-11-13 海信(山东)冰箱有限公司 制冷设备及控制方法
CN108985199A (zh) * 2018-07-02 2018-12-11 百度在线网络技术(北京)有限公司 商品取放操作的检测方法、装置及存储介质
CN109389747A (zh) * 2018-12-29 2019-02-26 北京沃东天骏信息技术有限公司 售货装置和售货方法
CN109410482A (zh) * 2018-09-18 2019-03-01 虫极科技(北京)有限公司 一种无人便利店订单生成方法和系统
CN109631483A (zh) * 2017-10-06 2019-04-16 松下知识产权经营株式会社 冷藏库
CN110443553A (zh) * 2019-08-15 2019-11-12 深圳市海思睿科技有限公司 一种基于物品存储箱的无人值守物品管理方法
CN110738077A (zh) * 2018-07-19 2020-01-31 杭州海康慧影科技有限公司 一种异物检测方法及装置
CN110966837A (zh) * 2018-09-29 2020-04-07 博西华电器(江苏)有限公司 冷藏设备的温度控制方法及冷藏设备
CN112753052A (zh) * 2018-09-24 2021-05-04 捷德货币技术有限责任公司 用于处理防伪文件的装置和方法
CN114963653A (zh) * 2017-10-06 2022-08-30 松下知识产权经营株式会社 冷藏库
WO2024045750A1 (zh) * 2022-08-31 2024-03-07 海信冰箱有限公司 冰箱及其食材重量信息管理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007046833A (ja) * 2005-08-09 2007-02-22 Funai Electric Co Ltd 物品保存庫、物品保存庫監視システム及び冷蔵庫監視システム
CN103234323A (zh) * 2012-07-27 2013-08-07 博西华电器(江苏)有限公司 智能冰箱、包含该智能冰箱的冰箱系统及其控制方法
CN104949465A (zh) * 2015-06-30 2015-09-30 合肥美的电冰箱有限公司 一种具有人脸识别功能的冰箱及物品存取方法
CN105043005A (zh) * 2015-06-16 2015-11-11 合肥华凌股份有限公司 一种冰箱食品信息管理系统和方法
CN105184231A (zh) * 2015-08-14 2015-12-23 北京京东尚科信息技术有限公司 一种储物空间的图像采集系统及方法
CN105222503A (zh) * 2014-07-02 2016-01-06 博西华电器(江苏)有限公司 冰箱及其控制方法
CN105222509A (zh) * 2015-09-30 2016-01-06 沈阳海尔电冰箱有限公司 冰箱的间室照明控制方法与冰箱
CN105352260A (zh) * 2015-11-10 2016-02-24 合肥海尔电冰箱有限公司 冰箱内储物信息的更新方法及装置
CN105466147A (zh) * 2015-12-29 2016-04-06 青岛海尔股份有限公司 冰箱与用于冰箱的体感探测方法
JP2016075452A (ja) * 2014-10-09 2016-05-12 日立アプライアンス株式会社 冷蔵庫

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007046833A (ja) * 2005-08-09 2007-02-22 Funai Electric Co Ltd 物品保存庫、物品保存庫監視システム及び冷蔵庫監視システム
CN103234323A (zh) * 2012-07-27 2013-08-07 博西华电器(江苏)有限公司 智能冰箱、包含该智能冰箱的冰箱系统及其控制方法
CN105222503A (zh) * 2014-07-02 2016-01-06 博西华电器(江苏)有限公司 冰箱及其控制方法
JP2016075452A (ja) * 2014-10-09 2016-05-12 日立アプライアンス株式会社 冷蔵庫
CN105043005A (zh) * 2015-06-16 2015-11-11 合肥华凌股份有限公司 一种冰箱食品信息管理系统和方法
CN104949465A (zh) * 2015-06-30 2015-09-30 合肥美的电冰箱有限公司 一种具有人脸识别功能的冰箱及物品存取方法
CN105184231A (zh) * 2015-08-14 2015-12-23 北京京东尚科信息技术有限公司 一种储物空间的图像采集系统及方法
CN105222509A (zh) * 2015-09-30 2016-01-06 沈阳海尔电冰箱有限公司 冰箱的间室照明控制方法与冰箱
CN105352260A (zh) * 2015-11-10 2016-02-24 合肥海尔电冰箱有限公司 冰箱内储物信息的更新方法及装置
CN105466147A (zh) * 2015-12-29 2016-04-06 青岛海尔股份有限公司 冰箱与用于冰箱的体感探测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109631483A (zh) * 2017-10-06 2019-04-16 松下知识产权经营株式会社 冷藏库
CN114963653A (zh) * 2017-10-06 2022-08-30 松下知识产权经营株式会社 冷藏库
CN108800749A (zh) * 2018-06-14 2018-11-13 海信(山东)冰箱有限公司 制冷设备及控制方法
CN108985199B (zh) * 2018-07-02 2021-02-19 百度在线网络技术(北京)有限公司 商品取放操作的检测方法、装置及存储介质
CN108985199A (zh) * 2018-07-02 2018-12-11 百度在线网络技术(北京)有限公司 商品取放操作的检测方法、装置及存储介质
CN110738077B (zh) * 2018-07-19 2023-08-08 杭州海康慧影科技有限公司 一种异物检测方法及装置
CN110738077A (zh) * 2018-07-19 2020-01-31 杭州海康慧影科技有限公司 一种异物检测方法及装置
CN109410482A (zh) * 2018-09-18 2019-03-01 虫极科技(北京)有限公司 一种无人便利店订单生成方法和系统
CN112753052A (zh) * 2018-09-24 2021-05-04 捷德货币技术有限责任公司 用于处理防伪文件的装置和方法
CN110966837A (zh) * 2018-09-29 2020-04-07 博西华电器(江苏)有限公司 冷藏设备的温度控制方法及冷藏设备
CN109389747A (zh) * 2018-12-29 2019-02-26 北京沃东天骏信息技术有限公司 售货装置和售货方法
CN110443553A (zh) * 2019-08-15 2019-11-12 深圳市海思睿科技有限公司 一种基于物品存储箱的无人值守物品管理方法
WO2024045750A1 (zh) * 2022-08-31 2024-03-07 海信冰箱有限公司 冰箱及其食材重量信息管理方法

Also Published As

Publication number Publication date
CN106052294B (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
CN106052294A (zh) 冰箱及其储物区物品变化的判断方法
CN111444880B (zh) 一种食材识别方法及冰箱
CN106288591B (zh) 一种具有食材管理功能的冰箱及食材管理方法
CN107924455A (zh) 计算机视觉过程
CN105100596B (zh) 相机设备和使用相机设备跟踪对象的方法
KR20210134092A (ko) 냉장고 및 냉장고의 물품 관리 방법
WO2017049612A1 (en) Smart tracking video recorder
CN101651824A (zh) 移动物体监视装置
CN109753865B (zh) 对象历史关联的系统和方法
CN110309779A (zh) 装配场景中零件操作动作的监测方法、装置及电子设备
CN106016951A (zh) 冰箱的运行状态控制方法与冰箱
CN109255360A (zh) 一种目标分类方法、装置及系统
KR102017980B1 (ko) 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법
JPWO2019211932A1 (ja) 情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム
KR20150001921A (ko) 전기제품
CN107945392A (zh) 自动售货机及采集证据的方法以及存储介质
CN113124635B (zh) 冰箱
KR20150026412A (ko) 전기제품
CN113158783A (zh) 一种基于人体识别的社区居民健康监控方法和系统
JP7113281B2 (ja) 冷蔵庫
CN113124633B (zh) 冰箱
CN110910567A (zh) 扣付方法、装置、电子设备、计算机可读存储介质和货柜
WO2022181575A1 (ja) 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法
CN108205664A (zh) 一种食物识别方法及装置、存储介质、计算机设备
CN113239780A (zh) 食材的确定方法、装置、电子设备、冰箱及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant