CN105184231A - 一种储物空间的图像采集系统及方法 - Google Patents

Abstract

本发明公开了一种储物空间的图像采集系统及方法，系统包括抓取工具检测装置、状态检测装置、控制装置及摄像装置，抓取工具检测装置用于检测储物空间中的物体运动，并向控制装置提供物体运动信息，状态检测装置用于检测储物空间中的状态变化，并向控制装置提供状态变化信息，控制装置根据物体运动信息及状态变化信息，向摄像装置发出控制信号，控制摄像装置对储物空间中的物体进行拍摄。本发明在储物状态发生变化时，摄像装置仅进行一次拍摄，无需摄像装置保持高频率工作，并且拍摄的图像均与物品直接相关，不会产生较多的无用的图像，不会造成资源浪费。

Description

一种储物空间的图像采集系统及方法

技术领域

本发明属于图像处理领域，尤其涉及一种储物空间的图像采集系统及方法。

背景技术

储物装置如冰箱、仓储设备或者集装箱等广泛应用在家庭、商业和工业等领域中，用于为使用者提供各种存储便利服务。以家用冰箱为例，用户借助其存储食品、蔬菜、饮料等各种生活物品，在使用过程中，随着冰箱内物品的消耗，用户需要定期或者不定期地购买、补充。

随着家电智能化的浪潮的兴起，如何让用户及时获知冰箱中的物品消耗情况，避免用户在打开冰箱寻找后才知道某种物品已用完或者在重新购买某种物品后才发现冰箱内的该物品还有较多存储量，为此业界进行了深入探索，并提出了一些解决方案。

一种较为传统的解决方案(以下简称第一种方案)是在冰箱隔层空间的左侧壁、右侧壁、顶侧壁或者后侧壁(前侧为冰箱门，底侧为物品支撑层)上设置摄像装置，该摄像装置定期在某个时候拍摄隔层空间中的储物状态，得到该时候的储物图像，该储物图像被发送给到专用的图像识别系统(可以布置于在云端)，该图像识别系统对该储物图像进行识别进而得到该时候隔层空间中有哪些物品这一信息，并将该信息发送至用户可及的终端上，使用户能够及时获知某个时候冰箱隔层空间中的物品状态。

从上述可知，上述第一种方案的关键在于从含有多个随机摆放的物品的图像中识别出各物品的信息，然而，众所周知，虽然图像识别技术有了很大发展，对于含有单个物品的图像的识别相对有效，但对上述含有多个随机摆放的物品的图像(尤其对于至少两个物品形成粘连及遮挡而非明显间隔的图像)却难以有效识别，或者说识别所需的时间和资源代价极大，因此这种方案实际实施所需的成本极大，所能达到的效果也非常有限。

公布号为CN104482715A的中国专利文献提供了另一种解决方案(以下简称第二种方案)，这种解决方案能够克服上述第一种方案的一些不足。具体而言，在第二种解决方案中，选择在用户在冰箱中放入或者取出食物时获取动作过程图像，即当冰箱门打开后，摄像头连续拍摄用户放入或取出食物过程的一组图像(照片)，该组图像包括静态搁架图像(即隔层空间没有食品或者已放置有食品时的图像，以下简称第一图像)、用户手与食物遮挡搁架的图像(以下简称第二图像)以及没有食物的用户手图像(以下简称第三图像)等，该组图像在同一时间内发送给图像识别系统进行识别，图像识别系统根据第一图像可以识别出静态搁架的信息，在识别第二图像时根据第二图像与第一图像的关系可以识别出用户手与食物的信息，在识别第三图像时根据第三图像和第二图像的关系可以识别出食品信息。

然而，在上述第二种方案中，在冰箱门打开后，无论是取出食品过程还是放入食品过程，摄像头所要完成的拍摄次数远远大于三次，才能获得至少上述三种图像，换言之，由于用户放入食品或者取出食品的过程随机性较大，为了捕捉到上述三种图像，摄像头必须要以极高的频率进行连续拍摄，若用户每次打开冰箱时涉及多次放入或者取出动作，摄像头将需要保持较长时间的连续拍摄，这样对摄像头的可靠性和精度要求极高，或者说长时间使用后摄像头较易损坏因而常需更换维护。并且，与第一种方案相比，第二种方案虽有助于提高图像识别的有效性，但其图像识别系统所需要识别处理的图像数量显著上升，需要识别很多与食品无关的信息，例如即便只考虑单次单个食品取出或者放入，图像识别系统也要先识别用户手的信息，才能最终识别出食品信息，这样将从另一方面影响图像的切割和识别效率，也使得图像识别系统需要较多的资源的和成本。此外，若用户在取出食品过程中，若因误取某个食品且在该食品未出冰箱外又放回去时，摄像头产生的多个图像从而造成较大浪费。

发明内容

(一)要解决的技术问题

本发明的目的在于，提供一种储物空间的图像采集系统及方法，无需采集多幅图像，并且在识别采集得到的图像时，能节约时间及资源，同时有助于提高图像识别的效率及准确率。

(二)技术方案

本发明提供一种储物空间的图像采集系统，包括抓取工具检测装置、状态检测装置、控制装置及摄像装置，抓取工具检测装置用于检测抓取工具在储物空间中的存在状态，并向控制装置提供存在状态信息，状态检测装置用于检测储物空间中的储物状态，并向控制装置提供储物状态信息，控制装置用于在储物空间中无抓取工具存在以及储物状态变化时，向摄像装置发出控制信号，控制摄像装置对储物空间中的物品存放区域进行拍摄。

本发明还提供一种储物空间的图像采集方法，包括：

S1，检测抓取工具在储物空间中的存在状态，得到存在状态信息；

S2，在步骤S1的同时，检测储物空间中的储物状态，得到储物状态信息；

S3，在储物空间中无抓取工具存在以及储物状态变化时，对储物空间中的物品存放区域进行拍摄。

(三)有益效果

本发明与现有技术相比，在储物状态发生变化时，摄像装置仅进行一次拍摄，因而无需摄像装置保持高频率工作，并且每个图像均与物品直接相关，按这种方式采集的图像无需图像识别系统识别过多额外的信息，有助于提高图像的切割和识别效率，同时有效降低识别所需的资源和成本；另外，不会产生较多的无用的图像，基本不会造成资源浪费。

附图说明

图1是本发明实施例一提供的冰箱储物隔层空间的图像采集系统的结构示意图。

图2是本发明实施例一提供的冰箱储物隔层空间的图像采集系统的组成框图，为了便于理解，图中还示出了图像识别装置和用户终端；应当指出的是，图像识别装置和用户终端可以不是本发明实施例一的一部分。

图3是本发明实施例二提供的冰箱储物隔层空间的图像采集系统的示意图。

图4是本发明实施例三提供的冰箱储物隔层空间的图像采集系统的示意图。

图5是本发明实施例提供的储物空间的图像采集方法的流程图。

具体实施方式

本发明提供一种储物空间的图像采集系统，包括抓取工具检测装置、状态检测装置、控制装置及摄像装置，抓取工具检测装置用于检测抓取工具在储物空间中的存在状态，并向控制装置提供存在状态信息，状态检测装置用于检测储物空间中的储物状态，并向控制装置提供储物状态信息，控制装置用于在储物空间中无抓取工具存在以及储物状态变化时，向摄像装置发出控制信号，控制摄像装置对储物空间中的物品存放区域进行拍摄。因此，在储物状态发生变化时，摄像装置仅进行一次拍摄，无需摄像装置保持高频率工作，并且拍摄的图像均与物品直接相关，不会产生较多的无用的图像，不会造成资源浪费。

根据本发明的一种实施方式，控制装置具体用于在依次发生储物空间中存在抓取工具、储物状态变化、储物空间中无抓取工具存在时，向摄像装置发出控制信号。

根据本发明的一种实施方式，图像采集系统还包括补光装置，控制装置向摄像装置发出控制信号的同时，还向补光装置发出控制信号，控制补光装置向储物空间补充光线。根据本发明的一种实施方式，储物空间为冰箱中的隔层空间，抓取工具包括用户手，抓取工具检测装置包括红外传感器或热成像装置；或者，储物空间为仓储设备或者集装箱，抓取工具包括机械手或者叉车，抓取工具检测装置包括激光装置。

根据本发明的一种实施方式，储物空间由包括左侧壁、底侧壁、右侧壁和顶侧壁在内的侧壁围设形成，底侧壁用于承载物品，抓取工具检测装置设置在顶侧壁面向储物空间的一侧。

根据本发明的一种实施方式，储物空间由包括左侧壁、底侧壁、右侧壁和顶侧壁在内的侧壁围设形成，底侧壁用于承载物品，状态检测装置为压力检测装置，压力检测装置设置在底侧壁的底部，用于检测底侧壁的承重量状态，储物状态对应于承重量状态。

根据本发明的一种实施方式，储物空间由包括左侧壁、底侧壁、右侧壁和顶侧壁在内的侧壁围设形成，底侧壁用于承载物品，状态检测装置为光感检测装置，光感检测装置设置在底侧壁的下方，底侧壁由透光材料制成，光感检测装置用于检测从储物空间透过底侧壁的光线强度，储物状态对应于所述光线强度的大小。

根据本发明的一种实施方式，状态检测装置为光线传感器，光线传感器用于检测储物空间中物品存放区域的光线通路，储物状态对应于光线通路状态，其中，储物空间由包括左侧壁、底侧壁、右侧壁和顶侧壁在内的侧壁围设形成，底侧壁用于承载物品，光线传感器包括发光器和感光器，发光器和感光器相对地分别安装于物品存放区域两侧的左侧壁和右侧壁上。

根据本发明的一种实施方式，储物空间由包括左侧壁、底侧壁、右侧壁和顶侧壁在内的侧壁围设形成，摄像装置的数目为两个，且分别安装于左侧壁和右侧壁上。

本发明还提供一种储物空间的图像采集方法，包括：

S1，检测抓取工具在储物空间中的存在状态，得到存在状态信息；

S2，在步骤S1的同时，检测储物空间中的储物状态，得到储物状态信息；

S3，在储物空间中无抓取工具存在以及储物状态变化时，对储物空间中的物品存放区域进行拍摄。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

实施例一

图1是本发明实施例一提供的冰箱储物隔层空间的图像采集系统的示意图，如图1所示，冰箱的储物隔层空间由左侧壁11、右侧壁12、顶侧壁13、底侧壁14和后侧壁(图中未示出，以纸面朝内的一侧为后侧壁，纸面朝外的一侧为冰箱门)围绕形成，底侧壁14用于承载储物。

结合图1及图2，在本实施例中，图像采集系统包括物体抓取工具检测装置1、控制装置2、摄像装置3、补光装置4及压力状态检测装置5。物体抓取工具检测装置1设置于顶侧壁13上，摄像装置3的数目为两个，且分别设置于左右两个侧壁上，控制装置2设置于右侧壁，补光装置4设置于左侧壁4上靠近顶部的位置，且设置于底侧壁14的下方。其中，物体抓取工具检测装置1用于检测储物隔层空间中是否有用物体(如用户手部和/或食品)运动存在，并向控制装置2发送相应信息。压力状态检测装置5用于检测储物隔层空间底侧的压力(对应于储物的重力)变化。摄像装置3用于获取隔层空间中储物区域的图像(储物图像)。补光装置4用于提供光线补充。控制装置2用于根据压力状态检测装置5提供的信息判断底侧压力(即储物重力)是否发生变化，当确定压力出现变化时，根据物体抓取工具检测装置提供的信息判断隔层空间中的物体运动是消失时，当确定消失时，控制补光装置动作并且控制摄像装置3进行拍摄。

具体而言，以食品存放过程为例，在使用时，用户打开冰箱后，冰箱灯亮起，同时冰箱控制系统向控制装置2发送信号，进而使控制装置2、物体抓取工具检测装置1、压力状态检测装置5、摄像装置3等处于工作或者待机状态；当用户手拿食品进入冰箱之前，抓取工具检测装置1未检测到物体运动，向控制装置2发动第一信息(如对应二进制值“0”)，当用户手拿食品进入冰箱隔层空间后，物体抓取工具检测装置检测到这一状态(表示有物体运动)，物体抓取工具检测装置1向控制装置2发送第二信息(如对应二进制值“1”)，用户手将食品放置于底侧壁上(储物位置)时，底侧壁的压力值出现变化，压力状态检测装置5将检测到的压力值变化信息发送给控制装置，之后当用户手伸出冰箱后，物体抓取工具检测装置检测到这种变化并将第一信息发送给控制装置，这样在上述条件依次满足的情形下，控制装置将控制摄像装置进行拍摄。

优选地，控制装置2在控制摄像装置3拍摄时可以同时控制补光装置4动作，以对冰箱储物隔层空间补充光线，此外，补光装置4可以不由控制装置2控制，而由冰箱控制系统8控制，例如，冰箱门打开后，补光装置4也跟着动作，与冰箱自带照明灯一起共同提供照明，通过设置补光装置4，有助于提高摄像装置的成像效果。

优选地，摄像装置3可以是一个不含存储功能的摄像头，拍摄完成后形成的图像传送到控制装置2中存储，每次储存物品或者取出物品过程结束后，控制装置2将相关图像传送给图像识别装置(可以布置于云端)。另外，由于在冰箱中每存放一个物品或者取出一个物品，即形成一个图像(在摄像头为2个时，形成一对图像)，因而图像识别装置易于根据每个图像及其前后图像识别出该图像的物品信息，基于此，在某个时间点用户终端可以从图像识别装置获取冰箱中的相关物品信息，从而使用户及时获知冰箱中的食品数量及品种状态。

优选地，底侧壁14的压力(对应于物品的重力变化)每变化一次，形成一个(对)图像，压力变化值与相应的图像实质对应，换言之，控制装置可以将图像发给图像识别装置6时同时将压力变化值发给图像识别装置，这样图像识别装置6处理后不仅得出某种食品的数量及种类信息，而且可以得到当前某种食品的剩余重量信息，这些信息也可以发到用户终端7上。

优选地，物体抓取工具检测装置1可以有多种实现方式，例如，考虑到在冰箱内用户手的运动状态与物品的运动状态实质上一一对应，因而可以用检测用户手的运动状态来表征用户手和物品同时运动的状态，因而物体抓取工具检测装置1可以采用能够检测出用户手的装置实现，如红外传感器，热成像装置。此外，物体抓取工具检测装置1也可以采用激光装置实现。

本实施例采用压力状态检测装置5对底侧壁的压力状态进行检测，以便控制装置2在用户将物品放在底侧壁后或者取出物品后能够得出这种变化；并且借助压力检测的方式易于实现本发明的主要功能，实施成本低，并且有助于后续图像识别装置6对图像的更精准识别，例如，以在冰箱中存储一听可口可乐为例，控制装置不仅将获得的带有可口可乐的图像发给图像识别装置6，而且可以将压力的变化(即该听可口可乐的重量)信息发给图像识别装置6，这样能够为图像识别装置6提供更多维度的识别判断，或者说，可以使图像识别装置6不仅识别出所存储的物品为可口可乐，而且可以识别出该听可口可乐的重量值，因而这种方案能够起到一举多得的技术效果。

实施例二

图3是本发明实施例二提供的冰箱储物隔层空间的图像采集系统的示意图。如图2所示，底侧壁14由透光材料制成，冰箱中设置有光感检测装置21，设置于底侧壁14下方，当用户手未伸进冰箱时，光感检测装置能够检测到透过底侧壁14的光，用户手携带物品在冰箱隔层中但未将物品放置在底侧壁上(即物品与底侧壁之间有一定距离)时，手和物品遮挡部分光线，但光感检测装置依然能够检测到透过底侧壁14的光(即虽然某个区域的透光较弱，但仍能检测到)，当用户将物品放在底侧壁上时，物品下方对应的底侧壁区域将基本没有光线透过或者透光非常弱，光感检测装置可以根据上述变化的前后两种状态向控制装置发送相应的信息，这样控制装置可以在物品放置后启动摄像头进行拍摄。本实施相对于实施例一的区别在于，实施例一是采用压力状态检测装置作为状态检测装置，来检测底侧壁上的压力变化，本实施例是采用光感检测装置作为状态检测装置，来检测光线强度变化。其他部件功能及位置一样，在此就不再赘述。

实施例三

图4是本发明实施例三提供的冰箱储物隔层空间的图像采集系统的示意图。如图3所示，冰箱中设置有光线传感器，具体地，该光线传感器包括发光器31和感光器32，发光器31和感光器32可以分别安装于底侧壁14上方两侧的左侧壁11和右侧壁12上，光线传感器的数目可以为多组。当底侧壁上没有物品存放时，发光器发出的光线，感光器32能够感应到，若储物区域有物品时，光线通路不通，感光器32不能感应到发光器31发出的光线，光线传感器可以将这种前后变化的两种状态发送给控制装置，这样控制装置也可以在物品放置后启动摄像头进行拍摄。本实施例相对于其他实施例的区别在于，本实施例是采用光线传感器作为状态检测装置，来进行光线检测。其他部件功能及位置一样，在此就不再赘述。

优选地，在上述三个实施例中，为了避免某个物品完全遮挡另一物品，摄像装置采用两个，两个摄像装置可以相对设置于储物空间的左右侧壁上，在使用时同时拍摄，这样有助于提高图像识别的精度和效率。

图5是本发明实施例提供的储物空间的图像采集方法的流程图。如图4所示，方法包括：

S1，检测抓取工具在储物空间中的存在状态，得到存在状态信息；

S2，在步骤S1的同时，检测储物空间中的储物状态，得到储物状态信息；

S3，在储物空间中无抓取工具存在以及储物状态变化时，对储物空间中的物品存放区域进行拍摄。

优选地，本实施例中，在对储物空间中的物体进行拍摄的同时，可向储物空间补充光线。

需要说明的是，本发明中的实施例以冰箱为例进行说明，但并不限于此，例如本发明采集图像的方式也可以用于集装箱、储物柜、仓储等储物空间，这些储物空间的物品存取并不限于人体亲自参与，还可以是通过机械臂、叉车等方式实现。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种储物空间的图像采集系统，其特征在于，包括抓取工具检测装置、状态检测装置、控制装置及摄像装置，所述抓取工具检测装置用于检测抓取工具在所述储物空间中的存在状态，并向所述控制装置提供所述存在状态信息，所述状态检测装置用于检测所述储物空间中的储物状态，并向所述控制装置提供所述储物状态信息，所述控制装置用于在所述储物空间中无抓取工具存在以及所述储物状态变化时，向所述摄像装置发出控制信号，控制所述摄像装置对所述储物空间中的物品存放区域进行拍摄。

2.根据权利要求1所述的图像采集系统，其特征在于，所述控制装置具体用于在依次发生所述储物空间中存在抓取工具、所述储物状态变化、所述储物空间中无抓取工具存在时，向所述摄像装置发出控制信号。

3.根据权利要求1所述的图像采集系统，其特征在于，还包括补光装置，所述控制装置向所述摄像装置发出控制信号的同时，还向所述补光装置发出所述控制信号，控制所述补光装置向所述储物空间补充光线。

4.根据权利要求1所述的图像采集系统，其特征在于，所述储物空间为冰箱中的隔层空间，所述抓取工具包括用户手，所述抓取工具检测装置包括红外传感器或热成像装置；或者，所述储物空间为仓储设备或者集装箱，所述抓取工具包括机械手或者叉车，所述抓取工具检测装置包括激光装置。

5.根据权利要求1所述的图像采集系统，其特征在于，所述储物空间由包括左侧壁、底侧壁、右侧壁和顶侧壁在内的侧壁围设形成，所述底侧壁用于承载物品，所述抓取工具检测装置设置在所述顶侧壁面向储物空间的一侧。

6.根据权利要求1所述的图像采集系统，其特征在于，所述储物空间由包括左侧壁、底侧壁、右侧壁和顶侧壁在内的侧壁围设形成，所述底侧壁用于承载物品，所述状态检测装置为压力检测装置，所述压力检测装置设置在所述底侧壁的底部，用于检测所述底侧壁的承重量状态，所述储物状态对应于所述承重量状态。

7.根据权利要求1所述的图像采集系统，其特征在于，所述储物空间由包括左侧壁、底侧壁、右侧壁和顶侧壁在内的侧壁围设形成，所述底侧壁用于承载物品，所述状态检测装置为光感检测装置，所述光感检测装置设置在所述底侧壁的下方，所述底侧壁由透光材料制成，所述光感检测装置用于检测从所述储物空间透过所述底侧壁的光线强度，所述储物状态对应于所述光线强度的大小。

8.根据权利要求1所述的图像采集系统，其特征在于，所述状态检测装置为光线传感器，所述光线传感器用于检测储物空间中物品存放区域的光线通路，所述储物状态对应于所述光线通路状态。

9.根据权利要求8所述的图像采集系统，其特征在于，所述储物空间由包括左侧壁、底侧壁、右侧壁和顶侧壁在内的侧壁围设形成，所述底侧壁用于承载物品，所述光线传感器包括发光器和感光器，所述发光器和感光器相对地分别安装于所述物品存放区域两侧的左侧壁和右侧壁上。

10.根据权利要求1所述的图像采集系统，其特征在于，所述储物空间由包括左侧壁、底侧壁、右侧壁和顶侧壁在内的侧壁围设形成，所述摄像装置的数目为两个，且分别安装于所述左侧壁和所述右侧壁上。

11.一种储物空间的图像采集方法，其特征在于，包括：

S1，检测抓取工具在所述储物空间中的存在状态，得到存在状态信息；

S2，在步骤S1的同时，检测所述储物空间中的储物状态，得到储物状态信息；

S3，在所述储物空间中无抓取工具存在以及所述储物状态变化时，对所述储物空间中的物品存放区域进行拍摄。