CN104718553B - 信息处理系统 - Google Patents

Abstract

本申请涉及确定在家电装置中被使用的物品的信息处理系统以及防盗系统，信息处理系统具备根据物品的信息而生成的识别数据库，物品与家电装置进行关联，基于关联有物品的家电装置的物品使用检测信息，与识别数据库进行匹配处理，确定在家电装置中被使用的物品。通过所述结构，基于根据所购入的物品的信息而生成的识别的数据库和与购入物品的购入者关联的家电装置的物品使用检测信息，能够确定在家电装置中被使用的物品。

Description

信息处理系统

技术领域

本申请涉及确定在家电装置中被使用的物品的信息处理系统以及防盗系统。

背景技术

洗衣机、冰箱等家电装置与洗涤剂、食品等各种日用品、食品相关。例如，洗衣机为了进行洗涤而需要洗衣剂、柔软剂，如果是冰箱则在内部保存牛肉、鸡蛋等食品。若能够在家电装置中进行这些物品的确定，则能够提供使用家电装置的各种服务。例如，能够实现与使用的洗涤剂相适合的洗涤过程的自动设定、确认冰箱内的食品来进行菜谱推荐等。

但是，在现有的家电装置中无法确定这些物品或物品的利用时机(timing)。

为了自动地确定各种物品，很多情况下通常使用由照相机进行的图像识别(例如，专利文献1)。

现有技术文献

专利文献1：日本特开平10-9753号公报

发明内容

本申请的一个技术方案涉及的信息处理系统，具备根据所购入的物品的信息而生成的识别数据库，所购入的物品与家电装置进行关联，基于与所购入的物品关联的家电装置的物品使用检测信息，与识别数据库进行匹配处理，确定在家电装置中被使用的物品。

根据所述结构，能够基于根据所购入的物品的信息而生成的识别数据库和与购入物品的购入者关联的家电装置的物品使用检测信息，确定在家电装置中被使用的物品。

此外，这些包括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。

附图说明

图1是表示本申请的实施方式1中的结构和处理流程的图。

图2是表示使所有通用食物为对象的使用图像识别的数据库的匹配处理的图。

图3是表示本申请的实施方式1中的数据库的匹配处理的图。

图4是表示本申请的实施方式2中的结构和处理流程的图。

图5是表示本申请的实施方式2中的处理流程的图。

图6A是表示本申请的实施方式2中的数据库生成流程的图。

图6B是表示本申请的实施方式2中的图像识别处理流程的图。

图7是表示本申请的实施方式3中的结构和处理流程的图。

图8是表示本申请的实施方式3中的识别处理流程的图。

图9是表示本申请的实施方式3中的识别数据库的表格的图。

图10是表示本申请的变形例、应用例中的结构和处理流程的图。

图11是表示本申请的变形例、应用例中的结构和处理流程的图。

图12是表示本申请的变形例、应用例中的结构和处理流程的图。

图13是表示本申请的变形例、应用例中的处理流程的图。

具体实施方式

首先，对本发明人在进行本申请涉及的各技术方案的发明时研究的事项进行说明。

在使食品等多种多样的物品为对象的情况下，图像识别的精度成为问题。其理由有如下几个。例如即使同样是物品然而如橘子和柚子这样的外观相似的情形、即使同样是西瓜然而却会有1/3切块或1/8切块等进行加工而使形状发生变化的情形等可为其理由之一。另外还可以例举如由于对识别对象物品进行查询的识别数据库的大小，即因识别的候补为所有食物而导致匹配对象规模增大，其结果使误识别增加的例子。

另外，与用户有想看内容物的需求的冰箱不同，如洗衣机这类设备其仅为了确定洗涤剂而搭载照相机，在成本方面难以安装图像识别用的照相机。

(实施方式1)

图1是表示本申请的实施方式1涉及的信息处理系统的结构和处理流程的图。假设用户在超市这种销售店购入了例如“橘子、1/3切块西瓜、A社的调味料”这三样。此时，使用该销售管理装置(现金出纳机、POS系统等)的结帐信息将在销售店的购入物品的信息发送给云服务器侧。购入物品的信息与购入物品的用户(以下，也记为购入者)的信息进行了关联。在云服务器中，生成仅包含用户的购入物作为参考数据的图像识别数据库。通过该图像识别数据库生成处理，限制了应识别的物体。由此，即使是如柚子、橘子这样外观相似的物品，误识别的概率也会下降。

接着，由家电装置检测物品的使用。家电装置与购入物品的用户的信息进行关联。例如，在该图的例子的情况下假设为冰箱，而在冰箱的情况下，在将物品放入冰箱内时或从冰箱内取出物品时检测到物品的使用。物品的使用检测由家电装置所具备的照相机等拍摄装置来进行，将存取于冰箱内的存取物品的图像作为物品使用检测信息而输出。

使购入物品的信息与家电装置关联的方法考虑几种方法。例如有借助会员信息等的个人ID来进行关联的方法。在超市、便利店中，很多情况下都分发在物品购入时赋予积分的优惠的会员卡等，对这些卡信息具有的个人ID很多都关联有购入物品的一览信息。通过事先将该个人ID与家电装置具有的设备ID进行关联，能实现家电装置与购入物品的关联。另外，除此以外，也可以在购入处理时发放与购入物品的信息关联的固有ID。在该情况下由销售管理装置进行购入处理时，在各打印的收银小票上发放并印刷固有ID。固有ID有二维条形码、数字等几种方式。将该固有ID的信息和与其关联的购入物品的信息发送到云服务器侧。在购入了物品的用户回到自己家时，用家电装置的照相机对打印有该固有ID的收银小票进行扫描。此外，也可以不用扫描而手动输入序号。家电装置从云服务器取得与扫描的固有ID对应的购入物品的信息。

最后，将作为物品使用检测信息的存取于冰箱内的存取物品的图像发送到云服务器。然后在云服务器侧进行图像识别处理。此时，在仅包含之前的购入物的图像识别数据库内的物品中仅匹配特征量最接近的物品。

使用图2和图3的概念图对作为本申请的特征的图像识别数据库的匹配处理的部分进行说明。在图2的例子中使图像识别的对象为所有一般的食物或食品，图像识别数据库也照此准备包含所有食物的尺寸的大数据库。因此，例如即使是西瓜这一种也将各式各样切块的西瓜作为参考数据而登记。进而，在图像识别时需要与图像识别数据库上的所有登记数据进行模式匹配。换言之，正确匹配的候补多，难以获得准确的识别结果。另外，进而，为了获得识别处理的应答性而需要提高云服务器的性能，存在成本也提高的倾向。

如图3所示在本申请的情况下，与之前的图2的情形不同，能够基于购入信息从图像识别数据库中限定成为参考的登记数据。由此，外观相似而难识别的物品少，能够高精度地进行识别。此外，在新产品等还没有存在于通用食物的图像识别数据库的情况下，可以基于来自店的商品信息而添加到图像识别数据库中。另外，对于不是通常大量生产的物品、特别是在店里烹饪的熟食品这种物品、包装和内容完全不同的物品等，可以将实际上在店里销售的商品本身的图像登记在图像识别数据库中，或将进行了同样的加工或包装的同一品种的物品作为代表性的物品而登记在图像识别数据库中。另外，如能够切割的水果这样在从冰箱取出之前和使用后又存放于冰箱的情况下识别物体的形状发生变化，而在该情况下可以根据存放时的图像而再次构成与该物体相关的图像识别数据库。如此能够基于所购入的物品的图像或进行了与购入物品同样的加工或包装的物品的图像而制作图像识别数据库，因此在进行图像识别时，能够获得更准确的识别结果。

此外，图像识别数据库所登记的信息在该物品已被使用的情况下自动地进行删除。作为一例，在过了物品各自的保质期的情况下，可以判断为该物品已被使用或由于不能使用而判断为不需要识别，从图像识别数据库中删除。另外，在作为需冷藏的物品而检测到已从冰箱取出且经过1天以上还没放回到冰箱的情况下，可以判断为物品已不能使用并进行删除。另外，使用者也可以通过声音、设备操作等手动输入已使用这一情况，在冷冻食品等的情况下也可以由微波炉检测已使用这一情况而自动地删除。

(实施方式2)

图4是表示本申请的第2实施方式所涉及的信息处理系统的结构和处理的流程的图。该例示出了能够在终端确认冰箱的内容物的一览的信息处理系统的结构。此外，以下省略与实施方式1同样的构成部分的说明，仅说明本实施方式特有的部分。

在本申请中，以从智能手机等终端取得冰箱等家电装置内的保存物一览的处理为例进行说明。因此，在云服务器上对从冰箱取出的物品进行识别来进行内容物(所存放的物品)的一览管理。在有来自终端的访问(询问)时，发送所管理的冰箱内的内容物的一览表。

图5是表示系统的处理流程的图。首先，在销售店的现金出纳机(收银机)这种销售管理装置中，进行购入时登记处理。该购入时登记处理的对象可以是与一般的店铺的结帐信息相同的数据。另外，也可以是去掉了购入物的金额的数据或购入物本身的图像的信息，只要是能够确定购入物品的信息即可。通过该购入时登记处理，将用户的购入物的信息发送给云服务器。新产品或在店内进行了加工的熟食品这种物品也可以配合图像或用于图像识别的元数据(颜色以及/或者形状等)而发送。

在云服务器侧，基于该一览信息进行图像识别数据库生成(选择)处理。该图像识别数据库生成(选择)的处理进而根据图6A的处理而构成。首先，接收购入物的信息，决定所生成的图像识别数据库所包含的物品。接着，基于已有的一般的图像识别数据库，从其中仅选择之前取得的购入物品的信息而生成图像识别数据库。此时，对在已有的图像识别数据库中尚不存在的熟食品这种在店内进行了加工的加工品，可以新添加在图像识别数据库中(图3)。最后，进行图像识别匹配方法的选择。例如，在所生成的图像识别数据库中只有“苹果”和“橘子”这种形状相同而颜色不同的物体的情况下，只需使用它们的颜色的特征量来进行模式匹配即可。另外，在只有“西瓜”和“酢橘”这种形状相同而大小不同的物体的情况下，只需使用大小的特征量来进行匹配即可。当然，需要也按照以前放入冰箱的物品的信息来选择识别方法。通过选择如上所述生成的图像识别数据库和与之最适合的图像识别匹配方法，能够进行精度高且处理量少的图像识别。

接着，在家电装置侧进行物品放入以及/或者物品使用的检测。此时将识别对象物品的图像信息发送到云服务器。此时，例如若是冰箱，则由拍摄装置监视冰箱入口而进行物品的放入以及/或者使用的检测。此外，如果发生冰箱门的开闭，则可以认为发生了物品放入以及/或者使用而生成检测信息。另外，也可以根据洗衣机使用了“洗涤”菜单这一情况，而进行物品即洗涤剂、柔软剂的物品放入以及/或者物品使用的检测。

在云服务器，基于图像识别数据库和从家电装置发送来的图像信息，进行图6B的图像识别处理。在云服务器侧进行待机直到有来自家电装置的输入。在等待输入的状态下，当有来自家电装置的输入时进行图像识别处理。此外，图像识别的方法既可以如上所述使用通过图像识别数据库生成(选择)处理而决定的方法，也可以使用静态地预先决定的方法。最后，在识别结果中选择特征量最接近的图像识别数据库内的物体。将通过以上的处理而得到的在家电装置中被使用的物品(由家电装置使用的物品)的数据存储于云服务器。

在从终端侧通过智能手机应用程序向云服务器发出冰箱的内容物一览的数据访问请求的情况下，在云服务器侧进行内容物一览表制作。这是形成用户能够确认物品的一览的一览表的处理，例如进行HTML的生成。将该生成的结果发送到终端侧，通过终端侧的浏览器应用程序来显示。

(实施方式3)

图7是表示本申请的第3实施方式所涉及的信息处理系统的结构和处理的流程的图。与图4所示的第2实施方式的不同之处在于：对在图像识别数据库上是否有家电属性、使用多个家电装置的放入、取出检测信息进行识别。

在图7的例子中使用2个家电装置的数据。以下将该2个家电装置分别作为冰箱和微波炉来进行说明。在该图中，用户最初在超市购入的物品是“A社调味料、B社袋装的加工食品(retort food)、C社甜点”。在此，假设它们的包装的外观相似而在照相机的拍摄条件下难以识别。在该条件下，例如若仅通过照相机图像来进行图像识别，则图像识别的精度成为问题。另一方面，如本实施方式所示通过使实际使用的各家电装置和对图像识别数据库赋予的家电属性进行组合，能够提高识别的精度。

例如，如图8所示对将B社袋装的加工食品从冰箱中取出而立即用微波炉加热的情况进行说明。在本实施方式中，图像识别数据库的特征量包含家电属性。作为一例而示出图9的图像识别数据库的表格。在该表格中，在项目名中有成为识别结果的物体的名称，作为它们的特征量数据，有家电属性1、家电属性2、大小等信息。此外，作为除此以外的特征量，还可以有颜色、包装的印刷文字、条形码等。家电属性1表示物品有可能被使用的家电的信息。例如，在“A社调味料、B社袋装的加工食品、C社甜点”中仅B社袋装的加工食品有可能会在冰箱和微波炉这两方被使用。因此，在检测到对于冰箱的取出之后又检测到对于微波炉的放入的情况下，可以判断为该物品是B社袋装的加工食品的可能性高。

在如上所述在对于家电装置的放入以及/或者取出进行检测时，通过将家电属性信息以及在哪个家电装置物品被使用的使用信息也用作识别处理的特征量，能够实现更高的识别精度。

(变形例、应用例)

在家电装置没有识别功能的情况下，可以将实施方式3的结构作为用于预测放入物品的预测机构来利用。图10是表示由没有图像识别功能的微波炉使用时的结构和处理的流程的图。例如，在图9的例子中，在用户的购入物的“A社调味料、B社袋装的加工食品、C社甜点”中，具有微波炉的家电属性的物品仅是B社袋装的加工食品。在该情况下，在向微波炉放入了物品时可以预测为大概放入了B社的袋装的加工食品。

另外，也可以使用在云服务器侧进行了处理得到的识别结果，向家电装置发送控制命令等。例如，如图11所示在由家电装置1(冰箱)识别出B社的袋装的加工食品之后立即检测到对于微波炉的放入、取出的情况下，可以进行与B社袋装的加工食品的解冻对应的家电设定等控制(控制命令的发送)。

另外，这些各处理可以在家电装置侧和云服务器侧的任一侧进行。例如，如图12、图13所示，可以在家电装置侧实施图像识别之后的所有处理。

此外，在上述的所有实施方式例中以图像识别为例进行了说明，但并非将识别限定于图像。例如，也可以使用声音识别。在声音识别的情况下，例如有如下方法等：在用户从冰箱取出物品时，通过声音来输入“取出橘子”。在该情况下，例如以图3为例进行说明，在声音识别数据库中仅录入了“橘子、1/3切块西瓜、A社调味料”，仅通过使该数据库的3句话与“取出橘子”这种来自用户的声音输入进行匹配就可以，因此能够获得高的声音识别精度。

另外，对于图像识别，说明了基于大小、颜色等物体的特征量的匹配的方法，但本申请并不限定于这些图像识别方法。例如，也可以单纯地对图像本身、图像内的辉度分布进行模式匹配。

此外，本申请能够用于实施方式所记载的用途以外的广泛用途。例如，也能够适用于物流行业中的防盗服务。云服务器为物流业主所具有并进行管理，具有与向顾客家送货的送货员相关的数据库。并且，销售管理装置在物流站进行管理，将今天哪个送货员访问哪个顾客家的送货日程表输入到云服务器。并且，家电装置设置在顾客家中，在送货员来访时，取得该送货员的脸部图像等而访问云服务器。然后，云服务器基于所取得的送货员的脸部图像和由物流站的销售管理装置输入的送货日程表，确认是否为正确的送货员，由设置于同一顾客家中的终端显示结果。此外，在云服务器中，在许多送货员中仅将负责当天送货的数名送货员作为识别对象进行列表。由此，能够提高家电装置侧的识别精度。通过使用以上的构造，具有如下效果：在伪装成快递员的犯罪者的情况下显示为不正确，因此能够防止被卷入犯罪案件。

产业上的可利用性

通过本申请的信息处理系统，能够确定在家电装置中被使用的物品。另外，使用图像识别技术，能够构筑由家电装置实现的防盗系统。

Claims (10)

1.一种信息处理系统，

具备根据已经购入的物品的信息而生成的仅能用于识别所述已经购入的物品的识别数据库，

所述物品与家电装置进行关联，

基于关联有所述物品的家电装置的物品使用检测信息，与所述识别数据库进行匹配处理，确定在所述家电装置中被使用的物品。

2.根据权利要求1所述的信息处理系统，

所述识别数据库基于所述物品的图像或者进行了与所述物品同样的加工或包装的物品的图像而生成。

3.根据权利要求1所述的信息处理系统，

通过图像识别或声音识别来确定在所述家电装置中被使用的物品。

4.根据权利要求1所述的信息处理系统，

按照所述物品的信息，选择所述匹配处理的方法。

5.根据权利要求1所述的信息处理系统，

使用购入者的会员信息的个人ID进行所述物品向家电装置的关联。

6.根据权利要求1所述的信息处理系统，

通过由所述家电装置读取在购入时由销售管理装置发放的固有ID，进行所述购入的物品向家电装置的关联。

7.根据权利要求1所述的信息处理系统，

所述识别数据库按物品包含表示有可能使用该物品的家电装置的属性信息，

使用所述属性信息和由哪个家电装置使用了物品的使用信息来确定在所述家电装置中被使用的物品。

8.根据权利要求1所述的信息处理系统，

还基于多个家电装置的物品使用检测信息，进行识别或识别修正处理。

9.一种信息处理系统，

具备根据所购入的物品的信息而生成的预测数据库，

所述购入的物品与家电装置进行关联，

基于与所述购入的物品关联的家电装置中的物品使用信息，使用所述预测数据库，预测在所述家电装置中被使用的物品。

10.根据权利要求9所述的信息处理系统，

将与在所述家电装置中被使用的物品有关的家电控制命令提供给所述家电装置或相关的其他家电装置。