CN108780596B - 信息处理系统 - Google Patents

Abstract

本发明能够提供一种在购物者购买店铺里陈列的商品时能够实现商品的货款的结算的自动化以及商品的货款的结算所需的时间的缩短的信息处理系统。本信息处理系统具有移动物体追踪单元、货架商品识别单元和结算单元。移动物体追踪控制单元发现在店铺内移动的购物者、提篮类等的移动物体，对该移动物体进行区域定义，一边对所述移动物体的移动进行追踪，一边进行拍摄。货架商品识别单元总是对货架内的状态进行拍摄，对从货架内取出物体的前后的拍摄图像进行比较，根据拍摄图像对被识别的对象的商品进行区域定义，根据该定义的图像区域对商品进行确定。结算单元对被确定的商品进行结算。

Description

信息处理系统

技术领域

本发明涉及一种信息处理系统。

背景技术

在现有技术中，在便利店、超市、购物中心、各种批发销售专卖店等商店中，购买者从商品货架取出商品，放入购物车或购物篮并运送至在商店的出口附近设置的收银处，通过自助收银机进行商品的货款的结算(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2001-76261号公报。

发明内容

发明要解决的课题

但是，在收银处对放入购物车或购物篮的商品进行结算的情况下，即使是自助收银，也会进行各商品的条形码的读取，因此无法消除等待收银的队列，购买者会长时间等待收银。

此外，当购买者在商店里购买想要购买的商品时还有许多其他购买者的情况下，存在购买者放弃购物的情况。

因此，考虑到如上述这样的情况，需要一种在购买者购买商店里陈列的商品时能够实现商品的货款结算的自动化以及商品的货款结算所需的时间的缩短的系统。

此外，在现有的店铺中还有一个问题是由购物者、收银员实施的盗窃等不法行为，也需要一种能够防止这种不法行为的系统。

本发明是鉴于这种状况而完成的，其目的在于，在购买者购买商店里陈列的商品时能够实现商品的货款结算的自动化以及商品的货款结算所需的时间的缩短，并且能够防止由购物者、收银员实施的盗窃等不法行为。

用于解决课题的方案

为了达成上述目的，本发明的一个方式的信息处理系统具有：

移动物体追踪控制单元，其发现在店铺内移动的人、提篮类等的移动物体，对该移动物体进行区域定义，一边对所述移动物体的运动进行持续追踪，一边进行拍摄；

货架商品识别控制单元，其总是对店铺内的货架内的状态进行拍摄，对从货架内取出物体的前后的图像进行比较，根据拍摄图像对被识别的对象的商品进行区域定义，根据该定义的图像区域对商品进行确定；以及

结算单元，其对被确定的所述商品进行结算。

发明效果

根据本发明，提供一种在购买者购买商店里陈列的商品时能够实现商品的货款的结算的自动化、商品的货款的结算所需的时间的缩短以及由购物者、收银员实施的盗窃等不法行为的防止的信息处理系统。

附图说明

图1为将本发明所涉及的信息处理系统的实施方式1至实施方式4的要点制成一览表的图。

图2为表示采用实施方式1的商品识别系统的便利店的布局例的图。

图3为表示在实施方式1中采用的收银终端的外观的结构例的概要透视图。

图4为表示作为本发明的信息处理系统的实施方式1的商品识别系统的结构的结构图。

图5为表示图4的商品识别系统中的服务器的硬件结构的框图。

图6为表示图4的商品识别系统中的收银终端的硬件结构的结构图。

图7为表示图5的服务器与图6的收银终端的功能性结构的一个示例的功能框图。

图8示出了在收银终端放置的物体的拍摄画面的示例。

图9为表示用于对在收银终端放置的物体的数量进行计算的真值表的一个示例的图。

图10为对图7的服务器和收银终端执行的自动结算处理进行说明的流程图。

图11为对在图7的服务器和收银终端执行的自动结算处理中限制买卖商品的处理进行说明的流程图。

图12为表示采用实施方式2的商品识别系统的书店的布局例的图。

图13为表示通过在实施方式2中采用的收银终端对书籍进行自动结算的一个示例的概要立体图。

图14为表示作为本发明的信息处理系统的实施方式2的商品识别系统的结构的结构图。

图15为表示图14的商品识别系统中售卖处装置的硬件结构的框图。

图16为表示图5的服务器、图6的收银终端、图15的售卖处装置的功能性结构的一个示例的功能框图。

图17为表示图16的售卖处装置所具有的移动物体追踪部的详细功能的结构例的功能框图。

图18为表示图16的售卖处装置所具有的位置信息管理部的详细功能的结构例的功能框图。

图19为表示图16的售卖处装置所具有的册数计数部的详细功能的结构例的功能框图。

图20为对图16的服务器、收银终端、售卖处装置执行的自动结算处理进行说明的流程图。

图21为在图20的步骤S210中对商品的册数信息与所结算的册数进行检验的情况的流程图。

图22为表示采用实施方式3的商品识别系统的超市的布局例的图。

图23为表示作为实施方式3的商品识别系统的结构的结构图。

图24为表示图23的商品识别系统中售卖处装置的硬件结构的框图。

图25为表示图5的服务器、结算机、图24的售卖处装置的功能性结构的一个示例的功能框图。

图26为表示图25的售卖处装置所具有的移动物体追踪部的详细功能的结构例的功能框图。

图27为表示图25的售卖处装置所具有的货架商品识别部的详细功能的结构例的功能框图。

图28为表示图25的售卖处装置所具有的提篮商品识别部的详细功能的结构例的功能框图。

图29为对图25的服务器、售卖处装置、结算机执行的自动结算处理的基本流程进行说明的流程图。

图30为对图25的服务器售卖处装置、结算机执行的自动结算处理的提篮内商品进行识别的处理进行说明的流程图。

图31为表示采用实施方式4的商品识别系统的超市的布局例的图。

图32为表示作为本发明的信息处理系统的实施方式4的商品识别系统的结构的结构图。

图33为表示图32的商品识别系统中结算闸口的硬件结构的图。

图34为表示图5的服务器、图24的售卖处装置、图33的结算闸口的功能性结构的一个示例的功能框图。

图35为表示实施方式4的售卖处装置所具有的移动物体追踪部的详细功能的结构例的功能框图。

图36为表示实施方式4的售卖处装置所具有的货架商品识别部的详细功能的结构例的功能框图。

图37为对图34的服务器1、售卖处装置、结算闸口执行的自动结算处理进行说明的流程图。

具体实施方式

〔概要〕

以下，对本发明的信息处理系统的实施方式的概要进行说明。

本发明的信息处理系统作为对商品进行自动结算的商品识别系统来使用。以下，对图1所示的实施方式1至实施方式4依次分别进行说明。

图1为将本发明的信息处理系统的实施方式1至实施方式4的要点制成一览表的图。

在图1中的“实施店铺”一栏中记载了实施方式1至4的各实施店铺。例如，实施方式1是假设主要在便利店中的应用的信息处理系统。

但是，该实施店铺只不过是例示，实施方式1至4的各自的应用场所没有特别限定。例如也可以将实施方式1的实施店铺设为超市等的零售店或食堂、进行结算的店铺。

在图1中的“结算场所”栏记载有在实施方式1至4的各实施方式中购物者进行结算的场所。实施方式1、2中的结算场所例示了收银终端。收银终端具有将物体确定为商品、并对该商品进行结算的功能。实施方式3中的结算场所为收银台。收银台具有放置由物体已经被确定为商品的物品、并对该商品进行结算的功能。实施方式4中的结算场所例示了结算闸口。结算闸口具有不用将由物体已经被确定为商品的物品放置于收银台而对该商品进行结算的功能。

在图1中的“概要”的一栏记载有各实施方式1至4的各自的概要。例如，实施方式1的信息处理系统概况而言为对放置在收银终端的商品进行自动结算的信息处理系统。

在图1中的“详情”一栏记载有各实施方式的详细情况。也就是说，例如实施方式1的信息处理系统利用在收银终端设置的收银照相机对放置在收银终端的手持商品进行识别，并进行该商品的自动结算。

在此，将在店铺中销售的商品被确定为何种商品之前的物品称为“物体”。另外，虽然不是商品但是例如购物者自带的私人物品等也成为“物体”。并且，将“物体”被确定为商品后的物品称为“商品”。因此，“商品”指的是在店面销售的物品。

此外，实施方式1至4的商品识别系统具有对物体进行拍摄的1台以上的传感设备。传感设备除了图像传感器(照相机等)以外，还能够采用温度传感器、距离传感器等各种传感器。

以下将由照相机等的图像传感器拍摄的图像称为“拍摄图像”。而且，以下将包含物体来作为被拍摄物体的拍摄图像称为“物体拍摄图像”。另一方面，以下将包含商品来作为被拍摄物体的拍摄图像称为“商品拍摄图像”。

此外，在本说明书中，在针对商品拍摄图像以及物体拍摄图像实施各种图像处理的情况下，实际上以数据的形式进行处理，但在以下为了便于说明，省略地说明数据。

实施方式1的商品识别系统根据包含放置在收银终端的物体来作为被拍摄物体的物体拍摄图像，对物体的存在进行识别。

具体而言，例如在实施方式1中，收银终端具有作为传感设备的一个示例的1台以上的收银照相机。收银照相机对收银终端的规定区域进行拍摄。具体而言，收银照相机对物体被放置之前的规定区域进行拍摄。此外，收银照相机对物体被放置在规定区域之后的规定区域进行拍摄。因此，实施方式1的商品识别系统中的收银终端通过对物体被放置在收银终端的规定区域之前的拍摄图像与物体被放置在收银终端的规定区域之后的物体拍摄图像进行对比，从而对物体的存在进行识别。

此外，也可以使用对物体被放置在收银终端的规定区域之前的拍摄图像与物体被放置在收银终端的规定区域之后的物体拍摄图像进行对比以外的图像识别的分割技术，仅根据物体被放置在收银终端的规定区域之后的物体拍摄图像来对物体的存在进行识别。

在实施方式1中，收银终端通过基于图像识别的物体识别方法对该识别出的物体分别为哪个商品进行确定。在此，例如采用了以下方法：基于深度学习(Deep Learning：深度学习)制成商品候选，然后通过发挥检验功能，从而以高精度确定商品。并且，在实施方式1中，收银终端接下来对已经确定的商品的数量进行识别。在实施方式1中，接下来对已经确定的商品进行结算。

实施方式2的商品识别系统适用于如书店那样的店铺。具体而言，实施方式2的商品识别系统将设置在书店内的售卖处的书架与书架之间、如手推车那样的台上(以下，包含台上在内，作为“货架内”进行说明)的物体作为书籍的册数进行识别，在该书籍被拿取时直至被放置在收银终端为止对购物者进行追踪，在书籍被放置在收银终端的情况下对所放置的书籍的册数进行识别，然后通过对该书籍进行确定而识别为商品，并对该书籍进行自动结算。

实施方式3的商品识别系统适用于超市等的零售店。具体而言，实施方式3的商品识别系统对在超市等零售店的售卖处放置的提篮类(购物篮、购物车)进行识别，并对在售卖处移动的提篮类进行追踪。在实施方式3的商品识别系统中，在物体从货架内被拿取的阶段将该物体识别并确定为商品，通过在收银台放置提篮类，对放入提篮类的商品的列表进行读取，并对该商品进行自动结算。

实施方式4的商品识别系统适用于超市等零售店。具体而言，不仅是购物者、在超市放置的购物篮以及购物车，而且将包含购物者的自带购物袋、塑料购物袋等在内的提篮类以及购物者作为移动物体进行识别并追踪。并且，在实施方式4的商品识别系统中，在物体从货架拿取的阶段对商品进行识别并确定，即使商品没有放置在收银终端也能够在收银闸口进行自动结算。

以下，参照附图，分别对实施方式1至实施方式4进行说明。

〔实施方式1〕

实施方式1的信息处理系统为在如图2所示的便利店等店铺所采用的具有如图3所示的收银终端2的商品识别系统。实施方式1的信息处理系统通过将商品放置在收银终端就能够进行自动结算。

图2为表示采用实施方式1的信息处理系统的店铺为便利店的情况下的布局例的图。

在店铺10内的出入口11附近设置有收银柜台(register counter)12。在收银柜台12上设置有用于对商品进行自动结算的无人的收银终端2。在该收银终端2的旁边设置了有人的收银机13。

在店铺10内设置有陈列商品的多架货柜14，相向的货柜14之间成为购物者移动的通道15。

货架内的商品被在通道15移动的购物者拿取，并放置在收银终端2的规定区域(后述的图3的规定区域A等)。放置在规定区域的商品，以购物者对收银终端2进行的规定的操作作为触发条件，被收银终端2一并确定多个商品，并进行自动结算。

另外，有人的收银机13如现有技术那样店员用条形码对每个商品进行识别并结算。

参照图3，对无人的收银终端2的外观的结构例进行说明。

图3为表示收银终端2的外观的结构例的概要透视图。

收银终端2具有将载置物体的规定区域A围成的围绕部270。围绕部270具有顶板部271、底板部272、和一对侧板部273。

在顶板部271和一对侧板部273分别固定有对规定区域A进行拍摄的收银照相机211。收银照相机211对放置在规定区域A的物体进行拍摄。

另外，在图3中，收银照相机211仅描绘了3台，但是也可以如后述那样为5台，只要存在至少1台以上即可，台数没有限定。此外，虽然未图示，但收银终端2还具有对购物者的脸、手等进行拍摄的照相机。

在底板部272上设置有壳体部275。在壳体部275的正面具有图3中未图示的收据输出部、显示部(后述的图6的输出部206的收据输出部R、显示部D)。

在壳体部275上设置有放置物体的半透明的板276。板276的上表面的板面设为规定区域A。板276的板面形成为波形形状。波形形状不仅可以为正弦波形状，也可以为矩形波形状，进而间距、振幅不仅可以为均等的，也可以为不均等的。

板276通过采用了像这样地规定区域A反复形成了凹部和凸部的结构，能够将圆柱状、球状的物体的至少一部分夹在凸部与凸部之间，以使得不会滚动。

在该板276内和围绕部270的顶板部271内具有对规定区域A进行照明的照明部208。照明部208也可以存在于围绕部270的侧板部273。

照明部208不仅以白色发光，而且以蓝色、红色其它未限定的各种颜色来发光。通过照明部208发光，使得放置在规定区域A的物体的影子在规定区域A不产生或减少。

围绕部270能够使提示部210进行变色，以使能够用颜色对收银终端2的状态、例如是正常待机中的状态、或是结算中的状态、或是店员操作中的状态、或是进而发生了异常事件等进行辨认。

围绕部270中的至少顶板部271和侧板部273可以由瞬间调光膜构成，以使能够在成为透明的透明状态和成为不透明的不透明状态之间切换。

在该情况下，通过将围绕部270设为透明状态，能够确保规定区域A的可视性。通过将围绕部270设为不透明状态，能够在拍照时抑制外部光的影响的同时取得物体拍摄图像。

这种收银终端2组装在作为信息处理系统的实施方式1的商品识别系统。

图4为表示作为本发明的信息处理系统的实施方式1的商品识别系统的结构的结构图。

实施方式1的商品识别系统具有服务器1和n台(n为1以上的任意的整数值)收银终端2-1至2-n。

服务器1和n台收银终端2-1至2-n分别经由互联网等的网络N而相互连接。

另外，为了便于说明，图4的服务器1仅描绘了1台，但实际上有时也为多台。

此外，以下在不需要单独区分收银终端2-1至2-n的情况下，将其统称为“收银终端2”。

服务器1为了对收银终端2的各动作进行管理而执行各处理。收银终端2放置在图2所示的收银柜台12上。在收银终端2中，在确定了由购物者放置在收银终端2的规定区域A的物体的数量之后，对商品进行确定，并进行自动结算。

图5为表示图4的实施方式1的信息处理系统中服务器1的硬件结构框图。

服务器1具有CPU(Central Processing Unit：中央处理单元)101、ROM(ReadOnlyMemory：只读存储器)102、RAM(RandomAccessMemory：随机存取存储器)103、总线104、输入输出接口105、输出部106、输入部107、存储部108、通信部109、以及驱动器110。

CPU101根据在ROM102存储的程序或从存储部108加载至RAM103的程序来执行各种处理。

在RAM103中还酌情存储由CPU101执行各种处理时所需的数据等。

CPU101、ROM102以及RAM103经由总线104而相互连接。此外，在该总线104还连接有输入输出接口105。在输入输出接口105连接有输出部106、输入部107、存储部108、通信部109以及驱动器110。

输出部106由显示器、扬声器等构成，将各种信息作为图像、声音而输出。

输入部107由键盘、鼠标等构成，输入各种信息。

存储部108由硬盘、DRAM(Dynamic Random Access Memory：动态随机存取存储器)等构成，存储各种数据。

如图4所示，通信部109经由包含互联网的网络N在与收银终端2之间进行通信。

在驱动器110酌情安装由磁盘、光盘、光磁盘或者半导体存储器等构成的可移动介质120。通过驱动器110从可移动介质120读取出的程序根据需要被安装在存储部108。

此外，可移动介质120能够与存储部108同样地也存储在存储部108存储的各种数据。

图6为表示图4的实施方式1的信息处理系统中收银终端2的硬件结构的框图。

收银终端2具有CPU201、ROM202、RAM203、总线204、输入输出接口205、输出部206、输入部207、照明部208、遮光部209、提示部210、收银照相机211、存储部212、通信部213、以及驱动器214。

在驱动器214酌情安装可移动介质220。

收银终端2的CPU201、ROM202、RAM203、总线204、输入输出接口205、存储部212、通信部213、驱动器214、可移动介质220与服务器1的各部件同样地构成。

输出部206存在于图3所示的壳体部275。输出部206具有显示与商品相关的信息、与结算相关的信息等的显示部D、和输出收据的收据输出部R。

输入部207存在于图3所示的壳体部275。输入部207具有触摸板(未图示)、读卡部C。

遮光部209在围绕部270由瞬间调光膜构成的情况下，在透明状态和不透明状态之间切换图3所示的围绕部270。

提示部210以图3所示的提示部210用不同的颜色发光的方式进行切换，以使知晓收银终端2的状态为正常待机中的状态、或结算中的状态、或店员操作中的状态、或进而发生了异常事件等。另外，不仅是正面，背面也具有提示部210。

收银照相机211对放置在规定区域A的物体进行拍摄，并将作为其结果所得到的1张以上的拍摄图像作为物体拍摄图像而输出。

图7为表示图5的服务器1和图6的收银终端2的功能性结构的一个示例的功能框图。

在服务器1的CPU101中，DB管理部141发挥作用。

在服务器1的存储部108的一个区域设置有商品DB131。商品DB131为存储与商品相关的信息的DB(Data Base：数据库)。

如图7所示，在收银终端2的CPU201中，发光控制部228、遮光控制部229、提示控制部230、个人认证部231、图像取得部232、物体识别部233、物体数量识别部234、商品确定部235、限制买卖商品判断部236、结算部237、以及显示控制部238发挥作用。

另外，收银终端2具有对个人信息以及商品信息进行保持的DB信息保持部241。

收银终端2的CPU201的发光控制部228执行以下控制：在拍摄物体的时刻使照明部208发光的状态与在不拍摄物体的时刻不使照明部208发光的状态之间进行切换的控制；根据对放置在规定区域A的物体进行识别的状况等来切换照明部208的发光颜色的控制。

遮光控制部229在围绕部270由瞬间调光膜构成的情况下，在不透明状态与透明状态之间切换围绕部270。即，遮光控制部229执行以下控制：围绕部270具有的遮光部209在对放置在规定区域A的物体进行拍照的时刻下的不透明状态与不拍摄的时刻下的透明状态中从一方切换至另一方。

提示控制部230以使提示部210提示收银终端2的状态的发光颜色进行变化的方式执行控制。

个人认证部231在正在进行结算处理中通过参照由DB信息保持部241、DB管理部141管理的个人信息，进行购物者的个人认证。具体而言，个人认证部231在商品的图像识别之前使用人脸认证、卡片认证、指纹认证、静脉认证、虹膜认证等的各种生物体认证等的认证方法来实施认证处理。由DB管理部141管理的个人信息包含年龄、过敏症、清真(Halal)等的信息。因此，由个人认证部231取得的个人信息被限制买卖商品判断部236有效利用。

如图8所示，图像取得部232取得物体被放置在规定区域A后由收银照相机211拍摄到的物体拍摄图像。

图8示出了在收银终端2放置的物体的拍摄画面的示例。在此，图8为表示放置在规定区域A的物体X、Y、Z、Z’通过3台收银照相机211分别拍摄而得到的物体拍摄图像的示例的图。

图8(a)示出了通过在收银终端2的顶板部271固定的收银照相机211拍摄了物体X、Y、Z、Z’而得到的物体拍摄图像的例。在该物体拍摄图像中包含6个物体。由于该物体拍摄图像不存在成为物体的影子的物体X、Y、Z、Z’，所以拍摄了放置在规定区域A的全部物体X、Y、Z、Z’。

图8(b)示出了通过在收银终端2的一个侧板部273固定的收银照相机211拍摄了物体X、Y、Z、Z’而得到的物体拍摄图像的示例。在该物体拍摄图像中包含2个物体。该物体拍摄图像成为收银照相机211侧的物体X、Y、Z、Z’遮挡住里侧的物体的状态。

图8(c)示出了通过在收银终端2的另一个侧板部273固定的收银照相机211拍摄了物体X、Y、Z、Z’而得到的拍摄图像。在该物体拍摄图像中包含2个物体。该物体拍摄图像成为收银照相机211侧的物体X、Y、Z、Z’遮挡住里侧的物体的状态。

在图8(b)和图8(c)的各自的物体拍摄图像所包含的2个物体Z中，一方为同一物体Z’，另一方为不同的物体。

物体识别部233使用上述的规定的图像识别方法，根据由图像取得部232取得的物体拍摄图像对被放置在规定区域A的物体的存在进行识别。即，物体识别部233对在收银终端2的规定区域A放置物体之前的背景图像与放置物体之后的物体拍摄图像进行比较，通过利用背景差分处理针对每个物体来定义(确定)物体区域，从而对物体的存在进行识别。

另外，物体识别部233也可以使用背景差分处理以外的方法，不对在规定区域A放置物体之前的背景图像与放置物体之后的物体拍摄图像进行比较，而通过仅根据物体拍摄图像来定义物体区域，从而对物体的存在进行识别。

物体数量识别部234通过对物体识别数量和结算数量进行比较来识别在规定区域A放置的物体的数量。物体识别数量是根据由收银终端2的多台收银照相机211拍摄的物体拍摄图像而由物体识别部233识别出的物体的数量。

结算数量为结算对象的商品的数量。

如图8所示，物体识别数量有时根据收银照相机211而不同。即，在图8(a)中，拍摄了6个物体，而在图8(b)(c)中，拍摄了2个物体。

在这种情况下，物体数量识别部234通过获得如图9所示的逻辑“或”来对物体的数量进行识别。

图9为表示用于对在收银终端2放置的物体的个数进行计算的真值表的一个示例的图。

在图9中，针对图8所示的物体X、Y、Z、Z’，收银终端2(图3)具有的第1至第5的收银照相机211进行拍摄，在能拍摄出来的情况下用“1”表示，在不能拍摄出来的情况下用“0”表示。另外，物体Z和物体Z’虽然为相同的物体，但是由于进行拍摄的收银照相机211不同，所以是表示拍摄成不同的状态的物体。

在图9中，第1收银照相机211表示为“收银台照相机1”，同样地，第2至第5收银照相机211表示为“收银台照相机2”至“收银台照相机5”。

在图9的示例中，物体X被第1、第4以及第5收银照相机211拍摄。物体Y被第2、第4以及第5收银照相机211拍摄。物体Z被第2、第3以及第5收银照相机211拍摄。物体Z’被第1以及第3收银照相机211拍摄。

在图9的示例中，不存在被全部的第1至第5收银照相机211拍摄到的商品。此外，物体Z与物体Z’尽管为相同的商品，但是由于拍摄的收银照相机211不同，所以被拍摄为另外的物体。可以认为这是由于拍摄的收银照相机211的角度不同的缘故。

基于此点，物体数量识别部234通过使用逻辑“或”的方法来对商品的数量进行认定。即，即使物体重叠地放置在规定区域A或某物体以成为其它的物体的影子的方式放置在规定区域A，也能够针对任一个收银照相机211拍摄到的物体，通过使用逻辑“或”来识别为放置在规定区域A。

在像这样根据多个物体拍摄图像并使用真值表识别出的物体识别数量与结算数量不相同的情况下，物体数量识别部234向显示控制部238输出数量不同这样的信息。

返回到图7，商品确定部235使由物体识别部233识别为存在的物体与在DB信息保持部241保持的商品信息进行匹配。即，商品确定部235首先通过特定物体识别、一般物体识别、深度学习(Deep Learning)等的图像处理方法，列出商品候选。将该列出的商品候选称为“商品候选列表S”。此后，商品确定部235发挥检验功能，以高精度对商品进行确定。

检验功能是利用与前述的列出商品候选的方法不同的算法而列出“商品候选列表P”的功能。使商品候选列表S、P的结果进行匹配，在超过规定的阈值的情况下对商品进行确定。

作为“商品候选列表”的列表方法，例如也可以通过使从识别为存在的物体获得的物体的图像信息与在DB信息保持部241、存储器上保持的图像信息进行匹配的方法来实现。即，如果两个图像的特征信息一致(超过阈值)，则由物体识别部233识别为存在的物体是登记在DB信息保持部241的商品，因此，商品确定部235确定为是登记在该DB信息保持部241的商品。

在此，对在商品确定部235利用图像处理方法不能确定商品时将其结果输出为商品不确定的具体例进行说明。首先，商品确定部235对在DB信息保持部241保存的商品图像和在规定区域A所拍摄的物体拍摄图像进行比较，并对两个图像相类似的特征点(类似特征点)以及特征量进行计算。接下来，商品确定部235从服务器1的商品DB131读取商品候选列表中包含的商品的图像的特征点以及特征量。接下来，商品确定部235对所读取的商品候选列表中包含的商品的每个特征点的特征量、和识别出的物体的每个特征点的特征量进行比较，并对在DB信息保持部241保存的商品图像与在规定区域A所拍摄的物体拍摄图像之间的类似特征点进行匹配。

接下来，商品确定部235使用类似特征点的各组的对应点坐标，对位置关系进行比较，去除在由于转动、并进所产生的变化中没有正确对应的(位置关系不符合)类似特征点的组，对剩余的类似特征点的数量进行计算。商品确定部235在类似特征点的数量小于阈值的情况下设为商品不确定。

在这种设为商品不确定的方法中，有时将非包装商品的如盒饭那样的商品设为不确定商品。盒饭有时菜肴的位置些许不同，在这种情况下有可能设为不确定商品。在这种情况下，商品确定部235也可以对粘贴在商品上的标签所记载的包含条形码等的多维码等各种代码、商品名称等文字进行检测，根据在DB信息保持部241、服务器1的商品DB131中存储的商品信息来读取商品名称、商品代码等，并对商品进行确定。

进而，商品确定部235使用在DB信息保持部241、服务器1的商品DB131中存储的商品信息，对类似商品、关联商品(以下称为“组商品”)进行检验。商品确定部235针对例如尺寸、颜色等不同的系列产品的组商品，使用商品的大小、颜色等特征来比较阈值。商品确定部235在其阈值小于规定的阈值的情况下设为商品不确定。

限制买卖商品判断部236基于判断信息而对由商品确定部235确定的商品是否属于限制买卖商品进行判断。

另外，作为限制买卖商品，以下商品符合条件：(A)如香烟、酒类等那样的未达到一定年龄就不能购买的商品；(B)保质期过期、保鲜期过期的商品；(C)因为含有过敏成分，所以根据体质而不应该摄取的商品；(D)清真食品以外的商品等的由于宗教而产生限制的商品。

结算部237针对由商品确定部235确定的全部商品，计算合计金额。此时，在由限制买卖商品判断部236设为是限制买卖商品的情况下，需要针对这些全部的限制买卖商品解除限制。因此，结算部237从DB信息保持部241读取放置在规定区域A的商品的价格，并显示在显示部D(图6)。

显示控制部238在由物体数量识别部234得到的物体识别数量与结算数量不一致的情况下，为了对商品的数量进行确认，以通过输出部206向购物者、店员发出警告的方式进行控制。显示控制部238在由限制买卖商品判断部236认定为物体是限制买卖商品的情况下，以向购物者、店员发出是限制买卖商品的要点的警告的方式控制输出部206。进而，在由结算部237计算出合计金额的情况下，以向购物者以及店员显示该商品的商品名称、价格等的方式控制输出部206。

在限制买卖商品判断部236中认定为物体是限制买卖商品，从提示部210、输出部206提示该要点的警告。注意到该提示的店员对是否可以销售限制买卖商品进行判断。在判断为可以销售限制买卖商品时，通过店员来解除该提示。

本商品识别系统具有用于对该解除进行指示的远程操作部17。远程操作部17由远离收银终端2的店员持有，或者存在于店铺的库房(backyard)。

来自远程操作部17的信号被输入至收银终端2通信部213。远程操作部17也能够通过1台而对多台收银终端2进行远程操作。

作为本说明书的信息处理系统来使用的商品识别系统具有商品登记系统，所述商品登记系统用于针对在店铺10销售的商品而拍摄商品的外观，并将其与商品的价格等的商品信息一起进行登记。商品登记可以在店铺10内实施，此外也可以在商品的制造商、批发商等的店铺外实施，场所不限。

该商品登记系统具有未图示的登记图像生成部、商品管控登记部、拍摄图像取得部、以及识别部。

登记图像生成部生成能放置在收银终端2的规定区域A的商品的图像来作为商品登记图像。

商品管控登记部将由登记图像生成部生成的商品登记图像、和对在该商品登记图像中所包含的作为被拍摄物体的商品唯一赋予的商品标识进行关联并登记。

拍摄图像取得部取得放置在收银终端2的规定区域A的物体的拍摄图像作为物体拍摄图像。商品确定部235基于该物体拍摄图像和商品登记图像而对识别为存在的物体是哪个商品进行确定。

物体识别部233基于所取得的物体拍摄图像而对放置在规定区域A的物体的存在进行识别。

该商品识别系统通过使识别为存在的物体的物体拍摄图像、和在DB信息保持部241或服务器1的存储部108中保持的商品的图像如上述那样进行匹配，从而通过商品确定部235来确定是哪个商品。

在设置了这种商品识别系统的店铺10中，通过生成商品登记图像，向该商品登记图像中包含的商品赋予商品标识，从而能够利用对商品唯一赋予的商品标识来实施管控登记。进而，具有该商品登记系统的商品识别系统能够进行不能粘贴条形码贴纸的商品的商品管理。

在此，参照图10，对实施方式1的商品识别系统中的商品的结算方法进行说明。

图10为对图7的服务器与收银终端执行的商品的结算处理进行说明的流程图。

在该商品的自动结算处理之前，在收银终端2的规定区域A未放置物体的状态下预先拍摄的规定区域A的图像被保存在图像取得部232中。

该预先拍摄的规定区域A的图像在规定的时刻被更新，每次购物者使用收银终端2不被更新，即使购物者改变也可以共用。

并且，通过购物者按下收银终端的操作按钮，开始进行自动结算处理。

在步骤S101中，收银终端2的收银照相机211对在收银终端2的规定区域A上放置了物体之后的图像进行拍摄。该图像作为如图8所示的物体拍摄图像而被输入至图像取得部232。

该物体拍摄图像由于照明部208对收银终端2内进行照明，所以物体的影子不产生或减少。

物体拍摄图像也可以输入至显示控制部238，并从输出部206输出。

此外，通过收银终端2的收银照相机211对购物者进行拍摄，个人认证部231对购物者进行个人认证。

在步骤S102中，收银终端2的物体识别部233使用上述的规定的图像识别方法，根据由图像取得部232取得的物体拍摄图像而对放置在规定区域A的物体的存在进行识别。即，物体识别部233通过对在收银终端2的规定区域A放置物体之前的背景图像与放置了物体之后的物体拍摄图像进行比较，并利用背景差分处理针对每个物体来定义(确定)物体区域，从而对物体的存在进行识别。

在步骤S103中，收银终端2的商品确定部235对是否确定了在收银终端2的规定区域A放置的物体为哪个商品进行判断。在商品确定部235不能确定商品的情况下(在步骤S103中为“否”)，通过收银终端2的提示部210以颜色、声音等方式来告知错误状态。

在成为由于商品不确定而产生的错误状态的情况下，对物体进行重新放置，通过在收银终端2进行规定的操作而返回到步骤S101，再次对物体进行重新拍摄。重新放置可以由发现错误状态的店员来进行，也可以由购物者本身来进行。

另外，成为错误状态的情况是收银终端2的系统处理成为异常的情况、不能够对物体的特征部分进行拍摄、或物体重叠、或被挡住的情况、限制买卖商品被放置在收银终端2的情况、商品、私人物品遗落在收银终端2的情况等。在物体重叠、或被挡住的情况下，通过对物体进行重新放置，能够拍摄并确定物体为哪个商品。

在步骤S103中商品确定部235能够确定商品的情况下(在步骤S103中为“是”)，商品确定部235针对包含保持在DB信息保持部241或服务器1的存储部中的商品名称、价格、为限制买卖商品等信息对商品进行确定。由此，处理进入步骤S104。已确定的商品信息也可以输出到显示控制部238。

在步骤S104中，限制买卖商品判断部236执行限制买卖商品的处理。限制买卖商品的处理是指对已确定的商品是否为限制买卖商品进行判断的处理。具体而言，限制买卖商品判断部236对例如已确定的商品是否为年龄限制商品、是否为不属于清真商品或包含过敏成分的商品、是否为保质期过期、保鲜期过期商品等进行判断。参照图11，在后面叙述限制买卖商品的处理的详情。

另外，通过在直到步骤S104为止(包含步骤S101以前)的任意的时刻，预先取得个人认证，限制买卖商品判断部236能够针对每个购物者执行限制买卖商品的处理。

在步骤S105中，结算部237对放置在规定区域A的商品进行结算。

具体而言，结算部237通过分别取得在步骤S103中所确定的商品的价格，并进行合计，从而对放置在规定区域A的全部商品进行结算。

所结算的商品的商品名称、价格等商品信息从显示控制部238输出到输出部206，并显示在输出部206的显示部D，从收据输出部R印刷成收据并输出。

此外，该收银终端2由于经由通信部213与服务器1连接，所以能够作为POS(PointOf Sale：销售网点)来有效利用。即，通过收银终端2，将已结算的商品的购买信息以及年龄性别推断信息链接至POS系统。

另外，在S105中，收银终端2的提示部210也可以在物体数量识别部234所确定的物体的数量、商品确定部235所确定的商品的数量、结算数量不同的情况下提示其要点。收银终端2由于具有取消功能，所以能够中止结算处理。

接下来，参照图11，对步骤S104中的限制买卖商品的处理进行详细说明。

图11为对图7的服务器与收银终端执行的限制买卖商品的处理进行说明的流程图。

在步骤S111中，限制买卖商品判断部236对由商品确定部235确定的商品是否为酒精饮料等的需要进行年龄确认的商品进行判断。

在步骤S111中，在判断为由商品确定部235确定的商品是需要进行年龄确认的商品的情况下，即判断为“是”的情况下，处理进入步骤S112。

在步骤S112中，显示控制部238使收银终端2的显示部D显示用于年龄确认的画面。但是，在取得购物者的个人信息，在此不需要进行年龄确认的情况下，跳过步骤S112，处理进入步骤S114。

在步骤S113中，限制买卖商品判断部236对是否接收了解除限制买卖的指示进行判断。

在步骤S113中判断为未接收到解除限制买卖的指示的情况下，处理返回至步骤S113。即，在直到接收解除限制买卖的指示为止的期间，反复进行步骤S112的判断处理。

如果在步骤S113中判断为接收到解除限制买卖的解除指示，即判断为“是”，则处理进入步骤S114。

在步骤S114中，限制买卖商品判断部236对限制买卖进行解除。

在像这样结束步骤S114或在步骤S111中判断为不是年龄限制商品的情况下(判断为“否”的情况下)，处理进入步骤S115。

在步骤S115中，限制买卖商品判断部236对由商品确定部235确定的商品是否为清真(允许的)食品以外的商品或过敏商品进行判断。

在限制买卖商品判断部236判断为是清真商品以外的商品(不允许的商品)或过敏商品的情况下，进入步骤S116。

在步骤S116中，显示控制部238使收银处的显示部D显示出为清真商品以外的商品的要点或者为过敏商品的要点。但是，在取得购物者的个人信息，但在此不需要判断是不属于清真的商品还是过敏商品的情况下，跳过步骤S116，处理进入步骤S118。

在步骤S117中，限制买卖商品判断部236对是否接收了解除限制买卖的指示进行判断。

在判断为未接受解除限制买卖的指示的情况下，处理返回到步骤S117。即，在直至接受到设为不是清真商品以外的商品或不是过敏商品而解除限制买卖的指示为止的期间内，反复进行步骤117的判断处理。

在判断为接收到解除限制买卖的指示的情况下，进入步骤S118。

在步骤S118中，限制买卖商品判断部236对限制买卖进行解除。

在像这样结束步骤S118或在步骤S115中不是清真商品以外的商品或不是过敏商品的情况(判断为“否”的情况)下，处理进入步骤S119。

在步骤S119中，限制买卖商品判断部236对由商品确定部235确定的商品是否为保质期限过期的商品进行判断。

在限制买卖商品判断部236判断为包含保质期过期的商品的情况下，在步骤S119中判断为“是”，处理进入步骤S120。

在步骤S120中，显示控制部238使收银终端2的显示部D显示显示出有可能含有保质期过期的商品的这一要点。

在步骤S121中判断为未接收解除限制买卖的指示的情况下，判断为“否”，反复进行步骤S121的处理。即，在直至接收到解除保质期过期的商品的限制的指示为止的期间，反复进行步骤S121的判断处理。

如果在步骤S121中判断为接收到解除限制买卖的指示，则判断为“是”，进入步骤S122。

在步骤122中，限制买卖商品判断部236对限制买卖进行解除。

在限制买卖商品判断部236判断为不包含保质期过期的商品的情况下，在步骤S119中判断为“否”，处理结束。

由此，限制买卖处理结束。然后，处理进入在步骤130的收银终端处的结算。

通过这样，本信息处理系统能够对放置在收银终端的商品进行识别，并进行自动结算。

实施方式1并不限定于上述的实施方式，在能够达到本发明的目的的范围内的变形、改良等包含在本发明中。

例如，图3所示的收银终端2的外观结构为例示，并不限定于该外观。收银终端2只要至少包含规定区域A、如收银照相机211那样的拍摄部、输出部206即可，也可以追加其它的结构要素。

此外，实施方式1的商品识别系统也可以设置从上游侧向下游侧输送1个以上的物品的输送机构(例如传送带)。在上游侧配置具有拍摄部的规定区域。在下游侧配置结算区域。

在规定区域中，对由拍摄部拍摄的物体的数量进行计数。该商品识别系统在所计数的物体的数量与在结算区域结算了的商品的数量不同的情况下，作为错误而检测。

〔实施方式2〕

实施方式2的信息处理系统是在如图12所示的书店等的店铺20中包含如图3以及图13所示的收银终端2的商品识别系统。在实施方式2的信息处理系统中，通过将作为商品的书籍被放置于收银台就能够进行自动结算。

图12为表示采用实施方式2的信息处理系统的书店的布局例的图。

如书店那样的店铺20设置了具有闸口(gate)21的出入口22。出入口22根据店铺20的规模并不限于如图示那样的两处，也可以为一处，还可以为三处以上。闸口21不仅是具有如图示那样的开闭部件的类型，也采用了具有虽未图示但如扬声器、灯那样用声音、光来告知异常事件的发生的功能的类型等，以使能够应对存在不法行为的情况。

并且，店铺20设置有陈列书籍的多个货柜23。在货柜23中，在竖直方向隔开间隔地排列有多个搁板来陈列书籍。在水平方向相向的货柜23与货柜23之间被作为通道24。

在通道24的顶棚设置有多个(在附图中仅描述为1台)顶棚照相机310。顶棚照相机310无死角地拍摄店内的状态，总是对进店的购物者进行拍摄。

此外，也可以在各货柜23设置总是对各货柜23内进行拍摄的多个(在附图中仅描述为1台)货架照相机311。货架照相机311配置有多台，以使能够无死角地拍摄货架内的状态，也能够拍摄在货柜43前站立的购物者。

此外，在店铺20内的出入口22附近设置有收银柜台25。在收银柜台25上设置有多个用于进行自动结算的无人的收银终端2。该收银终端2的旁边设置了有人的收银机26。另外，也有时在出入口22附近、通道24放置用于放入书籍的购物篮(未图示)。

店员Mt在通道24、收银柜台25内等进行作业。店员Mt持有信息终端9。另外，信息终端9也设置在店铺20的库房、店铺20外的综合管理本部等。

在本信息处理系统中，顶棚照相机310对购物者从货柜23的货架内取出或放回1册以上的书籍的行为进行拍摄，在掌握了被购物者拿取的书籍的册数之后，取得如图13所示那样放置在无人的收银终端2的书籍的价格等信息，并进行自动结算。

在实施方式2中，将购物者作为“移动物体Mo”进行说明。

图13为表示在实施方式2中采用的收银终端2的概要结构的概要立体图，示出了对书籍(未编号)进行结算的状态。

实施方式2的无人的收银终端2采用了外观结构与图3所示的实施方式1的收银终端2同样的收银终端。

因此，收银终端2具有围绕部270，所述围绕部270包围对书籍进行载置的规定区域A。围绕部270具有顶板部271、底板部272、和一对侧板部273。该围绕部270与图3所示的实施方式1的围绕部270同样地构成。

因此，在顶板部271和一对侧板部273固定有对规定区域A进行拍摄的收银照相机211。如图13所示，至少1台收银照相机211对放置在规定区域A的书籍的至少书脊进行拍摄。另外，在图13中，书籍以靠近一方的侧板部273、而书脊朝向另一方的侧板部273的方式放置，但书脊也可以朝向设置在顶板部271的收银照相机211，书籍的放置方式没有限制。

这种收银终端2组装在作为信息处理系统的一个实施方式的商品识别系统。

图14为表示作为本发明的信息处理系统的实施方式2的商品识别系统的结构的结构图。

商品识别系统具有服务器1、收银终端2-1至2-n、和售卖处装置3。售卖处装置3具有根据由顶棚照相机310拍摄的书籍的拍摄图像而对书籍的册数进行识别的功能。

另外，服务器1为了对收银终端2-1至2-n、售卖处装置3进行管理而被设置在店铺20的库房或店铺外。此外，售卖处装置3由于发现并追踪图12所示的店铺20内的移动物体Mo，所以对设置在店铺20内的顶棚照相机310进行控制。

服务器1、收银终端2-1至2-n、和售卖处装置3分别经由互联网(Internet)线路等的网络N而相互连接。

另外，为了便于说明，图14的服务器1仅描绘有1台，实际上也有多台的情况。

此外，以下，在不需要单独区别收银终端2-1至2-n的情况下，将其统称为“收银终端2”。

服务器1为了对收银终端2以及售卖处装置3的各工作进行管理而执行各种处理。

服务器1具有CPU101、ROM102、RAM103、总线104、输入输出接口105、输出部106、输入部107、存储部108、通信部109、以及驱动器110。这些部件与图5所示的实施方式1中说明的服务器1同样地构成。

这种服务器1经由网络N连接有售卖处装置3。

图15为表示图14的商品识别系统中的售卖处装置3的硬件结构的框图。

售卖处装置3具有CPU301、ROM302、RAM303、总线304、输入输出接口305、顶棚照相机310、货架照相机311、通信部315、以及信息终端9。

售卖处装置的CPU301、ROM302、RAM303、总线304、输入输出接口305、通信部315与图5所示的服务器1中的相应部件同样地构成。

顶棚照相机310通过USB(Universal Serial Bus：通用串行总线)电缆与网络连接。

货架照相机311也可以采用鱼眼照相机等的能够拍摄广角的照相机。

此外，货架照相机311通过USB电缆而与网络连接。

信息终端9为具有远程操作部390、显示部391等的智能手机、平板电脑等的信息机器。远程操作部390具有通过远程操作来解除如系统处理异常这样的错误状态等的功能。显示部具有显示错误状态、移动物体Mo等的画面。此外，信息终端9具有通知错误状态的声音产生部(未图示)。

作为店铺内的错误状态，存在例如顶棚照相机310不能够对从货架内拿取的书籍的册数进行识别的情况、未结算的书籍被带出店铺外的情况等。此外，作为收银终端的错误状态，有在收银终端2不能够对书籍进行确定、或不能够对册数进行识别的情况、欲结算年龄限制商品的情况、书籍被遗失在收银终端2内的情况等。

此外，服务器1设置有显示这种错误的错误显示部151、和解除错误状态的错误解除部152。

在这种售卖处装置3经由网络N而连接有收银终端2。

收银终端2与图6所示的实施方式1的收银终端同样地构成。

因此，实施方式2的收银终端2具有CPU201、ROM202、RAM203、总线204、输入输出接口205、输出部206、输入部207、照明部208、遮光部209、提示部210、收银照相机211、存储部212、通信部213、以及驱动器214。

收银照相机211对放置在规定区域A的书籍进行拍摄，并将作为该拍摄结果而得到的拍摄图像作为物体拍摄图像，并向CPU201内的图像取得部232输出。在收银照相机211如鱼眼照相机那样能够以广角进行拍摄的情况、仅拍摄书籍的书脊的情况下，收银照相机211可以仅具有1台。

图16为表示图5的服务器1、图6的收银终端2和图15的售卖处装置3的功能性结构的一个示例的功能框图。

服务器1的CPU101具有错误判断部150。

在服务器1的存储部108的一个区域设置有商品DB131、和位置信息管理DB132。

商品DB131为存储与书籍相关的书名、价格、作者名、出版社等信息的DB(DataBase：数据库)。位置信息管理DB132对移动物体Mo的位置进行管理。

在收银终端2的CPU201中，如图16所示，发光控制部228、遮光控制部229、提示控制部230、图像取得部232、物体识别部233、商品确定部235、限制买卖商品判断部236、结算部237、以及显示控制部238发挥作用。

发光控制部228执行以下控制：在对书籍进行拍摄的时刻使照明部208发光的状态和在不对书籍进行拍摄的时刻使其不发光的状态之间进行切换的控制；根据对放置在规定区域A的书籍进行识别的状况等来切换发光颜色的控制。

遮光控制部229执行以下控制：围绕部270具有的遮光部209在对放置于规定区域A的书籍进行拍摄的时刻下的不透明状态和在不拍摄的时刻下的透明状态之间进行切换。

提示控制部230以使提示部210对收银终端2的状态进行提示的发光颜色进行变化的方式执行控制。

图像取得部232取得物体放置在规定区域A并被收银照相机211拍摄的物体图像的数据。

物体识别部233使用上述的规定的图像识别方法对放置在规定区域A的物体的存在进行识别。

商品确定部235针对由物体识别部233识别为存在的物体，利用特定物体识别、一般物体识别、文字识别、深度学习(Deep Learning)等的图像处理方法，列出商品候选。将该列出的商品候选称为“商品候选列表S”。此后，商品确定部235发挥检验功能，以高精度确定商品。

检验功能是利用与前述的列出商品候选的方法不同的算法而列出“商品候选列表P”。在使商品候选列表S、P的结果进行匹配，并超过规定的阈值的情况下，确定商品。

作为“商品候选列表”的列表方法，也可以通过例如使从识别为存在的物体获得的物体的图像信息、和在DB信息保持部241、存储器上保持的图像信息进行匹配的方法来实现。即，当两个图像的特征信息一致(超过阈值)时，由物体识别部233识别出存在的物体是在DB信息保持部241登记的商品，所以商品确定部235确定为是在该DB信息保持部241登记了的商品。

限制买卖商品判断部236基于判断信息而对由商品确定部235确定的商品是否为限制买卖商品进行判断以及提示。限制买卖商品是指例如对于一定年龄以下的购物者限制销售的书籍。在店员销售书籍的情况下，观察了购物者的店员能够对购物者的年龄进行确认，并判断是否可以销售。

但是，在非当面销售而是采用自动结算的本系统中，需要店员能够对购物者的年龄进行确认的机制。确定了限制买卖商品的收银终端2对是限制买卖商品的要点进行提示，并中断结算处理。通过错误显示部151，接收到错误状态的店员对购物者的年龄进行确认，操作收银终端2来解除限制状态。由此，再次开始结算处理。此外，收银终端2也可以具有对购物者的脸、手等进行拍照的收银照相机211，通过对购物者的年龄进行推断，从而对于判断为未达到规定的年龄的购物者不销售限制买卖商品。

因此，限制买卖商品判断部236根据服务器1的DB管理部141的信息而对年龄限制书籍等的限制买卖商品进行确定。

限制买卖商品判断部236也可以与在个人认证中获得的购物者的信息进行绑定而实施限制买卖。在判断为该书籍是限制买卖商品时，显示部D对是限制买卖商品的要点进行提示。

结算部237针对由商品确定部235确定的、由限制买卖商品判断部236判断为能够销售的书籍，计算合计金额。例如，结算部237从DB信息保持部241中读出放置在规定区域A的书籍的价格并进行加法运算，使显示部D(图6)进行显示，并进行结算。

显示控制部238执行向购买者以及店员显示由收银终端2的收银照相机211拍摄并由结算部237结算的书籍的标题、价格等的控制。

在售卖处装置3的CPU301中，如图16所示，个人认证部320、移动物体追踪部330、位置信息管理部340、册数计数部350、提篮商品识别部370、限制买卖商品判断部380发挥作用。

个人认证部320具有个人信息取得部321。

个人认证部320根据由个人信息取得部321取得的购物者的个人信息，对在服务器1的DB管理部141中登记的购物者是谁而进行个人认证。另外，个人认证部320和个人信息取得部321也可以与实施方式1同样地存在于收银终端2。

在此的个人信息是不仅包含例如姓氏、性别、出生年月日、住址、电话号码这样的能够对个人进行确定的信息，也包含指纹、静脉、虹膜等的生物体信息、信用卡号码、银行账户号码这样的与金融相关的信息等的与隐私相关的信息。

个人信息取得部321存在于例如在出入口22设置的闸口21。该个人信息取得部321采用与购物者的IC卡、智能手机、平板电脑等的便携式信息终端进行接触的读取装置、对指纹、静脉、虹膜等的生物体信息进行读取的读取装置等。

在进店时未能够进行个人认证的情况下，也可以在购物中根据顶棚照相机310拍摄的购物者的图像而实施个人认证。

取得的个人信息被有效利用于限制买卖(包含解除)、购买分析。

图17为表示在图16的售卖处装置3具有的移动物体追踪部330的详细功能的结构例的功能框图。

如图17所示，移动物体追踪部330根据由顶棚照相机310拍摄的图像发现移动物体Mo，并对移动的移动物体Mo进行追踪，因此具有基于顶棚照相机的移动物体发现部3302、基于顶棚照相机的移动物体区域定义部3304、基于顶棚照相机的移动物体区域追踪部3305。

此外，基于顶棚照相机的移动物体追踪部330通过USB电缆、网络N等与顶棚照相机310连接。因此，顶棚照相机310与其它的顶棚照相机310、个人计算机等进行协作。

基于顶棚照相机的移动物体发现部3302基于由顶棚照相机310拍摄的拍摄图像，使用状态空间模型(贝叶斯过滤器等)对移动物体Mo的状态进行推断，发现移动物体Mo，并编号能够唯一识别的ID。

然而，在来自顶棚照相机310的影像中，由于以具有角度(从倾斜方向)的方式拍摄未正对顶棚照相机310的移动物体Mo的周边区域，因此有可能不能够正确地取得移动物体Mo的位置信息。因此，也可以考虑通过对拍摄图像施加基于校准的修正，以仿佛正对那样地拍摄。但是，即使施加这种修正，有时也不能够高精度地取得位置信息。

因此，顶棚照相机310也可以通过使用距离传感器等取得移动物体Mo的高度信息，从而取得精度高的位置信息。

基于顶棚照相机的移动物体区域定义部3304对移动后的移动物体Mo的区域的位置信息进行更新。由于移动物体Mo持续移动，所以在由一个顶棚照相机310进行拍摄的范围内移动区域发生改变，在由其它的顶棚照相机310进行拍摄的范围内也进行移动。每次移动物体Mo移动时就对移动物体区域进行定义，将对位置信息进行管理的位置信息管理DB132、存储器等的各移动物体区域的位置信息进行更新。

移动物体区域追踪部3305对移动物体区域的位置进行推断，并对移动物体Mo的移动物体区域进行持续追踪。

图18表示在图16售卖处装置3具有的位置信息管理部340的详细功能的结构例的功能框图。

位置信息管理部340具有照相机间信息交接部341、各照相机的位置定义部342、和移动物体显示部343。

照相机间信息交接部341通过将被各顶棚照相机310拍摄的图像信息与被其它顶棚照相机310拍摄的图像信息进行共享，从而即使移动物体Mo从某个顶棚照相机310的拍摄图像而成为被其它的顶棚照相机310拍摄，也能够对移动物体区域进行持续追踪。

照相机间信息交接部341例如通过对由顶棚照相机310拍摄而获得的信息进行汇总的服务器1，在包含商品DB131在内的存储部108上进行顶棚照相机310间的信息交换。

作为其它的示例，鉴于顶棚照相机310的台数多，照相机间信息交接部341也可以不通过服务器1而是在各顶棚照相机310之间例如以P2P的方式对由各顶棚照相机310拍摄的图像进行交接。

各照相机的位置定义部342对各顶棚照相机310正在拍摄店内的某处的位置信息进行定义。即，各照相机的位置定义部342通过照相机间信息交接部341而对由各个顶棚照相机310拍摄的移动物体处于店铺内何处进行掌握。

该各照相机的位置定义部342对各顶棚照相机310的拍摄图像进行合成而制成1张店铺地图。此外，该各照相机的位置定义部342将各顶棚照相机310、货架照相机311的坐标置换为店铺地图上的坐标。此外，针对由各顶棚照相机310拍摄的拍摄图像，各照相机的位置定义部342通过透视变换，在计算上以成为与店铺内地面正对的拍摄图像的方式进行修正。

另外，通过顶棚照相机310搭载距离传感器而取得高度信息，位置信息管理部340准确地对歪斜的拍摄图像进行修正，从而能够准确地对移动物体Mo进行识别。

移动物体显示部343将由各照相机的位置定义部342拍照的位置信息显示为店铺30内的移动物体Mo。移动物体显示部343可以采用为店员Mt持有的信息终端9或者店铺的库房的画面等。

图19为表示在图16的售卖处装置3具有的册数计数部350的详细功能的结构例的功能框图。

册数计数部350具有册数识别部351、人与册数绑定部352、册数不确定判断部353、与人绑定的册数管理部354、基于顶棚照相机的移动物体区域间交接识别部355、以及基于顶棚照相机的交接的册数识别部356。

册数识别部351根据被顶棚照相机310拍摄的拍摄图像，对移动物体Mo从书架拿取的书籍和放回书架的书籍的册数进行识别。册数识别部351通过在拍摄图像内设置“物体进入检测线”等，从而对向货架内的移动物体区域的出入进行检测，并根据该检测时的拍摄图像而对移动物体Mo从书架内取出的物体和放回书架的物体的区域进行定义。将该物体区域的数量识别为书籍的册数。另外，在顶棚照相机310具有变焦功能的情况下，也可以在考虑顶棚照相机310与移动物体Mo的距离而使顶棚照相机变焦之后，由册数识别部351进行册数识别。

进而，册数识别部351也可以通过货架照相机311而对移动物体Mo从书架取出的书籍和放回书架的书籍的册数进行识别，也可以通过顶棚照相机310与货架照相机311的组合而对购物者从书架取出的书籍和放回书架的书籍的册数进行识别。此时的货架照相机311也可以是能够在宽范围内进行拍摄的照相机。

人与册数绑定部352对由册数识别部351识别的书籍的册数和取出该书籍的该人进行绑定。

册数不确定判断部353在不能识别出册数的情况下，将不能识别出册数这一情况与移动物体Mo进行绑定。

与人绑定的册数管理部354有效利用位置信息管理DB132等，总是对与移动物体Mo的ID绑定的册数计数列表进行持续管理。在书籍从书架取出时，对所取得的书籍数的量进行加法运算。相反地，在书籍放回书架时，对放回的书籍数的量进行减法运算。

基于顶棚照相机的移动物体区域间交接识别部355在移动物体区域间交接了书籍的情况下，将与各移动物体Mo绑定的册数信息向被交接了的移动物体Mo交接。

另外，基于该顶棚照相机的移动物体区域间交接识别部355可以使用深度学习等的物体识别方法来分析人的运动而进行交接并识别，也可以在交接时对移动物体区域中的手进行识别，还可以对移动物体区域(可以包含手)间的重叠进行识别。基于顶棚照相机的移动物体区域间交接识别部355也可以使用货架照相机311来代替顶棚照相机310。此时的货架照相机311可以为能够在宽范围内进行拍摄的照相机。

基于顶棚照相机的交接的册数识别部356在移动物区域体间交接了书籍的情况下，对该书籍的数量进行识别。例如，基于顶棚照相机的交接的册数识别部356根据在识别到交接的时刻下的拍摄图像而对书籍的数量进行识别。

基于顶棚照相机的交接的册数识别部356也可以通过具备具有变焦功能的顶棚照相机，对推断为实施了交接的场所进行变焦放大，并对书籍的数量进行识别。

基于顶棚照相机的交接的册数识别部356也可以通过使用能够对宽范围进行拍摄的货架照相机311来代替顶棚照相机310，对书籍的数量进行识别。

此外，基于顶棚照相机的交接的册数识别部356对由基于顶棚照相机的移动物体区域间交接识别部355确定的各移动物体Mo、和在此识别的书籍的数量进行绑定，并对册数列表进行更新。

接下来，以图20为中心并组合参照图12，对实施方式2的商品识别系统中的书籍的结算方法进行说明。

图20为在实施方式2中对书籍的结算处理进行说明的流程图。

在步骤S201中，当购物者(移动物体Mo)从店铺(图12)的出入口22进入店内时，在出入口22附近设置的顶棚照相机310开始进行该购物者的拍摄。

当购物者在通道24前进时，里侧的顶棚照相机310对该购物者进行拍摄。通过这样，多个顶棚照相机310总是对购物者进行拍摄。也可以在出入口22附近设置闸口21。

在出入口22具有闸口21的情况下，闸口21经常是关闭的，但在购物者进店的时刻打开，在进店后关闭。另外，也可以在步骤S201之前，个人认证部320实施购物者的个人认证，取得购物者的个人信息。

在步骤S202中，基于顶棚照相机的移动物体发现部3302通过仅抽取在步骤S201中所拍摄的购物者的区域(移动物体区域)而定义为移动物体Mo，在此基础上对移动物体Mo赋予ID编号，并将该ID和与ID绑定的店内的位置信息登记于位置信息管理DB132、售卖处装置3的RAM303。

在步骤S203中，基于顶棚照相机的移动物体区域定义部3304在由顶棚照相机310拍摄的范围内进行移动时，重新对移动后的移动物体Mo的区域的位置进行定义。位置信息由对人的位置进行管理的位置信息管理DB132、存储器等来管理，每次区域定义时进行更新。对于该定义的位置，即使是其它的顶棚照相机310所拍摄的位置也能识别。

在步骤S204中，基于购物者朝着欲购买的书籍而在通道24移动的情况，基于顶棚照相机的移动物体区域追踪部3305对移动物体区域的位置进行推断，并对移动物体Mo进行持续追踪。在步骤S201中，总是对移动物体Mo进行拍摄，在步骤S202中，对移动物体Mo赋予ID编号，在步骤S203中，对移动后的移动物体Mo的区域的位置信息进行更新，进而通过照相机间信息交接部341对位置信息进行交换，因此，即使移动物体Mo在通道24移动而被不同的顶棚照相机310拍摄的情况下，基于顶棚照相机的移动物体区域追踪部3305也能够对移动物体Mo进行持续追踪。

在步骤S205中，册数识别部351对由赋予了ID号的移动物体Mo从书架取出的书籍和放回书架的书籍的册数进行识别。

另外，在步骤S205中，在不能计算出被取出的书籍的册数的情况下，未图示的册数不确定判断部输出错误。

在步骤S206中，人与册数绑定部362对在步骤S205中识别(计数)出的书籍的册数和移动物体Mo进行绑定。因此，册数识别部351对唯一地确定的购物者取出了多少册书籍进行识别。

在步骤S207中，与人绑定的册数管理部363有效利用服务器1的DB管理部141，对与人绑定的书籍的册数进行持续管理。因此，即使在购物者从货架内取出的书籍被放回货架内的情况下，与人绑定的册数管理部363也对购物者持有的书籍的册数进行识别。

购物者取完书籍就前行至收银终端2，将该书籍放置在收银终端2的规定区域A。如图13所示，该书籍以书脊被收银终端2的至少1台以上的照相机211拍照的方式放置。并且，购物者按下收银终端2具有的作为输入部207的按钮等。收银终端2将该按钮的按下等作为触发条件来实施商品确定。商品确定是通过运用文字识别、图像识别方法，根据书籍的封面、书脊等对书名进行确定。

在步骤S210中，收银终端2的商品确定部235检验在步骤S207识别的与移动物体Mo绑定的册数信息、和在收银终端2的规定区域A放置的书籍的册数信息是否一致。关于该检验的具体流程，参照图21在后面叙述。

在与移动物体Mo绑定的册数信息和在收银终端2的规定区域A放置的书籍的册数信息不一致的情况下，在错误显示部151显示错误，不能进行结算。此外，当在该状态下尝试离店时，在出入口22附近设置的错误显示部151通过声音、光等发出警告。在设置有闸口21的情况下，维持关闭的状态。

在步骤S210中，限制买卖商品判断部236也可以对在收银终端2放置的书籍是否对应于有无限制进行判断。通过在直到步骤S207为止(包含步骤S201以前)的任意的时刻预先取得个人信息，从而限制买卖商品判断部236在购物者欲购买不能购买的存在限制的书籍时，错误显示部151进行错误显示。

在步骤S211中，收银终端2的结算部237对放置在规定区域A的书籍的合计金额进行结算。即，如实施方式1中说明的那样，通过商品确定部235获得书籍的价格等信息，并对合计金额进行计算。购物者通过信用卡、电子货币等进行支付，完成结算。

另外，当结算完成时，DB管理部141将与人绑定的册数计数列表更新为“已结算”的状态。

此外，在出入口22附近，购物者欲将未结算的书籍带出时，即与与移动物体Mo绑定的册数计数列表未成为“已结算”的状态时，带出检测部对该书籍进行检测，出入口22附近的错误显示部151、收银终端2的提示部210以声音、光等方式进行提示。此外，在设置有闸口21的情况下，闸口21维持关闭的状态，购物者不能够离店。除了闸口21维持关闭的状态之外，还可以由错误显示部151等通过声音、光等发出警告。由此，能够防止盗窃。

错误显示部151、收银终端2的提示部210也可以根据错误状态而以不同的颜色进行发光。

图21为在图20的步骤S210中对书籍的册数信息与结算的册数的检验进行说明的流程图。

在步骤S221中，当对收银终端2的输入部207的开始读取按钮进行按下时，在收银终端2的图像取得部232取得了在收银终端2的规定区域A放置的物体拍摄图像之后，商品确定部235针对被识别为存在的物体而确定其为哪一个商品，还对商品的册数进行识别。

在步骤S222中，售卖处装置3的册数计数部350的人与册数绑定部362根据移动物体Mo的ID来查询放置在收银终端2的书籍的册数的信息。

在步骤S223中，商品确定部235对放置在收银终端2的书籍的册数、和由与人绑定的册数管理部计数的书籍的册数是否一致进行判断。在一致的情况(“是”)下，能够结算。

放置在收银终端2的书籍的册数、和由与人绑定的册数管理部计数的书籍的册数不一致的情况(“否”)下，收银终端2的错误显示部151显示错误，并发出警告。另外，当欲在该状态下尝试离店时，出入口22附近的错误显示部151以声音、光等方式发出警告。在设置有闸口21的情况下，闸口21维持关闭的状态，购物者不能够离店。由此，能够防止盗窃。

〔实施方式3〕

图22为表示采用实施方式3的商品识别系统的超市的布局例的图。

实施方式3的商品识别系统为适用于图22所示的超市等的店铺30的系统。

在店铺30中，从入口31到出口32之间设置有售卖处。在售卖处设置有陈列商品的多个货柜33。相向的两个货柜33之间作为通道34。

在入口31设置有购物篮、购物车等的提篮类(未编号)。在出口32的近前作为结算区域35。在结算区域35内设置有多个收银台36。收银台36具有n台结算机4。在实施方式3中，不具有如实施方式1、2中采用的收银终端2。此外，在实施方式3中，与将购物者作为移动物体Mo而处理的实施方式2不同，将在系统上被掌握(发现、追踪等)的提篮类作为移动物体Mo进行处理。

购物者从入口31进店，拿着提篮类进入通道34。购物者拿取货架内的商品并放入提篮类中，进入通道34。购物者在取出全部欲购买的商品时，进入结算区域35并由结算机4结算。

在通道34、结算区域35等中，店员Mt进行巡视等。店员Mt持有信息终端9a。信息终端9a为智能手机等的便携式信息处理终端，并具有显示店内的状态的画面等。

在图22中，在以云形画出的线图的内侧描绘了不是店铺30内而是店铺30外、店铺30的库房的情形。在店铺30外设置有服务器1(图5)。在店铺30外存在的管理中心、店铺30库房等中，店员Mt通过大型监视器的画面(未图示)、信息终端9b的画面而对店铺30内进行监视。此外，以下，在不需要对信息终端9a和信息终端9b进行区分的情况下，将其统称为“信息终端9”。

在通道34、货柜33、此外店铺30内的任意的位置的上方的顶棚，分开地分别设置有多个顶棚照相机310。顶棚照相机310对通道34、货柜33、此外的其下方的规定区域进行拍摄。即，顶棚照相机310在移动物体Mo进入了的情况下，对包含移动动体Mo来作为被拍摄物体的该规定区域进行拍摄。

此外，在各货柜33内的各搁板的多处分别设置有作为传感设备的一个示例的货架照相机311。货架照相机311对货架内、货架内的商品、此外的规定区域进行拍摄。此外，货架照相机311在购物者的手等进入了货架内的规定区域内的情况、从货架内取出物体的情况下，拍摄该手、货架内的物体等作为物体拍摄图像。

也可以在各提篮类安装作为传感设备的一个示例的提篮照相机312(在图22中未图示)。

在该情况下，售卖处装置3的提篮照相机312在提篮类中设置1台以上，总是对放入提篮类的物体进行拍摄。提篮照相机312设置成能够无死角地对提篮类的内侧进行拍摄。提篮照相机312对放入提篮类的物体的至少正面等的具有特征的部位进行拍摄。

此外，提篮照相机312通过网络N与顶棚照相机310、货架照相机311协作。售卖处装置3通过该协作能够对由提篮照相机312拍摄的拍摄图像和由顶棚照相机310、货架照相机311拍摄的物体的拍摄图像这两个拍摄图像进行共享。通过该共享，能够提高根据在该拍摄图像中拍摄的物体来确定商品的精度。

实施方式3的商品识别系统具有即使由顶棚照相机310拍摄的移动物体Mo进行移动也对该移动物体Mo进行持续追踪的功能。实施方式3的信息处理系统具有根据由货架照相机311拍摄的拍摄图像而对从货柜33取出的物体是哪一个商品进行确定的功能。

实施方式3的商品识别系统也可以具有根据由提篮照相机312拍摄的拍摄图像而对放入提篮类的物体是哪一个商品进行确定的功能。

实施方式3的商品识别系统具有对货架内的物体是哪一个商品进行确定，进而在结算机4中对该商品进行自动结算的功能。在该自动结算时，在结算机4对与移动物体Mo绑定的商品的信息进行读取，并能够自动结算。

结算机4包含了购买商品的合计金额、数量、明细的显示、限制买卖商品判断的显示、结账功能等完成购物所需要的功能。

顶棚照相机310、货架照相机311以及提篮照相机312组装在如图23以及图24所示的售卖处装置3。售卖处装置3具有根据由顶棚照相机310、货架照相机311等拍摄的拍摄图像而对商品进行确定的功能、对移动物体Mo进行发现、追踪的功能。该售卖处装置3组装在如图23所示的商品识别系统。

图23为表示实施方式3的商品识别系统的结构的结构图。

实施方式3的商品识别系统具有服务器1、售卖处装置3、结算机4。在实施方式3中，售卖处装置3为了对物体是哪一个商品进行确定，具有结算机4来代替实施方式1、2中说明的收银终端2。

在图23中，服务器1以及售卖处装置3仅描绘为1台，实际上有时为多台。此外，以下，在不需要对结算机4单独区分的情况下，将其统称为“结算机4”。

服务器1和售卖处装置3经由互联网等的网络N而相互连接。

服务器1与实施方式1的服务器1(图5)同样地构成。

图24为表示图23的商品识别系统中售卖处装置3的硬件结构的框图。

售卖处装置3具有CPU301、ROM302、RAM303、总线304、输入输出接口305、顶棚照相机310、货架照相机311、提篮照相机312、通信部315、信息终端9。

售卖处装置3的CPU301、ROM302、RAM303、总线304、输入输出接口305、通信部315与图5所示的服务器1的相应部件同样地构成。

售卖处装置3的顶棚照相机310、货架照相机311、通信部315、信息终端9与在实施方式2中说明的售卖处装置3(图15)的相应部件同样地构成。

图25为表示图5的服务器1和图24的售卖处装置3和结算机4的功能性结构的一个示例的功能框图。

服务器1具有CPU101、存储部108、通信部109、错误显示部151、错误解除部152。

这些与图16所示的实施方式2同样地构成。

如图25所示，在售卖处装置3的CPU301中，个人认证部320、移动物体追踪部330、位置信息管理部340、货架商品识别部360、提篮商品识别部370、限制买卖商品判断部380发挥作用。

个人认证部320具有个人信息取得部321。

个人认证部320以及个人信息取得部321与图16所示的实施方式2同样地构成。

图26为表示在图25的售卖处装置3具有的移动物体追踪部330的详细功能的结构例的功能框图。

如图26所示，移动物体追踪部330具有基于顶棚照相机的移动物体发现部3302、基于顶棚照相机的提篮发现部3303、基于顶棚照相机的提篮区域定义部3306、基于顶棚照相机的提篮区域追踪部3307、分组部3308、基于顶棚照相机的提篮区域间交接识别部3310、基于顶棚照相机的交接的物体识别部3312、基于顶棚照相机的交接的商品确定部3313。

但是，实施方式3的移动物体追踪部330与将购物者作为移动物体进行处理的实施方式2不同，将系统上被掌握(发现、追踪等)的提篮类作为移动物体Mo进行处理。

移动物体追踪部330通过USB电缆、网络N等而与顶棚照相机310连接。因此，顶棚照相机310与其它的顶棚照相机310、个人计算机等协作。

基于顶棚照相机的移动物体发现部3302基于由顶棚照相机310拍摄的拍摄图像并使用状态空间模型(贝叶斯过滤器等)而发现在店内移动的物体(购物者、购物篮、购物车等)。

基于顶棚照相机的提篮发现部3303根据由移动物体发现部3302发现的在店铺30内移动的物体来发现提篮类(移动物体Mo)，并对移动物体Mo编号单独的ID。该移动物体Mo的ID持续使用直至离店或结算完成等规定的时刻为止。

作为根据在该店铺30内移动的物体来发现移动物体Mo的方法，例如，预先向各提篮类标注了对能够识别个体的信息进行保持的记号，基于顶棚照相机的提篮发现部3303将该记号作为目标来发现移动物体Mo。记号例如为二维码、特征形状这样的能够对移动物体Mo进行确定即可，并没有限定。

作为根据在店铺30内移动的物体来发现移动物体Mo的其它方法，基于顶棚照相机的提篮发现部3303也可以利用提篮类的颜色信息、形状信息等提篮特有的信息。此时，由于基于顶棚照相机的提篮发现部3303能够根据提篮类的颜色、形状而与地面等进行区别，所以能够发现移动物体Mo。

作为根据在店铺30内移动的物体来发现移动物体Mo的方法，可以使提篮类成为低温并使用热成像法等。此时，基于顶棚照相机的提篮发现部3303根据与提篮类以外的区域之间的温度差来发现成为低温的移动物体Mo。

作为根据在店铺30内移动的物体来发现移动物体Mo的方法，也可以从提篮类产生无害的气体、并使用热成像法等。此时，基于顶棚照相机的提篮发现部3303使用热成像法等，对伴随着从提篮类产生的无害气体而引起的温度变化进行检测，从而发现移动物体Mo。

作为根据在店铺30内移动的物体来发现移动物体Mo的方法，也可以无论是否听得见都从提篮类产生声音。此时，基于顶棚照相机的提篮发现部3303通过对从该提篮类产生的声音进行检测来发现移动物体Mo。

作为根据在店铺30内移动的物体来发现移动物体Mo的方法，也可以向提篮类涂敷不可见的涂料，使用能够对不可见的涂料进行识别的传感器。此时，基于顶棚照相机的提篮发现部3303通过传感器对在提篮类涂敷的不可见的涂料进行识别，发现移动物体Mo。

作为根据在店铺30内移动的物体来发现移动物体Mo的方法，也可以从顶棚照相机310向提篮类照射可见光、红外线等。此时，基于顶棚照相机的提篮发现部3303通过接收向提篮类照射的可见光、红外线的反射光，发现移动物体Mo。

基于顶棚照相机的提篮区域定义部3306将由基于顶棚照相机的提篮发现部3303发现的移动物体Mo的周边中的拍摄图像内的一定的范围定义为移动物体Mo的区域。对于定义移动物体Mo的区域，例如在如上述那样向提篮类标注记号的情况下，将从标注该记号的添加位置起的一定的范围定义为移动物体Mo的区域。

在向提篮类标注了多个记号的情况下，在基于顶棚照相机的提篮区域定义部3306中，即使顶棚照相机310不能够对全部的记号进行拍摄，但由于各记号保持了在移动物体Mo的区域中的自身的位置信息，所以可以根据一个以上的记号而对移动物体Mo的区域进行定义。

基于顶棚照相机的提篮区域定义部3306也可以并用对定义上述的提篮区域的方法进行补充的方法。作为补充方法，在如上述那样使提篮类成为低温的情况下，根据热成像以及图像识别而将低温的区域定义为移动物体Mo的区域。

作为其它的补充的方法，在如上述那样从提篮类产生无害的气体的情况下，通过使用热成像等对伴随着气体的产生而引起的温度变化进行检测，还运用图像识别技术，将具有温度变化的区域定义为移动物体Mo的区域。

进而，作为其它的补充的方法，基于顶棚照相机的提篮区域定义部3306在如上述那样在提篮类的边缘涂敷了不可见的涂料的情况下，根据涂料的涂敷位置对提篮类的边缘进行推断，将由该边缘而封闭的区域定义为移动物体Mo的区域。

进而，作为其它的补充的方法，基于顶棚照相机的提篮区域定义部3306在如上述那样从顶棚照相机310照射可见光、红外线等的情况下，根据其反射的测定结果来定义移动物体Mo的区域。

基于顶棚照相机的提篮区域追踪部3307对移动物体Mo的区域的位置进行推断(定义)。基于顶棚照相机的提篮区域追踪部3307在从发现移动物体Mo的时刻起至离店或结算完成等规定的时刻为止，利用同一ID对移动物体Mo进行追踪，并持续掌握位置信息。

因此，基于顶棚照相机的提篮区域追踪部3307例如通过大量的顶棚照相机310进行协作，总是对拍摄图像内的提篮区域进行持续追踪。由于大量的顶棚照相机310进行协作，所以基于顶棚照相机的提篮区域追踪部3307使由某个顶棚照相机310拍摄的拍摄图像被由相邻的顶棚照相机拍摄的拍摄图像承接。基于顶棚照相机的提篮区域追踪部3307将追踪的移动物体Mo的位置信息存储在服务器1的位置信息管理DB132、存储部108。

作为用于基于顶棚照相机的提篮区域追踪部3307对移动物体Mo进行追踪的其它方法，向各提篮类标注具有对移动物体Mo进行确定的信息的记号，顶棚照相机310对包含该记号的移动物体Mo进行拍摄。基于顶棚照相机的提篮区域追踪部3307通过从拍摄图像中抽取记号来发现移动物体Mo，并取得位置信息。

基于顶棚照相机的提篮区域追踪部3307通过从拍摄图像中发现记号并取得移动物体Mo的位置信息，从而即使移动物体Mo进行移动，也能够对移动物体Mo进行持续追踪。

作为用于基于顶棚照相机的提篮区域追踪部3307对移动物体Mo进行追踪的其它方法，也可以使用贝叶斯过滤器、快速傅里叶变换、TLD等图像内的物体追踪的技术来对移动物体Mo进行追踪。

或者，基于顶棚照相机的提篮区域追踪部3307也可以一边基于提篮类具有的颜色、形状等的特征数据而推断为取得了相同特征数据的移动物体Mo是同一移动物体Mo，一边对移动物体Mo进行追踪。此时，基于顶棚照相机的提篮区域追踪部3307对追踪对象的特征数据进行持续收集。

总之，在来自顶棚照相机310的影像中，由于具有角度地(从倾斜方向)对与顶棚照相机310不正对的移动物体Mo进行拍摄，所以有可能无法正确地取得位置信息。因此，也可以认为通过对拍摄图像施加基于校准的修正，就仿佛像正对那样地拍摄。但是，即使施加这种修正，也有可能无法以高精度取得移动物体Mo的位置信息。

因此，基于顶棚照相机的提篮区域追踪部3307通过使用距离传感器等来取得移动物体Mo的高度信息，从而取得精度高的位置信息。通过这样，基于顶棚照相机的提篮区域追踪部3307也可以对移动物体Mo进行持续追踪。

分组部3308也可以对多个提篮类(移动物体Mo)进行绑定。通过这样进行绑定，能够在设置于结算区域35内的结算机4中对各移动物体Mo的商品列表进行汇总结算。

基于顶棚照相机的提篮区域间交接识别部3310通过顶棚照相机310等对在移动物体Mo间物体被交接(存在拿出放入)的情况进行识别。基于顶棚照相机的提篮区域间交接识别部3310也可以通过对移动物体Mo的区域间的重叠进行识别来识别交接。基于顶棚照相机的提篮区域间交接识别部3310对实施了物体的交接的移动物体Mo进行确定，并读入与各移动物体Mo的ID绑定的商品列表。

基于顶棚照相机的交接的物体识别部3312根据识别到交接的时刻的拍摄图像来对物体的区域进行定义。

基于顶棚照相机的交接的物体识别部3312也可以将顶棚照相机310采用能够变焦的照相机，对推断为实施了交接的场所进行变焦放大而进行物体的区域定义。

基于顶棚照相机的交接的商品确定部3313根据物体区域定义后的图像来对被交接的物体是与读入的移动物体Mo绑定的商品列表中的哪一个商品进行确定，对由所述基于顶棚照相机的提篮区域间交接识别部3310确定的移动物体Mo与由交接确定的商品进行绑定，并对与各移动物体Mo绑定的商品的列表进行更新。

基于顶棚照相机的交接的物体识别部3312、基于顶棚照相机的交接的商品确定部3313也可以通过代替顶棚照相机310而使用能够对宽范围进行拍摄的货架照相机311等来实现。

位置信息管理部340与在实施方式2中说明的位置信息管理部340同样地构成。

即，如图18所示，位置信息管理部340具有照相机间信息交接部341、各照相机的位置定义部342、移动物体显示部343。

图27为表示在图25的售卖处装置3具有的货架商品识别部360的详细功能的结构的功能框图。

货架商品识别部360具有基于货架照相机的物体识别部3602、基于货架照相机的商品确定部3603、提篮与商品绑定部3605、与提篮绑定的商品列表管理部3607、基于货架照相机的物体出入检测部3608、商品不确定判断部3609、标签识别部3610、降价贴纸识别部3611、以及基于货架照相机或顶棚照相机的提篮出入检测部3612。

货架商品识别部360通过USB电缆、网络与货架照相机311连接，并与其它的照相机、个人计算机等进行协作。

基于货架照相机的物体识别部3602对物体从货架内取出或物体被放置(放回)到货架内的图像的前后图像进行比较，对成为商品确定的对象的图像区域进行定义(区域定义)。

即，基于货架照相机的物体识别部3602对物体从货架内取出或被放置在货架之前的物体拍摄图像、和物体从货架内取出或被放置在货架之后的物体拍摄图像的变化前后的物体拍摄图像进行比较，对存在变化的图像区域进行确定。基于货架照相机的物体识别部3602在确定图像区域时使用RGB数据的各数据来确认变化。

此外，基于货架照相机的物体识别部3602也可以将物体出入检测部设为触发条件，使用与物体从货架内取出或被放置到货架之前的物体拍摄图像和物体从货架内取出或被放置到货架之后的物体拍摄图像的变化前后的比较所不同的方法，仅根据1张物体拍摄图像来对物体的区域进行定义。

由于物体的颜色数据相同，所以即使存在出入等的变化，也不会判断为没有变化，基于货架照相机的物体识别部3602可以通过利用物体的影子来对区域进行定义。

识别出的物体区域的信息被传送至基于货架照相机的商品确定部3603。

基于货架照相机的商品确定部3603对由基于货架照相机的物体识别部3602识别出的货架内的物体是哪个商品进行确定。基于货架照相机的商品确定部3603利用特定物体识别、一般物体识别、深度学习(Deep Learning)等的图像处理方法，列出商品候选。将该列出的商品候选称为“商品候选列表S”。此后，基于货架照相机的商品确定部3603通过发挥检验功能，以高精度对商品进行确定。

检验功能是利用与前述的列出商品候选的方法不同的算法而列出“商品候选列表P”。使商品候选列表S、P的结果进行匹配，在超出规定的阈值的情况下确定商品。

作为“商品候选列表”的列表方法，例如通过使由识别为存在的物体而获得的物体的图像信息、和在商品DB131、存储器上保持的图像信息进行匹配的方法来实现。即，如果两个图像的特征信息一致(超过阈值)，则由基于货架照相机的物体识别部3602识别为存在的物体是登记在商品DB131的商品，因此基于货架照相机的商品确定部3603确定为是登记在该商品DB131的商品。通过深度学习而制成商品候选，然后通过发挥检验功能，以高精度确定商品。

基于货架照相机的商品确定部3603也可以不使用由货架照相机311拍摄的拍摄图像的1帧来对商品进行确定，而是还运用由顶棚照相机310拍摄的拍摄图像，在多张拍摄图像的范围内对商品进行确定。此时，基于货架照相机的商品确定部3603对商品候选进行百分比化，根据购买历史记录、时间、场所、人的嗜好等信息加入百分比，在超过一定的阈值时确定商品。

提篮和商品的绑定部3605对由基于货架照相机的商品确定部3603确定的商品的商品信息和移动物体Mo进行绑定。作为其前提，如果是在1台货架照相机311进行拍摄的规定区域内仅存在1台移动物体Mo的情况，则通过对该提篮移动物体Mo的ID进行确定，就能够对移动物体Mo和商品信息进行绑定。此时，提篮和商品的绑定部356使用在标记于移动物体Mo的记号等所附带的位置信息来对移动物体Mo的ID进行确定。

作为其它前提，如果是在1台货架照相机311进行拍摄的规定区域内存在多台移动物体Mo的情况，则后述的基于货架照相机或顶棚照相机的提篮出入检测部对向移动物体Mo内的物体的出入进行检测，其结果为，确定从货架内取出的物体所进入的移动物体Mo，并对该移动物体Mo和商品信息进行绑定。

进而，作为其它前提，在1台货架照相机311拍摄的规定区域内1台移动物体Mo都不存在的情况下，通过至少1台以上的货架照相机311或至少1台以上的提篮照相机312，对朝向移动物体Mo的出入进行检测，并在确定该移动物体Mo的基础上，对该确定的移动物体Mo和商品信息进行绑定。

与提篮绑定的商品列表管理部3607对绑定了移动物体Mo和确定的商品的商品列表进行持续管理直至结算。即，与提篮绑定的商品列表管理部3607利用位置信息管理DB132等，对与移动物体Mo的ID绑定的商品的列表一直进行持续管理。

在物体从货架内取出时，与提篮绑定的商品列表管理部3607对取得的商品计数值进行加法运算。相反地，在商品放回货架内时，与提篮绑定的商品列表管理部3607对放回的商品计数值进行减法运算。

基于货架照相机的物体出入检测部3608通过对物体进入货架内进行检测，能够设定出基于货架照相机的物体识别部3602的发动的触发条件。

例如，基于货架照相机的物体出入检测部3608根据在各货架照相机311的拍摄图像中设定的“进入检测区域”的图像数据的变化，对物体朝向货架内的进入进行检测。此外，基于货架照相机的物体出入检测部通过对在图像内的进来的物体进行追踪，从而也对物体退出至区域外进行检测。

为了对物体进行追踪，基于货架照相机的物体出入检测部3608向货架内的进入检测区域释放粒子滤波。在多个购物者同时伸手的情况下，为了能够同时对多个移动物体Mo进行追踪，在第一个物体进入后，再次向所述“进入检测区域”释放粒子而准备下一个物体的进入。

但是，在多个物体未进入相同区域的前提下，基于货架照相机的物体出入检测部3608不向已经存在物体的区域所涉及的进入检测区域释放粒子。

基于货架照相机的物体出入检测部3608在规定区域具有固定相似度的粒子所占比例在阈值以上的情况下判断为“物体进入”，在具有固定相似度的粒子小于阈值的情况下判断为“物体退出”。

以一次对尽量少的量的物体的区域进行推断的方式，在每次商品进入时，基于货架照相机的物体出入检测部对出入进行检测。

变化前后的图像以能够作为推断区域利用的方式存储在服务器1的存储部108。

基于货架照相机的物体出入检测部3608除了上述的示例以外还可以根据从物体的拍摄图像获得的光谱(波长)数据来对物体出入进行检测。进而，基于货架照相机的物体出入检测部也可以使用重量·压力传感器、红外线传感器、乙烯气体传感器等方法来对物体出入进行检测。

商品不确定判断部3609将不能够由基于货架照相机的商品确定部3603确定商品的情况与从货架取出物体的移动物体Mo绑定。

在此，针对不能够通过基于货架照相机的商品确定部3603的检验功能来确定商品的情况进行说明。首先，基于货架照相机的商品确定部3603对物体从货架取出的图像与物体放置在货架的图像所类似的特征点数量进行确定。例如，对在两个图像中拍摄的物体的尺寸进行确定之后进行比较，在确定颜色不同之后对颜色进行比较，从而决定两个物体是否类似。当特征点数量少时，不能够对商品进行确定，能够不进行错误结算。

标签识别部3610根据由基于货架照相机的商品确定部3603确定的商品，识别粘贴的标签。标签识别部3610主动使用图像识别、文字识别的方法而对在标签记载的包含文字、条形码等的多维编码进行读取，从而对商品确定进行补充。

降价贴纸识别部3611根据由基于货架照相机的商品确定部3603确定的商品，识别粘贴的降价贴纸。降价贴纸识别部3611主动使用图像识别、文字识别的方法，对在商品粘贴的降价贴纸的降价金额、打折率进行确定。降价贴纸识别部3611在商品确定部的处理中执行。

基于货架照相机或顶棚照相机的提篮出入检测部3612的货架照相机311或顶棚照相机310的至少一方根据向提篮类赋予的记号等，对在货架照相机以及顶棚照相机的规定区域内是否存在移动物体Mo、不存在的情况下的移动物体Mo的出入进行检测。基于货架照相机或顶棚照相机的提篮出入检测部3612进而也可以对由记号等定义的移动物体Mo的朝向区域的进入进行检测。此时，移动物体Mo朝向区域的进入通过对追踪的商品的位置信息与移动物体Mo的区域的进入检测线(提篮的边缘等)的位置信息进行比较来实施。

实施方式3的信息处理系统也可以还具有提篮商品识别部370。

图28为表示在图25的售卖处装置3具有的提篮商品识别部370的详细功能的结构例的功能框图。

提篮商品识别部370具有基于提篮照相机的提篮出入检测部372、基于提篮照相机的物体识别部373、基于提篮照相机的商品确定部374、提篮商品的不确定判断部375、提篮商品的标签识别部376、提篮商品的降价贴纸识别部377。

基于提篮照相机的提篮出入检测部372在如购物者的手那样的物体进入提篮类(移动物体Mo)内时，通过对其进入进行检测，能够作为基于提篮照相机的物体识别部373的启动的触发条件。基于提篮照相机的提篮出入检测部372根据在各提篮照相机312的拍摄图像中设定的“进入检测区域”的图像的变化，对物体向提篮类内的进入进行检测。

基于提篮照相机的提篮出入检测部372通过对进入拍摄图像的帧内的物体在该帧内进行追踪，从而也对该移动物体Mo退出该帧外的情况进行检测。基于提篮照相机的提篮出入检测部372使用粒子滤波器对物体进行追踪。

基于提篮照相机的提篮出入检测部372为了同时对多个移动物体Mo进行追踪，在第一个物体进入之后，再次向进入检测区域释放粒子而准备下一次的物体的进入。

基于提篮照相机的提篮出入检测部372在规定区域内具有一定的相似度的粒子所占的比例为阈值以上的情况下判断为“物体进入”，在小于阈值的情况下判断为“物体退出”。基于提篮照相机的提篮出入检测部以一次对尽可能少的量的物体的区域进行推断的方式，在每次物体出入时对出入进行检测。

基于提篮照相机的物体识别部373对购物者的手等物体进入提篮类(移动物体Mo)内时的图像与从提篮类(移动物体Mo)内取出后的图像进行比较，并为了对放入从货架内取出的提篮类(移动物体Mo)内的(或从提篮类(移动物体Mo)内放回货架)物体进行商品确定而定义图像区域。基于提篮照相机的物体识别部373使用RGB数据来对区域的变化进行确认。

基于提篮照相机的物体识别部373也可以通过根据物体的拍摄图像获得的光谱(波长)数据、重量传感器、压力传感器、红外线传感器、二氯甲烷气体传感器等，对物体进行识别。

基于提篮照相机的商品确定部374对放入提篮类的物体是哪一个商品进行确定。针对由基于提篮照相机的物体识别部373识别的物体，基于提篮照相机的商品确定部374利用确定物体识别、一般物体识别、深度学习等的图像处理方法而列出商品候选。将该列出的商品候选称为“商品候选列表S”。此后，基于提篮照相机的商品确定部374发挥检验功能，以高精度确定商品。

检验功能是利用与前述的列出商品候选的方法不同的算法而列出“商品候选列表P”。基于提篮照相机的商品确定部374使商品候选列表S、P进行匹配，在超过规定的阈值的情况下，确定商品。

作为商品候选的列表的方法，例如也可以通过对从识别到存在的物体获得的物体拍摄图像的信息与由商品DB131、存储部108保持的图像信息进行匹配的方法来实现。即，当两个图像的特征信息一致即超过阈值时，由基于提篮照相机的物体识别部373识别到存在的物体确定为在该商品DB131登记的商品。

基于提篮照相机的商品确定部374也可以不以拍摄图像的1帧对商品进行确定，根据遍及多个帧的拍摄图像来对商品进行确定。此时，基于提篮照相机的商品确定部374也可以将商品候选百分比化，基于购买历史记录、时间、场所、人的嗜好等信息，对百分比进行加法运算，在超过固定的阈值时确定商品。

提篮商品的不确定判断部375将不能够通过基于提篮照相机的商品确定部374将放入提篮的物体识别为商品的情况与该移动物体Mo的ID绑定。

提篮商品的标签识别部376根据由基于提篮照相机的商品确定部374确定的放入提篮的商品，对粘贴的标签进行识别。提篮商品的标签识别部主动使用图像识别、文字识别的方法，对在标签记载的包含文字、条形码等的多维编码进行读取，从而对商品确定进行补充。

提篮商品的降价贴纸识别部377主动使用图像识别、文字识别的方法，对在基于提篮照相机的商品确定部374确定的商品粘贴的降价贴纸的降价金额、打折率进行确定。提篮商品的降价贴纸识别部在基于提篮照相机的商品确定部的处理中执行降价金额等的确定。

此外，本信息处理系统具有限制买卖商品判断部380、远程操作部390。

限制买卖商品判断部380如实施方式1中说明的那样地对确定的商品是否为限制买卖商品进行判断。限制买卖商品判断部在对限制买卖商品进行检测时，将该信息显示于错误显示部151。

远程操作部390存在于信息终端38、服务器1，并具有例如在通知了错误状态时对错误状态进行解除的功能。

在结算区域35内设置的结算机4对进入1个以上的提篮类内的全部商品的合计金额进行计算、结算乃至付款。在结算机中，基于持续追踪的移动物体Mo以及与移动物体Mo绑定的商品信息来进行结算。

因此，如图25所示，结算机4具有CPU401、输入部406、输出部407、通信部409。

在CPU401中，结算部435、输入控制部436、输出控制部437发挥作用。

输入部406具有信用卡、电子货币的读取部等。

输出部407具有输出显示结算商品的画面、收据的功能等。

结算部435对结算金额以及结算对象品进行确定。

输入控制部436输入来自输入部406的信号，使CPU401工作。

输出控制部437向输出部407输出结算部435的运算结果。

结算机4对移动物体Mo的位置信息和预先规定的结算区域35的位置关系进行比较，将移动物体Mo的位置信息进入结算区域35内或者移动物体Mo放置在结算机4作为触发条件来进行结算。

或者，也可以在结算机4具有指示结算开始的按钮，将按钮按下等作为触发条件来进行结算，也可以在结算机4具有重量传感器(未图示)，对放置了移动物体Mo时的重量的变化进行识别，以此结算机4进行结算。

结算机4不仅可以现金支付，也能够以商品券、代金券、虚拟货币等支付。

在这种结算机4中，会产生错误状态。错误状态列举有(A)系统处理异常(B)商品不确定的物体与移动物体Mo进行了绑定的情况(C)限制买卖商品与移动物体Mo绑定的情况等示例(当然并不限于此)。

根据各错误状态，本实施方式采用的系统实施各种应对。

关于(A)的情况，向结算机4、信息终端38a、信息终端38b、服务器1提示系统处理异常这一要点。由此，店员能够解除错误状态。错误状态的解除也可以通过远程操作部390实施。

关于(B)的情况，向结算机4、信息终端38a、信息终端38b、服务器1提示商品不确定的物体与移动物体Mo绑定这一要点。由此，店员能够解除错误状态。错误状态的解除也可以通过远程操作部390实施。

关于(C)的情况，向结算机4、信息终端38a、信息终端38b、服务器1提示限制买卖商品与移动物体Mo绑定这一要点。由此，例如在基于年龄限制的限制买卖商品的情况下，店员能够对购物者的年龄进行确认，在基于保质期过期、保鲜期过期的商品的限制买卖商品的情况下，店员能够进行商品的对应更换等，在基于过敏·清真食品以外的限制买卖商品的情况下，购物者能够进行确认，解除错误状态。错误状态的解除也可以通过远程操作部390实施。

参照图29，在此，针对通过实施方式3的商品识别系统从物体确定为商品以及结算该商品的方法进行说明。

图29为对图25的服务器1和售卖处装置3和结算机4执行的自动结算处理的基本流程进行说明的流程图。

在步骤S301中，购物者(移动物体)从店铺30(图22)的入口31进店至店内，在入口31附近设置的顶棚照相机310开始该购物者的拍摄。当购物者入手提篮、购物车并进入通道34时，深处的顶棚照相机310开始该购物者的拍摄。以此方式，多个顶棚照相机310总是对包含购物者、提篮、购物车的店铺30内的全体进行拍摄。另外，也可以在步骤S301之前，个人认证部320进入购物者的个人认证，取得购物者的个人信息。

在步骤S302中，基于顶棚照相机的移动物体发现部3302使用状态空间模型(贝叶斯过滤器)等，发现拍摄图像中移动的物体(未编号)。

在拍摄图像中，不仅在店铺30内移动的物体被拍摄，静止物体也被拍摄，基于顶棚照相机的移动物体发现部3302去除静止物体而仅发现在店铺30内移动的物体。

在步骤S303中，基于顶棚照相机的提篮发现部3303从由基于顶棚照相机的移动物体发现部3302发现的物体中发现提篮类(实施方式3中的移动物体Mo)，并对单独的ID进行编号。ID持续使用直至离店或结算完成等确定的时刻为止。

在步骤S304中，基于顶棚照相机的提篮区域定义部3306对由基于顶棚照相机的提篮发现部3303发现的移动物体Mo的区域的位置进行定义。此外，在由照相机310拍摄的范围内移动物体Mo进行了移动时，重新对移动后的移动物体Mo的区域的位置进行定义。位置信息通过与移动物体Mo的ID绑定的位置信息管理DB132、存储器等来管理，在每次区域定义时更新。该定义的位置在其它顶棚照相机310拍摄的位置中也被识别。

在步骤S305中，基于顶棚照相机的提篮区域追踪部3307在由某个顶棚照相机310拍摄的拍摄图像内对移动物体Mo移动的位置进行推断。进而，基于顶棚照相机的提篮区域定义部3306针对推断为进行了移动的位置，定义移动物体Mo的区域，并对在位置信息管理DB132、存储器上存储的移动物体Mo的位置信息进行更新。

在步骤S306中，基于货架照相机的物体出入检测部3608对购物者的手等物体进入货架内以及退出进行检测。该检测成为触发条件，基于货架照相机的物体识别部352开始动作。朝向货架内的物体的进入是通过在各货架照相机311设定的进入检测区域中的图像数据是否变化来检测的。

基于货架照相机的物体出入检测部3608通过对进入货架内的物体进行持续追踪来对物体从货架内的退出进行检测。

在步骤S307中，基于货架照相机的物体识别部3602对所述物体进入货架内之前的拍摄图像与移动物体Mo从货架内退出之后的拍摄图像进行比较来对从货架内取出的物体进行识别。

在步骤S308中，基于货架照相机的商品确定部3603对被检测的移动物体Mo是哪一个商品进行确定。针对由物体识别部3602检测的物体，基于货架照相机的商品确定部3603利用特定物体识别、一般物体识别、深度学习等的图像处理方法，列出商品候选。将该列出的商品候选称为“商品候选列表S”。此后，基于货架照相机的商品确定部3603发挥检验功能，以高精度确定商品。

检验功能是利用与前述的列出商品候选的方法不同的算法而列出“商品候选列表P”。基于货架照相机的商品确定部3603使商品候选列表S、P进行匹配，在超过规定的阈值的情况下确定商品。

作为商品候选的列表的方法也可以例如通过对从识别为存在的物体获得的物体拍摄图像的信息与在商品DB131、存储部108保持的图像信息进行匹配的方法来实现。即，当两个图像的特征信息一致即超过阈值时，由基于货架照相机的物体识别部3602识别为存在的物体确定为是在该商品DB131保持的商品。

另外，商品不确定判断部3609在不能够对商品进行确定的情况下，向服务器1发送错误信息。该错误信息在错误显示部151、信息终端38显示。

在步骤S309中，提篮与商品绑定部356对由基于货架照相机的商品确定部3603确定的商品与移动物体Mo的ID进行绑定。即，对取出了确定的商品的购物者所持有的提篮类(移动物体Mo)是哪一个进行确定。

此外，在从货架棚取出·放回了商品或物体时商品不确定判断部3609不能够对商品进行确定的情况下，将商品不确定的信息(错误信息)与移动物体Mo的ID绑定。

在步骤S310中，与移动物体Mo绑定的商品列表管理部357对与移动物体Mo的ID绑定的商品的列表进行持续管理。该管理持续进行直至成为移动物体Mo移动至结算区域35等规定的时刻。

在步骤S311中，当在结算区域35中移动物体Mo的全部商品被汇总而在结算机37结算至付款时，将与移动物体Mo绑定的商品列表更新为结算完毕的状态，并结束自动结算处理。此外，在移动物体Mo与商品不确定的信息(错误信息)绑定了的情况下，不结束自动结算处理，并向服务器1发送错误信息。该错误信息在错误显示部151、信息终端38显示。即，能够通过店员向购物者问询而实施错误的确认·解除。

另外，在未结算的移动物体Mo穿过出口32的情况下，向服务器1发送错误信息。该错误信息在错误显示部151、信息终端38a、信息终端38b显示。当在出口32附近具有报警器(未图示)时，报警器以声音、光等方式发出警告。

实施方式3的自动结算处理基于由棚照相机拍摄的图像而对商品进行确定，因此无需针对放入提篮的物体进行商品确定。

但是，为了对该商品是否被错误地确定进行检验，优选也针对放入提篮的物体进行确定商品。

图30为对图25的服务器售卖处装置、结算机执行的自动结算处理的提篮内商品进行识别的处理进行说明的流程图。

在步骤S321中，基于提篮照相机的提篮出入检测部372预先在拍摄图像内的规定的位置设定的进入检测区域中设置粒子，以使提篮的区域以外的相似度变低。

在步骤S322中，基于提篮照相机的提篮出入检测部372通过粒子的相似度而对物体(购物者的手等)进入了提篮内的进入检测区域进行检测。另外，由于是存在于多个物体的进入中的，所以趁着物体进入了提篮内的进入检测区域时，基于提篮照相机的提篮出入检测部372设置新的粒子。

在步骤S323中，提篮照相机312对物体(购物者的手等)进入了进入检测区域的时刻的提篮内的状态进行拍摄。提篮照相机312也对进入检测区域外进行拍摄。

例如，在拍摄的图像(前图像)中拍摄有3个商品。另外，在前图像中拍摄的商品已经从物体确定成为了商品。

在步骤S324中，提篮照相机312对物体从进入检测区域退出的时刻的提篮内的状态进行拍摄。例如，在此时拍摄的图像(后图像)中拍摄有向前述的3个的商品追加了1个物体。

在步骤S325中，基于提篮照相机的物体识别部373对前图像和后图像进行比较，对追加的1个的物体所相关的图像区域进行定义。

在步骤S326中，基于提篮照相机的商品确定部374对增加的1个物体是哪一个商品进行确定。该商品的确定能够采用与货架商品识别部360实施确定的方法相同的方法。

以此方式，本信息处理系统对放入提篮内的物体是哪一个商品进行确定。

并且，本信息处理系统能够对在上述步骤S308中确定的商品与在步骤S326中确定的商品是否一致进行检验。在商品不确定的情况下，错误状态这一要点在错误显示部151、信息终端38a、信息终端38b显示。由此，能够防止错误结算。此外，当商品不确定这一要点在信息终端38a、信息终端38b显示时，也可以由店员行至该提篮在售卖处中的位置而对商品进行检验，也可以由店内外的店员等通过远程操作解除错误状态。

〔实施方式4〕

图31为表示采用实施方式4的商品识别系统的超市的布局例的图。

实施方式4的信息处理系统为适用于图31所示的超市等店铺40的商品识别系统。实施方式4的信息处理系统无需商品放置在收银台而仅穿过结算闸口5-1至5-3就能够进行自动结算。

在店铺40中，在入口41设置购物篮、购物车等(未编号)。出口42的稍前设置结算闸口5-1至5-3和店员Mt操作的结算收银6。此外，在从入口41至出口42之间设置陈列商品的多个货柜43。在货柜43中，在竖直方向隔开规定间隔排列有多个货架，在多个货架分别陈列有各种商品。以下，也将在货架与货架之间记载为“货架内”。在水平方向相向的货柜43与货柜43之间设为通道44。

购物者从入口41进店，拿取购物篮，推行购物车或持有自带的自带购物带而进入通道44。购物者取出货架内的商品，放入提篮类中，进入通道44。购物者在全部拿取欲购买的商品时，进入结算区域45并进行结算。

在通道44、结算区域45等中，店员Mt进行寻视等。店员Mt持有信息终端9a。信息终端9a为智能手机等便携式信息处理终端，具有显示店内的状态的功能、显示在店内产生的错误状态的功能、远程操作功能等。

在图31中，在以云形描绘的线图的内侧不仅描绘有店铺40内，还描绘有店铺40外、店铺40的库房的情形。在店铺40外或店铺的库房设置服务器1(图5)。在店铺外、库房处，店员Mt能够通过大型监视器的画面(未图示)、信息终端9b的画面来对店铺40内进行监视。

另外，包含购物篮、购物车以及自带购物带而称为提篮类。包含结算闸口5-1至5-3的通道44设为结算区域45。此外，包含提篮类等和购物者而称为移动物体Mo。

在从入口41至出口42为止之间的通道44的顶棚设置有多个顶棚照相机310。此外，在各货柜43内的各棚的多处设置有多个货架照相机311。

另外，在图31中，在以云形描绘的线图的内侧，不仅描绘有店铺40内，还描绘有店铺40外、店铺40的库房的情形。在店铺40外设置有服务器1(图5)。在库房处，店员Mt通过大型监视器的画面(未图示)、信息终端9b的画面而对店铺30内进行监视。

图32为表示作为本信息处理系统的实施方式4的商品识别系统的结构的结构图。

实施方式4的商品识别系统具有图33所示的结构。

商品识别系统具有服务器1、售卖处装置3、n台(n为任意的整数)的结算闸口5-1至5-n。另外，在实施方式1以及2中采用的收银终端2未在实施方式4中采用。

服务器1、售卖处装置3、结算闸口5-1至5-n各自经由互联网(Internet)线路等的网络N而相互连接。

另外，为了便于说明，图32的服务器1仅描绘为1台，实际上有时为多台。

此外，以下在不需要对结算闸口5-1至5-n单独进行区分的情况下，将其统称为“结算闸口5”。

服务器1为了对售卖处装置3以及结算闸口5的各动作进行管理而执行各处理。服务器1与图5所示的实施方式1的服务器1的硬件结构同样地构成。

因此，服务器1具有CPU101、ROM102、RAM103、总线104、输入输出接口105、输出部106、输入部107、存储部108、通信部109、驱动器110。

售卖处装置3与图24所示的实施方式3的硬件结构同样地构成，但不具有图示的提篮照相机312。

因此，售卖处装置3具有CPU301、ROM302、RAM303、总线304、输入输出接口305、顶棚照相机310、货架照相机311、信息终端9、通信部315。

但是，实施方式4的错误状态在系统处理中产生了异常的情况、在货架商品识别中不能够对商品进行确定的情况、不确定的物体、与限制买卖商品绑定的移动物体Mo欲穿过闸口5的情况、未结算的购物者(移动物体Mo)欲离店的情况等各种状况下产生。

这种售卖处装置3经由网络N而连接有结算闸口5。

结算闸口5区分为使用结算机5a的结算闸口5-1、利用电子货币等的结算闸口5-2、仅穿过就能够结算的结算闸口5-3。

也可以在有人的结算收银6以外的结算闸口5-1～5-3具有随时关闭的开闭部件(未编号)。

此外，使用结算机5a的结算闸口5-1具有结算按钮(未图示)，对购买商品的金额的汇总进行计算，通过在出口42侧设置的结算机5a进行结算。结算机5a在与结算闸口5-1相比靠出口42侧设置。该结算机5a具有能够以现金、信用卡、电子货币、点卷支付、商品券·虚拟货币、预付卡等进行支付的清算单元。

在使用结算机5a的结算闸口5-1处，当付款的人按下结算按钮时，该按下成为触发条件，对后述的与移动物体区域绑定的商品信息进行读取，确定结算金额而能够穿过结算闸口5-1。在具有开闭部件的情况下，开闭部件打开。并且，当付款的人通过结算机5a进行了付款时，成为能够离店。

利用电子货币等的结算闸口5-2在闸口主体处刷取电子货币等进行结算。即，利用电子货币等的结算闸口具有读卡部(未图示)，不具有使用结算机5a的结算闸口5-1那样的结算按钮，不使用结算机5a。

在电子货币等不仅包含能够付款的IC卡、信用卡、所谓的点卡、预付卡等狭义的卡，还包含信息携帯终端，以下对各种卡进行说明。

当付款的人进入该结算闸口5-2的结算区域45，各种卡被读卡部读取时，后述的与移动物体区域绑定的商品信息被读取，完成结算以及付款而能够穿过结算闸口5-2。

在结算闸口5-3中，仅使在入口41、通道44等中取得了个人信息的购物者穿过结算闸口5-3而完成结算以及付款。即，不支付现金且不读取卡地、完成结算以及付款。

在有人的结算收银6中，店员Mt分别输入商品的价格来进行结算。

图33为表示图32的商品识别系统中的结算闸口5的硬件结构的框图。

结算闸口5具有CPU501、ROM502、RAM503、总线504、输入输出接口505、输入部506、输出部507、存储部508、通信部409。

结算闸口5的CPU501、ROM502、RAM503、总线504、输入输出接口505、存储部508、通信部509与服务器1的相关部件同样地构成。

输入部506在使用结算机5a的结算闸口5-1中是位于闸口主体的结算按钮，在利用电子货币的结算闸口5-2和仅穿过就能够进行结算的结算闸口5-3中是对各种卡等的信息进行检测的信息读取部。

输出部507输出使在结算闸口5-1～5-3具有开闭部件(未编号)开闭的信号。此外，使用结算机5a的结算闸口5-1输出在结算机5a结算的金额、商品名称等。

图34为表示上述的图5的服务器1和图24的售卖处装置3和图33的结算闸口5的功能性结构的一个示例的功能框图。

服务器1具有与实施方式3同样的CPU101、存储部108、错误显示部151、错误解除部152。

服务器1与实施方式3的服务器1同样地构成。

图35为表示在实施方式3的售卖处装置3具有的移动物体追踪部330的详细功能的结构例的功能框图。

在售卖处装置3的CPU301中，如图35所示，具有个人认证部320、移动物体追踪部330、位置信息管理部340、货架商品识别部360、提篮商品识别部370、限制买卖商品判断部380。

个人认证部320、移动物体追踪部330、位置信息管理部340、提篮商品识别部370、限制买卖商品判断部380与实施方式3同样地构成。

个人认证部320具有与实施方式3同样的个人信息取得部321。个人认证部320从个人信息取得部321或服务器1的DB管理部141取得个人信息。

如图35所示，移动物体追踪部330具有基于顶棚照相机的移动物体发现部3302、基于顶棚照相机的移动物体区域定义部3304、基于顶棚照相机的移动物体区域追踪部3305、分组部3308、血缘关系判断部3309、基于顶棚照相机的移动物体区域间交接识别部3311、基于顶棚照相机的交接的物体识别部3312、基于顶棚照相机的交接的商品确定部3313。

基于顶棚照相机的移动物体发现部3302基于由顶棚照相机310拍摄的拍摄图像并使用状态空间模型(贝叶斯过滤器等)来发现移动物体Mo(购物者、提篮、购物车等)。

基于顶棚照相机的移动物体区域定义部3304将由基于顶棚照相机的移动物体发现部3302发现的移动物体Mo的区域定义为移动物体区域。基于顶棚照相机的移动物体区域定义部3304通过以移动物体Mo为中心而连续地对具有变化的区域进行监视，从而定义移动物体区域。即，基于顶棚照相机的移动物体区域定义部3304将发现的移动物体Mo与该移动物体Mo以及该移动物体Mo的周边的固定的范围内定义为移动物体区域。

在此基础上，也可以通过对从上侧观察到的购物者的情况的骨格模型进行套用而大致对其姿势进行推断，并与实际获得的影像的移动物体区域进行比较，由此明确地定义移动物体Mo。

在此，将以人为中心的区域称为人区域，人区域是移动物体区域的下位概念。

此外，将以提篮类为中心的区域称为提篮区域，提篮区域是移动物体区域的下位概念。

此外，将以购物车为中心的区域称为购物车区域，购物车区域是移动物体区域的下位概念。

基于顶棚照相机的移动物体区域追踪部3305对移动物体Mo的移动进行追踪。例如，基于顶棚照相机的移动物体区域追踪部3305也通过对移动物体Mo的特征数据(颜色、形状等)进行收集而对移动物体Mo的移动进行追踪。

或者，基于顶棚照相机的移动物体区域追踪部3305使用贝叶斯过滤器、快速傅里叶变换、TLD(Tracking-Learning-Detection：目标跟踪算法)等的图像内的物体追踪的技术，对移动物体Mo的移动进行追踪。

分组部3308在家属、友人等多人来店的情况下对该多人进行分组。

此外，分组部3308也可以使用移动物体Mo彼此的距离感(重叠、紧随等)、移动方向(矢量)等信息而对多个人进行分组。

分组部3308也可以对人区域与提篮区域·购物车区域进行绑定。

通过分组部3308以此方式发挥作用，能够在结算闸口5以一个人的方式进行结算。

血缘关系判断部3309使用人脸认证方法来对亲子关系、兄弟关系等进行区分。血缘关系判断部对分组部的功能进行补充。血缘关系判断部也可以使用深度学习的人脸识别方法，对人脸的类似度进行判断，从而对血缘关系进行推断。

在产生了商品从购物者(移动物体Mo)向购物者(移动物体Mo)交接的情况下，基于顶棚照相机的移动物体区域间交接识别部3311对物体从移动物体Mo向移动物体Mo的交接进行识别，对交接与被交接的移动物体Mo进行确定，并对与各移动物体Mo绑定的商品列表进行读入。

基于顶棚照相机的移动物体区域间交接识别部3311对产生了商品从购物者(移动物体Mo)向购物者(移动物体Mo)的交接进行识别，对该交接的移动物体Mo与被交接的移动物体Mo进行确定，并读入与各移动物体Mo绑定的商品列表。基于顶棚照相机的交接的物体识别部3312根据在此后识别到交接的时刻的拍摄图像来对物体的区域进行定义。

进而，基于顶棚照相机的交接的商品确定部根据物体区域定义后的图像而对交接的物体是与实施了读入的交接的移动物体Mo绑定的商品列表中的哪一个商品进行确定，对由基于顶棚照相机的移动物体区域间交接识别部3311确定的各移动物体Mo与由交接而确定的商品进行绑定，并对各自商品的列表进行更新。

基于顶棚照相机的移动物体区域间交接识别部3111也可以使用深度学习等的物体识别方法而对购物者(移动物体Mo)的移动进行分析以及交接识别，也可以在交接时对人区域中的手进行识别，交接的识别也可以是对人区域(也可以包含手)之间的重叠进行识别。

基于顶棚照相机的移动物体区域间交接识别部3311也可以代替顶棚照相机而由能够对宽范围进行拍摄的棚照相机等实现。

此后，基于顶棚照相机的交接的物体识别部3312根据识别到交接的时刻的拍摄图像来对物体的区域进行定义。

进而，基于顶棚照相机的交接的商品确定部3313通过基于顶棚照相机的交接的物体识别部3312而对识别的物体是与读入的移动物体Mo(实施交接的人)绑定的商品列表中的哪一个商品进行确定，对由基于顶棚照相机的移动物体区域间交接识别部3311确定的各移动物体Mo与由基于顶棚照相机的交接的商品确定部3313确定的商品进行绑定，并对各移动物体Mo的商品的列表进行更新。

基于顶棚照相机的交接的物体识别部3312也可以将顶棚照相机采用能够变焦的照相机，对推断为实施了交接的场所进行变焦放大而进行物体的区域定义。

基于顶棚照相机的移动物体区域间交接识别部3311，基于顶棚照相机的交接的物体识别部3312，基于顶棚照相机的交接的商品确定部3313也可以代替顶棚照相机而通过能够对宽范围进行拍摄的货架照相机等来实现。

如图18所示，位置信息管理部340与实施方式2同样地具有照相机间信息交接部341、各照相机的位置定义部342、移动物体显示部343。

图36为表示实施方式4的售卖处装置3具有的货架商品识别部360的详细功能的结构例的功能框图。

货架商品识别部360具有图36所示的基于货架照相机的物体识别部3602、基于货架照相机的商品确定部3603、移动物体与商品绑定部3604、与移动物体绑定的商品列表管理部3606、基于货架照相机的物体出入检测部3608、商品不确定判断部3609、标签识别部3610、降价贴纸识别部3611。

如图33所示，在结算闸口5的CPU501中，结算部535、输入控制部536、输出控制部537发挥作用。

在结算部535中，在持续追踪的移动物体区域进入结算区域45时，与1个以上的移动物体区域绑定的商品信息(商品的列表)从服务器1经由通信部509而被输入，从而对结算金额以及结算对象商品进行确定。

输入控制部536输入来自存在于闸口主体的结算按钮、信息读取部等输入部506的信号。

输出控制部537使输出部507显示结算金额，并向结算机5a输出信息、使开闭部件开闭。

此外，在结算部535中，在持续追踪的移动物体Mo即付款的人进入结算区域45的情况下，基于与1个以上的移动物体Mo绑定的商品信息(商品的列表)而对结算金额·结算对象商品进行确定。

此外，例如在父方持有钱包进行付款的情况下，也可以基于与作为同伴者的母方和子方绑定的商品信息(商品的列表)，利用分组而使父方能够付款。

并且，在使用了结算机5a的结算闸口5-1为对商品金额的汇总进行计算以及结算的装置，并具有结算按钮(未图示)。结算机5a在与结算闸口5相比靠出口42侧设置。该结算机5a具有能够以现金、点卷支付、商品券·金券等进行支付的付款单元。

在该结算闸口5-1处，当付款的人按下结算按钮时，该按下成为触发条件，读取与移动物体Mo绑定的商品信息并确定结算金额，从而能够穿过结算闸口5-1。并且，当付款的人通过结算机进行了付款时，能够离店。

但是，例如在结算对象商品为年龄限制商品且成为不能够进行年龄确认的错误状态的情况下，在信息终端9a、信息终端9b、错误显示部151提示错误状态这一要点。此时，结算闸口5-1成为使开闭部件关闭且不能够穿过的状态。结算闸口5-1也可以通过声音、光等单元来提示错误状态这一要点。当成为店员Mt确认年龄等能够解除限制的状态时，通过店员Mt操作错误解除部152而解除限制，结算闸口5-1成为能够穿过的状态。另外，限制的解除也能够通过远程操作来实现。

此外，在与移动物体Mo绑定了不能够确定是哪一个商品的物体(不确定的物体)的情况下，采用与关于年龄限制商品的同样的流程。另外，也可以在有人的结算收银6中，店员Mt针对该不确定的物体进行应对，对商品进行确定。

此外，在使用电子货币的结算闸口5-2处，具有读卡部(未图示)，不具有所述结算闸口5-1那样的结算按钮，不使用结算机5a。读卡部能够应对信用卡、大卫卡、电子货币、预付卡等任意的卡。

并且，当付款的人进入该结算闸口5-2的结算区域45，卡被读卡部读取时，与移动物体Mo绑定的商品信息被读取，结算以及付款完成，从而能够穿过结算闸口5-2。

在结算对象商品为限制买卖限商品、与移动物体Mo绑定了不确定的物体的情况下，采用与上述的结算闸口5-1相同的动作。

此外，在结算闸口5-3中，持续追踪的移动物体Mo的个人认证完毕而确定付款的信息是有必要的。

在结算闸口5-3中，当付款的人进入结算闸口5-3的结算区域45时，只要没有错误，则进行自动结算，从而能够穿过结算闸口5-3。

在结算对象商品为限制买卖限商品且与移动物体Mo绑定了不确定的物体的情况下，采用与上述的结算闸口5-1相同的动作。

实施方式4的商品识别系统除上述的功能之外还可以具有未图示的远程操作部390。

限制买卖商品判断部380对确定的商品是否属于限制买卖商品进行判断。即，限制买卖商品判断部380根据DB信息而判断确定的商品是否为基于酒类、香烟类的年龄限制的限制买卖商品。此外，限制买卖商品判断部380利用文字识别等而判断该商品是否为基于保质期过期·保鲜期过期的限制买卖商品。此外，限制买卖商品判断部380与由个人认证获得的个人信息绑定而判断该商品是否对于购物者为过敏、清真食品以外等的限制买卖商品。

此外，限制买卖商品判断部380在判断为该商品是限制买卖商品的情况下，提示是限制买卖商品这一要点。此外，限制买卖商品判断部380也可以根据由个人认证获得的个人信息来实施限制买卖。此外，限制买卖商品判断部380也可以根据脸、手识别，对年龄性别进行推断而实施限制买卖。

远程操作部390在接收到系统处理异常、商品不确定或限制买卖等的错误状态的通知的情况下，通过远程操作来解除错误状态。检测到错误状态的顶棚照相机310、货架照相机311、结算闸口5经由网络N而将错误状态这一要点与该状态的拍摄图像向店内或店外的远程操作用的信息终端9a、9b、服务器1通知。通过这些装置的操作，能够解除错误状态。

当然，也可以通过店内的有人收银来解除错误状态，也可以店员Mt等行至错误状态的产生地来解除错误状态。

接下来，参照图37，对本实施方式4的商品识别系统的商品的结算方法进行说明。

图37为对图34的服务器1和售卖处装置3和结算闸口5执行的自动结算处理进行说明的流程图。

在步骤S401中，购物者(移动物体)从店铺40(图31)的入口41进店至店内，在入口41附近设置的顶棚照相机310开始该购物者的拍摄。当购物者手持提篮、卡而进入通道44时，深处的顶棚照相机310开始该购物者的拍摄。这样一来，多个顶棚照相机310与实施方式3同样地总是对包含购物者、提篮、购物车的店铺30内全体进行拍摄。另外，在步骤S401之前，也可以个人认证部320进行购物者的个人认证，取得购物者的个人信息。

在步骤S402中，基于顶棚照相机的移动物体发现部3302发现移动物体Mo，对单独的的ID进行编号。ID持续使用直至离店或结算完成等确定的时刻。另外，也可以在该时刻个人认证部320进行购物者的个人认证，取得购物者的个人信息。进而，分组部3308也可以将多个移动物体Mo作为一个汇总来进行分组，血缘关系判断部3309也可以对多个购物者(移动物体Mo)的血缘关系进行判断，并实施分组部3308的补充。

在步骤S403中，基于顶棚照相机的移动物体区域定义部3304对包含由基于顶棚照相机的移动物体发现部3302发现的移动物体Mo的规定的区域进行定义。此外，在由顶棚照相机310拍摄的范围内移动物体Mo进行了移动时，重新对移动后的移动物体Mo的区域的位置进行定义。位置信息由与移动物体Mo的ID绑定的位置信息管理DB132、存储器等来管理，每次区域定义时进行更新。对于该定义的位置，即使用其它的顶棚照相机310所拍摄的位置也能识别。

在步骤S404中，基于顶棚照相机的移动物体区域追踪部3305对在由某个顶棚照相机310拍摄的拍摄图像内移动物体Mo移动的位置进行推断。进而，移动物体区域定义部334针对推断为进行了移动的位置，定义移动物体Mo的区域，并对在位置信息管理DB132、存储器上存储的移动物体Mo的位置信息进行更新。

在步骤S405中，与实施方式3同样地、基于货架照相机的物体出入检测部3608对物体的朝向货架内的出入进行检测。

在步骤S406中，与实施方式3同样地、将基于货架照相机的物体出入检测部3608发动设为触发条件，基于货架照相机的物体识别部352对物体被取出的图像或物体被放置的图像的前后的图像进行比较，对成为商品确定的对象的图像区域进行定义。

此外，在步骤S406时，也可以基于顶棚照相机的物体取得识别部对移动物体Mo从货架内等取得物体进行识别。

在步骤S407中，与实施方式3同样地、基于货架照相机的商品确定部3603对物体是哪一个商品进行确定。在该确定的商品是限制买卖商品的情况下，与移动物体Mo绑定限制买卖商品。此外，在不能够对物体是哪一个商品进行确定的情况下，也将商品不确定的物体与移动物体Mo绑定。另外，也可以向信息终端9a、信息终端9b、服务器1提示基于商品不确定的错误状态这一要点，识别到错误状态的店员Mt通过远程操作解除错误状态(当然，店员Mt也可以直接地解除错误状态)。

此外，在步骤S407时，标签识别部也可以根据确定的商品而对绑定的标签进行识别。

此外，在步骤S407时，降价贴纸识别部也可以根据确定的商品而对粘贴的降价贴纸进行识别。

此外，在步骤S407时，顶基于货架照相机的商品确定部也可以针对基于顶棚照相机的物体取得识别部取得的物体区域，进行确定是哪一个商品。

在步骤S408中，移动物体Mo和商品绑定部354与确定为移动物体Mo的商品绑定。

在步骤S409中，与移动物体绑定的商品列表管理部355对与人绑定的商品列表进行持续管理直至结算为止。

在步骤S410中，基于与移动物体Mo绑定的商品信息，结算闸口5进行结算乃至付款。

另外，也可以在到步骤S410的中途或步骤S410时，错误显示部151、信息终端9a、信息终端9b、结算闸口5的输出部507向店员等通知某种错误状态。

此外，在步骤S410中，在限制买卖商品与移动物体Mo绑定的情况下，也可以将闸口设为不打开而是关闭的方式显示错误状态。

〔其它实施方式〕

本发明不限定于上述的实施方式，在能够达成本发明的目的的范围内进行的变形、改良等包含在本发明中。

例如，本信息处理系统也可以具有货架库存管理功能。货架库存管理功能具有店员辨别单元和库存信息更新单元。

店员辨别单元对店员与购物者进行辨别。例如，店员辨别部向帽子、服装等店员穿着在身上的物品赋予能够识别店员的物理记号。通过顶棚照相机以及货架照相机对该物理记号进行拍摄，从而对店员进行辨别。该店员辨别单元尤其在实施方式3、4中能够有效地利用。

此外，店员辨别单元也可以具有在店铺的库房等规定的区域设置的按钮。该店员辨别单元通过在规定的区域存在的店员按下按钮而对该店员进行ID编号。该店员辨别单元尤其在实施方式4中能够有效地利用。另外，店员辨别部通过顶棚照相机对识别为店员的人物的区域进行持续追踪。

并且，库存信息的更新单元在店员向货架补充商品的情况(加法运算)或取出、废弃的情况(减法运算)下，主动使用物体识别部以及商品确定部而在服务器的商品DB中对货架的库存信息进行更新。

库存信息的更新单元在商品被购买的情况下，对该商品所存在的货架的库存以及店铺全体的库存信息进行更新。

库存信息的更新单元对货架的库存以及店铺全体的库存信息进行管理，在库存数低于阈值时，通知远程操作部或自动发货。

此外，本发明也可以具有购物者的属性推断功能。购物者的属性推断功能根据例如人脸识别而对购物者的大致年龄、年龄段、性别等属性进行推断。在实施方式1中，购物者的属性推断功能存在于收银终端，在实施方式2至4中存在于售卖处装置。另外，在实施方式2中也可以存在于收银终端。此外，本发明与POS系统联合工作购买信息、购物者的属性信息。关于购买信息，将商品名称、金额等的信息数据化，在付款完成后将该信息与POS系统联合工作。关于购物者的属性信息，将由上述的购物者的属性推断功能获得的信息与POS系统联合工作。

购物者的属性推断功能也可以与例如限制买卖商品判断部联合工作。该购物者的属性推断功能在如果对属性进行推断而获得的结果为购物者明显无需进行年龄确认的30岁以上的情况下，也可以进行控制以使限制买卖商品判断部不实施年龄确认。

此外，本发明也可以将基于上述的CPU的图像处理采用为基于GPU(GraphicProcessing Unit：图形处理单元)的处理。

此外，图示的硬件结构、框图只不过是用于达成本发明的目的的例示，本发明并不限定于图示的示例。

此外，功能块的存在场所不限于图示，可以为任意。例如，一个功能块可以由硬件单体构成，也可以由软件单体构成，也可以由这些的组合构成。在通过软件执行各功能块的处理的情况下，构成该软件的程序从网络、记录介质被安装至计算机等。

计算机可以为嵌入专用的硬件的计算机，也可以为智能手机、个人计算机。

此外，在实施方式1中说明的限制买卖商品的处理也能够适用于实施方式2至4。只是，实施方式2中的限制买卖商品适用于年龄限制商品。

另外，在本说明书中，对记录在记录介质的程序进行记述的步骤沿其顺序而时序地执行处理是不言自明的，但也包含并非固定时序地执行处理而是并行地或单独地执行的处理。

此外，在本说明书中，系统的用语的含义为由多个装置、多个单元等构成的整体的装置。

附图标记说明

1 服务器；

2、2-1、2-n 收银终端；

3 售卖处装置；

4 结算机；

5、5-1、5-2、5-3 结算闸口；

10 店铺；

11 出入口；

14、23 货柜；

15、24 通道；

22 出入口；

101、201、301 CPU；

108 存储部；

109、213、315 通信部；

131 商品DB；

141 DB管理部；

151 错误显示部；

208 照明部；

210 提示部；

211 收银照相机；

235 商品确定部；

236 限制买卖商品判断部；

241 DB 信息保持部；

270 围绕部；

276 板；

310 顶棚照相机；

311 货架照相机；

312 提篮照相机；

320 个人认证部；

330 移动物体追踪部；

3302 基于顶棚照相机的移动物体发现部；

3303 基于顶棚照相机的提篮发现部；

3304 基于顶棚照相机的移动物体区域追踪部；

3305 基于顶棚照相机的移动物体区域定义部；

3306 基于顶棚照相机的提篮区域定义部；

3307 基于顶棚照相机的提篮区域追踪部；

3308 分组部；

3309 血缘关系判断部；

340 位置信息管理部；

341 照相机间信息交接部；

342 各照相机的位置定义部；

350 册数计数部；

351 册数识别部；

352 人与册数绑定部；

354 册数不确定判断部；

355 从人朝向人的交接识别部；

360 货架商品识别部；

3602 基于货架照相机的物体识别部；

3603 基于货架照相机的商品确定部；

3609 商品不确定判断部；

3610 标签识别部；

3612 基于货架照相机或顶棚照相机的提篮出入检测部；

370 提篮商品识别部；

372 提篮出入检测部；

373 基于提篮照相机的物体识别部；

374 基于提篮照相机的商品确定部；

375 提篮商品的不确定判断部；

376 提篮商品的标签识别部；

377 提篮商品的降价贴纸识别部；

380 限制买卖商品判断部；

390 远程操作部；

Mo 移动物体。

Claims (21)

1.一种信息处理系统，其在人移动并将第一物体作为商品购买时使用，所述信息处理系统具有：

移动物体追踪单元，其在将所述人发现为移动物体的情况下追踪该移动物体，

商品确定单元，其尝试以不经由所述人的操作的规定的方法，将使用一个以上的传感设备检测、识别到的所述第一物体确定作为购买候选的商品，

绑定单元，其将确定作为购买候选的尝试成功了的所述商品和处于规定的位置关系的所述移动物体绑定，以及

商品不确定判断单元，其将确定作为购买候选的尝试失败了的商品不确定的信息和所述移动物体绑定。

2.根据权利要求1所述的信息处理系统，其中，还具有：

物体出入检测单元，其使用所述一个以上的传感设备，检测所述第一物体对于规定区域的出入。

3.根据权利要求2所述的信息处理系统，其中，

所述第一物体作为在店铺售卖的商品配置在包含货架的规定的放置处，所述规定区域为表示所述放置处的区域。

4.根据权利要求3所述的信息处理系统，其中，

所述物体出入检测单元使用所述第一物体的重量数据，检测所述第一物体对于规定区域的出入。

5.根据权利要求3所述的信息处理系统，其中，

所述物体出入检测单元基于所述第一物体的重量数据或者对被拍摄物体包含所述第一物体的图像进行图像识别的结果，检测所述第一物体对于规定区域的出入。

6.根据权利要求1～5的任一项所述的信息处理系统，其中，

所述一个以上的传感设备选自照相机、重量传感器、压力传感器、红外线传感器以及乙烯气体传感器。

7.根据权利要求1～5的任一项所述的信息处理系统，其中，还具有：

输出控制单元，其用于输出所确定的所述商品的信息。

8.根据权利要求1～5的任一项所述的信息处理系统，其中，还具有：

结算单元，其进行与所述移动物体绑定的所述商品相关的结算处理，作为对所述人的结算。

9.根据权利要求8所述的信息处理系统，其中，

在所述移动物体为多个的状况下，所述结算单元针对与多个所述移动物体中满足规定条件的一个以上的所述移动物体分别绑定的所述商品进行与结算相关的处理。

10.根据权利要求1～5的任一项所述的信息处理系统，其中，

在所述移动物体为多个的状况下，所述移动物体追踪单元对一个以上的所述移动物体分别赋予标识，使用该标识对该一个以上的所述移动物体进行分组。

11.根据权利要求1～5的任一项所述的信息处理系统，其中，还具有：

取得单元，其取得与所述移动物体相关的信息。

12.根据权利要求1～5的任一项所述的信息处理系统，其中，

所述移动物体追踪单元具有移动物体区域间交接识别单元和物体识别单元，

在所述移动物体为多个的状况下，

所述移动物体区域间交接识别单元识别在所述移动物体间所述第一物体的交接，确定进行了所述第一物体的交接的移动物体，

所述物体识别单元根据识别到交接的时刻的拍摄图像来对所述第一物体的区域进行定义，

所述信息处理系统对由所述移动物体区域间交接识别单元确定的各移动物体与在交接中确定的所述第一物体进行绑定，并更新与所述各移动物体绑定的商品的列表。

13.根据权利要求1～5的任一项所述的信息处理系统，其中，还具有：

提示单元，其在所述第一物体满足规定的条件时，对作为与所述物体绑定的所述移动物体的人，提示根据该物体确定的所述商品的信息。

14.根据权利要求1～5的任一项所述的信息处理系统，其中，还具有：

第一错误提示单元，其在所述商品为限制买卖商品且所述人有可能为限制买卖的对象的情况下，提示为第一错误状态的意思。

15.根据权利要求1～5的任一项所述的信息处理系统，其中，

所述信息处理系统还具有：第二错误提示单元，在所述第一物体不被所述商品确定单元确定为商品并通过所述商品不确定判断单元将所述移动物体与不确定的物体绑定的情况下，提示为第二错误状态的意思。

16.根据权利要求1～5的任一项所述的信息处理系统，其中，

所述移动物体追踪单元在有店员存在的店铺中将移动的所述人作为所述移动物体，对该移动物体进行追踪，并且能够对所述店员与所述移动物体进行辨别。

17.根据权利要求1～5的任一项所述的信息处理系统，其中，还具有：

库存信息更新单元，其对所述商品的库存进行管理，并且在购买所述商品的情况下对该商品的库存以及店铺全体的库存信息进行更新的同时，根据所述库存信息控制对远程操作单元的通知和自动发货当中的至少一个的执行。

18.根据权利要求1～5的任一项所述的信息处理系统，其中，还具有：

属性推断单元，其推断所述人的属性。

19.根据权利要求1～5的任一项所述的信息处理系统，其中，

所述移动物体追踪单元将追踪时的所述移动物体相关的位置信息进行更新，并存储至存储器。

20.根据权利要求1～5的任一项所述的信息处理系统，其中，

所述商品确定单元具有：

第一确定单元，其利用检查员对被拍摄物体中包含所述第一物体的图像进行目视确认的第一方法，取得尝试将该第一物体确定为所述商品的结果，以及

第二确定单元，其尝试使用所述第一方法以外的第二方法，将所述第一物体确定为所述商品，

所述商品确定单元基于所述第一确定单元和所述第二确定单元中至少一个的结果来确定所述商品。

21.根据权利要求1～5的任一项所述的信息处理系统，其中，

所述移动物体追踪单元在将与所述人一起移动的第二物体发现为所述移动物体的情况下，还将该第二物体作为该移动物体进行追踪。

Images