CN114120083A - 图像识别装置及存储介质、图像识别方法 - Google Patents

Abstract

本发明公开了一种图像识别装置及存储介质、图像识别方法，其根据摄像图像能够精度良好地识别商品。图像识别装置将商品的摄像图像作为输入，并通过使用共用的第一学习模型的深度学习来识别商品。图像识别装置将商品的摄像图像作为输入，并通过使用特有的第二学习模型的深度学习来识别商品。图像识别装置基于使用第一学习模型的深度学习的识别结果和使用第二学习模型的深度学习的识别结果来确定商品。

Description

图像识别装置及存储介质、图像识别方法

本申请主张申请日为2020年8月12日、申请号为JP2020-136189的日本申请为优先权，并引用上述申请的内容，通过引用将公开内容全部结合于此。

技术领域

本发明的实施方式涉及一种图像识别装置、存储有用于使计算机作为该装置发挥功能的控制程序的存储介质、以及图像识别方法。

背景技术

已知利用使用卷积神经网络等的深度学习来识别在由摄像机摄像到的图像中映出的商品的技术。并且，开发了利用该技术自动地识别未付有条形码的生鲜食品、水果等商品的图像识别装置。这种图像识别装置通过将摄像了识别对象的商品的图像输入到学习模型从而进行商品的识别。学习模型是机器学习的模型。学习模型通过具有AI(ArtificialIntelligence：人工智能)功能的计算机从分别摄像了各种商品的大量的图像数据提取特征量并将其模型化从而被创建。

然而，例如苹果被销往全国，其品种是多种多样的。既有被销往全国的品种的苹果，也有被限定于确定的区域销售的品种的苹果。而且，大部分品种的苹果的根据摄像图像而得到的特征量的差异小。因此，在利用具有与各种各样的品种的苹果相关的数据的学习模型进行了苹果的图像识别的情况下，有时难以进行被限定于确定的区域销售的苹果的品种判别。

发明内容

鉴于上述问题，本发明所要解决的技术问题是，提供一种图像识别装置及存储介质、图像识别方法，其能够根据摄像图像精度良好地识别商品。

为解决上述问题，本发明的一实施例，提供了一种图像识别装置具备第一识别部、第二识别部以及确定部。第一识别部将商品的摄像图像作为输入，并通过使用共用的第一学习模型的深度学习来识别商品。第二识别部将商品的摄像图像作为输入，并通过使用特有的第二学习模型的深度学习来识别商品。确定部基于第一识别部的识别结果和第二识别部的识别结果来确定商品。

根据上述的图像识别装置，能提供根据摄像图像能够精度良好地识别商品的图像识别装置。

在上述的图像识别装置中，所述第一学习模型是在各店铺中共用地用于商品的识别的学习模型，所述第二学习模型是在限定的店铺中用于商品的识别的学习模型。

根据上述的图像识别装置，还能精度良好地识别被限定于确定的区域销售的商品。

在上述的图像识别装置中，所述第二学习模型以限定的店铺的商品的识别结果为基础通过追加学习而被更新，所述第一学习模型以将学习过的所述第二学习模型汇集的方式而被更新。

根据上述的图像识别装置，第一学习模型通过汇集多个第二学习模型而能进行大多商品的识别。

在上述的图像识别装置中，所述确定部对所述第一识别部的识别结果和所述第二识别部的识别结果进行比较，根据任意一者的识别结果来确定所述商品。

根据上述的图像识别装置，能从任意一者的识别结果之中选择识别结果来确定商品。

在上述的图像识别装置中，所述确定部相对于所述第一识别部的识别结果增大所述第二识别部的识别结果的加权来确定所述商品。

根据上述的图像识别装置，能使第二识别部的识别结果优先。

在上述的图像识别装置中，还具备：判定部，判定由所述确定部确定的商品的正误；以及发送部，将训练数据向管理所述第二学习模型的服务器发送，所述训练数据在由所述判定部判定为正确答案的情况下，将所述确定的商品作为正确标签，在判定为错误答案的情况下，将修正后的商品作为正确标签。

根据上述的图像识别装置，服务器能将用于进行第二学习模型的追加学习的训练数据向服务器提供。

在上述的图像识别装置中，还具备：输出部，将由所述确定部确定的商品的信息向终端输出，所述判定部通过来自所述终端的信息来判定商品的正误。

根据上述的图像识别装置，能根据来自终端的信息来判定商品的正误。

在上述的图像识别装置中，所述发送部在检测出禁止将所述训练数据向所述服务器发送的信息的情况下，不进行所述训练数据的发送。

根据上述的图像识别装置，不将训练数据向服务器发送，因此能不使服务器执行第二学习模型的追加学习。

本发明的另一方面的存储介质，存储有控制程序，所述控制程序用于使具备将商品的摄像图像作为输入的接口的图像识别装置的计算机作为如下各部发挥功能：第一识别部，将所述商品的摄像图像作为输入，并通过使用了共用的第一学习模型的深度学习来识别所述商品；第二识别部，将所述商品的摄像图像作为输入，并通过使用了特有的第二学习模型的深度学习来识别所述商品；以及确定部，基于所述第一识别部的识别结果和所述第二识别部的识别结果来确定所述商品。

根据上述的存储介质，能将根据摄像图像能够精度良好地识别商品的功能向图像识别装置的计算机提供。

本发明的另一方面的图像识别方法，由具备将商品的摄像图像作为输入的接口的图像识别装置，执行以下步骤：将所述商品的摄像图像作为输入，并通过使用了共用的第一学习模型的深度学习来识别所述商品，将所述商品的摄像图像作为输入，并通过使用了特有的第二学习模型的深度学习来识别所述商品，基于使用所述第一学习模型的深度学习的商品识别结果和使用所述第二学习模型的深度学习的商品识别结果来确定所述商品。

根据上述的图像识别方法，能提供根据摄像图像精度良好地识别商品的图像识别方法。

附图说明

图1是概略地示出包含一实施方式所涉及的图像识别装置在内的图像识别系统的构成的框图。

图2是示出中心服务器的要部电路构成的框图。

图3是示出边缘服务器的要部电路构成的框图。

图4是示出图像识别装置的要部电路构成的框图。

图5是示出POS终端的要部电路构成的框图。

图6是在中心服务器、边缘服务器以及图像识别装置之间授受的主要的数据信号的时序图。

图7是示出图像识别装置的处理器所执行的图像识别处理的要部顺序的流程图。

图8是示出边缘服务器的处理器所执行的处理的要部顺序的流程图。

图9是示出中心服务器的处理器所执行的处理的要部顺序的流程图。

附图标记说明

10…中心服务器；20…边缘服务器；30…图像识别装置；31…处理器；32…主存储器；33…辅助存储设备；34…加速器；35…设备接口；36、37…通信接口；40…POS终端；50…第一通信网络；60…第二通信网络；70…全局模型；80…本地模型；90…摄像设备；100…图像识别系统。

具体实施方式

以下，使用附图说明实施方式。

需要说明的是，该实施方式涉及在全国连锁拓展的零售商的各店铺中为了识别未附有条形码的生鲜食品、水果等商品而使用的图像识别装置。

图1是概略地示出包含一实施方式所涉及的图像识别装置30在内的图像识别系统100的构成的框图。图像识别系统100包含中心服务器10、边缘服务器20、图像识别装置30、POS(Point OfSales：销售点)终端40、第一通信网络50以及第二通信网络60。

图像识别系统100经由第一通信网络50将多台边缘服务器20连接到一台中心服务器10。图像识别系统100分别经由第二通信网络60将多台图像识别装置30连接到各边缘服务器20。图像识别系统100分别将POS终端40连接到各图像识别装置30。各图像识别装置30与各POS终端40分别通过有线或者无线的通信方式一对一地被连接。

第一通信网络50是广域计算机网络。第二通信网络60是比第一通信网络50的范围窄的计算机网络。第一通信网络50和第二通信网络60均能利用公知的计算机网络。

每一店铺都具备图像识别装置30与POS终端40的组合。一个店铺中具备的图像识别装置30与POS终端40的组合的数量没有特别限定。既可假定在一个店铺中仅具备一组的情况，也可假定具备多组的情况。

边缘服务器20既可以每一店铺都具备，也可以针对同一区域内的多个店铺具备一台(台数不限于一台。只要是同一区域内的多个店铺所访问的边缘服务器20即可)。或者边缘服务器20可以针对相邻的多个区域具备一台(台数不限于一台。只要是相邻的多个区域的店铺所访问的边缘服务器20即可)。需要说明的是，区域例如是指市等行政区划，或者是指包括相邻的行政区划的地方等。

中心服务器10针对在全国连锁拓展的各店铺而共用地具备。中心服务器10可以将计算机资源提供给各边缘服务器20作为云计算。

中心服务器10是具有AI功能的计算机。中心服务器10利用AI功能来创建全局模型70，另外，更新全局模型70。全局模型70是用于生鲜食品、水果等商品的图像识别的学习模型。全局模型70是针对各店铺共用的学习模型。全局模型70是第一学习模型的一例。全局模型70是在各店铺中共用地用于商品的识别(通常在全部店铺中使用，但有时也存在不使用全局模型70的例外的店铺)的学习模型。

各边缘服务器20是具有AI功能的计算机。各边缘服务器20分别利用AI功能来创建本地模型80，另外，更新本地模型80。本地模型80是用于生鲜食品、水果等商品的图像识别的学习模型。本地模型80是针对店铺或该店铺的某区域而特有(非共用)的学习模型。本地模型80是第二学习模型的一例。本地模型80是在限定的店铺中用于商品的识别(不在全部店铺中使用，而是在确定范围的店铺中使用)的学习模型。

各图像识别装置30是具有AI功能的计算机。各图像识别装置30分别利用AI功能并根据摄像图像来识别在该图像中映出的商品。然后，各图像识别装置30将识别到的商品的信息向对应的POS终端40输出。

各POS终端40以由对应的图像识别装置30识别到的商品的信息为基础对消费者所购买的商品的销售数据进行登记处理。而且，各POS终端40以进行了登记处理的商品的销售数据为基础进行用于对与消费者的商业交易进行结算的处理。

图2是示出中心服务器10的要部电路构成的框图。中心服务器10具备处理器11、主存储器12、辅助存储设备13、加速器14以及通信接口15。中心服务器10将处理器11、主存储器12、辅助存储设备13、加速器14以及通信接口15用系统总线16连接。系统总线16包含地址总线、数据总线等。中心服务器10将处理器11与主存储器12及辅助存储设备13用系统总线16连接，从而构成了计算机。

处理器11相当于上述计算机的中枢部分。处理器11为了根据操作系统或应用程序来实现作为中心服务器10的各种功能而控制各部。处理器11例如是CPU(CentralProcessingUnit：中央处理单元)。

主存储器12相当于上述计算机的主存储部分。主存储器12包含非易失性的存储区域和易失性的存储区域。主存储器12在非易失性的存储区域中存储操作系统或应用程序。主存储器12用易失性的存储区域存储在处理器11执行用于控制各部的处理上所需的数据。另外，主存储器12将易失性的存储区域用作能由处理器11适当改写数据的工作区域。非易失性的存储区域例如是ROM(Read Only Memory：只读存储器)。易失性的存储区域例如是RAM(Random Access Memory：随机存取存储器)。

辅助存储设备13相当于上述计算机的辅助存储部分。作为辅助存储设备13，例如将EEPROM(Electric Erasable Programmable Read-Only Memory：电可擦可编程只读存储器)、HDD(Hard Disc Drive：硬盘驱动器)或者SSD(Solid State Drive：固态硬盘)等公知的存储设备单独或者将多个组合后使用。辅助存储设备13保存在处理器11进行各种处理上所使用的数据、通过由处理器11进行的处理生成的数据等。辅助存储设备13有时也存储应用程序。

加速器14是用于通过基于AI的深度学习来识别图像的运算处理部。深度学习例如使用卷积神经网络。作为加速器14，例如能使用GPU(Graphics Processing Unit：图形处理单元)、FPGA(Field Programmable GateArray：现场可编程门阵列)等。

通信接口15是掌管在与经由第一通信网络50连接的各边缘服务器20之间进行的数据通信的接口。

图3是示出边缘服务器20的要部电路构成的框图。边缘服务器20具备处理器21、主存储器22、辅助存储设备23、加速器24、第一通信接口25以及第二通信接口26。边缘服务器20将处理器21、主存储器22、辅助存储设备23、加速器24、第一通信接口25以及第二通信接口26用系统总线27连接。系统总线27包含地址总线、数据总线等。边缘服务器20将处理器21与主存储器22及辅助存储设备23用系统总线27连接，从而构成了计算机。

处理器21、主存储器22、辅助存储设备23以及加速器24与中心服务器10的处理器11、主存储器12、辅助存储设备13以及加速器14的基本功能是相同的。因而，省略在此的说明。

第一通信接口25是掌管在与经由第一通信网络50连接的中心服务器10之间进行的数据通信的接口。

第二通信接口26是掌管在与经由第二通信网络60连接的各图像识别装置30之间进行的数据通信的接口。

图4是示出图像识别装置30的要部电路构成的框图。图像识别装置30具备处理器31、主存储器32、辅助存储设备33、加速器34、设备接口35、第一通信接口36以及第二通信接口37。图像识别装置30将处理器31与主存储器32、辅助存储设备33、加速器34、设备接口35、第一通信接口36以及第二通信接口37用系统总线38连接。系统总线38包含地址总线、数据总线等。图像识别装置30将处理器31与主存储器32及辅助存储设备33用系统总线38连接，从而构成了计算机。

处理器31、主存储器32、辅助存储设备33以及加速器34与中心服务器10的处理器11、主存储器12、辅助存储设备13以及加速器14的基本功能是相同的。因而，省略在此的说明。

设备接口35是与摄像设备90连接的接口。摄像设备90是摄像识别对象的商品的设备。作为摄像设备90，例如使用将CCD(Charge Coupled Device：电荷耦合器件)用作摄像元件的CCD摄像机。

第一通信接口36是掌管在与经由第二通信网络60连接的边缘服务器20之间进行的数据通信的接口。

第二通信接口37是掌管在与被有线或者无线连接的POS终端40之间进行的数据通信的接口。

图5是示出POS终端40的要部电路构成的框图。POS终端40具备处理器41、主存储器42、辅助存储设备43、通信接口44、输入设备45、显示设备46、打印机47以及找零机接口48。POS终端40将处理器41与主存储器42、辅助存储设备43、通信接口44、输入设备45、显示设备46、打印机47以及找零机接口48用系统总线49连接。系统总线49包含地址总线、数据总线等。POS终端40将处理器41与主存储器42及辅助存储设备43用系统总线49连接，从而构成了计算机。

处理器41、主存储器42以及辅助存储设备43与中心服务器10的处理器11、主存储器12以及辅助存储设备13的基本功能是相同的。因而，省略在此的说明。

通信接口44是掌管在与被有线或者无线连接的图像识别装置30之间进行的数据通信的接口。另外，通信接口44是掌管在与未图示的店铺服务器等其它计算机设备之间进行的数据通信的接口。

输入设备45是供在POS终端40中输入所需的数据的设备。输入设备45例如是键盘、触摸面板的传感器、读卡器、代码扫描仪等。

显示设备46是用于显示对POS终端40的操作人员或消费者提示的信息的设备。显示设备46例如是液晶显示器、有机EL(Electro Luminescence：电致发光)显示器等。

打印机47是票据打印用的打印机。

找零机接口48是掌管在与未图示的自动找零机之间进行的数据通信的接口。

图6是在中心服务器10、边缘服务器20以及图像识别装置30之间授受的主要的数据信号的时序图。需要说明的是，视为中心服务器10和各边缘服务器20分别已具备全局模型70或本地模型80的学习模型。

首先，中心服务器10当成为任意的学习模型分发定时时，将全局模型70通过第一通信网络50分发到各边缘服务器20。

各边缘服务器20当接收被从中心服务器10分发了的全局模型70时，在辅助存储设备23中存储该全局模型70。另外，各边缘服务器20对经由第二通信网络60连接的各图像识别装置30输出用于询问是否做好了学习模型的接收准备的询问指令Ca。询问指令Ca被通过第二通信网络60向各图像识别装置30发送。

做好了学习模型的接收准备的图像识别装置30将许可响应指令Cb向边缘服务器20输出。许可响应指令Cb被通过第二通信网络60向边缘服务器20发送。

接收到许可响应指令Cb的边缘服务器20通过第二通信网络60对该指令发送源的图像识别装置30发送全局模型70和本地模型80。

图像识别装置30当接收被从边缘服务器20发送了的全局模型70和本地模型80时，在辅助存储设备33中存储这些全局模型70和本地模型80。图像识别装置30存储全局模型70和本地模型80，从而能进行商品的图像识别。

能够识别图像的图像识别装置30执行后述的图像识别处理。然后，图像识别装置30将通过该图像识别处理得到的训练数据Da输出到边缘服务器20。训练数据Da被通过第二通信网络60向边缘服务器20发送。

边缘服务器20以被从经由第二通信网络60连接的各图像识别装置30发送的训练数据Da为基础进行本地模型80的追加学习。然后，边缘服务器20将作为对本地模型80进行了追加学习的结果的学习结果数据Db输出到中心服务器10。学习结果数据Db被通过第一通信网络50向中心服务器10发送。

中心服务器10更新全局模型70，以将被从经由第一通信网络50连接的各边缘服务器20发送的学习结果数据Db汇集。然后，中心服务器10当成为任意的学习模型分发定时时，将通过学习结果数据Db的汇集而被更新了的全局模型70通过第一通信网络50分发到各边缘服务器20。以后，中心服务器10、各边缘服务器20以及各图像识别装置30反复进行与上述同样的动作。

因而，各边缘服务器20所分别具有的本地模型80以由连接到该边缘服务器20的一台至多台图像识别装置30处理过的图像识别结果为基础并通过追加学习而被更新。本地模型80每一限定的店铺都不同(每一边缘服务器20都不同)，多个各本地模型80以限定的店铺的、为了识别商品而处理后的图像识别结果为基础通过追加学习而被更新。

另一方面，中心服务器10所具有的全局模型70以各边缘服务器20所具有的各本地模型80的学习结果被汇集的方式被更新。全局模型70以汇集学习过的多个各本地模型80的方式而被更新。这种全局模型70能用于使用各本地模型80的店铺的商品(用单个本地模型80不能识别的商品)的识别。

接着，对在图像识别装置30中被执行的图像识别处理进行说明。

图7是示出图像识别装置30的处理器31所执行的图像识别处理的要部顺序的流程图。处理器31按照主存储器32或辅助存储设备33中安装的控制程序来执行图7的流程图所示顺序的图像识别处理。

需要说明的是，将控制程序安装于主存储器32或辅助存储设备33的方法并不特别限定。能在可移动的存储介质中存储控制程序或者通过经由网络的通信来分发控制程序后将其安装于主存储器32或辅助存储设备33。存储介质只要能如CD-ROM、存储卡等那样存储程序，并且装置能读取，则不限定方式。

POS终端40的操作人员当从消费者接受购买商品的结账的请求时，操作输入设备45来宣告登记开始。接受该宣告后从POS终端40向图像识别装置30输出起动信号。图像识别装置30的处理器31根据该起动信号开始图7的流程图所示顺序的信息处理。

首先，作为ACT1处理器31将摄像设备90起动，使其开始摄像动作。然后，作为ACT2处理器31等待接受摄像了商品的摄像图像数据被输入。

操作人员将消费者所购买的商品逐一拿在手里并对准摄像设备90的镜头。由此，能用摄像设备90来摄像商品。

处理器31对经由设备接口35输入的摄像图像数据进行轮廓提取处理等，判断商品是否已被摄像。并且，当商品已被摄像时，在ACT2中判定为是，前进到ACT3。作为ACT3处理器31解析该摄像图像数据，确认商品所附的条形码是否在摄像图像中映出。在摄像图像中映出了条形码的情况下，处理器31在ACT3中判定为是，前进到ACT4。作为ACT4处理器31执行用于根据该条形码的图像来读取被条形码化的代码的公知的条形码识别处理。然后，作为ACT5处理器31将作为条形码识别处理的识别结果的代码向POS终端40输出。之后，处理器31前进到ACT16。关于ACT16以后的处理将后述。

另一方面，在摄像图像中没有映出条形码的情况下，处理器31在ACT3中判定为否，前进到ACT6。作为ACT6处理器31将加速器34起动。然后，处理器31对加速器34进行指令使其执行使用全局模型70的机器学习算法。加速器34接受该指令后将摄像图像的图像数据输入到在辅助存储设备33中已存储的全局模型70，执行例如使用卷积神经网络的深度学习，识别在摄像图像中映出的商品。

作为ACT7处理器31从加速器34取得识别结果A。识别结果A是判定为通过全局模型70模型化的特征量与根据摄像图像而得到的特征量的相似度是规定的阈值以上的商品的品目列表。品目列表是被细分化到商品的品种的列表。将通过使用全局模型70的深度学习而识别到商品的结果向辅助存储设备33存储。

接下来，作为ACT8处理器31对加速器34进行指令使其执行使用本地模型80的机器学习算法。加速器34接受该指令后将摄像图像的图像数据输入到在辅助存储设备33中已存储的本地模型80，执行例如使用卷积神经网络的深度学习，识别在摄像图像中映出的商品。

作为ACT9处理器31从加速器34取得识别结果B。识别结果B是判定为通过本地模型80模型化的特征量与根据摄像图像而得到的特征量的相似度是规定的阈值以上的商品的品目列表。品目列表是被细分化到商品的品种的列表。将通过使用本地模型80的深度学习而识别到商品的结果向辅助存储设备33存储。

作为ACT10处理器31进行识别结果A和识别结果B的最终判定。例如处理器31对作为识别结果B而得到的针对商品品目的相似度进行规定的加权来增大相似度。然后，处理器31进行作为识别结果B而得到的针对商品品目的加权后的相似度与作为识别结果A而得到的针对商品品目的相似度之间的大小比较。然后，处理器31例如将按照相似度从大到小的顺序排到三位为止的商品品目决定为候选商品。需要说明的是，没有加权也可以。为了确定商品，对辅助存储设备33中存储了的、使用全局模型70的识别结果和使用本地模型80的识别结果进行比较。根据任意一者的识别结果来确定商品。任意一者的识别结果是指，也可以在候选商品的列表中混合存在使用全局模型70的识别结果和使用本地模型80的识别结果。需要说明的是，在候选商品的相似度大致相等的情况下，可采用任意的识别结果。通过对使用全局模型70的识别结果和使用本地模型80的识别结果进行比较，被限定于确定的区域销售的商品的识别能使用本地模型80来识别。全部店铺中所销售的商品的识别能使用全局模型70来识别。需要说明的是，通常在特别(例如仅在特别时期)销售了未经售区域的商品的情况下，也能使用全局模型70来识别。

对相似度进行规定的加权。在作为识别结果A而得到的相似度与作为识别结果B而得到的相似度大致相等的情况下，通过加权的处理作为识别结果B而得到的相似度较大。因此，识别结果B比识别结果A更优先。

作为ACT12处理器31将最终判定结果输出到POS终端40。由此，在POS终端40的显示设备46中显示作为最终判定结果而得到的候选商品的从第1位到第3位的列表。

POS终端40的操作人员确认对准了摄像设备90的商品、也就是说消费者的购买商品是否包含于候选商品的列表中。并且，在包含于列表中的情况下，进行用于选择该商品的操作。通过该操作，在POS终端40中，购买商品的销售数据被登记处理。需要说明的是，在候选商品的列表未包含有购买商品的情况下，操作人员操作输入设备45来登记处理购买商品的销售数据。POS终端40将操作人员所选择的商品的数据向图像识别装置30发送。

作为ACT12，输出了最终判定结果的处理器31确认在最终判定结果中是否有修正。这是基于从POS终端40接收到的商品的数据来判定的。

在POS终端40中选择了2位以下的候选商品的情况下，需要对最终判定结果进行修正。处理器31在ACT12中判定为是，前进到ACT13。作为ACT13处理器31修正最终判定结果。具体地说，处理器31进行修正使得已被选择的候选商品成为列表的第1位。之后，处理器31前进到ACT14。

另一方面，在最终判定结果中没有修正、也就是说选择了第1位的候选商品的情况下，处理器31在ACT12中判定为否，前进到ACT14。

作为ACT14处理器31生成训练数据Da。训练数据Da是在经由设备接口35输入的商品的摄像图像中附加有正确标签的数据。正确标签是确定在最终判定结果中成为第1位的候选商品的信息。即，在最终判定结果中没有修正的情况下，是通过最终判定设定为第1位的商品的信息。在最终判定结果中有修正的情况下，是通过该修正变更为第1位的商品的数据。

需要说明的是，也可以不是每次都生成训练数据Da。根据店铺的不同来假定对通常不销售的区域的商品进行特别销售的情况。在这种情况下，在本地模型80中没有相应的商品，可根据全局模型70的识别结果来确定商品。在是通常不销售的商品并且是将来处理的可能性也低的商品的情况下，假定用户不希望对本地模型80进行追加学习的情况。因此，在这种商品的情况下，禁止训练数据Da的发送。具体地说，POS终端40当对购买商品的销售数据进行登记处理时，在所参照的商品文件中预先保存示出不将训练数据Da向边缘服务器20发送的训练禁止信息。在登记该商品的情况下，POS终端40向图像识别装置30发送训练禁止信息。图像识别装置30的发送部当接收到(检测出)禁止将训练数据Da向边缘服务器20发送的信息(训练禁止信息)时，不进行训练数据Da的生成。因而，不进行训练数据Da的发送。

作为ACT15处理器31指令生成后的训练数据Da的发送。如图6所示，通过该指令从图像识别装置30向边缘服务器20发送训练数据Da。

作为ACT16，发送了训练数据Da的处理器31确认登记结束是否已被宣告。在登记结束未被宣告的情况下，处理器31返回到ACT2。处理器31与前述同样地执行ACT2以后的处理。

因而，每当操作人员将消费者的购买商品对准摄像设备90的镜头时，都反复执与前述的ACT2至ACT16的处理同样的处理。然后，操作人员当将消费者所购买的商品的销售数据全部登记结束时，操作输入设备45来宣告登记结束。

处理器31当检测到在POS终端40中登记结束已被宣告时，在ACT16中判定为是，前进到ACT17。作为ACT17处理器31使摄像设备90的摄像动作停止。以上，处理器31将图7的流程图所示顺序的信息处理结束。

在此，处理器31与加速器34配合来执行ACT6和ACT7的处理，从而构成第一识别部。即处理器31通过将商品的摄像图像作为输入并使用由中心服务器10管理的共用的全局模型70的深度学习来识别商品。

另外，处理器31与加速器34配合来执行ACT8和ACT9的处理，从而构成第二识别部。即处理器31同样地通过将商品的摄像图像作为输入并使用由边缘服务器20管理的特有的本地模型80的深度学习来识别商品。

然后，处理器31执行ACT10的处理，从而构成确定部。即处理器31基于使用全局模型70的深度学习的识别结果和使用本地模型80的深度学习的认证结果来确定在摄像图像中映出的商品。此时，处理器31以通过加权将使用本地模型80的深度学习的识别结果B优先于使用全局模型70的深度学习的识别结果A的方式来确定商品。

另外，处理器31执行ACT12的处理，从而构成判定部。即处理器31判定由确定部确定的商品的正误。

然后，处理器31执行ACT13至ACT15的处理，从而构成发送部。即处理器31将训练数据Da向边缘服务器20发送，所述训练数据Da在由判定部判定为正确答案的情况下，将由确定部确定的商品作为正确标签，在判定为错误答案的情况下，将已被修正的商品作为正确标签。

另外，处理器31与第二通信接口37配合来执行ACT11的处理，从而构成输出部。即处理器31将由确定部确定的商品的信息向POS终端40输出。然后，判定部通过在ACT12的处理中取得的来自POS终端40的信息来判定商品的正误。

于是，从经由第二通信网络60连接的各图像识别装置30接收训练数据Da的边缘服务器20的处理器21构成为按照程序执行图8的流程图所示顺序的信息处理。即，作为ACT21处理器21等待接受训练数据Da。然后，若接收到训练数据Da，则处理器21在ACT21中判定为是，前进到ACT22。作为ACT22处理器21将该训练数据Da保存到辅助存储设备23中。

作为ACT23处理器21确认在辅助存储设备23中已保存的训练数据Da的数据数量是否达到规定量。规定量是比“2”大的任意值。规定量例如为“100”。在训练数据Da的数据数量没有达到规定量的情况下，处理器21在ACT23中判定为否，返回到ACT21。处理器21等待接受下一个训练数据Da。

在训练数据Da的数据数量达到规定量的情况下，处理器21在ACT23中判定为是，前进到ACT24。作为ACT24处理器21将加速器24起动。然后，处理器21对加速器24进行指令使其用规定量的训练数据Da进行本地模型80的追加学习。加速器24收到该指令后从训练数据Da的图像数据提取特征量，将其作为正确标签的商品的特征量进行模型化后追加到本地模型80。

当由加速器24进行的追加学习结束时，作为ACT25处理器21将作为进行了追加学习的结果的学习结果数据Db输出到中心服务器10。学习结果数据Db是通过追加学习被更新的本地模型80的数据。作为ACT26将学习结果数据Db输出结束的处理器21将在辅助存储设备23中已保存的规定量的训练数据Da删除。然后，处理器21返回到ACT21。

以后，处理器21保存从各图像识别装置30接收到的训练数据Da，每当该数据数达到规定量时，反复进行本地模型80的追加学习、学习结果数据Db的发送以及训练数据Da的删除的各处理。

另一方面，从经由第一通信网络50连接的各边缘服务器20接收训练数据Da的中心服务器10的处理器11构成为按照程序执行图9的流程图所示顺序的信息处理。即，作为ACT31处理器11等待接受学习结果数据Db。然后，若接收到学习结果数据Db，则处理器11在ACT31中判定为是，前进到ACT32。作为ACT32处理器11将该学习结果数据Db保存到辅助存储设备13中。

作为ACT33处理器11确认在辅助存储设备23中已保存的学习结果数据Db的数据数量是否达到规定量。规定量是比“2”大的任意值。规定量例如为“5”。在学习结果数据Db的数据数量没有达到规定量的情况下，处理器11在ACT33中判定为否，返回到ACT31。处理器11等待接受下一个学习结果数据Db。

在学习结果数据Db的数据数量到达规定量的情况下，处理器11在ACT23中判定为是，前进到ACT34。作为ACT34处理器11将加速器14起动。然后，处理器11对加速器14进行指令使得规定量的学习结果数据Db汇集到全局模型70。加速器24接受该指令后更新全局模型70，使得作为学习结果数据Db的本地模型80的数据汇集到全局模型70。

当加速器14的学习结果数据Db的汇集结束时，作为ACT35处理器11将通过学习结果数据Db的汇集而被更新的全局模型70分发到各边缘服务器20。另外，作为ACT36处理器11将在辅助存储设备13中已保存的规定量的学习结果数据Db删除。然后，处理器11返回到ACT31。

这样，在各边缘服务器20中，用通过分别经由第二通信网络60连接的各图像识别装置30的识别结果得到的训练数据Da来进行本地模型80的追加学习。经由第二通信网络60连接的各图像识别装置30设置于同一店铺或同一区域内的各店铺。因而，本地模型80可以说是区域特有的学习模型。

另一方面，在中心服务器10中，分别经由第一通信网络50被连接的各边缘服务器20的本地模型80被汇集，全局模型70被更新。因而，全局模型70可以说是全国共用的学习模型。

对各图像识别装置30分发由中心服务器10管理的全局模型70，而且，分发由经由第二通信网络60连接的边缘服务器20管理的本地模型80。

图像识别装置30通过使用全局模型70的深度学习从经由设备接口35输入的商品的摄像图像来识别商品。另外，图像识别装置30通过使用本地模型80的深度学习从该摄像图像来识别商品。然后，各图像识别装置30基于使用全局模型70的深度学习的商品识别结果A和使用本地模型80的深度学习的商品识别结果B来确定在摄像图像中映出的商品。

因而，根据本实施方式，能够根据摄像图像精度良好地识别商品。尤其，以往在特征量小的商品时，有不能准确进行商品的识别的可能性。在本实施方式中，其目的在于提供即使是根据摄像图像获得的特征量的差异因品种而小的商品也能够精度良好地识别商品的图像识别装置及存储介质、图像识别方法。不仅通过使用全国共用的学习模型即全局模型70的深度学习、而且通过使用区域特有的学习模型即本地模型80的深度学习来识别商品，因此，即使是根据摄像图像而得到的特征量的差异根据品种的不同而小的商品，也能精度良好地进行识别。

而且，在本实施方式中，相对于使用全局模型70的深度学习的商品识别结果A，对使用本地模型80的深度学习的商品识别结果B进行加权，使识别结果B优先于识别结果A来确定商品。因而，在确定的区域中，在被限定于该区域销售的商品与被限定于其它区域销售的商品的特征量的差异非常小的情况下，也是被限定于确定的区域销售的商品更优先地被确定，因此，能进一步提高精度。

以上，对图像识别装置的实施方式进行了说明，但不限于该实施方式。

在上述实施方式中，在图7的ACT6中使用全局模型70进行了图像识别，接下来在ACT8中利用本地模型80进行了图像识别。关于该点，也可以先利用本地模型80进行图像识别，之后使用全局模型70进行图像识别。

在上述实施方式中，例示了图像识别装置30通过使用卷积神经网络的深度学习进行图像识别的情况。图像识别的算法不限于卷积神经网络。图像识别装置30也可以通过使用其它图像识别算法的深度学习并使用全局模型70和本地模型80来进行图像识别。

在上述实施方式中，例示了图像识别装置30通过对作为识别结果而得到的特征量的相似度进行加权从而使得使用本地模型80的识别结果优先于使用全局模型70的识别结果的情况。进行加权的对象不限于相似度。也可以对相似度以外的指数进行加权而将使用本地模型80的识别结果优先。

上述实施方式例示了为了识别未附有条形码的生鲜食品、水果等商品而使用的图像识别装置30。图像识别装置的用途不限于未附有条形码的生鲜食品、水果等商品的识别装置。能应用于根据图像识别在全国拓展的物品和区域特有的物品的全部图像识别装置。另外，图像识别装置具备操作部、显示部等，将由确定部确定的商品的信息显示于显示部。也可以从操作部输入正误，根据该输入来判定商品的正误。另外，也可以从操作部进行禁止训练数据的发送的操作。根据该操作而禁止训练数据的发送的信息被输入并被检测。

另外，作为第一学习模型，设为在各店铺中被共用地用于商品的识别的全局模型70。作为第二学习模型，设为在限定的店铺中被用于商品的识别的本地模型70。另外，作为第一学习模型，也可以设为上位的商品分类(例如，苹果、梨等)，作为第二学习模型也可以设为商品分类所包含的商品或者品种(苹果1种、苹果2种、梨1种、梨2种等)。在这种情况下，与区域是无关的。将在任何店铺中都共用地存在的上位的商品分类设为第一学习模型。将该分类所包含的细分化的、该分类所特有的商品(或者品种)设为第二学习模型。通过使用第一学习模型的深度学习来识别商品(识别商品的分类)。通过使用第二学习模型的深度学习来识别商品(识别商品分类所包含的具体的商品或者品种)。基于各自的识别结果来确定商品(确定商品分类，确定该商品分类所包含的具体的商品或者品种)。在这种情况下，当在POS终端40中选择作为候选而输出的商品时，输入商品分类和品种(或者商品)。基于该选择后的结果，第二学习模型针对商品、品种进行追加学习并更新。第一学习模型针对商品分类进行追加学习并更新。通过划分商品分类的第一学习模型、以及具体的商品或者品种的第二学习模型，即使是根据摄像图像而得到的特征量的差异小的商品，也能精度良好地进行识别。

另外，虽然说明了本发明的几个实施方式，但是这些实施方式是作为例子给出的，并非旨在限定发明的范围。这些新的实施方式能通过其它各种方式实施，能在不脱离发明的主旨的范围内进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围中，并且包含在权利请求书所记载的发明和其等同的范围内。

Claims (10)

1.一种图像识别装置，其特征在于，具备：

第一识别部，将商品的摄像图像作为输入，并通过使用了共用的第一学习模型的深度学习来识别所述商品；

第二识别部，将所述商品的摄像图像作为输入，并通过使用了特有的第二学习模型的深度学习来识别所述商品；以及

确定部，基于所述第一识别部的识别结果和所述第二识别部的识别结果来确定所述商品。

2.根据权利要求1所述的图像识别装置，其中，

所述第一学习模型是在各店铺中共用地用于商品的识别的学习模型，

所述第二学习模型是在限定的店铺中用于商品的识别的学习模型。

3.根据权利要求2所述的图像识别装置，其中，

所述第二学习模型以限定的店铺的商品的识别结果为基础通过追加学习而被更新，

所述第一学习模型以将学习过的所述第二学习模型汇集的方式而被更新。

4.根据权利要求1所述的图像识别装置，其中，

所述确定部对所述第一识别部的识别结果和所述第二识别部的识别结果进行比较，根据任意一者的识别结果来确定所述商品。

5.根据权利要求4所述的图像识别装置，其中，

所述确定部相对于所述第一识别部的识别结果增大所述第二识别部的识别结果的加权来确定所述商品。

6.根据权利要求1至5中任一项所述的图像识别装置，其中，还具备：

判定部，判定由所述确定部确定的商品的正误；以及

发送部，将训练数据向管理所述第二学习模型的服务器发送，所述训练数据在由所述判定部判定为正确答案的情况下，将所述确定的商品作为正确标签，在判定为错误答案的情况下，将修正后的商品作为正确标签。

7.根据权利要求6所述的图像识别装置，其中，还具备：

输出部，将由所述确定部确定的商品的信息向终端输出，

所述判定部通过来自所述终端的信息来判定商品的正误。

8.根据权利要求6所述的图像识别装置，其中，

所述发送部在检测出禁止将所述训练数据向所述服务器发送的信息的情况下，不进行所述训练数据的发送。

9.一种存储介质，存储有控制程序，其特征在于，所述控制程序用于使具备将商品的摄像图像作为输入的接口的图像识别装置的计算机作为如下各部发挥功能：

第一识别部，将所述商品的摄像图像作为输入，并通过使用了共用的第一学习模型的深度学习来识别所述商品；

第二识别部，将所述商品的摄像图像作为输入，并通过使用了特有的第二学习模型的深度学习来识别所述商品；以及

确定部，基于所述第一识别部的识别结果和所述第二识别部的识别结果来确定所述商品。

10.一种图像识别方法，其特征在于，由具备将商品的摄像图像作为输入的接口的图像识别装置，执行以下步骤：

将所述商品的摄像图像作为输入，并通过使用了共用的第一学习模型的深度学习来识别所述商品，

将所述商品的摄像图像作为输入，并通过使用了特有的第二学习模型的深度学习来识别所述商品，

基于使用所述第一学习模型的深度学习的商品识别结果和使用所述第二学习模型的深度学习的商品识别结果来确定所述商品。

Images