CN105701929B - 紧急通报装置以及紧急通报方法 - Google Patents

Abstract

本发明提供一种紧急通报装置以及紧急通报方法。本发明的紧急通报装置具备：判定单元，其根据在收纳现金的现金抽屉被打开的期间由拍摄单元拍摄到的拍摄图像来判定紧急状态；以及通报单元，其根据所述判定单元的判定结果，向预先设定的通报目的地发送紧急通报。

Description

紧急通报装置以及紧急通报方法

技术领域

本发明涉及一种紧急通报装置以及紧急通报方法。

背景技术

以往，已知从拍摄物品得到的图像数据中提取该对象物的特征量，将其与预先准备的对照用数据(特征量)进行比较，来识别该物品的种类等的与通用对象识别有关的技术。并且，提出了一种将该通用对象识别的技术用于蔬果等商品的识别，来对识别出的商品进行销售登记的商品登记装置(参照日本专利第5518918号公报)。

此外，以往，在设置有商品登记装置的店铺中，从预防犯罪的观点出发进行了各种应对。例如，一般已知的有在店铺内设置防盗摄像机或防盗铃，或者店员持有报警器。

然而，防盗摄像机的设置虽然具有抑制抢劫等犯罪的效果，并且在所拍摄的影像成为犯罪的证据资料这一点上有效，但在实际进行犯罪时，无法立即且确实地向外部联络此事件。

另一方面，在实际进行抢劫等犯罪时，防盗铃的设置或持有报警器能够立即且确实地向外部联络此事件，但是当犯人发现操作防盗铃等的意图时，有可能施加伤害。此外，在犯人预先知道防盗铃等的存在或其操作方法时，犯人有可能阻碍防盗铃等的操作。

发明内容

本发明的课题在于通过隐秘性高的操作进行紧急通报。

本发明的紧急通报装置具备：判定单元，其根据在收纳现金的现金抽屉被打开的期间由拍摄单元拍摄到的拍摄图像来判定紧急状态；以及通报单元，其根据所述判定单元的判定结果，向预先设定的通报目的地发送紧急通报。

根据本发明，能够通过隐秘性高的操作进行紧急通报。

附图说明

图1是表示第1实施方式的商品登记装置的外观立体图。

图2是表示第1实施方式的商品登记装置的概要结构图。

图3是表示第1实施方式的商品登记装置的逻辑框图。

图4示例了一流程图，该流程图表示第1实施方式的商品登记装置的商品登记处理的全体动作。

图5A～图5C表示第1实施方式的商品登记处理的画面迁移的例子。

图6示例了一流程图，该流程图表示第1实施方式的商品登记装置的紧急通报处理的全体动作。

图7A～图7C表示第1实施方式的紧急通报处理的画面例子，图7A表示对最高面额纸币进行了拍摄的情况，图7B表示对犯罪所使用的物品进行了拍摄的情况，图7C表示对操作员(店员)持有的状态下的最高面额纸币进行了拍摄的情况。

图8是表示第2实施方式的商品登记装置的逻辑框图。

图9示例了一流程图，该流程图表示第2实施方式的商品登记装置的紧急通报处理的全体动作。

图10A～图10C表示第2实施方式的紧急通报处理的画面例子，图10A表示对张开双手的状态进行了拍摄的情况，图10B表示对握住双手进行了拍摄的情况，图10C表示对使手向左右移动的动作进行了拍摄的情况。

图11是表示变形例的商品登记装置的外观立体图。

具体实施方式

以下，参照适当的附图，详细说明用于实施本发明的方式。

各图仅以能够充分理解本发明的程度概要地进行了表示。因此，本发明并不限定于图示的例子。此外，在参照的附图中，对于构成本发明的部件的尺寸，存在为了使说明变得明确夸张地进行表现的情况。另外，在各图中，对于共同的构成要素或同样的构成要素赋予相同的符号，并省略它们的重复的说明。

[第1实施方式]

图1是表示第1实施方式的商品登记装置1的立体图。

如图1所示，商品登记装置1具备收银机1a和商品识别装置1b，该商品登记装置1设置在商品销售店的收款台2上。

收银机1a具备顾客用显示器11、触摸显示器12、现金抽屉13、打印机14。商品识别装置1b具备拍摄装置15、拍摄台16、背光灯光源17而构成。

商品识别装置1b对拍摄装置15拍摄到的图像进行处理，来识别托盘3上的经营商品6(例如，面包)的种类和个数，并作为识别信息发送给收银机1a。在此，所谓的经营商品表示在设置有商品登记装置1的店铺中销售(经营)的商品。收银机1a接收识别信息，执行总金额等的显示、销售管理/销售业绩管理等的运算/输入输出。

另外，在进行经营商品的结账时，操作商品登记装置1的操作员(店员)站在收款台2的图面近侧。另外，顾客站在收款台2的图面内侧。

顾客用显示器11例如是液晶显示装置，朝向顾客侧即图面内侧。顾客用显示器11针对顾客显示与经营商品的结账相关的信息(商品名、金额等)。

触摸显示器12例如是在作为液晶显示装置的显示器12A(参照图2)的表面层叠了触摸面板12B的装置，朝向操作员一侧即图面前侧。该触摸显示器12向操作员显示拍摄图像、各种信息(商品名、金额等)，并接受操作员的触摸操作输入。

现金抽屉(有时简称为“抽屉”)13是用于保管在对经营商品进行结账时处理的纸币、硬币、兑换券等的抽屉，位于触摸显示器12的正下方。现金抽屉13通过操作员(店员)对触摸显示器12的操作，向图面前侧(虚线所示的位置)滑动从而打开。

打印机14位于触摸显示器12的左下方，在进行经营商品的结账时在收据上打印结账的内容(商品名、金额等)。

拍摄装置15从正上方拍摄放置在拍摄台16上的托盘3以及托盘3上的经营商品。与该拍摄装置15相邻地安装了照明装置(未图示)，照射拍摄装置15的拍摄区域151。经营商品例如是自家制作的面包。在拍摄装置15进行拍摄时，从照明装置向托盘3上的面包6照射照明光，并从托盘3的下方向上照射来自背光灯光源17的背光灯。该托盘3虽然不是透明的，但为半透明以便在上下方向透射光，并且，形成为没有花纹等的单一颜色。希望托盘3的颜色为白色或淡色。并且，希望在托盘3的上表面施加细微的磨砂加工。由此，能够抑制来自照明装置的照明光的反射。

顾客在托盘3上放置任意数量的经营商品即面包6，然后将该托盘3放置在拍摄台16上。在图1的例子中，在托盘3上放置了2个面包6。

拍摄台16是在购买经营商品的顾客结账时用于放置装有经营商品的托盘3的台子。

拍摄区域151是通过拍摄台16中的拍摄装置15能够拍摄的区域。

背光灯光源17被收纳在拍摄台16的内部，在通过拍摄装置15拍摄托盘3上的经营商品时，从托盘3的下方朝上照射背光灯，以使经营商品的拍摄图像更鲜明。背光灯光源17例如可以通过LED(Light Emitting Diode，发光二极管)实现，但并不局限于此。

托盘3为半透明以便透射光。并且，在通过拍摄装置15拍摄放置在托盘3上的状态下的面包6时，从背光灯光源17向该托盘3的背后即背面一侧照射背光灯。由此，能够尽可能地消除通过来自照明装置的照明光在经营商品即面包6的周围形成的影子。在通过拍摄装置15进行拍摄时，为了成为从背光灯光源17照射背光灯的状态，始终将背光灯光源17点亮。但是，并不局限于此，也可以使背光灯光源17的点亮和拍摄装置15的拍摄同步。为了实现该同步，可以由商品识别装置1b统一控制拍摄装置15和背光灯光源17，也可以在拍摄装置15的拍摄时使背光灯光源17同步地点亮。

图2是表示第1实施方式的商品登记装置1的概要的结构图。商品登记装置1除了在图1中所示的结构以外，还具备CPU(Central Processing Unit，中央处理单元)101、RAM(Random Access Memory，随机存取存储器)102、ROM(Read Only Memory，只读存储器)103、存储部104以及通信部18。另外，图2所示的商品登记装置1的各结构经由内部总线或各输入输出电路(未图示)可相互通信地连接。

CPU101是中央控制装置，承担整个商品登记装置1的控制。

RAM102是由CPU101使用的临时存储单元，暂时存储与CPU101执行的程序相关的图像数据、各种变量等。

ROM103是非易失性存储单元，存储CPU101执行的程序等。

顾客用显示器11由CPU101控制，对顾客显示经营商品的拍摄图像、与经营商品的结账相关的信息(商品名、金额等)等。

显示器12A由CPU101控制，对操作员显示经营商品的拍摄图像、与经营商品的结账相关的信息(商品名、金额等)等。

触摸面板12B接受操作员对显示在显示器12A上的信息的触摸操作输入。

存储部104例如由HDD(Hard Disk Drive，硬盘驱动器)或SSD(Solid StateDrive，固态硬盘驱动器)等构成，存储各种程序、各种文件。关于存储在存储部104中的各种程序、各种文件，在商品登记装置1启动时，将其全部或一部分复制到RAM102中由CPU101来执行。在该存储部104中存储各种数据。

拍摄装置15是由彩色CCD(Charge Coupled Device，电荷耦合元件)图像传感器或彩色CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器等构成，在CPU101的控制下进行拍摄的拍摄单元。拍摄装置15例如进行30fps(frameper second，帧/秒)的动画图像的拍摄。将拍摄装置15以预定的帧率依次拍摄到的帧图像(拍摄图像)保存在RAM102中。

背光灯光源17在CPU101的控制下，从托盘3的下方朝上照射背光灯，以便在通过拍摄装置15拍摄托盘3上的经营商品时拍摄图像更鲜明。由此，能够使因来自照明装置的照明光或店内的其他照明而形成的拍摄区域151内的影子变淡，提高图像处理的精度。

背光灯光源17的背光灯照射的时机例如可以与拍摄装置15的拍摄时机一致，或者可以始终进行照射。

根据CPU101的指示打开现金抽屉13。现金抽屉13具备抽屉开闭传感器13a。抽屉开闭传感器13a例如，可以检测现金抽屉13的打开状态以及闭锁状态中的至少某一方的状态，并将检测结果发送给CPU101，也可以检测现金抽屉13从打开状态状态变化为闭锁状态的情况以及从闭锁状态状态变化为打开状态的情况，将检测结果发送给CPU101。

打印机14例如是热转印打印机，用于发出收据。具体而言，在经营商品的结账时，打印机14根据CPU101的指示在收据用纸上打印结账内容。

通信部18例如是网络接口控制器，经由网络与外部装置4连接。外部装置4为设置在与设置有商品登记装置1的空间相隔离的空间中的装置，例如被设置在后台、总公司、数据中心、保安公司等中。CPU101使用该通信部18向外部装置4发送后述的紧急通报。

图3是表示第1实施方式的商品登记装置1的逻辑框图。

商品登记装置1的CPU101(参照图2)执行存储在ROM103(参照图2)中的未图示的程序，由此作为处理部9实现图像存储部91、订购时对象识别处理部92、确定通知部93、候补商品提示部94、输入取得部95、销售登记部96、信息输出部97、紧急时对象识别处理部98、紧急通报部99的各部。该订购时对象识别处理部92具备物体检测部921、类似度运算部922以及类似度判断部923。此外，紧急时对象识别处理部98具备物体检测部981、类似度运算部982以及类似度判断部983。

处理部9参照在存储部104中存储的订购时对象识别用数据105、商品内容数据106、销售大师(sales master)107、紧急时对象识别用数据108。

订购时对象识别用数据105，预先登记将针对经营商品的每个种类模型化的特征量组合起来的模板信息。订购时对象识别用数据105例如是针对在店铺中陈列并销售的各个经营商品，设定了商品名或商品ID与该经营商品的特征量的关联的数据文件，作为经营商品的识别用辞典发挥功能。

商品内容数据106是设定了经营商品的内容信息的数据文件。在商品内容数据106中，设定商品ID(Identifier，标示符)、商品名、单价、降价信息等来作为经营商品的内容信息。

销售大师107是对经营商品的销售登记进行记录的文件，记录向顾客销售的商品ID和与之对应的商品分类、商品名、单价、销售数量等。

紧急时对象识别用数据108预先登记将针对表示紧急状态的每个事件模型化的特征量进行了组合的模板信息。紧急时对象识别用数据108例如是对表示在商品登记装置1的周边发生的紧急状态的事件，设定了紧急状态的内容与表示该紧急状态的事件的特征量的关联的数据文件，作为紧急状态的识别用辞典发挥功能。

紧急状态是指因第三者的行为操作员(店员)需要请求帮助的状态，在本实施方式中，假定第三者向操作员要求提供现金抽屉13内的纸币的情况(抢劫或恐吓等犯罪行为)。

表示紧急状态的事件例如可以例举犯人要求提供的物品(纸币、硬币、报警器、能够与外部联络的便携电话等)、在犯罪中利用的物品(店铺或车辆的钥匙、武器等)等。在此，在假定为日本的情况下，纸币的种类有一千元币、二千元币、五千元币、一万元币，作为表示紧急状态的事件特别是最高面额纸币的一万元币有效。这是因为最高面额纸币不作为商品经营的零钱使用，因此通过作为表示紧急状态的事件使用最高面额纸币，能够防止后述的紧急通报的误发送。

图像存储部91依次取入并存储拍摄装置15拍摄的帧图像(彩色数字图像)。

物体检测部921使用边缘检测等技术，从背景中分离出取入的帧图像中的成为经营商品的候补的图像，即仅切出识别对象物体来检测。具体而言，当顾客将托盘3放在拍摄台16上后由操作员指示了拍摄时，处理部9通过拍摄装置15拍摄拍摄台16上的拍摄区域151。物体检测部921对取入的帧图像进行二值化来提取轮廓线。接着，物体检测部921将从上次的帧图像提取的轮廓线与从这次的帧图像提取的轮廓线进行比较来将图像分离为各区域，从而检测物体。

类似度运算部922根据检测出的各物体的分离图像来识别各个经营商品的种类。类似度运算部922针对各分离图像，将大小、形状、色调、表面的凹凸情况等表面状态作为特征量进行运算。

类似度运算部922还分别对各分离图像的特征量和在订购时对象识别用数据105中记录的经营商品的各特征量进行比较，由此分别计算各分离图像和在对象识别用数据105中记录的经营商品的类似度。

在此，所谓类似度表示在将订购时对象识别用数据105中记录的经营商品假定的特征量设为100％的类似度的情况下，各分离图像的特征量类似到何种程度。另外，类似度运算部922在有多个种类的特征量的情况下，根据多个特征量进行综合评价，此时，也可以对每个特征量进行加权。

这样，将识别图像中所包含的物体称为通用对象识别(generic objectrecognition)。在下述的柳井启司所著的“一般物体認識の現状と今後(通用对象识别的现状和将来)”中，将通用对象识别的研究的调查与方法结合，进行了数据集、评价基准测试，还进一步展望了将来。

柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，2007年11月15日，Vol.48，No.SIG16、1-24页，

[2014年10月31日检索]，网络

<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

此外，在以下的文献中解说了通过针对每个对象(物体)将图像进行区域分割来进行通用对象识别的技术。Jamie Shotton等，“Semantic Texton Forests for ImageCategorization and Segmentation”，Computer Vision and Pattern Recognition,2008.CVPR 2008.IEEE Conference on，

[2014年10月31日检索]，网络

<URL:http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&re p＝rep1&type＝pdf>

另外，并不特别地限定拍摄的商品图像的特征量和在订购时对象识别用数据105中存储的经营商品的商品图像的特征量之间的类似度的计算方法。例如，可以将所拍摄的商品图像的特征量和在订购时对象识别用数据105中存储的各经营商品的特征量之间的类似度来计算为绝对评价，也可以计算为相对评价。

在将类似度计算为绝对评价的情况下，将分离图像的特征量和作为订购时对象识别用数据105存储的经营商品的特征量一对一地比较，直接采用作为该比较的结果计算出的类似度(0～100％)即可。

此外，将类似度计算为相对评价的情况下，进行计算以使与各经营商品的类似度的总和成为1.0(100％)。例如，设为作为订购时对象识别用数据105存储了经营商品A、B的特征量。

此时，针对分离图像，例如对经营商品A计算为类似度为0.65，对经营商品B计算为类似度为0.2等。

类似度判断部923针对物体的每个分离图像，根据类似度运算部922计算出的类似度，例如关于对应的经营商品按照以下的3个选项进行判断。

(1)唯一地决定了与分离图像对应的经营商品。

(2)存在1个以上的与分离图像对应的经营商品的候补。

(3)决定为没有与分离图像对应的经营商品。

作为用于该判断的条件，例如，存储部104预先存储有条件X、Y。以下，以类似度的计算方法为绝对评价的情况为例进行说明。

条件X是若满足则判断为上述(1)的条件。条件X例如是“类似度最大的经营商品的类似度为90％以上”，并且，“类似度最大的经营商品的类似度和类似度第二大的经营商品的类似度的差为20％以上”。具体而言，例如关于某个分离图像的物体，设为类似度最大的经营商品为类似度为95％的经营商品A，其次为类似度60％的经营商品B。此时因为满足条件X，所以唯一地决定与分离图像对应的经营商品A。

在不满足条件X的情况下，使用条件Y。

条件Y是若满足则判断为上述(2)的条件。条件Y例如是“有1个以上的类似度60％以上的经营商品”。具体而言，例如关于某个分离图像的物体，设类似度最大的经营商品为类似度80％的经营商品A，类似度第二大的为类似度75％的经营商品B，类似度第三大的为类似度65％的经营商品C，类似度第四大的为类似度55％的经营商品D。此时满足条件Y，因此作为与分离图像对应的候补，存在类似度60％以上的对象即经营商品A、B、C。

在都不满足条件X、Y的情况下，判断为上述(3)。另外，上述的条件X、Y为一例，并不限定于此。

此外，在类似度的计算方法为相对评价的情况下，可同样地设定条件。

确定通知部93通过向显示器12A或顾客用显示器11的显示或声音输出等，向操作员或顾客报告针对类似度判断部923判断为上述(1)的分离图像的物体，唯一地确定了经营商品。

更详细地说，确定通知部93通过将类似度判断部923判断为上述(1)的分离图像与绿色的框线一起显示在顾客用显示器11或显示器12A上，表示唯一地确定了与分离图像对应的经营商品。

候补商品提示部94通过将类似度判断部923判断为上述(2)的分离图像与黄色的框线一起显示在显示器12A或顾客用显示器11上，表示存在1个以上的与分离图像对应的经营商品的候补。并且，通过操作员经由触摸面板12B触摸该分离图像，在显示器12A上按照类似度从高到低的顺序显示作为经营商品的候补的照片图像和商品名。

此时，候补商品提示部94从订购时对象识别用数据105和商品内容数据106读出满足条件Y的经营商品的照片图像和商品名，按照类似度运算部922计算出的类似度从高到低的顺序输出到显示器12A。

另外，当即使在显示器12A中显示了经营商品的候补的照片图像，但针对这些经营商品的候补未收到选择操作的情况下，继续进行拍摄装置15的拍摄、图像存储部91的图像存储处理、物体检测部921的物体检测处理、类似度运算部922的类似度运算处理。

输入取得部95经由触摸面板12B接受与触摸面板12B的显示对应的各种输入操作。例如，当判断为上述(2)，在显示器12A上与黄色的框线一起显示了分离图像的情况下，输入取得部95接受操作员使用触摸面板12B进行的分离图像选择的触摸输入操作。并且，当在显示器12A中显示了经营商品的候补的1个以上的图像的情况下，接受操作员使用触摸面板12B进行的商品选择的触摸输入操作。

销售登记部96根据从信息输出部97输出的商品ID，进行对应的经营商品的销售登记。具体而言，销售登记部96在销售大师107等中登记通知的商品ID以及与之对应的商品分类、商品名、单价、销售个数等来进行销售登记。

信息输出部97针对如上那样确定的经营商品，参照商品内容数据106，将表示该经营商品的信息(例如，商品ID(IDentifier)、商品名、降价信息等)输出到顾客用显示器11、显示器12A、打印机14。

物体检测部981使用边缘检测等技术，从背景中分离出取入的帧图像中的成为表示紧急状态的事件(例如，纸币)的候补的图像，即仅将识别对象的事件切出并检测。具体而言，当抽屉开闭传感器13a检测出现金抽屉13打开时，处理部9通过拍摄装置15拍摄拍摄台16上的拍摄区域151。物体检测部981对取入的帧图像进行二值化来提取轮廓线。接着，物体检测部981将从上次的帧图像中提取的轮廓线和从这次的帧图像中提取的轮廓线进行比较来将图像分离为各个区域，从而检测表示紧急状态的事件。

类似度运算部982根据检测出的各物体的分离图像来识别表示紧急状态的事件(例如，纸币)。类似度运算部982针对各分离图像，将大小、形状、色调、表面的凹凸情况等表面状态作为特征量进行运算。

类似度运算部982还分别将各分离图像的特征量和在紧急时对象识别用数据108中记录的表示紧急状态的事件的各特征量进行比较，由此分别计算各分离图像和在紧急时对象识别用数据108中记录的表示紧急状态的事件的类似度。

在此，类似度表示在将紧急时对象识别用数据108中记录的表示紧急状态的事件假定的特征量设为100％的类似度的情况下，各分离图像的特征量类似到何种程度。另外，类似度运算部982在有多个种类的特征量的情况下，根据多个特征量进行综合评价，此时，也可以对每个特征量进行加权。

另外，并不特别限定所拍摄的表示紧急状态的事件(例如，纸币)的图像的特征量和在紧急时对象识别用数据108中记录的表示紧急状态的事件的图像的特征量之间的类似度的计算方法。例如，可以将所拍摄的事件的特征量和在紧急时对象识别用数据108中记录的表示各紧急状态的事件的特征量之间的类似度计算为绝对评价，也可以计算为相对评价。

在将类似度计算为绝对评价的情况下，将分离图像的特征量和作为紧急时对象识别用数据108存储的表示紧急状态的事件(例如，纸币)的特征量一对一地进行比较，直接采用作为该比较结果计算出的类似度(0～100％)。

此外，在将类似度计算为相对评价的情况下，进行计算以使与表示各紧急状态的事件的类似度的总和为1.0(100％)。例如，设为作为紧急时对象识别用数据108存储有事件A、B的特征量。此时，针对分离图像，例如对事件A计算为类似度为0.65，对事件B计算为类似度为0.2等。

类似度判断部983针对物体的每个分离图像，根据类似度运算部982计算出的类似度，例如关于对应的事件按照以下2个选项进行判断。

(4)唯一地决定与分离图像对应的事件。

(5)决定为没有与分离图像对应的事件。

作为用于该判断的条件，例如，存储部104预先存储有条件Z。

以下，以类似度的计算方法为绝对评价的情况为例进行说明。

条件Z是若满足则判断为上述(4)的条件。条件Z例如是“类似度最大的事件的类似度为90％以上”，并且，“类似度最大的事件的类似度和类似度第二大的事件的类似度的差为20％以上”。具体而言，例如，对于某个分离图像的物体，假定类似度最大的事件是类似度为95％的事件A，其次是类似度为60％的事件B。

因为此时满足条件Z，所以唯一地决定与分离图像对应的事件A。此时，针对判断为上述(4)的分离图像的物体，希望不通过向显示器12A或顾客用显示器11的显示或声音输出等报告唯一地确定了表示紧急状态的事件。这是为了不使第三者(尤其是犯人)知道正在进行紧急通报的判断。

在不满足条件Z的情况下，判断为上述(5)。在类似度的计算方法为相对评价的情况下，可同样地设定条件。

另外，上述的条件Z为一例，并不限定于此。例如，条件Z也可以是“类似度60％以上的事件有1个以上”。具体而言，例如针对某分离图像的物体，假定类似度最大的事件为类似度80％的事件A，其次为类似度75％的事件B。

因为此时满足条件Z，所以作为与分离图像对应的候补，存在类似度60％以上的对象即事件A、B。在该情况下，希望不在显示器12A或顾客用显示器11上显示存在1个以上的与分离图像对应的事件的候补。这是为了不使第三者(尤其是犯人)知道正在进行紧急通报的判断。

紧急通报部99在判断为紧急状态的情况下(例如，判断为上述(4)的情况下)，经由通信部18(参照图2)将紧急通报发送给外部装置4。假定各种紧急通报的手段和内容。例如，作为信息可以仅简单地发送为紧急状态的事件，也可以发送判断为紧急状态的拍摄图像。此外，也可以将为紧急状态的事件和判断为紧急状态的拍摄图像一并进行发送。

(商品登记处理)

接着，参照图4和图5说明使用了商品登记装置1的商品登记处理(适当参照图1至图3)。

图4示例了一流程图，该流程图表示商品登记装置1的商品登记处理的全体动作。

图5A～图5C表示商品登记装置1的画面迁移的例子。

首先，处理部9向拍摄装置15输出拍摄开启信号来开始拍摄(步骤S1)。依次取入拍摄装置15拍摄的帧图像(彩色数字图像)并存储在图像存储部91中。物体检测部921取入在图像存储部91中保存的帧图像(拍摄图像)(步骤S2)，并根据取入的图像进行经营商品的识别(步骤S3)。具体而言，当操作员进行了经营商品的拍摄指示时，将该经营商品作为对象来识别(参照图5A)。在图5A中，将2个经营商品6作为对象来识别。

接着，类似度运算部922从经营商品的图像中读取经营商品的特征量，将其与订购时对象识别用数据105中登记的各商品图像的特征量进行比较，由此计算与登记商品的类似度(步骤S4)。接着，类似度判断部923在唯一地决定了经营商品的情况下，将该经营商品确定为登记商品，另一方面，在无法唯一地决定经营商品而存在多个候补的情况下，候补商品提示部94将表示候补商品的信息显示在显示器12A中，通过操作员的选择操作来确定登记商品(步骤S5)。然后，确定通知部93将表示所确定的登记商品的信息(确定画面)显示在显示器12A和顾客用显示器11中(步骤S6)。在图5B中，将“咖喱面包”和“哈密瓜面包”决定为经营商品，将这些经营商品确定为登记商品(参照图5C)。之后，操作员进行结账。

接着，处理部9判定操作员是否进行了业务结束指示(步骤S7)。在继续业务的情况下(在步骤S7中为“否”)，处理部9使处理返回到步骤S2，继续进行下个商品登记处理。当根据操作员的指示结束业务的情况下(在步骤S7中为“是”)，处理部9向拍摄装置15输出拍摄关闭信号来结束拍摄装置15的拍摄(步骤S8)。

(紧急通报处理)

接着，参照图6说明使用了商品登记装置1的紧急通报处理(适当参照图1至图3)。图6示例了一流程图，该流程图表示商品登记装置1的紧急通报处理的全体动作。

在此，假定犯人假装购买经营商品，向商品登记装置1的操作员(店员)索要金钱的情况。犯人在索要金钱后为了使操作员服从指示以及为了不让操作员与外部进行联络，用持有的武器(刀或手枪)进行威胁并严密观察操作员的动向。

因此，操作员无法大声求助或操作紧急铃。此时，操作员别无选择地按照犯人的指示将现金抽屉13内部的一万元币(纸币)交给犯人。另外，在该时刻，现金抽屉13关闭。

当操作员(店员)打开了现金抽屉13(参照图2)时，抽屉开闭传感器13a(参照图2)检测出现金抽屉13的打开，处理部9向拍摄装置15输出拍摄开启信号来开始进行拍摄(步骤S11)。依次取入拍摄装置15拍摄的帧图像(彩色数字图像)并将其存储在图像存储部91中(参照图3)。具体而言，当操作员将从现金抽屉13取出的一万元币51放在拍摄台16上时，拍摄装置15对该一万元币51进行拍摄(参照图7)。

接着，物体检测部981取入在图像存储部91中保存的帧图像(拍摄图像)(步骤S12),根据取入的图像进行拍摄对象物的检测(步骤S13)。具体而言，将操作员放在拍摄台16上的纸币作为对象来识别。

接着，类似度运算部982从所拍摄的图像中读取拍摄对象物的特征量，并将其与在紧急时对象识别用数据108中登记的表示各紧急状态的事件(例如纸币)的特征量进行比较，由此计算与表示紧急状态的事件的类似度(步骤S14)。

接着，类似度判断部983判定拍摄对象物是否与某个表示紧急状态的事件类似(步骤S15)。在类似的情况下(在步骤S15中为“是”)，使处理向步骤S16前进，另一方面，在不类似的情况下(在步骤S15中为“否”)，使处理向步骤S18前进。在不类似的情况，也包括什么也没有拍摄到的情况。

在拍摄对象物与某个表示紧急状态的事件类似的情况下(在步骤S15中为“是”)，处理部9判定在现金抽屉13已被打开的时刻是否在拍摄台16上放置了拍摄对象物(步骤S16)。该处理是为了防止误发送紧急通报，例如，假定顾客购买东西时，拍摄了误落在拍摄台16上的纸币的情况。为此，也可以不进行该处理，也可以是防止紧急通报误发送的其他处理。

当在打开的时刻在拍摄台16上没有放置拍摄对象物的情况下(在步骤S16中为“否”)，使处理向步骤S17前进，另一方面，当在打开的时刻在拍摄台16上放置了拍摄对象物的情况下(在步骤S16中为“是”)，使处理向步骤S19前进。

当在打开的时刻在拍摄台16上没有放置拍摄对象物的情况下(在步骤S16中为“否”)，紧急通报部99经由通信部18向外部装置4或警察、保安公司等预先设定的通报目的地发送紧急通报(步骤S17)。然后，接收到该紧急通报的外部装置4的操作者例如与设置有商品登记装置1的店铺的防范摄像头或店铺取得联络，进行之后的应对。接着步骤S17，处理向步骤S19前进。

在拍摄对象物不与任何表示紧急状态的事件类似的情况下(在步骤S15中为“否”)，处理部9判定抽屉开闭传感器13a是否检测到现金抽屉13的锁闭(步骤S18)。在现金抽屉13没有锁闭的情况下(在步骤S18中为“否”)，使处理返回到步骤S12，重新取入图像数据，以预定的间隔继续拍摄对象物的检测。

另一方面，在现金抽屉13被锁闭的情况下(在步骤S18中为“是”)，使处理向步骤S19前进。具体而言，在操作员打开了现金抽屉13的期间，检测在拍摄台16是否没有出现表示紧急状态的事件。

在步骤S16或步骤S18中判定为“是”的情况下，以及紧接着步骤S17，处理部9向拍摄装置15输出拍摄关闭信号来结束拍摄(步骤S19)。

在此，如图7A所示说明了拍摄了最高面额纸币即一万元币51的情况，但如图7B所示在拍摄到钥匙52或智能电话53的情况下也可以判定为是紧急状态。此外，在此说明了对在拍摄台16上放置的一万元币51进行了拍摄的情况，但如图7C所示在拍摄到操作员(店员)拿着的状态的一万元币54的情况下也可以判定为是紧急状态。

如上所述，第1实施方案的商品登记装置1通过比较在打开了现金抽屉13的期间拍摄到的拍摄对象物和表示紧急状态的事件(例如纸币)，来判定相对于表示紧急状态的事件的类似度。在此，紧急状态是因第三者的行为操作员(店员)需要请求帮助的状态，在本实施方式中，假定了第三者对操作员要求提供现金抽屉13内的纸币的情况(抢劫或恐吓等犯罪行为)。

此外，表示紧急状态的事件例如可以例举犯人要求提供的物品(犯罪目的的纸币、报警器、能够与外部进行联络的便携电话等)、在犯罪中利用的物品(店铺或车辆的钥匙、武器等)。并且，根据类似度判定拍摄对象物是否与表示紧急状态的事件类似，在类似的情况下，向外部发送紧急通报。因此，通过使用商品登记装置1，能够通过使用了物体识别技术的隐秘性高的操作进行紧急通报。

[第2实施方式]

在第1实施方式的商品登记装置1中，当在打开了现金抽屉13的状态下，由拍摄装置15拍摄到犯人要求提供的物品(犯罪目的的纸币、能够与外部进行联络的便携电话等)、在犯罪中利用的物品(现金抽屉13的钥匙、店铺或车辆的钥匙、武器等)等的情况下判定为是紧急状态，并对外部装置4发送紧急通报。

然而，根据犯人指示的方式，有可能无法向外部装置4或警察、保安公司等预先设定的通报目的地发送紧急通报。例如，有时犯人仅指示打开现金抽屉13，犯人自己伸手越过收款台2(参照图1)取出现金抽屉13内的纸币。

在该情况下，因为在拍摄台16上放置犯人要求提供的物品(例如纸币)等的可能性低，所以无法向外部装置4发送紧急通报。

因此，在第2实施方式的商品登记装置1中，在由拍摄装置15拍摄到操作员(店员)进行的特定的手势的情况下判定为紧急状态，向外部装置4发送紧急通报。

在犯罪时，有时犯人警惕操作员在自己看不到的地方的行动，但对于犯人能够看到的范围内的动作警惕心低。例如，考虑上述的犯人自己伸手越过收款台2取出现金抽屉13内的纸币的情况时，犯人的意识针对现金抽屉13内的纸币和成为犯人的死角的收款台2的下部的操作员的动作。

因此，认为针对在犯人的眼前伸出的手的动作犯人感到可疑的可能性低。以下，对第2实施方式的商品登记装置1的具体结构进行说明。

图8是表示第2实施方式的商品登记装置的逻辑框图。

在第2实施方式中，与第1实施方式的不同点在于，存储部104内的紧急时对象识别用数据108A的内容以及紧急时对象识别处理部98A。以下，对与第1实施方式的不同点进行说明。

紧急时对象识别用数据108A，预先登记将针对表示紧急状态的每个事件模型化的特征量进行了组合的模板信息。

在此，在第2实施方式中假定的表示紧急状态的事件是犯罪时(紧急状态时)能够执行的手形或手势，希望是不会刺激犯人的动作或者不会使犯人知道向外部联络紧急状态的自然的动作。

例如，可以是伸出手指的状态下的手形或弯曲手指的状态下的手形，也可以是手打开/握紧的动作或使手上下/左右挥动的动作。表示该紧急状态的手形或手势应事先通知操作员。

紧急时对象识别处理部98A具备物体检测部981A、类似度运算部982A以及类似度判断部983。

物体检测部981A除了具有第1实施方式的物体检测部98的功能即切出并检测识别对象的事件(例如，手形或手势)外，还确定检测出的事件的位置。

由此，当识别对象的事件为手形或手势的情况下，检测手是从操作员侧伸出的还是从顾客侧伸出的。因为顾客不知道进行紧急通报的手势，所以在从顾客侧伸出手的情况下，不进行紧急通报。

类似度运算部982A根据检测出的各物体的分离图像来识别各个经营商品的种类。类似度运算部982A针对各分离图像，将大小、形状、色调、表面的凹凸情况等表面状态作为特征量进行运算。

类似度运算部982还分别将各分离图像的特征量和紧急时对象识别用数据108A中记录的表示紧急状态的事件(例如，手形或手势)的各特征量进行比较，由此分别计算各分离图像和在紧急时对象识别用数据108中记录的表示紧急状态的事件的类似度。

在此，类似度表示在将紧急时对象识别用数据108A中记录的表示紧急状态的事件假定的特征量设为100％类似度的情况下，各分离图像的特征量类似到何种程度。另外，类似度运算部982A在有多个种类的特征量的情况下，根据多个特征量进行综合评价，此时，也可以对每个特征量进行加权。

另外，不特定限定拍摄到的商品图像的特征量和紧急时对象识别用数据108A中记录的表示紧急状态的事件(例如，手形或手势)的图像的特征量之间的类似度的计算方法。例如，可以将拍摄到的事件的特征量和在紧急时对象识别用数据108A中记录的表示各紧急状态的事件的特征量之间的类似度计算为绝对评价，也可以计算为相对评价。

接着，参照图9对第2实施方式的商品登记装置1的紧急通报处理进行说明。

步骤S21～步骤S23的处理与图6所示的步骤S11～步骤S13的处理相同，此外，步骤S27～步骤S29的处理与图6所示的步骤S17～步骤S19的处理相同。因此，省略这些处理的说明。

接着步骤S23之后，类似度运算部982A从所拍摄的图像中读取拍摄对象物的特征量，将其与紧急时对象识别用数据108A中登记的表示各紧急状态的事件(例如手形或手势)的特征量进行比较，由此计算与表示紧急状态的事件的类似度(步骤S24)。

此时，当识别对象的事件为手形或手势的情况下，通过确定拍摄对象物的位置，检测手是从操作员侧伸出的还是从顾客侧伸出的。

接着，类似度判断部983判定拍摄对象物是否与表示紧急状态的某个事件(例如手形或手势)类似(步骤S25)。在类似的情况下(在步骤S25中为“是”)，使处理向步骤S26前进，另一方面，在不类似的情况下(在步骤S25中为“否”)，使处理向步骤S28前进。在不类似的情况，还包括什么也没有拍摄到的情况。

具体而言，在事先确定了展开双手的状态和握住双手的状态表示紧急状态的情况下，如图10A所示在拍摄到展开手指的状态下的手55、55时，或者如图10B所示在拍摄到紧握手指的状态下的手56、56时，判定为拍摄对象物与表示紧急状态的事件类似。此外，在事先确定了向左右移动手的手势表示紧急状态的情况下，在如图10C所示拍摄到向左右移动手57的动作时，判定为拍摄对象物与表示紧急状态的事件类似。

在拍摄对象物与表示紧急状态的某个事件类似的情况下(在步骤S25中为“是”)，处理部9判定是否从操作员(店员)侧伸出了手(步骤S26)。

该处理是为了防止误发送紧急通报，例如，假定误拍摄了在拍摄台16上伸出的顾客的手的情况。为此，可以不进行该处理，可以用于防止紧急通报的误发送的其他处理。

在从操作员侧伸出了手的情况下(在步骤S26中为“是”)，处理向步骤S27前进，另一方面，在没有从操作员侧伸出了手的情况下(在步骤S26中为“否”)，处理向步骤S29前进。

如上所述，第2实施方式的商品登记装置1在通过拍摄装置15拍摄到事先决定的手形或手势的情况下判定为是紧急状态，将紧急通报发送给外部装置4或警察、保安公司等预先设定的通报目的地。因此，不论犯人的指示如何都能够进行紧急通报。

[变形例]

以上，对本发明的实施方式进行了说明，但本发明并不限定于此，可以在不变更权利要求保护范围的宗旨的范围内进行实施。以下表示各实施方式的变形例。

在第1和第2实施方式中，作为紧急通报装置假定了商品登记装置1来进行了说明，该商品登记装置1具备从正上方对放在拍摄台16上的经营商品进行拍摄的台式拍摄装置15。然而，商品登记装置1并不限定于此，能够采用各种结构。

例如，图如11所示，也可以是具有放置在收款台2的上部的薄型矩形的壳体2a的结构。在该壳体2a的正面经由读取窗配置有拍摄装置15。

此外，在第1实施方式中，在通过拍摄装置15拍摄到纸币等的情况下判定为紧急状态，将紧急通报发送给外部装置4。然而，紧急状态的判定并不局限于此，也可以通过拍摄到的纸币的合计金额或拍摄到的物品的组合或顺序来判定紧急状态。由此，即使在商品交易中通过拍摄装置15误拍摄到纸币的情况下，也能够防止紧急通报的误发送。

具体而言，也可以在通过拍摄装置15拍摄到的纸币的合计金额比店铺的一次交易中使用的金额大的情况下，判定为紧急状态。

此外，也可以在通过拍摄装置15拍摄到在通常的交易中使用的可能性低的纸币的组合的情况下，判定为紧急状态。所谓在交易中使用的可能性低的纸币的组合例如是拍摄到2张以上的五千元币的情况或拍摄到10张以上的一千元币的情况。

此外，也可以在拍摄装置15以通常的交易中使用的可能性低的顺序进行了拍摄的情况下，判定为紧急状态。所谓在交易中使用的可能性低的顺序例如是拍摄到一万元币后数秒又拍摄到一万元币的情况。

此外，在第2实施方式中，在拍摄装置15拍摄到事先决定的手形或手势的情况下判定为紧急状态，将紧急通报发送给外部装置4或警察、保安公司等预先设定的通报目的地。

然而，紧急状态的判定并不局限于此，在犯罪时(紧急状态时)如果能够进行拍摄，可以不是手形或手势，例如，可以在拍摄到事先决定的特定物体的情况下，判定为紧急状态。

在该情况下，为了能够与进行商品登记的经营商品进行区别，希望在紧急状态的判定中所使用的物品不是在店铺中经营的商品。不是在店铺中经营的商品还包括虚构的物品(例如，红色的萝卜)。例如，可以始终将该紧急状态的判定中使用的物品放在商品登记装置1旁边。

此外，在第1和第2实施方式中，商品登记装置1向外部装置4或警察、保安公司等预先设定的通报目的地发送紧急通报，但也可以取代紧急通报发送求助信号等其他信号。

Claims (5)

1.一种紧急通报装置，其特征在于，具备：

判定单元，其在收纳现金的现金抽屉被打开时由拍摄单元开始拍摄，根据在所述现金抽屉被打开的期间对放置在拍摄区域中的拍摄对象物进行拍摄而得到的拍摄图像来判定紧急状态；以及

通报单元，其根据所述判定单元的判定结果，向预先设定的通报目的地发送紧急通报，

所述判定单元在通过将最高面额的纸币的特征量与根据所述拍摄图像计算出的拍摄对象物的特征量进行比较而计算出的类似度满足预定的条件，由此判断为最高面额的纸币与所述拍摄对象物相类似，并且在所述现金抽屉被打开的时刻在拍摄区域没有放置所述拍摄对象物时，判定为紧急状态，

所述通报单元在由所述判定单元判定为紧急状态时，向预先设定的所述通报目的地发送紧急通报。

2.根据权利要求1所述的紧急通报装置，其特征在于，

所述拍摄单元对放置进行商品识别的对象物的拍摄区域进行拍摄，

所述判定单元根据由所述拍摄单元拍摄所述拍摄区域而得到的拍摄图像来判定紧急状态。

3.根据权利要求1所述的紧急通报装置，其特征在于，

所述拍摄单元对与所述现金抽屉的配置区域不同的预先决定的拍摄区域进行拍摄，

所述判定单元根据由所述拍摄单元拍摄所述预先决定的拍摄区域而得到的拍摄图像来判定紧急状态。

4.根据权利要求1所述的紧急通报装置，其特征在于，

所述判定单元在所述现金抽屉已锁闭时不判定所述紧急状态。

5.一种紧急通报方法，其特征在于，具备：

判定步骤，在收纳现金的现金抽屉被打开时由拍摄单元开始拍摄，根据在所述现金抽屉被打开的期间由拍摄单元对放置在拍摄区域中的拍摄对象物进行拍摄而得到的拍摄图像来判定紧急状态；以及

通报步骤，根据所述判定步骤的判定结果，向预先设定的通报目的地发送紧急通报，

所述判定步骤在通过将最高面额的纸币的特征量与根据所述拍摄图像计算出的拍摄对象物的特征量进行比较而计算出的类似度满足预定的条件，由此判断为最高面额的纸币与所述拍摄对象物相类似，并且在所述现金抽屉被打开的时刻在拍摄区域没有放置所述拍摄对象物时，判定为紧急状态，

所述通报步骤在由所述判定步骤判定为紧急状态时，向预先设定的所述通报目的地发送紧急通报。