CN116597580A - 监视装置、结算装置及存储介质 - Google Patents

Abstract

本发明公开了一种监视装置、结算装置及存储介质，能够抑制顾客对于全自助应对的结算装置的不正当行为，该监视装置包括行为识别部、操作识别部、不正当检测部、图像取得部及输出部。行为识别部，识别结算者对于结算装置的行为。操作识别部，识别通过结算者向结算装置进行的操作输入。不正当检测部，基于通过行为识别部及操作识别部识别出的识别结果来检测结算者的不正当行为。图像取得部，从拍摄操作结算装置的结算者的照相机的摄影图像取得指定通过不正当检测部检测出的不正当行为的图像。输出部，输出指定不正当行为的图像。

Description

监视装置、结算装置及存储介质

本申请主张申请日为2022年2月14日、申请号为JP2022-020710的日本申请为优先权，并引用上述申请的内容，通过引用将公开内容全部结合于此。

技术领域

本发明的实施例涉及一种监视装置、结算装置及各自的存储介质。

背景技术

近年，在超市等的零售店中，从人工费的消减、传染病的传染预防对策等的观点出发，自助POS(Point Of Sales：销售点)终端被关注。自助POS终端是顾客自己进行购买商品的从登记到结算的操作的全自助应对的结算装置。因此，寻求能够抑制顾客的不正当行为的技术的开发。

发明内容

鉴于上述问题，本发明所要解决的技术问题是，提供抑制顾客对于全自助应对的结算装置的不正行为的监视装置、结算装置及各自的存储介质。

为解决上述问题，本发明的监视装置包括：行为识别部、操作识别部、不正当检测部、图像取得部及输出部。行为识别部，识别结算者对于结算装置的行为。操作识别部，识别通过结算者向结算装置进行的操作输入。不正当检测部，基于通过行为识别部及操作识别部识别出的识别结果检测结算者的不正当行为。图像取得部，从拍摄操作结算装置的结算者的照相机的摄影图像取得指定通过不正当检测部检测出的不正当行为的图像。输出部，输出指定不正当行为的图像。

根据上述的监视装置，能够提供能够抑制顾客对于全自助应对的结算装置的不正当行为的监视装置。

在上述的监视装置中，所述行为识别部基于所述照相机的摄影图像识别所述结算者的行为。

根据上述的监视装置，能够基于摄影图像进行识别来实现行为识别。

在上述的监视装置中，所述行为识别部至少识别所述结算者将商品拿取在手中的取出行为和所述结算者将手持的商品进行装袋的装袋行为，所述操作识别部至少识别用于向所述结算装置进行商品登记的操作输入，所述不正当检测部在所述行为识别部识别出所述取出行为和所述装袋行为期间，在所述操作识别部没有识别出用于所述商品登记的操作输入的情况下，检测所述不正当行为，所述图像取得部从识别所述结算者的装袋行为过程中使用的所述照相机的摄影图像检测包含通过该装袋行为已被装袋的商品的图像。

根据上述的监视装置，能够从行为识别部识别出的一系列的行为来检测不正当行为。

在上述的监视装置中，所述行为识别部至少识别所述结算者在所述结算装置登记手持的商品的登记行为，所述操作识别部至少识别用于向所述结算装置进行商品登记的操作输入，所述不正当检测部，在所述行为识别部虽识别出所述登记行为但所述操作识别部不能够识别出用于所述商品登记的操作输入的情况下，检测所述不正当行为，所述图像取得部从识别所述结算者的登记行为过程中使用的所述照相机的摄影图像检测出包含通过该登记行为对准于结算装置的商品的图像。

根据上述的监视装置，能够从关于不正当行为的影像指定商品。

在上述的监视装置中，所述输出部向所述结算装置的显示设备显示输出指定所述不正当行为的图像。

根据上述的监视装置，能够将不正当识别图像与警告消息一起显示。

在上述的监视装置中，所述输出部进一步将指定所述不正当行为的图像显示输出于店员用的服务员终端的显示设备。

根据上述的监视装置，能够在服务员终端的显示设备上显示不正当识别图像和警告消息。

在上述的监视装置中，设定存储用于判断是否向服务员终端进行通知的阈值，所述输出部在所述不正当检测部检测出的不正当行为的次数到达了所述阈值的情况下，在所述服务员终端的显示设备上显示输出指定所述不正当行为的图像。

根据上述的监视装置，能够根据阈值的设定，调整在服务员终端的显示设备上显示不正当识别图像和警告消息的频率。

本发明的另一方面的存储介质，存储用于使计算机作为以下各部发挥功能的程序：行为识别部，识别结算者对于结算装置的行为；操作识别部，识别通过所述结算者向所述结算装置进行的操作输入；不正当检测部，基于通过所述行为识别部及所述操作识别部识别出的识别结果来检测所述结算者的不正当行为；图像取得部，从拍摄操作所述结算装置的结算者的照相机的摄影图像取得指定通过所述不正当检测部检测出的不正当行为的图像；以及输出部，输出指定所述不正当行为的图像。

根据上述的存储介质，能够向计算机提供能够抑制顾客对于全自助应对的结算装置的不正当行为的功能。

本发明的另一方面的结算装置，包括：行为识别部，识别结算者的行为；操作识别部，识别通过所述结算者进行的操作输入；不正当检测部，基于通过所述行为识别部及所述操作识别部识别出的识别结果来检测所述结算者的不正当行为；图像取得部，从拍摄所述结算者的照相机的摄影图像取得指定通过所述不正当检测部检测出的不正当行为的图像；以及输出部，输出指定所述不正当行为的图像。

根据上述的结算装置，能够提供抑制顾客的不正当行为的结算装置。

本发明的另一方面的存储介质，用于存储使计算机作为以下各部发挥功能的程序：行为识别部，识别结算者的行为；操作识别部，识别通过所述结算者进行的操作输入；不正当检测部，基于通过所述行为识别部及所述操作识别部识别出的识别结果来检测所述结算者的不正当行为；图像取得部，从拍摄所述结算者的照相机的摄影图像取得指定通过所述不正当检测部检测出的不正当行为的图像；以及输出部，输出指定所述不正当行为的图像。

根据上述的存储介质，能够向计算机提供能够抑制顾客的不正当行为的功能。

附图说明

图1是表示全自助式的结账系统的概略构成图；

图2是表示自助POS终端的外观构成的立体图；

图3是表示监视装置的要部电路构成的框图；

图4是表示图像存储器的数据构成的示意图；

图5是表示状态存储器的数据构成的示意图；

图6是表示列表存储器的数据构成的示意图；

图7是表示不正当存储器的数据构成的示意图；

图8是用于说明作为操作识别部的功能的流程图；

图9是用于说明作为行为识别部的功能的流程图；

图10是用于说明作为不正当检测部、图像取得部及输出部的功能的流程图；

图11是用于说明作为不正当检测部、图像取得部及输出部的功能的流程图；

图12是用于说明作为不正当检测部、图像取得部及输出部的功能的流程图；

图13是用于说明作为不正当检测部、图像取得部及输出部的功能的流程图；

图14是用于说明作为不正当检测部、图像取得部及输出部的功能的流程图；

图15是表示商品登记画面的一例的示意图；以及

图16是表示服务员终端中的画面的一例的示意图。

附图标记说明

10自助POS终端11触摸面板14扫描仪

20 服务员终端 30 店铺服务器 40 通信网络

50 监视装置 51 处理器 52 主存储器

53 辅助存储设备 54 时钟 55 照相机接口

56 终端接口 57 网络接口 60 照相机

100 结账系统 102 第一商品载置台 103 第二商品载置台

511 操作识别部 512 行为识别部 513 不正当检测部

514 图像取得部 515 输出部 521 图像存储器

522状态存储器523列表存储器524不正当存储器

Qa、Qb不正当指定图像显示区域

具体实施方式

以下，使用附图，关于实施例进行说明。

[结账系统的说明]

图1是表示全自助方式的结账系统100的概略构成图。结账系统100包含多台自助POS终端10、服务员终端20及店铺服务器30。结账系统100将各自助POS终端10、服务员终端20及店铺服务器30以LAN(LocalAreaNetwork：局域网)等的通信网络40连接。店铺服务器30向以通信网络40连接的各自助POS终端10及服务员终端20提供本结账系统100所涉及的各种服务。

多台自助POS终端10被分别预先设置于店铺的结账场所，结束购物的顾客为操作者。在陈列有商品的卖场中，将购买商品放入购物篮等并向结账场所移动的顾客操作自助POS终端10，并自助进行购买商品的从登记到支付的交易所涉及的结算。自助POS终端10是结算装置的一例。结算装置能够改称为结算终端、结账装置、结账终端、商品登记装置及商品登记终端等。

服务员终端20被设置于结账场所的出口附近所设的监视场所。服务员终端20在显示设备上显示在每个自助POS终端10上登记的购买商品的列表等。另外，当在自助POS终端10发生错误的情况下，服务员终端20告知该错误信息。在监视场所的店员、所谓的服务员，基于在服务员终端20上被显示的、或被告知的信息进行结账场所的监视。此外，虽然在图1中服务员终端20的台数为一台，但也可以是在通信网络40上连接多台服务员终端20。

各自助POS终端10分别包括监视装置50。监视装置50既可以处于自助POS终端10的外部，也可以处于内部。监视装置50是用于监视操作自助POS终端10的顾客、所谓结算者的装置。具体地，监视装置50基于通过自助POS终端10的附近所设置的照相机60拍摄的图像等的信息来监视操作自助POS终端10并进行交易的结算的结算者，在该结算者进行了不正当行为的情况下发出警报。所谓不正当行为，是例如不将购买商品登记于自助POS终端10就装袋的行为。所谓不正当行为，是例如不支付购买商品的货款就从结账场所退出的行为。警报的通知目的地是自助POS终端10和服务员终端20的双方或一方。各监视装置50通过通信网络40预先与服务员终端20连接，能够向服务员终端20输出警报信号。各监视装置50也可以不经过通信网络40而与服务员终端20连接。

[自助POS终端的说明]

图2是表示自助POS终端10的外观构成的立体图。自助POS终端10包括主体101、及配置于该主体101的左右的第一商品载置台102及第二商品载置台103。朝向主体101并配置于右侧的第一商品载置台102是作为结算者的顾客用于载置登记前的购买商品的场所。登记前的购买商品通常被放入购买篮并载置于第一商品载置台102。登记前的购买商品也可以在被放入购物车的状态下配置于第一商品载置台102的上方。

朝向主体101并配置于左侧的第二商品载置台103是结算者用于载置登记后的购买商品的场所。登记后的购买商品被放入例如放置于第二商品载置台103的容器、例如购物篮、购物袋或环保袋等。登记后的购买商品也可以直接放置于第二商品载置台103上。在图2中，第二商品载置台103在其上部通过支柱而设置临时放置台104。临时放置台104是例如用于在将商品放入购物袋等之前临时放置的台。在临时放置台104上，左右间隔开的设置两根保持臂105。结算者使用这些保持臂105，能够将购物袋、环保袋等以打开的状态置于第二商品载置台103的上面。

主体101包括触摸面板11、卡读取器12、打印机13、扫描仪14、手持扫描仪15、现金处理机16及扬声器17等作为输入输出设备。

触摸面板11包括作为显示设备的显示器和作为输入设备的触摸传感器。显示器显示结算开始画面、商品登记画面、支付方法选择画面、结账画面等各种的画面信息。结算开始画面是接受交易的结算开始的画面。在结算开始画面中配置用于指示开始交易的结算的开始键。开始购买商品的登记的结算者触摸开始键。当触摸传感器检测到开始键被触摸操作时，自助POS终端10的控制器将显示器的画面从结算开始画面切换到商品登记画面。

商品登记画面是显示被登记的购买商品的商品名、价格、合计金额等的明细信息的画面。在商品登记画面中配置用于指示向已结束登记的购买商品的货款支付过渡的结账键。已结束购买商品的登记的结算者触摸支付键。当触摸传感器检测出结账键被触摸操作时，自助POS终端10的控制器将显示器的画面从商品登记画面切换到支付方法选择画面。

支付方法选择画面是接受现金支付、信用卡支付、电子货币支付等支付方法的选择输入的画面。在支付方法选择画面中，配置用于指示现金支付的现金键、用于指示信用卡支付的信用卡键、用于指示电子货币支付的电子货币键等。例如，希望现金支付的结算者触摸现金键。当触摸传感器检测出现金键被触摸操作时，自助POS终端10的控制器将显示器的画面从支付方法选择画面切换到结账画面。结账画面是显示交易的合计金额、现金的预收金额及找零金额等的画面。

卡读取器12是读取信用卡、电子货币卡、积分卡等的卡介质所存储的数据的设备。卡介质是磁卡的情况下，卡读取器12是磁卡读取器。卡介质是IC卡的情况下，卡读取器12是IC卡读取器。自助POS终端10既可以包括磁卡读取器或IC卡读取器的任一方也可以包括双方作为卡读取器12。卡读取器12也可以是具有向卡写入数据的功能的卡读取器/写入器。

打印机13是向票据纸张上打印购买票据、信用卡收据等所涉及的数据的设备。通过打印机13打印有各种数据的票据纸张通过切割器切割，并从票据发放口发放。打印机13通过例如热敏打印机或点击打式打印机等而实现。

扫描仪14及手持扫描仪15是读取识别商品的信息的设备。在本实施例中，扫描仪14及手持扫描仪15为读取作为识别商品的信息而附于商品的条形码的设备。扫描仪14以与商品所附的条形码相对的方式光学地读取对准读取窗(玻璃窗)的商品的条形码。手持扫描仪15是通过结算者手持着进行操作的设备，通过接近商品所附的条形码而光学地读取条形码。此外，扫描仪14及手持扫描仪15只要是读取识别商品的信息的扫描仪即可，例如，也可以是读取二维码等的、除条形码之外的信息的扫描仪。

现金处理机16是处理现金的设备。现金处理机16具有纸币投入口161、纸币排出口162、硬币投入口163及硬币排出口164。现金处理机16处理投入到纸币投入口161的纸币。现金处理机16将作为找零的纸币从纸币排出口162排出。现金处理机16接受投入到硬币投入口163的硬币并处理。现金处理机16将作为找零的硬币从硬币排出口164排出。

扬声器17输出进行警告的警告音、或作为消息的语音等的声音。

在主体101的上方安装有作为摄像装置的照相机60。照相机60拍摄操作自助POS终端10的结算者。如图2所示，在主体101的一个面(以下，作为正面)上配置触摸面板11的显示器、卡读取器12的卡插入口、打印机13的票据发放口、扫描仪14的读取窗及现金处理机16的纸币投入口161、纸币排出口162、硬币投入口163及硬币排出口164。因此，结算者与主体101的正面对峙站着，并操作自助POS终端10。照相机60从上方拍摄该结算者的大致全身。因此，通过照相机60拍摄结算者的头部、脸、两肩、两臂、胸部、腹部等。

[监视装置的构成说明]

图3是表示监视装置50的要部电路构成的框图。监视装置50包括处理器51、主存储器52、辅助存储设备53、时钟54、照相机接口55、终端接口56、网络接口57及系统传输线路58等。系统传输线路58包括地址总线、数据总线、控制信号线等。系统传输线路58连接处理器51及其他各部，传送在相互间授受的数据信号。

监视装置50通过系统传输线路58连接处理器51、主存储器52、辅助存储设备53、时钟54、照相机接口55、终端接口56及网络接口57而构成计算机。

处理器51相当于上述计算机的中枢部分。处理器51依照操作系统或应用程序控制应实现作为监视装置50的各种功能的各部。处理器51是例如CPU(Central ProcessingUnit：中央处理器)。

主存储器52相当于上述计算机的主存储部分。主存储器52包括非易失性存储区及易失性存储区。主存储器52在非易失性存储区存储操作系统或应用程序。主存储器52有时也在非易失性或易失性的存储区中存储处理器51执行用于控制各部的处理过程中需要的数据。主存储器52将易失性存储区使用为可通过处理器51适当改写数据的工作区。非易失性存储区例如是ROM(Read Only Memory：只读存储器)。易失性存储区例如是RAM(RandomAccess Memory：随机存取存储器)。

辅助存储设备53相当于上述计算机的辅助存储部分。例如EEPROM(ElectricErasable Programmable Read-Only Memory：电可擦可编程只读存储器)、HDD(Hard DiscDrive：硬盘驱动器)或SSD(Solid State Drive：固态驱动器)等构成辅助存储设备53。辅助存储设备53存储处理器51进行各种处理过程中使用的数据、及通过在处理器51进行的处理生成的数据等。辅助存储设备53有时也存储上述应用程序。

照相机接口55连接设置于自助POS终端10的照相机60。照相机接口55向照相机60进行输出控制照相机60的驱动的控制信号。照相机60依照该控制信号进行摄影动作。照相机接口55获得通过照相机60拍摄的图像数据。

终端接口56连接自助POS终端10。终端接口56与自助POS终端10之间进行数据通信。

网络接口57经由通信网络40连接服务员终端20。网络接口57在与服务员终端20之间进行数据通信。

相关构成的监视装置50将主存储器52的易失性存储器区的一部分作为图像存储器521、状态存储器522、列表存储器523及不正当存储器524的区域。

图4是表示图像存储器521的数据构成的示意图。图像存储器521是用于与摄影时刻相关联而存储在该时刻通过照相机60拍摄的多个帧图像的区域。

图5是表示状态存储器522的数据构成的示意图。状态存储器522是用于与转变时刻相关联，存储多个状态数据的区域。状态数据是表示与操作自助POS终端10的结算者的行为及该结算者向自助POS终端10进行的操作输入相关的各种状态的数据。关于状态的详细将后述。转变时刻是向状态数据表示的状态转变的时刻。

图6是表示列表存储器523的数据构成的示意图。列表存储器523是用于与登记时刻相关联而存储多个登记商品数据的区域。登记商品数据是在自助POS终端10已登记的商品所涉及的数据，包含商品名和商品图像。登记商品数据也可以进一步包含价格、购买件数等的数据。登记商品数据也可以省略商品图像。

图7是表示不正当存储器524的数据构成的示意图。不正当存储器524是用于与识别时刻相关联而存储多个不正当数据的区域。不正当数据包含不正当区分、次数及不正当识别图像。不正当区分是识别不正当类型的信息。关于不正当类型将后述。次数是不正当行为发生的次数。不正当识别图像是能够指定不正当行为的图像。

返回到图3的说明。

处理器51至少包括作为操作识别部511、行为识别部512、不正当检测部513、图像取得部514及输出部515的功能。操作识别部511是识别结算者向自助POS终端10进行操作输入的功能。操作识别部511能够改称为操作识别手段。行为识别部512是识别结算者对于自助POS终端10的行为的功能。行为识别部512能够改称为行为识别手段。不正当检测部513是以基于行为识别部512及操作识别部511的识别结果检测结算者的不正当行为的功能。不正当检测部513能够改称为不正当检测手段。图像取得部514是从拍摄有操作自助POS终端10的结算者的照相机60的摄影图像取得指定通过不正当检测部513检测的不正当行为的图像的功能。图像取得部514能够改称为图像取得手段。输出部515是将指定不正当行为的图像输出到自助POS终端10或/及店员用的服务员终端20的功能。输出部515能够改称为输出手段。

作为操作识别部511、行为识别部512、不正当检测部513、图像取得部514及输出部515的功能，通过处理器51依照结算者监视程序执行的信息处理而被实现。

结算者监视程序是主存储器52或辅助存储设备53所存储的应用程序的一种。将结算者监视程序安装于主存储器52或辅助存储设备53的方法没有特别地限定。能够在可移除的存储介质中存储结算者监视程序，或通过经由网络的通信分发结算者监视程序，并安装于主存储器52或辅助存储设备53。存储介质只要如CD-ROM、存储卡等那样能够存储程序、且装置可读取即可，其形式不限。

[监视装置的功能说明]

接着，使用图8至图14的流程图及图15、图16的画面例关于作为监视装置50的处理器51具有的操作识别部511、行为识别部512、不正当检测部513、图像取得部514及输出部515的各功能进行说明。此外，以下说明的流程图的顺序及其内容是一例。只要是能起到相同的效果，其顺序及内容能够适宜变更。另外，画面例也是一例。只要是能够起到相同的效果，其布局、显示项目等能够适宜变更。

图8是用于说明作为操作识别部511的功能的流程图。购物结束并进入结账场所的结算者站在空闲的自助POS终端10的正面。并且，结算者将收容有登记前的购买商品的购物篮放置于第一商品载置台102，将空的购物篮、购物袋、环保袋等的容器放置于第二商品载置台103上。在自助POS终端10的触摸面板11上显示结算开始画面。结算者触摸配置于结算开始画面的开始键。

作为图8的ACT1，监视装置50的处理器51等待接受用于利用开始的操作输入数据。用于利用开始的操作输入数据根据结算开始画面的开始键被触摸而从自助POS终端10输出到监视装置50。处理器51当输入了用于利用开始的操作输入数据时，前进到ACT2。作为ACT2，处理器51将图像存储器521、状态存储器522、列表存储器523及不正当存储器524初始化。另外，作为ACT3，处理器51取得以时钟54计时的时刻为转变时刻，并在状态存储器522中，与该转变时刻相关联而存储状态“11”。即、状态“11”表示识别到结算者向自助POS终端10进行的用于利用开始的操作输入的状态。

作为ACT4，处理器51通知行为识别开始。该通知对于处理器51自身进行。接受了该通知的处理器51开始作为行为识别部512的功能。即、处理器51与作为操作识别部511的功能并行，执行作为行为识别部512的功能。这里，为了说明方便，首先关于作为行为识别部512的功能进行说明。

图9是用于说明作为行为识别部512的功能的流程图。当开始作为行为识别部512的功能时，作为ACT21，处理器51向照相机60输出启动信号。照相机60接受启动信号并开始摄影。作为ACT22，处理器51获得基于照相机60的摄影图像。摄影图像既可以是静止画面，也可以是视频。作为ACT23，处理器51基于该摄影图像识别与自助POS终端10的正面对峙的结算者的行为。具体地，处理器51根据摄影图像推测结算者的骨骼。骨骼推测使用深度学习等的AI技术进行。处理器51根据通过例如骨骼推测得到的手的动作等识别取出行为、登记行为、装袋行为或退出行为。此外，作为行为识别部512的功能也可以根据检测操作者的动作的运动检测等而实现。

所谓取出行为是结算者从载置于第一商品载置台102的购物篮取出商品的行为。例如，从商品登记前的第一商品载置台102取出商品后不装袋，而是装入顾客的口袋等的行为也是取出行为的一种。所谓登记行为，是结算者将商品对准扫描仪14的读取窗，并通过扫描仪14读取附于商品的条形码的行为。所谓装袋行为是结算者将商品收容于准备于第二商品载置台103上的容器的行为。此外，没有收容于容器而是将商品载置于第二商品载置台103或临时载置台104的行为也是装袋行为的一种。退出行为是结算者从自助POS终端10的前面离开，并从结账场所退出的行为。

作为ACT24，处理器51确认是否识别出取出行为。在没有识别出取出行为的情况下，作为ACT25，处理器51确认是否识别出登记行为。在没有识别出登记行为的情况下，作为ACT26，处理器51确认是否识别出装袋行为。在没有识别出装袋行为的情况下，作为ACT27，处理器51确认是否识别出退出行为。在没有识别出退出行为的情况下，作为ACT28，处理器51确认是否结束了行为识别。虽然将在后面记述，但在作为操作识别部511的功能中，通知行为识别的结束。在没有结束行为识别的情况下，处理器51返回到ACT22。

这样，处理器51在被通知行为识别结束之前的期间，依次获得基于照相机60的摄影图像(视频)，基于该摄影图像识别结算者的行为。其结果，在识别出取出行为的情况下，处理器51前进到ACT29。作为ACT29，处理器51在图像存储器521中将识别出取出行为的多张帧图像与其摄影时刻一起存储。所谓识别出取出行为的图像，是映出结算者从购物篮取出商品时的手的动作的图像。作为ACT30，处理器51取得以时钟54计时的时刻为转变时刻，在状态存储器522中，与该转变时刻关联而存储状态“21”。即、状态“21”表示识别出结算者的取出行为的状态。

处理器51当结束ACT29及ACT30的处理时，返回到ACT22。处理器51再次依次获得基于照相机60的摄影图像(视频)，基于该摄影图像识别结算者的行为。其结果，在识别出登记行为的情况下，处理器51前进到ACT31。作为ACT31，处理器51将识别出登记行为的多张的帧图像与其摄影时刻一起存储于图像存储器521。所谓识别出登记行为的图像是映出有结算者将商品对准扫描仪14的读取窗时的手的动作的图像。作为ACT32，处理器51取得以时钟54计时的时刻为转变时刻，在状态存储器522中，与该转变时刻相关联而存储状态“22”。即、状态“22”表示识别出结算者的登记行为的状态。

处理器51当结束ACT31及ACT32的处理时，返回到ACT22。处理器51再次依次获得基于照相机60的摄影图像(视频)，基于该摄影图像识别结算者的行为。其结果，在识别出装袋行为的情况下，处理器51前进到ACT33。作为ACT33，处理器51将识别出装袋行为的多张的帧图像与其摄影时刻一起存储于图像存储器521。所谓识别出装袋行为的图像，是映出结算者在将商品收容到容器时的手的动作的图像。或者，是映出结算者将商品载置于第二商品载置台103或临时载置台104上时的手的动作的图像。作为ACT34，处理器51取得以时钟54计时的时刻为转变时刻，在状态存储器522中，与该转变时刻相关联存储状态“23”。即、状态“23”表示识别出结算者的装袋行为的状态。

当结束ACT33及ACT34的处理时，处理器51返回到ACT22。处理器51再次依次获得基于照相机60的摄影图像(视频)，基于该摄影图像识别结算者的行为。其结果，在识别出退出行为的情况下，处理器51前进到ACT35。作为ACT35，处理器51将识别出退出行为的多张帧图像与其摄影时刻一起存储在图像存储器521中。所谓识别出退出行为的图像，是映出从自助POS终端10的前面离开的结算者的动作的图像。作为ACT36，处理器51取得以时钟54计时的时刻为转变时刻，在状态存储器522中，与该转变时刻相关联而存储状态“24”。即、状态“24”表示识别出结算者的退出行为的状态。

处理器51当结束ACT35及ACT36的处理时，返回到ACT22。处理器51再次依次获得基于照相机60的摄影图像(视频)，基于该摄影图像识别结算者的行为。此外，在识别出取出行为、登记行为、装袋行为或退出行为的情况下，处理器51与上述相同地分别执行ACT29至ACT36的处理。

当被通知行为识别结束时，处理器51前进到ACT37。作为ACT37，处理器51向照相机60输出停止信号。照相机60接受停止信号并结束摄影。至此，处理器51结束作为行为识别部512的功能。

返回到操作识别部511的功能说明。

当结算者触摸结算开始画面的开始键时，触摸面板11的画面从结算开始画面切换到商品登记画面SCa(参照图15)。

图15是商品登记画面SCa的一例。如图所示，商品登记画面SCa包括消息显示区Ma、列表显示区La、合计显示区Aa、登记商品图像显示区Pa、不正当指定图像显示区Qa、结账键Bx、中止键By及店员呼叫键Bz。

在消息显示区Ma中，作为表示商品登记的操作方法的消息，显示例如“请将商品条形码靠近读取窗”。在列表显示区La中，以列表形式显示登记结束商品的商品名、件数及价格等。在合计显示区Aa中显示登记结束商品的合计件数及合计金额。在登记商品图像显示区Pa中显示作为购买商品被登记的商品的图像。不正当指定图像显示区Qa显示通过图像取得部514的功能取得的用于指定不正当行为的图像和警告消息。结账键Bx是结束了购买商品的登记的结算者用于指示结账开始的软键。中止键By是结算者用于指示购买商品的登记中止的软键。店员呼叫键Bz是结算者用于指示店员的呼叫的软键。

图16是相对于显示有图15的商品登记画面SCa的自助POS终端10，在服务员终端20的显示设备上显示的画面SCb的一例。在服务员终端20的显示设备上，区分与各自助POS终端10的商品登记画面SCa分别对应的画面SCb而显示多个画面SCb。

画面SCb包括列表显示区Lb、合计显示区Ab及不正当指定图像显示区Qb。在列表显示区Lb上显示与商品登记画面SCa的列表显示区La相同的内容。在合计显示区Ab上显示与商品登记画面SCa的合计显示区Aa相同的内容。在不正当指定图像显示区Qb上显示与商品登记画面SCa的不正当指定图像显示区Qa相同的内容。但是，显示于不正当指定图像显示区Qa的警告消息是面向结算者、也就是说面向顾客的，而不正当指定图像显示区Qb所显示的警告消息是面向服务员、也就是说面向店员的。

在图8的ACT4中，通知了行为识别开始的处理器51，作为ACT5，等待接受来自自助POS终端10的操作输入数据。操作输入数据中有商品登记所涉及的操作输入数据、登记中止的指示所涉及的操作输入数据及结账开始的指示所涉及的操作输入数据等。所谓商品登记所涉及的操作输入数据，是接受结算者将商品的条形码对准读取窗的操作，并以扫描仪14扫描的条形码识别出的商品的数据。在商品的数据中至少包含商品名。所谓登记中止的指示所涉及的操作输入数据，是接受结算者触摸商品登记画面SCa的中止键By的操作，并从自助POS终端10输出的中止键信号的数据。所谓结账开始的指示所涉及的操作输入数据，是接受结算者触摸商品登记画面SCa的结账键Bx的操作，并从自助POS终端10输出的结账键信号的数据。

处理器51当从自助POS终端10输入操作输入数据时，作为ACT6，确认是否输入了商品登记所涉及的操作输入数据、登记中止的指示所涉及的操作输入数据、或结账开始的指示所涉及的操作输入数据。处理器51在已输入其他的操作输入数据的情况下，返回到ACT5，等待接受接着的操作输入数据。

在等待接受ACT5至ACT8的操作输入数据的状态中，在已输入商品登记所涉及的操作输入数据的情况下，处理器51前进到ACT9。作为ACT9，处理器51取得以时钟54计时的时刻作为登记时刻，在状态存储器522中，与该登记时刻相关联而存储状态“12”。即、状态“12”表示识别出商品登记所涉及的操作输入数据的状态。

作为ACT10，处理器51取得登记商品图像。例如，处理器51在登记时刻之前，从图像存储器521存储的多张的已识别出登记行为的帧图像剪切出商品的图像，取得为登记商品图像。商品的图像是结算者对准读取窗的物体的图像。商品的图像也可以包含结算者的手的一部分。在商品登记所涉及的操作输入数据中包含预先设定的商品图像的数据的情况下，登记商品图像也可以是该操作输入数据所包含的商品图像。作为ACT11，处理器51在列表存储器523中，与登记时刻相关联而存储商品登记所涉及的操作输入数据所包含的商品名、登记商品图像。其后，处理器51返回到ACT5，等待接受接着的操作输入数据。

在ACT5至ACT8的等待接受操作输入数据的状态中，在ACT7中，在已输入登记中止所涉及的操作输入数据的情况下，处理器51前进到ACT12。作为ACT12，处理器51取得以时钟54计时的时刻作为登记中止时刻，在状态存储器522中，与该登记中止时刻相关联而存储状态“15”。即、状态“15”表示已识别出登记中止所涉及的操作输入数据的状态。

作为ACT13，处理器51通知行为识别结束。该通知是对于处理器51本身进行。接受了该通知的处理器51结束作为行为识别部512的功能。另外，作为ACT14，处理器51将状态存储器522的数据保存于辅助存储设备53中。至此，处理器51结束作为操作识别部511的功能。

在ACT5至ACT8的等待接受操作输入数据的状态中，在ACT8中，在已输入结账开始所涉及的操作输入数据的情况下，处理器51前进到ACT15。作为ACT15，处理器51取得以时钟54计时的时刻为结账开始时刻，在状态存储器522中，与该结账开始时刻相关联而存储状态“13”。即、状态“13”表示已识别出结账开始所涉及的操作输入数据的状态。

作为ACT16，处理器51等待接受结账结束数据。结账结束数据是在自助POS终端10中，接受现金支付、信用卡支付、电子货币支付等的支付方法的选择输入，基于选择的支付方法支付货款结束时，从自助POS终端10输出的数据。当输入结账结束数据时，处理器51前进到ACT17。作为ACT17，处理器51取得以时钟54计时的时刻作为结账结束时刻，在状态存储器522中，与该结账结束时刻关联而存储状态“14”。即、状态“14”表示已识别出结账结束所涉及的操作输入数据的状态。

此后，处理器51前进到上述的ACT13。即、处理器51通知行为识别结束。另外，处理器51将状态存储器522的数据保存于辅助存储设备53。至此，处理器51结束作为操作识别部511的功能。

处理器51每当从自助POS终端10输入用于利用开始的操作输入数据时，执行在图8的ACT1至ACT17中示出的作为操作识别部511的处理。另外，处理器51执行在图9的ACT21至ACT37中示出的作为行为识别部512的处理。如此，在辅助存储设备53中，对应每个利用自助POS终端10并自助进行结算的结算者，依时序存储有该结算者所涉及的各种的状态的状态存储器522的数据被保存。因此，通过解析该状态存储器522的数据，能够验证基于结算者的操作历史及结算者的行为历史。

另一方面，通过监视装置50实时检测结算者的不正当行为，向该结算者发出警告，或通知服务员而防止不正当行为于未然。这样的不正当行为防止功能，通过不正当检测部513、图像取得部514及输出部515而被实现。

图10至图14是用于说明作为不正当检测部513、图像取得部514及输出部515的功能的流程图。在图10中，作为ACT41，处理器51等待接受在状态存储器522中存储状态“11”。

当在状态存储器522中存储状态“11”时，处理器51前进到ACT42。作为ACT42，处理器51从状态存储器522取得下一个状态数据。接着，处理器51等待接受作为ACT43取得状态“21”、或作为ACT44取得状态“24”。即、处理器51当识别出通过结算者向POS终端10进行的用于利用开始的操作输入时，等待接受识别该结算者的取出行为或识别退出行为。

在ACT43及ACT44的等待接受状态中，当取得状态“21”时，处理器51前进到ACT45。作为ACT45，处理器51从状态存储器522取得下一个状态数据。此后，处理器51等待接受作为ACT46取得状态“22”、作为ACT47取得状态“23”、或作为ACT48取得状态“24”。即、处理器51当识别出结算者的取出行为时，等待接受识别该结算者的登记行为、识别装袋行为、或识别退出行为。

在ACT46至ACT48的等待接受状态下，当取得状态“22”时，处理器51前进到图11的ACT51。作为ACT51，处理器51从状态存储器522取得下一个状态数据。此后，处理器51等待接受作为ACT52取得状态“23”、作为ACT53取得状态“24”或作为ACT54取得状态“21”。即、处理器51当识别结算者的登记行为时，等待接受识别该结算者的装袋行为、识别退出行为、或识别取出行为。

在ACT52至ACT54的等待接受状态中，当取得状态“23”时，处理器51前进到ACT55。作为ACT55，处理器51从状态存储器522取得比状态“23”提前一个被存储的状态。作为ACT56，处理器51确认比状态“23”提前一个被存储的状态是否是“12”。即、处理器51确认在装袋行为之前是否识别出商品登记所涉及的操作输入数据。在存储有状态“12”的情况下，处理器51前进到ACT57。作为ACT57，处理器51将列表存储器523中存储的最新的商品登记图像输出到自助POS终端10。由此，在自助POS终端10中，在商品登记画面SCa的登记商品图像显示区域Pa中显示商品登记图像。该图像是结算者通过以自助POS终端10的扫描仪14读取条形码而被登记处理的购买商品的图像。

结束了ACT57的处理的处理器51返回到图10的ACT42。此后，处理器51与上述相同地执行ACT42以后的处理。

如此，处理器51在识别结算者的取出行为，接着识别登记行为，识别出商品登记所涉及的操作输入数据后，识别出装袋行为的情况下，确认无不正当行为。处理器51将已登记处理的购买商品的图像输出到POS终端10。

接着，关于识别出结算者的不正当行为的情况进行说明。

首先，关于结算者虽然进行了商品的登记行为，但未登记就进行装袋行为的不正当行为进行说明。这种不正当行为在例如结算者进行以手遮住条形码并对准扫描仪14的读取窗的行为的情况下产生。在此情况下，在状态存储器522中，在表示取出行为的状态“21”之后存储表示登记行为的状态“22”，接着，存储表示装袋行为的状态“23”。但是，在状态“22”和状态“23”之间，表示商品登记所涉及的操作输入数据的状态“12”没有被存储。即、相当于在图11的ACT56中，在比状态“23”提前一个被存储的状态不是“12”的情况(ACT56的NO)。

处理器51前进到图12的ACT61。作为ACT61，处理器51取得装袋行为图像。具体地，处理器51在状态“23”的转变时刻前后，取得图像存储器521存储的识别出装袋行为的多张帧图像。作为ACT62，处理器51从其取得的帧图像中，剪切出能够指定通过装袋行为已装袋的商品的图像作为指定不正当行为的图像。例如，处理器51剪切出结算者手持商品的图像。例如，处理器51剪切出结算者载置于第二商品载置台103或临时放置台104的商品的图像。

在此，处理器51根据图11的ACT56的处理而作为不正当检测部513发挥功能。另外，处理器51通过图12的ACT61及ACT62的处理而作为图像取得部514发挥功能。

结束了ACT62的处理的处理器51，作为ACT63，使不正当区分为“91”。不正当区分“91”是表示商品未登记的不正当行为的信息。作为ACT64，处理器51将次数计数器向上计数+1。在图8的ACT2中，次数计数器在初始化各存储器时复位为“0”。

作为ACT65，处理器51在不正当存储器524中存储不正当数据。即、处理器51将以时钟54计时的当前时刻作为不正当识别时刻。此后，处理器51在不正当存储器524中与该识别时刻相关联而存储在ACT63中确定的不正当区分、在ACT64中更新的次数计数器的值、以及在ACT62中取得的指定不正当行为的图像、即、不正当识别图像。

作为ACT66，处理器51向自助POS终端10输出不正当识别图像和与不正当区分“91”对应的面向结算者的警告消息。由此，在自助POS终端10中，在商品登记画面SCa的不正当指定图像显示区Qa中显示不正当识别图像和面向结算者的警告消息。警告消息是例如“商品未登记。请重新登记”等那样的、通知图像的商品未登记、需要重新登记商品等的内容。如此，对于虽然进行了商品的登记行为，但未登记就进行了装袋行为的结算者，在不正当指定图像显示区Qa显示不正当识别图像和警告消息。

作为ACT67，处理器51确认次数是否大于等于阈值N。阈值是用于判断是否向服务员终端进行通知的值。在次数大于等于阈值N的情况下，处理器51前进到ACT68。作为ACT68，处理器51向服务员终端20输出不正当识别图像和与不正当区分“91”对应的面向服务员的警告消息。由此，在服务员终端20中，在与自助POS终端10对应的画面SCb的不正当指定图像显示区Qb中显示不正当识别图像和面向服务员的警告消息。警告消息是向服务员通知发生了商品未登记的不正当行为的、例如“发生了商品的未登记”等那样的内容。如此，在结算者做出大于等于N次不正当行为的情况下，经由服务员终端20向服务员进行告知。

阈值N是大于等于“1”的任意的值。例如，在每次检测出不正当行为而向服务员终端20通知该行为的情况下，使阈值N为“1”。例如，在一次结算中检测出大于等于三次的不正当行为的情况下，在向服务员终端20通知该行为的情况下使阈值N为“3”。通过使阈值N为大于等于“2”，而减少向服务员终端20通知不正当行为的次数，因此能够减轻服务员的负担。但是，有服务员错过结算者的不正当行为的可能。如果使阈值N为“1”，在每次检测出不正当行为时向服务员终端20通知该行为，因此能够降低服务员错过不正当行为的几率。

在此，处理器51通过ACT66及ACT68的处理，而作为输出部515发挥功能。

在次数小于阈值N的情况下，或次数大于等于阈值N而向服务员终端20输出不正当识别图像和警告消息的处理器51，前进到图13的ACT71。作为ACT71，处理器51从状态存储器522取得下一个状态数据。此后，处理器51等待接受作为ACT72取得状态“22”、作为ACT73取得状态“24”、或作为ACT74取得状态“21”。即、处理器51当检测出商品未登记的不正当行为时，等待接受识别结算者的登记行为、识别退出行为、或识别取出行为。

确认了商品登记画面SCa的不正当指定图像显示区Qa所显示的不正当识别图像和警告消息的结算者，在取消商品未登记的不正当行为的情况下，将以不正当识别图像指定的商品从第二商品载置台103取出并进行登记行为。即、相当于在图13的ACT72至ACT74的等待接受状态中，取得了状态“22”的情况(ACT72的YES)。

处理器51前进到ACT75。作为ACT75，处理器51解除不正当识别图像和警告消息的输出。由此，在自助POS终端10中，消除不正当指定图像显示区Qa的显示。在服务员终端20中消除不正当指定图像显示区Qb的显示。

当结束ACT75的处理时，处理器51前进到图11的ACT51。处理器51与上述相同地执行ACT51之后的处理。

因此，在通过结算者的登记行为，以扫描仪14读取了商品的条形码的情况下，在状态存储器522中，在状态“22”之后存储状态“12”。另外，通过之后的结算者的装袋行为，在状态存储器522中存储状态“23”。其结果，处理器51依次执行ACT51、ACT55及ACT57的处理，返回到图10的ACT42。即、商品未登记的不正当行为被取消。

另一方面，有可能有结算者不取消商品未登记的不正当行为而重复从第一商品载置台102取出下一个商品的不正当行为的情况。相当于在图13的ACT72至ACT74的等待接受状态下，取得了状态“21”的情况(ACT74的YES)。

处理器51前进到ACT76。作为ACT76，处理器51对自助POS终端10输出错误命令。已输入错误命令的自助POS终端10变为错误状态而不能操作。当没有进行基于服务员的错误解除操作时，则错误状态不被解除。

作为ACT77，处理器51向服务员终端20输出错误信号。错误信号包含在ACT62中取得的不正当识别图像和与不正当区分“91”对应的面向服务员的警告消息。已输入错误信号的服务员终端20在与自助POS终端10对应的画面SCb的不正当指定图像显示区域Qb中显示不正当识别图像和面向服务员的警告消息。另外，服务员终端20向服务员告知自助POS终端10发生错误的情况。告知的方法不限定。例如，既可以通过亮灯进行告知，也可以通过错误声音的鸣响进行告知。确认了不正当内容和错误的服务员以去向自助POS终端10的场所并解除不正当行为的方式告诫结算者。另外，服务员进行用于解除错误的操作。当解除错误时，从自助POS终端10向监视装置50输出错误解除信号。

进行了错误命令及错误信号的输出的处理器51，作为ACT78，等待接受错误解除信号。当经由终端接口56而接收错误解除信号时，处理器51返回到ACT71。因此，结算者当不进行未登记商品的登记行为、也就是说，当没有进行用于解除商品未登记的不正当行为的操作时，不能前进到接着的商品登记。

接着，关于结算者虽然进行了商品的登记行为，但没有进行未登记就装袋的行为，而是取出下一个商品的不正当行为进行说明。这样的不正当行为发生于例如，结算者进行以手遮住条形码而对准扫描仪14的读取窗，且不将该商品装袋而是放在地上等场所等行为的情况。在此情况下，在状态存储器522中，在表示取出行为的状态“21”之后存储表示登记行为的状态“22”，但在此之后表示装袋行为的状态“23”没有被存储，而表示取出行为的状态“21”被再次存储。即、相当在图11的ACT52至ACT54的等待接受状态中，状态“21”被存储的情况(ACT54的YES)。

处理器51前进到图14的ACT81。作为ACT81，处理器51从状态存储器522取出比状态“21”提前一个被存储的状态。作为ACT82，处理器51确认比状态“21”提前一个被存储的状态是否是“12”。即、处理器51确认在结算者的取出行为之前，是否识别了商品登记所涉及的操作输入数据。在存储有状态“12”的情况下，没有装袋的商品已被正确地登记，不是不正当行为。在此情况下，处理器51前进到ACT83。作为ACT83，处理器51将列表存储器523存储的最新的商品登记图像输出到自助POS终端10。由此，在自助POS终端10中，在商品登记画面SCa的登记商品图像显示区Pa中显示商品登记图像。

结束了ACT83的处理的处理器51返回到图10的ACT45。即、前进到与在ACT43中取得了状态“21”的情况相同的处理。此后，处理器51与上述相同地执行ACT45之后的处理。

另一方面，在ACT82中，在比状态“21”提前一个被存储的状态不是“12”的情况下，没有装袋的商品是未登记的商品。在此情况下，处理器51前进到ACT84。作为ACT84，处理器51取得登记行为图像。具体地，处理器51在比状态“21”提前一个被存储的状态“22”的转变时刻前后，取得图像存储器521所存储的识别出登记行为的多张帧图像。作为ACT85，处理器51从其取得的帧图像剪切出能够指定通过登记行为对准读取窗的商品的图像作为指定不正当行为的图像。例如，处理器51剪切出对准读取窗的结算者手持的商品的图像。

这里，处理器51根据图14的ACT82的处理，作为不正当检测部513发挥功能。另外，处理器51根据图14的ACT84及ACT85的处理，作为图像取得部514而发挥功能。

结束了ACT85的处理的处理器51，作为ACT86，使不正当区分为“92”。不正当区分“92”是表示商品未登记且未装袋的不正当行为的信息。作为ACT87，处理器51将次数计数器向上计数+1。

作为ACT88，处理器51在不正当存储器524中存储不正当数据。即、处理器51将以时钟54计时的当前时刻作为不正当行为的识别时刻。此后，处理器51在不正当存储器524中与该识别时刻相关联存储在ACT86中确定的不正当区分、在ACT87中更新的次数计数器的值以及在ACT85中取得的指定不正当行为的图像、即不正当识别图像。

作为ACT89，处理器51向自助POS终端10输出不正当识别图像和与不正当区分“92”对应的面向结算者的警告消息。由此，在自助POS终端10中，在商品登记画面SCa的不正当指定图像显示区Qa中显示不正当识别图像和面向结算者的警告消息。警告消息是例如“商品未登记。请重新登记未装袋的商品”等那样的、通知图像的商品未登记、需要未装袋的商品的重新登记等的内容。

作为ACT90，处理器51对于自助POS终端10输出错误命令。输入有错误命令的自助POS终端10变为错误状态且不能操作。不通过服务员进行错误解除操作就不能够解除错误状态。

作为ACT91，处理器51向服务员终端20输出错误信号。错误信号包含在ACT85中取得的不正当识别图像和与不正当区分“92”对应的面向服务员的警告消息。输入有错误信号的服务员终端20在与自助POS终端10对应的画面SCb的不正当指定图像显示区域Qb中显示不正当识别图像和面向服务员的警告消息。另外，服务员终端20向服务员告知自助POS终端10发生错误的情况。告知的方法不限。例如，既可以通过亮灯进行告知，也可以通过错误声音的鸣响而进行告知。确认了不正当内容和错误的服务员以去向自助POS终端10的场所并解除不正当行为的方式告诫结算者。另外，服务员进行用于解除错误的操作。当解除错误时，从自助POS终端10向监视装置50输出错误解除信号。

这里，处理器51通过ACT89及ACT91的处理而作为输出部515发挥功能。

作为ACT92，处理器51等待接受错误解除信号。当经由终端接口56接收错误解除信号时，处理器51返回到图13的ACT71。因此，结算者不进行用于取消没有装袋的未登记商品的不正当行为的操作则不能够登记下一个商品。

接着，关于结算者对于从购物篮取出的商品不进行登记行为就进行装袋行为的不正当行为进行说明。在此情况下，在状态存储器522中，在表示取出行为的状态“21”之后存储表示装袋行为的状态“23”。即、相当于在图10的ACT46至ACT48的等待接受状态中，取得有状态“23”的情况(ACT47的YES)。

处理器51前进到图12的ACT61。此后，处理器51与上述相同地执行ACT61至ACT68的处理，还有图13的ACT71以后的处理。即、处理器51取得装袋行为图像，从该图像剪切出指定不正当行为的图像。另外，处理器51在不正当存储器524中存储不正当数据。处理器51向自助POS终端10输出不正当识别图像和与不正当区分“91”对应的面向结算者的警告消息。另外，在次数大于等于阈值N的情况下，处理器51向服务员终端20输出不正当识别图像和与不正当区分“91”对应的面向服务员的警告消息。

由此，在自助POS终端10中，在商品登记画面SCa的不正当指定图像显示区域Qa中，显示作为不正当识别图像的不进行登记行为就进行了装袋行为的商品的图像和面向结算者的警告消息。如此，对于关于从购买篮取出的商品，不进行登记行为就进行了装袋行为的结算者，在商品登记画面SCa的不正当指定图像显示区域Qa中显示不正当识别图像和警告消息。另外，在次数大于等于阈值N的情况下，在服务员终端20中的与自助POS终端10对应的画面SCb的不正当指定图像显示区域Qb中显示相同的不正当识别图像和面向服务员的警告消息。如此，在结算者做出大于等于N次的不正当行为的情况下，经由服务员终端20向服务员进行告知。

此后，处理器51等待接受作为下一个状态数据，取得状态“22”、取得状态“24”、或取得状态“21”。这里，在已取得状态“22”的情况下，处理器51解除不正当识别图像和警告消息的输出。即、在结算者纠正了商品未登记的不正当行为的情况下，能够进行之后的商品登记。但是，在不纠正不正当行为而从购物篮取出了下一个商品的情况下，自助POS终端10变为错误状态。

最后，关于不支付购买商品的货款就从结账场所退出的不正当行为进行说明。这样的不正当行为，在图10的ACT43或ACT44的等待接受状态、或该图10的ACT46至ACT48的等待接受状态、或图11的ACT52至ACT54的等待接受状态、图13的ACT72至ACT74的等待接受状态中，在取得有状态“24”为下一个状态的情况(ACT44、ACT48、ACT54或ACT74的YES)下被发觉。

处理器51前进到图10的ACT101。处理器51从状态存储器522取得比状态“24”提前一个被存储的状态。作为ACT102，处理器51确认比状态“24”提前一个被存储的状态是“14”还是“15”。即、处理器51确认在退出行为之前是否识别出结账结束所涉及的操作输入数据或登记中止所涉及的操作输入数据。在退出行为之前，识别出结账结束所涉及的操作输入数据或登记中止所涉及的操作输入数据的情况下，退出行为是正当的行为。处理器51结束作为不正当检测部513的功能。

与此对应，在比状态“24”提前一个被存储的状态不是“14”或“15”的情况下，即、在没有识别出结账结束所涉及的操作输入数据或登记中止所涉及的操作输入数据的情况下，退出行为是不正当行为。作为ACT103，处理器51取得退出行为图像。具体地，处理器51在状态“24”的转变时刻前后取得图像存储器521所存储的识别出退出行为的多张帧图像。作为ACT104，处理器51从其取得的帧图像剪切出能够指定作为结算者的人的图像作为指定不正当行为的图像，例如，处理器51剪切出映出有结算者的人脸的图像。

作为ACT105，处理器51使不正当区分为“99”。不正当区分“99”是表示未结账退出的不正当行为的信息。作为ACT106，处理器51使次数计数器向上计数+1。此后，作为ACT107，处理器51在不正当存储器524中存储不正当数据。即、处理器51将以时钟54计时的当前时刻作为不正当识别时刻。此后，处理器51在不正当存储器524中，与该识别时刻相关联而存储在ACT105中确定的不正当区分、在ACT106中更新的次数计数器的值、以及在ACT104中取得的指定不正当行为的图像、即、不正当识别图像。

作为ACT108，处理器51向自助POS终端10输出错误命令。另外，作为ACT109，处理器51向服务员终端20输出错误信号。错误信号包含在ACT104中取得的不正当识别图像、与不正当区分“99”对应的面向服务员的警告消息。警告消息是例如“有不结账就要退出的结算者”等那样唤起服务员注意的内容。

输出了错误命令及错误信号的处理器51结束作为不正当检测部513的功能。

[监视装置的效果说明]

如上详述的那样，根据监视装置50能够起到抑制可能在自助POS终端10发生的顾客的不正当行为的效果。

例如，在结算者做出未登记购买商品就装袋的不正当行为的情况下，在自助POS终端10的触摸面板11上显示不正当识别图像和警告消息。不正当识别图像是能够指定结算者未登记就进行了装袋的购买商品的图像。警告消息是指示重新登记未登记商品的内容。通过将不正当识别图像与警告消息一起显示，从而能够实现抑制上述不正当行为的效果。即、通过在触摸面板11上与将警告消息与不正当识别图像一起显示，从而能够使其他的顾客、店员得知发生了不正当行为。并且，不正当识别图像是能够指定未登记商品的图像，所以能够容易地指定哪个商品进行了不正当行为。因此，结算者很难进行不正当行为。

在此基础上，在结算者无视警告消息而过渡到下一个商品的登记操作的情况下，自助POS终端10变为不能操作，并向服务员终端20发出警告。因此，不会有错过上述的不正当行为的情况。

例如，有结算者只是作出登记购买商品的动作样子并不装袋的不正当行为的情况。在此情况下，也在自助POS终端10的触摸面板11上显示不正当识别图像和警告消息。不正当识别图像是能够指定结算者作出登记动作样子的购买商品的图像。因此，与上述相同，能够实现抑制不正当行为的效果。

另外，在结算者进行了大于等于阈值N次的不正当行为的情况下，在服务员终端20的显示设备上也同样显示不正当识别图像和警告消息。因此，服务员能够注意到不正当行为并唤起结算者注意，所以抑制不正当行为的效果较大。

另外，在结算者不进行结账就要离开结账场所的情况下，在服务员终端20的显示设备上显示例如映出有该结算者的人脸的不正当识别图像。因此，即使因有较多的结算者而结账场所很混杂，服务员也能够容易地指定不正当地离开的结算者。

[变形例]

在上述实施例中，例示出自助POS终端10分别设置监视装置50的情况。也可以对于大于等于两台的自助POS终端10连接一台监视装置50，该监视装置50的处理器51对应大于等于两台的自助POS终端10的每台自助POS终端10，具有作为操作识别部511、行为识别部512、不正当检测部513、图像取得部514及输出部515的功能。

照相机60也可以不安装于自助POS终端10。例如，也可以安装于结账场所的天花板上。另外，也可以从以大于等于两台的照相机拍摄的图像识别结算者的行为。

行为识别部512识别的行为不限于取出行为、登记行为、装袋行为及退出行为。也可以将例如从购物篮取出的商品不登记操作就进行装袋的、或递交到同伴者等的一系列的行为识别为不正当行为。在此情况下，只要从识别为不正当行为的图像剪切出能够指定商品的图像，并向自助POS终端10或服务员终端20输出该图像即可。另外，图像的输出目的地也可以是其他的终端、例如店员携带的信息通信终端。另外，也可以构成为识别结算者或结算者以外的人通过手、臂等遮挡照相机60的行为。

在上述实施例中，作为输出部515的功能，以将不正当识别图像与警告消息一起显示的方式进行输出，但输出部515的功能不限于此。例如，即使输出部515以在自助POS终端1等上只显示不正当识别图像的方式进行输出，也能起到抑制不正当行为的效果。

在上述实施例中，每当检测出不正当行为则输出该不正当识别图像，但输出图像的时机不限于此。例如，也可以在结算者触摸结账键Bx的时机、也就是说，指示结账开始的时机输出不正当识别图像。在此情况下，在图13的ACT74中判定为YES的情况下，只要省略ACT76至ACT78的处理，并前进到图10的ACT45的处理即可。

在上述实施例中，处理器51根据结算开始画面的开始键被触摸的情况而识别出利用开始。例如，设置能够检测出站在自助POS终端10的正面的人的人感知传感器，处理器51也可以根据人感知传感器检测出人的情况而识别利用开始。在此情况下，处理器51也可以在人感知传感器没有检测出人的情况下，识别为已进行退出行为。

在上述实施例中，说明了监视装置50既可以在自助POS终端10的外部，也可以在内部的情况。作为其他的实施例，自助POS终端10也能够安装入作为监视装置50的功能而使该功能实现。即、也可以为包括识别结算者的行为的行为识别手段(行为识别部512)、识别基于所述结算者的操作输入的操作识别手段(操作识别部511)、基于所述行为识别手段及所述操作识别手段的识别结果来检测所述结算者的不正当行为的不正当检测手段(不正当检测部513)、从拍摄有操作所述结算装置的结算者的照相机的摄影图像取得通过所述不正当检测手段检测出的指定不正当行为的图像的图像取得手段(图像取得部514)、以及输出指定所述不正当行为的图像的输出手段(输出部515)的结算装置(自助POS终端10)。

另外，虽然说明了本发明的几个实施例，但这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。另外，该实施例及其变形均被包含在发明的范围、要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

Claims (10)

1.一种监视装置，其特征在于，包括：

行为识别部，识别结算者对于结算装置的行为；

操作识别部，识别通过所述结算者向所述结算装置进行的操作输入；

不正当检测部，基于通过所述行为识别部及所述操作识别部识别出的识别结果来检测所述结算者的不正当行为；

图像取得部，从拍摄操作所述结算装置的结算者的照相机的摄影图像取得指定通过所述不正当检测部检测出的不正当行为的图像；以及

输出部，输出指定所述不正当行为的图像。

2.根据权利要求1所述的监视装置，其中，

所述行为识别部基于所述照相机的摄影图像识别所述结算者的行为。

3.根据权利要求2所述的监视装置，其中，

所述行为识别部至少识别所述结算者将商品拿取在手中的取出行为和所述结算者将手持的商品进行装袋的装袋行为，

所述操作识别部至少识别用于向所述结算装置进行商品登记的操作输入，

所述不正当检测部在所述行为识别部识别出所述取出行为和所述装袋行为期间，在所述操作识别部没有识别出用于所述商品登记的操作输入的情况下，检测所述不正当行为，

所述图像取得部从识别所述结算者的装袋行为过程中使用的所述照相机的摄影图像检测包含通过该装袋行为已被装袋的商品的图像。

4.根据权利要求2所述的监视装置，其中，

所述行为识别部至少识别所述结算者在所述结算装置登记手持的商品的登记行为，

所述操作识别部至少识别用于向所述结算装置进行商品登记的操作输入，

所述不正当检测部，在所述行为识别部虽识别出所述登记行为但所述操作识别部不能够识别出用于所述商品登记的操作输入的情况下，检测所述不正当行为，

所述图像取得部从识别所述结算者的登记行为过程中使用的所述照相机的摄影图像检测出包含通过该登记行为对准于结算装置的商品的图像。

5.根据权利要求1至4中任一项所述的监视装置，其中，

所述输出部向所述结算装置的显示设备显示输出指定所述不正当行为的图像。

6.根据权利要求5所述的监视装置，其中，

所述输出部进一步将指定所述不正当行为的图像显示输出于店员用的服务员终端的显示设备。

7.根据权利要求6所述的监视装置，其中，

设定存储用于判断是否向服务员终端进行通知的阈值，所述输出部在所述不正当检测部检测出的不正当行为的次数到达了所述阈值的情况下，在所述服务员终端的显示设备上显示输出指定所述不正当行为的图像。

8.一种存储介质，存储用于使计算机作为以下各部发挥功能的程序：

行为识别部，识别结算者对于结算装置的行为；

操作识别部，识别通过所述结算者向所述结算装置进行的操作输入；

不正当检测部，基于通过所述行为识别部及所述操作识别部识别出的识别结果来检测所述结算者的不正当行为；

图像取得部，从拍摄操作所述结算装置的结算者的照相机的摄影图像取得指定通过所述不正当检测部检测出的不正当行为的图像；以及

输出部，输出指定所述不正当行为的图像。

9.一种结算装置，其特征在于，包括：

行为识别部，识别结算者的行为；

操作识别部，识别通过所述结算者进行的操作输入；

不正当检测部，基于通过所述行为识别部及所述操作识别部识别出的识别结果来检测所述结算者的不正当行为；

图像取得部，从拍摄所述结算者的照相机的摄影图像取得指定通过所述不正当检测部检测出的不正当行为的图像；以及

输出部，输出指定所述不正当行为的图像。

10.一种存储介质，用于存储使计算机作为以下各部发挥功能的程序：

行为识别部，识别结算者的行为；

操作识别部，识别通过所述结算者进行的操作输入；

不正当检测部，基于通过所述行为识别部及所述操作识别部识别出的识别结果来检测所述结算者的不正当行为；

图像取得部，从拍摄所述结算者的照相机的摄影图像取得指定通过所述不正当检测部检测出的不正当行为的图像；以及

输出部，输出指定所述不正当行为的图像。