CN117765673A - 商品登记装置及存储介质、监视装置 - Google Patents

Abstract

本发明公开一种商品登记装置及存储介质、监视装置，能够向进行购买商品的结账的购买者征得关于影像的利用的同意，该商品登记装置包括输入设备、显示设备、登记部及确认部。输入设备，能够由顾客自己进行操作。显示设备，向操作输入设备的购买者显示信息。登记部，基于经由所述输入设备输入的商品所涉及的数据来登记处理购买者要购买的商品的信息。确认部，将用于征得购买者同意将拍摄有操作输入设备的该购买者的摄像头的影像利用于本来的目的以外的目的的同意确认画面在该购买者要购买的商品所涉及的数据从输入设备被输入之前显示于显示设备，并确认同意或不同意。

Description

商品登记装置及存储介质、监视装置

本申请主张申请日为2022年9月26日、申请号为JP2022-152928的日本申请为优先权，并引用上述申请的内容，通过引用将公开内容全部结合于此。

技术领域

本发明的实施例涉及一种商品登记装置及存储介质、以及商品登记装置的监视装置。

背景技术

目前，在超市等的零售店中，根据人工费的削减、传染病的传染预防对策等的观点，自助POS(Point Of Sales：销售点)终端受到关注。自助POS终端是构成为作为购物者的顾客自己进行从购买商品的登记到结算的操作的全自助应对的商品登记装置。因此，以摄像头监视操作自助POS终端的购买者的行为，根据影像中所拍摄到的手的动作等监视不正当行为的有无的监视装置正在实用化。

在这种使用有摄像头影像的监视装置中，作为从影像识别购买者的不正当行为的技术，利用使用有DNN(Deep Neural Network：深度神经网络)、CNN(Convolutional NeuralNetw ork：卷积神经网络)、RNN(Recurrent Neural Network：递归神经网络)等的机器学习。通过利用机器学习，能够在极短的时间内发现不正当行为。但是，为了提高机器学习的识别精度，需要提高对于输入数据导出结果的构造(规格)的机器学习模型的精度。为了提高机器学习模型的精度，只要通过利用以摄像头拍摄的较多的购买者的影像，使机器学习模型进行学习即可。

但是，为了将发现不正当行为作为本来的目的而拍摄的购买者的影像利用于提高机器学习模型的精度的与本来目的不同的目的，根据个人信息保护法的观点，需要向在该影像中被拍摄到的购买者通知利用目的，并得到同意。

发明内容

鉴于上述问题，本发明的实施例要解决的问题是提供关于影像的利用能够得到进行购买商品的结账的购买者的同意的商品登记装置、以及存储介质、监视装置。

为解决上述问题，实施例的商品登记装置包括输入设备、显示设备、登记部及确认部。输入设备，能够由顾客自己进行操作。显示设备，向操作输入设备的购买者显示信息。登记部，基于经由输入设备输入的商品所涉及的数据来登记处理购买者要购买的商品的信息。确认部，将用于征得购买者同意将拍摄有操作输入设备的该购买者的摄像头的影像利用于本来的目的以外的目的的同意确认画面在该购买者要购买的商品所涉及的数据从输入设备被输入之前显示于显示设备，并确认同意或不同意。

根据上述的商品登记装置，能够提供能够向进行要购买商品的结账的购买者征得关于影像的利用的同意的商品登记装置。

在上述的商品登记装置中，所述同意确认画面是配置有接受同意或不同意的选择输入的第一控件的画面，将已通过所述第一控件接受了同意或不同意的选择输入的情况处理为购买者的操作开始宣告。

根据上述的商品登记装置，通过将购买者的操作开始宣告和同意或不同意的选择输入并用，从而能够易于商品登记装置的操作。

在上述的商品登记装置中，所述同意确认画面是在通过以配置有接受会员或非会员的选择输入的第二控件的会员确认画面的所述第二控件接受会员或非会员的选择输入，并在所述会员被选择输入的情况下，在输入识别该会员的信息后显示的画面。

根据上述的商品登记装置，能够在取得会员的信息后显示同意确认画面。

在上述的商品登记装置中，通过所述会员确认画面的第二控件选择输入了会员后所显示的所述同意确认画面是配置有接受同意或不同意的选择输入的第一控件的同时，还配置有指示保存该选择结果的第三控件的画面，在通过所述第三控件已指示保存选择结果的情况下，与在此之前输入的识别所述会员的信息相关联保存通过所述第一控件接受的选择输入的结果，在与通过所述会员确认画面的所述第二控件接受会员的选择输入之后输入的识别所述会员的信息相关联而保存有通过所述第一控件接受的选择输入的结果的情况下，取消所述同意确认画面的显示。

根据上述的商品登记装置，能够防止对于会员每次显示同意确认画面。

在上述的商品登记装置中，利用所述摄像头的影像的本来的目的是发现不正当行为，本来的目的以外的利用是用于提高机器学习模型的精度的利用。

根据上述的商品登记装置，为了提高机器学习模型的精度能够征得关于摄像头的影像的利用的同意。

在上述的商品登记装置中，还包括：选择结果取得部，从服务器取得在上次购物时会员所选择的同意或不同意的选择结果，其中，所述同意确认画面显示与上次的选择结果对应的消息。

根据上述的商品登记装置，能够向会员显示与该会员的上次的选择结果对应的消息。

在上述的商品登记装置中，所述同意确认画面在所述选择结果取得部所取得的上次的选择结果是同意的情况下，显示表示上次已同意的消息，在上次的选择结果是不同意的情况下，显示催促同意的消息。

根据上述的商品登记装置，会员基于上次的选择容易进行同意或不同意的选择。

在上述的商品登记装置中，还包括：商品载置台，载置登记前的购买商品，其中，该商品载置台具有秤；以及控制部，比较登记前要购买商品被载置于所述商品载置台时的、所述秤的计量值和规定的阈值，在计量值超过阈值的情况下，执行所述确认部，在计量值没有超过阈值的情况下，禁止所述确认部的执行。

根据上述的商品登记装置，防止进行要购买商品的登记的购买者滞留的同时，能够征得关于影像的利用的同意。

本发明的另一方面的监视装置，是根据上述的商品登记装置的监视装置，包括：第一日期时间取得部，取得在所述商品登记装置中通过所述确认部已接受意为同意的选择输入的时间点的日期时间；第二日期时间取得部，取得在所述商品登记装置中通过所述登记部已登记的商品的结账结束的时间点的日期时间；以及记录部，将所述第一日期时间取得部取得的日期时间作为通过所述摄像头拍摄的影像的剪切开始日期时间、将通过所述第二日期时间取得部取得的日期时间作为通过所述摄像头拍摄的影像的剪切结束日期时间进行记录。

根据上述的监视装置，能够记录具有向购买者征得关于影像的利用的同意的功能的商品登记装置的影像。

本发明另一方面的存储介质，存储用于使包括能够由购买者自己操作的输入设备和向操作所述输入设备的购买者显示信息的显示设备的商品登记装置的计算机作为以下各部发挥功能的程序：登记部，基于经由所述输入设备输入的商品所涉及的数据来登记处理购买者要购买的商品的信息；以及确认部，将用于征得购买者同意将拍摄有操作所述输入设备的该购买者的摄像头的影像利用于本来的目的以外的目的的同意确认画面在该购买者要购买的商品所涉及的数据从所述输入设备被输入之前显示于所述显示设备，并确认同意或不同意。

根据上述的存储介质，能够向计算机提供能够向进行购买商品的结账的购买者征得关于影像的利用的同意的功能。

附图说明

图1是表示一实施例所涉及的结账系统的概略构成图。

图2是表示自助POS终端的外观构成的示意图。

图3是表示自助POS终端的要部电路构成的框图。

图4是表示监视装置的主要功能构成的框图。

图5是表示剪切信息文件所保存的剪切数据的构成的示意图。

图6是表示监视装置的要部电路构成的框图。

图7是表示自助POS终端的处理器执行的主要信息处理的顺序的流程图。

图8是表示监视装置的处理器执行的主要信息处理的顺序的流程图。

图9是表示监视装置的处理器执行的主要信息处理的顺序的流程图。

图10是表示自助POS终端的触摸面板所显示的同意确认画面的示意图。

图11是表示会员数据库所保存的结账记录的数据构成的示意图。

图12是表示在第二实施例中，自助POS终端的处理器执行的信息处理的要部顺序的流程图。

图13是表示在第二实施例中，自助POS终端的处理器执行的信息处理的要部顺序的流程图。

图14是表示在第二实施例中，监视装置的处理器执行的信息处理的要部顺序的流程图。

图15是表示自助POS终端的触摸面板所显示的会员用同意确认画面的示意图。

附图标记说明

10自助POS终端11触摸面板12卡读取器

13 打印机 14 扫描仪 15 手持扫描仪

16 现金处理机 17 警示灯 18 发光部

19扬声器20POS服务器21商品数据库

22 会员数据库 30 服务员终端 40 通信网络

50 摄像头 60 监视装置 61 影像采集部

62 影像处理部 63 行为识别部 64 状态识别部

65不正当行为推定部66记录部67学习部71、91处理器

72、92主存储器73、93辅助存储设备74、94时钟

75 第一通信接口 76 第二通信接口 78 输出端口

81 影像文件 82 机器学习模型 83 剪切信息文件

95GPU 96摄像头接口97第一终端接口

98第二终端接口100结账系统711登记部

712确认部771～776设备接口911第一日期时间取得部

912第二日期时间取得部913记录部(记录手段)

具体实施方式

以下，使用附图，关于包含商品登记装置和监视装置的结账系统的实施例进行说明。所述商品登记装置能够向进行购买商品的结账的购买者征得关于影像的利用的同意，所述监视装置监视操作该商品登记装置的购买者有无不正当行为。

＜第一实施例＞

首先，使用图1至图10，关于第一实施例进行说明。

[结账系统的说明]

图1是表示一实施例所涉及的结账系统100的概略构成图。结账系统100包括多台自助POS终端10、POS服务器20及服务员终端30。结账系统100将各自助POS终端10、POS服务器20及服务员终端30以LAN(LocalAreaNetwork：局域网)等的通信网络40连接。

多台自助POS终端10分别设置于店铺的结账场所，结束购物的顾客、也就是购物者作为操作者。在陈列有商品的卖场中，将购买商品装入购物篮等、或堆放在购物车中，并向结账场所移动的购买者操作自助POS终端10自助进行购买商品的结账、也就是从购买商品的登记到结算。自助POS终端10是应对全自助的商品登记装置的一例。商品登记装置能够改称为商品登记终端、结算装置、结算终端、结账装置、结账终端等。

POS服务器20向以通信网络40连接的各自助POS终端10及服务员终端30提供结账系统100所涉及的各种各样的服务。例如，POS服务器20管理商品数据库21。商品数据库21是对应在店铺中销售的每个商品而制作的商品记录的集合体。商品记录包含商品码、商品名、价格等的数据。商品码是为了将各商品分别进行识别而对应每个商品设定的唯一的码。在各商品上附有表示该商品的商品码的条形码。商品名及价格是通过商品码识别的商品的固有名称及每件的销售金额。当在自助POS终端10中输入商品码时，POS服务器20检索商品数据库21，并将包含该商品码的商品记录的商品名、价格等的数据提供给自助POS终端10。

例如，POS服务器20管理会员数据库22。会员数据库22是对应成为店铺的会员的每个顾客制作的会员记录的集合体。会员记录包含会员码和会员信息。会员码是为了分别识别各会员而对应每个会员设定的唯一的码。会员信息是姓名、性别、入会日、累积积分、购买历史等。各会员持有记录有自己的会员码的会员卡。或者，各会员将店铺会员用的应用软件安装于智能手机。当启动该应用软件时，在智能手机的显示设备上显示表示会员码的条形码或二维码。当在自助POS终端10中输入会员码时，POS服务器20检索会员数据库22，并向自助POS终端10提供包含该会员码的会员记录的会员信息。

服务员终端30设置于结账场所的出口附近所设置的监视场所。服务员终端30在显示设备上显示在每个自助POS终端10所登记的购买商品的列表等。另外，在自助POS终端10发生有错误的情况下，服务员终端30告知该错误信息。处于监视场所的工作人员、所谓服务员，基于在服务员终端30中显示的信息或告知的信息进行结账场所的监视。此外，虽然在图1中将服务员终端30的台数作为一台，但也可以多台服务员终端30连接于通信网络40。另外，这其中的至少一台也可以设置于与上述的监视场所不同的场所、例如内勤那样的同一店铺的其他楼层、咨询台等。这样远离自助POS终端10的场所的服务员终端30也能够经由通信网络40告知来自自助POS终端10的错误信息。由此，即使是位于不能直接确认自助POS终端10的场所的工作人员也能够监视自助POS终端10。

结账系统100对应每个自助POS终端10包括摄像头50和监视装置60。摄像头50和监视装置60以防犯操作自助POS终端10的购买者的不正当行为为目的而被设置于自助POS终端10的附近。监视装置60既可以设置于自助POS终端10的外部，也可以设置于内部。各监视装置60分别与自助POS终端10和设置于该自助POS终端10的附近的摄像头50连接。另外，各监视装置60与服务员终端30连接。通过这些连接，各监视装置60与自助POS终端10及服务员终端30能够进行数据信号的发送接收。另外，各监视装置60能够从摄像头50接收影像信号。

[自助POS终端的说明]

图2是表示自助POS终端10的外观构成的示意图。自助POS终端10包括主体101、配置于该主体101的左右的第一商品载置台102及第二商品载置台103。朝向主体101且配置于右侧的第一商品载置台102是用于作为购买者的顾客载置登记前的购买商品的台子。登记前的购买商品通常被装入购物篮并载置于第一商品载置台102。登记前的购买商品也可以以被堆放在购物车中的状态配置于第一商品载置台102的前方或上方。第一商品载置台102及第二商品载置台103内置有秤。基于第一商品载置台102的计量结果和第二商品载置台103的计量结果来检查购买者是否通过自助POS终端10正确地进行了商品登记。

朝向主体101且配置于左侧的第二商品载置台103是用于购买者载置登记后的购买商品的台子。登记后的购买商品被装入载置于第二商品载置台103的收容体，例如购物篮、购物袋或环保袋等。登记后的购买商品也可以直接载置在第二商品载置台103上。在图2中，第二商品载置台103在其上部经由支柱设置有临时载置台104。临时载置台104例如，是用于将商品装入购物袋等之前临时载置的台子。在临时载置台104上，左右隔开地设置有两条保持臂105。购买者能够使用这些保持臂105，并将购物袋、环保袋等以开口的状态载置于第二商品载置台103的上面。

这样，第一商品载置台102及第二商品载置台103作为载置购买商品的载置部发挥功能。此外，第一商品载置台102及第二商品载置台103的安装位置也可以左右调换。

主体101包括作为输入输出设备的触摸面板11、卡读取器12、打印机13、扫描仪14、手持扫描仪15、现金处理机16、警示灯17、发光部18及扬声器19等。

触摸面板11是在显示器上显示由文字、记号、图像等构成的显示要素的显示设备。另外，触摸面板11也是以传感器检测对于显示器的触摸操作位置，作为该位置的显示要素被输入而进行处理的输入设备。在显示器上，显示结算开始画面、商品登记画面、支付方法选择画面、结算结束画面等的各种画面。结算开始画面是接受交易的结算开始的画面。在结算开始画面中配置用于指示交易的结算开始的开始键。开始要购买商品的登记的购买者触摸开始键。当触摸传感器检测到开始键被触摸操作时，显示器的画面从结算开始画面切换到商品登记画面。

商品登记画面是显示已登记的购买商品的商品名、价格、合计金额等的明细信息的画面。在商品登记画面中配置用于指示向已登记的购买商品的货款支付过渡的结账键。已结束购买商品的登记的购买者触摸结账键。当触摸传感器检测到结账键被触摸操作时，显示器的画面从商品登记画面切换到支付方法选择画面。

支付方法选择画面是接受现金支付、信用卡支付、电子货币支付、码结算支付等的支付方法的选择输入的画面。在支付方法选择画面中配置用于指示现金支付的现金键、用于指示信用卡支付的信用卡键、用于指示电子货币支付的电子货币键、用于指示码结算支付的码结算键等。购买者触摸希望的支付方法的键。例如，当触摸传感器检测到现金键被触摸操作时，执行基于现金的结算处理。此后，显示器的画面从支付方法选择画面切换到基于现金的结算结束画面。当触摸传感器检测到信用卡键被触摸操作时，执行基于信用卡的结算处理。此后，显示器的画面从支付方法选择画面切换到基于信用卡的结算结束画面。当触摸传感器检测到电子货币键被触摸操作时，执行基于电子货币卡的结算处理。此后，显示器的画面从支付方法选择画面切换为基于电子货币卡的结算结束画面。当触摸传感器检测到码结算键被触摸操作时，执行码结算用的基于码的结算处理。此后，显示器的画面从支付方法选择画面切换到基于码结算的结算结束画面。

例如，基于现金的结算结束画面是显示交易的合计金额、现金的预支金额及找零金额等的画面。例如，基于现金的结算处理是从预支金额减去交易的合计金额而计算出找零金额，发放票据并结束交易的处理。因为这样的基于现金的结算处理是公知的处理，所以省略详细的说明。另外，因为基于信用卡、电子货币卡或码结算的结算处理也是公知的处理，所以在此省略说明。

卡读取器12是读取信用卡、电子货币卡、积分卡等的卡介质所存储的数据的设备。在卡介质是磁卡的情况下，卡读取器12是磁卡读取器。在卡介质是IC卡的情况下，卡读取器12是IC卡读取器。自助POS终端10作为卡读取器12既可以包括磁卡读取器或IC卡读取器的任一方，也可以包括双方。卡读取器12也可以是具有向卡写入数据的功能的卡读取器/写入器。

打印机13是在票据纸张上打印购买票据、信用卡单据等所涉及的数据的设备。通过打印机13打印了各种数据的票据纸张通过切割器切割，并从票据发放口发放。打印机13通过例如热敏打印机或点击打式打印机等而被实现。

扫描仪14及手持扫描仪15是以光扫描读取条形码、二维码等的机器可读码的光学式的输入设备。扫描仪14光学地读取对准读取窗(玻璃窗)的机器可读码。手持扫描仪15是通过购买者手持操作的扫描仪，通过接近机器可读码而光学地读取该机器可读码。扫描仪14也可以是从以摄像头拍摄的图像读取机器可读码的摄像式的输入设备。扫描仪14及手持扫描仪15不仅读取附于商品等的机器可读码，也能够读取智能手机等的终端的显示器所显示的机器可读码。

现金处理机16用于处理现金。现金处理机16具有纸币投入口161、纸币排出口162、硬币投入口163及硬币排出口164。现金处理机16处理投入到纸币投入口161的纸币。现金处理机16从纸币排出口162排出作为找零的纸币。现金处理机16处理投入到硬币投入口163的硬币。现金处理机16从硬币排出口164排出作为找零的硬币。

警示灯17安装于在垂直方向上延伸的杆的顶端，以便从远处也能看见。警示灯17包含发光部件和圆筒。发光部件与圆筒同轴可旋转地被安装在圆筒的内部。警示灯17当动作时，能够一边使发光部件发光一边旋转。警示灯17用于示出警报。例如，警示灯17通过在商品登记时使发光部件亮灯，从而购买者、处于服务员终端30的工作人员能够目测确认商品扫描是否被切实地进行。

发光部18配置于杆的警示灯17的下段。发光部18与警示灯17同样地，也包含发光部件和圆筒。发光部件能够以多个颜色选择性地发光。或者，发光部18包括相互不同的发光颜色的多个发光部件。发光部18与警示灯17同样地，也用于示出警报。

扬声器19输出作为警报的警告音或作为消息的语音等的声音。

在主体101的上方部安装有作为摄像装置的摄像头50。摄像头50是拍摄自助POS终端10和操作自助POS终端10的购买者的摄像头。如图2所示，触摸面板11的显示器、卡读取器12的卡插入口、打印机13的票据发放口、扫描仪14的读取窗及现金处理机16的纸币投入口161、纸币排出口162、硬币投入口163及硬币排出口164配置在主体101的一个面上(以下，称为正面)。因此，购买者与主体101的正面对峙站立并操作自助POS终端10。摄像头50从上方拍摄自助POS终端10和站于其正面的购买者。因此，通过摄像头50拍摄购买者的头部、脸部、双肩、两个手臂、胸部、腹部等。另外，通过摄像头50也拍摄包括隔着主体101左右配置的第一商品载置台102及第二商品载置台103的自助POS终端10的上表面。

图3是表示自助POS终端10的要部电路构成的框图。自助POS终端10包括处理器71、主存储器72、辅助存储设备73、时钟74、第一通信接口75、第二通信接口76、多个设备接口771至776、输出端口78及系统传送线路79。系统传送线路79包括地址总线、数据总线、控制信号线等。自助POS终端10是将处理器71与主存储器72、辅助存储设备73、时钟74、第一通信接口75、第二通信接口76、多个设备接口771至776及输出端口78通过系统传送线路79连接而构成的计算机。此外，自助POS终端10在各设备接口771至776上分别连接触摸面板791、卡读取器792、打印机793、扫描仪794、手持扫描仪795及现金处理机796的各种设备。另外，自助POS终端10在输出端口78上连接警示灯17、发光部18及扬声器19。

处理器71相当于上述计算机的中枢部分。处理器71依照操作系统或应用程序控制各部以实现作为自助POS终端10的各种功能。处理器71是例如CPU(Central ProcessingUnit：中央处理器)。

主存储器72相当于上述计算机的主存储部分。主存储器72包含非易失性存储区和易失性存储区。主存储器72在非易失性存储区中存储操作系统或应用程序。主存储器72有时在非易失性存储区或易失性存储区也存储处理器71在执行用于控制各部的处理过程中所需要的数据。主存储器72将易失性存储区作为通过处理器71能够适当改写数据的工作区使用。非易失性存储区例如是ROM(Read Only Memory：只读存储器)。易失性存储区是例如RAM(Random Access Memory：随机存取存储器)。

辅助存储设备73相当于上述计算机的辅助存储部分。例如EEPROM(ElectricErasable Programmable Read-Only Memory：电可擦可编程只读存储器)、HDD(Hard DiskDrive：硬盘驱动器)、或SSD(Solid State Drive：固态驱动器)等可作为辅助存储设备73。辅助存储设备73保存处理器71在进行各种的处理过程中使用的数据、或通过在处理器71的处理而制作的数据等。辅助存储设备73有时存储上述的应用程序。

时钟74计时日期和时刻。处理器71将通过时钟74计时的日期和时刻作为当前日期时间进行处理。

第一通信接口75是用于与经由通信网络40连接的POS服务器20及服务员终端30进行数据通信的电路。第二通信接口76是用于与监视装置60进行数据通信的电路。

设备接口771是用于与触摸面板11之间进行数据通信的电路。设备接口772是用于与卡读取器12之间进行数据通信的电路。设备接口773是用于与打印机13之间进行数据通信的电路。设备接口774是用于与扫描仪14之间进行数据通信的电路。设备接口775是用于与手持扫描仪15之间进行数据通信的电路。设备接口776是用于与现金处理机16之间进行数据通信的电路。

输出端口78向警示灯17输出驱动信号。根据该驱动信号，警示灯17示出警报。另外，输出端口78向发光部18输出驱动信号。根据该驱动信号，发光部18示出警报。另外，输出端口78向扬声器19输出驱动信号。根据该驱动信号，扬声器19输出作为警报的警告音、或作为消息的语音等的声音。

相关构成的自助POS终端10存储第一程序以使处理器71具有登记部711及确认部712。第一程序是主存储器72或辅助存储设备73所存储的应用程序的一种。将第一程序安装于主存储器72或辅助存储设备73的方法不特别限定。能够在可移除存储介质中存储第一程序，或经由网络的通信分发第一程序，并安装于主存储器72或辅助存储设备73中。存储介质只要是如CD-ROM、存储卡等那样的能够存储程序、且装置可读取即可，其形式不限。

登记部711是基于经由作为购买者的顾客自己可操作的输入设备输入的商品所涉及的数据来登记处理购买者要购买的商品的信息的手段(部)。输入设备是扫描仪14或手持扫描仪15。输入设备也可以是触摸面板11。

确认部712是使显示设备显示同意确认画面SCa(参照图10)，并确认同意或不同意的手段(部)，所述同意确认画面SCa用于征得购买者同意将拍摄有操作输入设备的购买者的摄像头50的影像利用于本来的目的以外的目的。确认部712在购买者要购买的商品所涉及的数据从输入设备被输入之前使显示设备显示同意确认画面SCa。显示设备是触摸面板11。也可以在与触摸面板11不同的显示设备上显示同意确认画面SCa。

另外，所谓拍摄有购买者的摄像头50的影像的本来目的是发现不正当行为。所谓本来的目的以外的利用，在本实施例的情况下，是用于提高机器学习模型的精度的利用。这样，在将摄像头50的影像利用于本来的目的以外的目的的情况下，根据个人信息保护法的观点，需要向该影像所拍摄到的购买者通知利用目的，并征得同意。同意确认画面SCa是用于向购买者确认是否同意的画面。

[监视装置的说明]

监视装置60是用于基于通过摄像头50拍摄的影像等的信息来监视购买者对于自助POS终端10的不正当行为的装置。所谓不正当行为，是例如将购买商品不登记于自助POS终端10就进行装袋的行为。所谓不正当行为，是例如不支付购买商品的货款就从结账场所退出的行为。监视装置60当检测出购买者的不正当行为时发出警告。警告被向自助POS终端10和服务员终端30的双方或一方发出。

这样，监视装置60是用于将摄像头50的影像利用于本来的目的的装置。另外，另一方面，监视装置60也是将摄像头50的影像利用于本来的目的以外的目的的装置。

图4是表示监视装置60的主要功能构成的框图。如图4所示，监视装置60具有作为影像采集部61、影像处理部62、行为识别部63、状态识别部64、不正当行为推定部65、记录部66及学习部67的功能。另外，监视装置60包括影像文件81、机器学习模型82及剪切信息文件83。

影像采集部61是将以摄像头50拍摄的影像按着时间轴的顺序对应每一帧采集的功能。影像处理部62是将经由影像采集部61采集到的影像提供给行为识别部63的同时，写入影像文件81的功能。在影像文件81中，将以摄像头50拍摄的影像与拍摄时刻的数据相关联并按顺序存储。保存于影像文件81的影像当经过一定期间时将被删除。

行为识别部63是根据以摄像头50拍摄的影像识别购买者对于自助POS终端10的行为的功能。具体地，行为识别部63利用机器学习模型82，识别购买者的行为。即、行为识别部63将以摄像头50拍摄的影像输入到机器学习模型82。机械学习模型82利用DNN、CNN或RNN等的机器学习的手法来解析影像，识别取出行为、装袋行为、退出行为等的购买者的行为。行为识别部63取得通过机器学习模型82识别的购买者的行为，输出给不正当行为推定部65。

另外，所谓取出行为，是从自助POS终端10的第一商品载置台102取出未登记的购买商品的行为。所谓装袋行为，是将已登记的购买商品装入处于自助POS终端10的第一商品载置台102的购物袋等的行为。退出行为是在自助POS终端10已结束购买商品的结账的购买者从结账场所退出的行为。

状态识别部64是识别自助POS终端10的状态的功能。在自助POS终端10的状态中，有结算开始前的状态、商品登记中的状态、结算处理中的状态、结算结束的状态等。结算开始前的状态是在触摸面板11上显示结算开始画面的状态。即、状态确认部64在触摸面板11上显示有结算开始画面的期间识别为自助POS终端10是结算开始前的状态。

当结算开始画面的开始键被触摸操作时，触摸面板11的画面从结算开始画面切换到商品登记画面。此后，当通过例如扫描仪14或手持扫描仪15的扫描操作登记购买商品时，商品登记画面被更新。状态识别部64在每次触摸面板11的商品登记画面被更新时，识别为自助POS终端10是商品登记中的状态。

当商品登记画面的结账键被触摸操作时，触摸面板11的画面从商品登记画面切换到支付方法选择画面。状态识别部64当触摸面板11的画面切换为支付方法选择画面时，识别为自助POS终端10是结算处理中的状态。

例如，当支付方法选择画面的现金键被触摸操作，结算所需要的现金被投入到现金处理机16时，触摸面板11的画面从支付方法选择画面切换到结算结束画面。状态识别部64当触摸面板11的画面切换为结算结束画面时，识别为自助POS终端10是结算结束的状态。

不正当行为推定部65是基于通过行为识别部63识别出的购买者的行为和通过状态识别部64识别出的自助POS终端10的状态来推定购买者的不正当行为的功能。例如，不正当行为推定部65尽管在行为识别部63中识别出取出行为和装袋行为，但在状态识别部64中却没有识别出商品登记中的状态的情况下，推定为有将购买商品没有登记于自助POS终端10就装袋的不正当行为。例如，不正当行为推定部65尽管在状态识别部64没有识别出结算结束的状态，但却在行为识别部63中识别出退出行为的情况下，推定有不支付购买商品的货款就从结账场所退出的不正当行为。此外，不正当行为的类别及其推定方法不限于上述的内容。

记录部66是基于经由状态识别部64识别出的自助POS终端10的状态，将剪切数据831(参照图5)记录在剪切信息文件83中的功能。如图5所示那样，剪切数据731由剪切开始日期时间、剪切结束日期时间、同意标记和学习标记构成。

剪切开始日期时间是自助POS终端10的状态从结算开始的状态切换为商品登记中的状态的时间点的日期时间。剪切结束日期时间是自助POS终端10的状态从结算处理中的状态切换为结算结束的状态的时间点的日期时间。同意标记是用于识别是否已征得购买者同意将在从剪切开始日期时间到剪切结束日期时间的时间内以摄像头50拍摄的影像利用于本来的目的以外的目的的一位数据。在本实施例中，在得到同意的情况下的同意标记为“1”、没有得到同意的情况下的同意标记为“0”。学习标记是用于识别是否将从剪切开始日期时间到剪切结束日期时间的时间内以摄像头50拍摄的影像应用于机器学习模型82的学习的一位数据。在本实施例中，在使用于学习的情况下的学习标记为“1”，使不使用于学习的情况下的学习标记为“0”。

学习部67是依照剪切信息文件83所记录的剪切数据来剪切影像文件81所存储的影像，使用该已剪切的影像执行机器学习模型82的学习的功能。即、学习部67将已剪切的影像作为对于机器学习模型82的输入数据，将希望的购买者对应该输入数据的行为作为正解标签来生成组合的学习数据，并执行机器学习模型82的学习。通过使用大量的学习数据执行这样的学习，由此提高机器学习模型82的精度。

这样，在监视装置60中，影像采集部61、影像处理部62、行为识别部63、状态识别部64及不正当行为推定部65是将摄像头50的影像利用于本来的目的的功能。记录部66及学习部67是将摄像头50的影像利用于本来的目的以外的目的的功能。

图6是表示监视装置60的要部电路构成的框图。监视装置60具备处理器91、主存储器92、辅助存储设备93、时钟94、GPU(Graphics Processing Unit：图形处理单元)95、摄像头接口96、第一终端接口97、第二终端接口98及系统传送线路99等。系统传送线路99包含地址总线、数据总线、控制信号线等。系统传送线路99连接处理器91和其他的各部，传送在相互间授受的数据信号。

监视装置60是通过将处理器91与主存储器92、辅助存储设备93、时钟94、GPU95、摄像头接口96、第一终端接口97及第二终端接口98通过系统传送线路99连接而构成的计算机。

处理器91、主存储器92、辅助存储设备93及时钟94的概略说明与使用图3说明的自助POS终端10的处理器71、主存储器72、辅助存储设备73及时钟74相同。因此，在此省略说明。

GPU95是作为辅助CPU91进行的运算处理的加速器而发挥功能的运算装置。在监视装置60中，GPU95主要是为了高速地执行利用机器学习模型82的影像处理的运算而使用。

摄像头接口96连接摄像头50。摄像头接口96向摄像头50输出控制摄像头50的驱动的控制信号。摄像头50依照该控制信号进行摄像动作。摄像头接口96采集通过摄像头50拍摄的影像数据。

第一终端接口97连接自助POS终端10。第一终端接口97从自助POS终端10采集触摸面板11所显示的画面的数据等。

第二终端接口98连接服务员终端30。第二终端接口98向服务员终端输出警报信号等。

监视装置60通过上述的电路构成实现为影像采集部61、影像处理部62、行为识别部63、状态识别部64、不正当行为推定部65、记录部66及学习部67的功能。并且，监视装置60存储第二程序，以使处理器91具有第一日期时间取得部911、第二日期时间取得部912及记录部913。第二程序是主存储器92或辅助存储设备93所存储的应用程序的一种。将第二程序安装于主存储器92或辅助存储设备93的方法不特别限定。能够在可移除存储介质中存储第二程序，或经由网络的通信分发第二程序，并安装于主存储器92或辅助存储设备93中。存储介质只要是如CD-ROM、存储卡等那样的能够存储程序且装置可读取即可，其形式不限。

第一日期时间取得部911是取得在自助POS终端10中通过确认部712接受到意为同意的选择输入的时间点的日期时间的手段(部)。另外，第二日期时间取得部912是取得在自助POS终端10中通过登记部711已登记的商品的结账结束的时间点的日期时间的手段(部)。这样的第一日期时间取得部911及第二日期时间取得部912通过作为状态识别部64的功能而实现。

记录部913是将通过第一日期时间取得部911取得的日期时间作为以摄像头50拍摄的影像的剪切开始日期时间，将通过第二日期时间取得部912取得的日期时间作为以摄像头50拍摄的影像的剪切结束日期时间，并存储于剪切信息文件83的手段(部)。这样的记录部913通过作为记录部66的功能而实现。

[结账系统的动作说明]

图7是表示自助POS终端10的处理器71依照第一程序执行的主要的信息处理的顺序的流程图。图8及图9是表示监视装置60的处理器91依照第二程序执行的主要的信息处理的顺序的流程图。图10是表示自助POS终端10的触摸面板11所显示的同意确认画面SCa的示意图。接着，使用各图，关于构成结账系统100的自助POS终端10及监视装置60的主要的动作进行说明。此外，以下说明的信息处理的顺序及内容是一例。只要能够起到同样的作用效果，则其顺序及内容能够适当地变更。另外，同意确认画面SCa也是一例。当然，显示要素的配置或文本的内容等也能够适当地变更。

(自助POS终端的动作)

在自助POS终端10处于没有接受购买者的操作的空闲状态时，作为ACT1，处理器71经由设备接口771使触摸面板11显示同意确认画面SCa。如图10所示那样，在同意确认画面SCa中显示用于征得购买者同意将拍摄有购买者的摄像头50的影像利用于本来的目的以外的目的的第一文本TXa。另外，配置有“同意”按键BTa及“不同意”按键BTb的软键。“同意”按键BTa及“不同意”按键BTb是接受同意或不同意的选择输入的第一控件。同意确认画面SCa作为结算开始画面发挥功能。即、“同意”按键BTa及“不同意”按键BTb的软键作为开始键发挥功能。

因此，在卖场中将购买商品装入购物篮等中、或堆放于购物车并向结账场所移动，站立在空闲的自助POS终端10的正面的购买者首先确认同意确认画面SCa。在自助POS终端10上登记购买商品的购买者读取文本TXa，在同意关于将摄像头50的影像利用于本来的目的以外的目的的情况下，触摸“同意”按键BTa。在不同意的情况下，购买者触摸“不同意”按键BTb。自助POS终端10通过“同意”按键BTa或“不同意”按键BTb被输入而变为可进行商品的登记。

使同意确认画面SCa显示的处理器71，作为ACT2，等待接受“同意”按键BTa被触摸或“不同意”按键BTb被触摸。当经由设备接口771输入了“同意”按键BTa被触摸时的信号的情况下，处理器71从ACT2前进到ACT3。作为ACT3，处理器71经由第二通信接口76向监视装置60发送同意通知信号。

在经由设备接口771输入了“不同意”按键BTb被触摸时的信号的情况下，处理器71从ACT2前进到ACT4。作为ACT4，处理器71经由第二通信接口76向监视装置60发送不同意通知信号。

在ACT3或ACT4中发送了同意通知信号或不同意通知信号的处理器71前进到ACT5。作为ACT5，处理器71经由设备接口771使触摸面板11显示会员确认画面。在会员确认画面中显示有向购买者问询购买者是否是店铺的会员的文本。另外，配置有“会员”按键及“非会员”按键的软键。“会员”按键及“非会员”按键是接受会员或非会员的选择输入的第二控件。不是会员的购买者触摸“非会员”按键。与此相对，是会员的购买者触摸“会员”按键。此后，购买者将会员码输入到自助POS终端10。即、持有会员卡的购买者使卡读取器12读取该会员卡的数据。在智能手机中安装有店铺会员用的应用软件的购买者以扫描仪14或手持扫描仪15读取智能手机的显示设备所显示的表示会员码的条形码或二维码。

作为ACT6，使会员确认画面显示的处理器71等待接受“会员”按键被触摸或“非会员”按键被触摸。在经由设备接口771输入了“会员”按键被触摸时的信号的情况下，处理器71从ACT6前进到ACT7。作为ACT7，处理器71经由设备接口772从卡读取器12读取会员卡的数据。此后，处理器71根据该会员卡的数据检测会员码。或者，处理器71经由设备接口774或设备接口775取得以扫描仪14或手持扫描仪15读取的条形码或二维码的数据。此后，处理器71从该条形码或二维码的数据检测出会员码。

在经由设备接口771输入了“非会员”按键被触摸时的信号的情况下，处理器77跳过ACT7的处理。

当执行或跳过ACT7的处理时，处理器71前进到ACT8。此外，在是没有采用会员制度的店铺的情况下，程序只要构成为跳过上述的ACT5至ACT7的处理，从ACT3或ACT4前进到ACT8即可。

作为ACT8，处理器71经由设备接口771使触摸面板11显示商品登记画面。商品登记画面是显示已登记的购买商品的商品名、价格、合计金额等的明细信息的画面。已确认商品登记画面的购买者开始购买商品的登记操作。即、购买者一件一件拿取载置于第一商品载置台102上的未登记的购买商品。此后，购买者将该购买商品的条形码对准扫描仪14的读取窗。或者，购买者将手持扫描仪15接近该购买商品的条形码。因为通过这样的操作读取了购买商品的条形码，所以购买者将购买商品装入已准备在第二商品载置台103上的购物袋等。

使商品登记画面显示的处理器71，作为ACT9等待接受商品码被输入。此后，当经由设备接口774或设备接口775取得以扫描仪14或手持扫描仪15读取的条形码，并根据该条形码的数据检测出购买商品的商品码时，处理器71从ACT9前进到ACT10。作为ACT10，处理器71进行购买商品的登记处理。具体地，处理器71从商品数据库21取得包含购买商品的商品码的商品记录，基于该商品记录的商品码、商品名、价格等生成商品销售数据。处理器71在交易存储器登记处理商品销售数据。交易存储器是用于存储一个交易所涉及的购买商品的商品销售数据的主存储器92上的区域。

当结束购买商品的登记处理时，处理器71前进到ACT11。作为ACT11，处理器71更新商品登记画面。即、处理器71使购买商品的商品名、价格等显示。另外，处理器71将购买商品的合计件数、合计金额等作为最新的值。此后，处理器71前进到ACT12。

在商品登记画面中，配置有“结账”按键的软键。“结账”按键是用于指示向已登记结束的购买商品的货款支付过渡的结账键的一例。处理器71确认“结账”按键是否被触摸。在“结账”按键没有被触摸的情况下，处理器71返回到ACT9。处理器71等待接受下一个购买商品的商品码被输入。此后，当商品码被输入时，处理器71与上述同样地执行ACT10及ACT11的处理。

当经由设备接口771输入“结账”按键被触摸时的信号时，处理器71从ACT12前进到ACT13。作为ACT13，处理器71执行结算处理。例如，在作为支付方法选择了现金支付的情况下，处理器71执行基于现金的结算处理。在已选择信用卡支付的情况下，处理器71执行基于信用卡的结算处理。在已选择电子货币支付的情况下，处理器71执行基于电子货币的结算处理。这些结算处理因为是公知的处理，所以在此省略详细的说明。

当结束结算处理时，处理器71前进到ACT14。作为ACT14，处理器71经由设备接口773向打印机13输出票据数据，并控制交易票据的发放。当发放交易票据结束时，处理器71前进到ACT15。作为ACT15，处理器71经由第二通信接口76向监视装置60发送利用结束通知信号。至此，处理器71结束图7的流程图所示的顺序的信息处理。处理器71返回到空闲状态。因此，触摸面板11的画面变为同意确认画面SCa。

这样，如作为ACT8至ACT11的处理已说明的那样，处理器71具有登记部711。另外，如作为ACT1至ACT4的处理已说明的那样，处理器71具有确认部712。此后，确认部712接收了意为同意的选择输入的处理器71在购买者同意将摄像头50的影像利用于本来的目的以外的目的的情况下，向监视装置60输出同意通知信号(ACT3)，在不同意的情况下，向监视装置60输出不同意通知信号(ACT4)。另外，当发放表示通过登记部711已登记的商品的明细的交易票据并结束结账时，处理器71向监视装置60输出利用结束通知信号(ACT15)。

(监视装置的动作)

监视装置60除进行以摄像头50监视操作自助POS终端10的购买者的行为，并根据影像中所拍摄到的手的动作等监视不正当行为的有无的主要的动作以外，还进行以下的动作一及动作二。

(动作一)

如图8所示，作为ACT21，监视装置60的处理器91等待从自助POS终端10接受通知信号。当经由第一终端接口97接收通知信号时，处理器91从ACT21前进到ACT22。作为ACT22，处理器91确认是否已接收同意通知信号。在通知信号不是同意通知信号的情况下，处理器91从ACT22前进到ACT23。作为ACT23，处理器91确认是否已接收不同意通知信号。在通知信号不是不同意通知信号的情况下，处理器91从ACT23前进到ACT24。作为ACT24，处理器91确认是否已接收利用结束通知信号。

来自自助POS终端10的通知信号不限于上述的同意通知信号、不同意通知信号及利用结束通知信号这三种。在接收了除这三种之外的通知信号的情况下，处理器91执行与该通知信号对应的其他的处理。省略关于其他的处理的详细的说明。

在从自助POS终端10已接收同意通知信号的情况下，处理器91从ACT22前进到ACT25。作为ACT25，处理器91取得通过时钟94计时的当前的日期时间。此后，作为ACT26，处理器91将该日期时间作为剪切开始日期时间。此外，作为ACT27，处理器91使同意标记为“1”。当以上的处理结束时，处理器91返回到ACT21，等待接受下一个通知信号的接收。

在从自助POS终端10已接收不同意通知信号的情况下，处理器91从ACT23前进到ACT28。作为ACT28，处理器91取得通过时钟94计时的当前的日期时间。此后，作为ACT29，处理器91将该日期时间作为剪切开始日期时间。此外，作为ACT30，处理器91使同意标记为“0”。当以上的处理结束时，处理器91返回到ACT21，等待接受下一个通知信号的接收。

在从自助POS终端10接收了利用结束通知信号的情况下，处理器91从ACT24前进到ACT31。作为ACT31，处理器91取得通过时钟94计时的当前的日期时间。此后，作为ACT32，处理器91将该日期时间作为剪切结束日期时间。

作为ACT33，处理器91调查同意标记。在同意标记被设定为“1”的情况下，即、在接收了同意通知信号的情况下，处理器91从ACT33前进到ACT34。作为ACT34，处理器91使学习标记为“1”。在同意标记被设定为“0”的情况下，即、在接收了不同意通知信号的情况下，处理器91从ACT33前进到ACT35。作为ACT35，处理器91使学习标记为“0”。

当结束ACT34或ACT35的处理时，处理器71前进到ACT36。作为ACT36，处理器91保存剪切数据831。即、处理器71根据在ACT26或ACT29的处理中得到的剪切开始日期时间、在ACT32的处理中得到的剪切结束日期时间、在ACT27或ACT30的处理中得到的同意标记、在ACT34或ACT35的处理中得到的学习标记来制作剪切数据831。此后，处理器91在剪切信息文件83中保存剪切数据831。此后，处理器91返回到ACT21，等待接受下一个通知信号的接收。

这样，如作为ACT25及ACT26的处理已说明的那样，处理器91具有第一日期时间取得部911。另外，如作为ACT31及ACT32的处理已说明的那样，处理器91具有第二日期时间取得部912。并且，如作为ACT36的处理已说明的那样，处理器91具有记录部913。

即、处理器91在监视对象的自助POS终端10中购买者触摸作为结算开始画面发挥功能的同意确认画面SCa的“同意”按键BTa，同意将摄像头50的影像利用于本来的目的以外的目的的情况下，将该时间点的日期时间取得为开始日期时间。另外，处理器91在自助POS终端10中，当该购买者结束要购买商品的结账时将该时间点的日期时间取得为剪切结束日期时间。此后，处理器91将包含该剪切开始日期时间及剪切结束日期时间的剪切数据831保存于剪切信息文件83中。此时的剪切数据831所包含的同意标记为表示同意的值“1”。另外，学习标记为表示使用于学习的值“1”。

另一方面，在监视对象的自助POS终端10中，购买者触摸作为结算开始画面发挥功能的同意确认画面SCa的“不同意”按键BTb，不同意将摄像头50的影像利用于本来的目的以外的目的的情况下，处理器91也将该时间点的日期时间取得为剪切开始日期时间。另外，在自助POS终端10中，当该购买者结束要购买商品的结账时，处理器91将该时间点的日期时间取得为剪切结束日期时间。此后，处理器91将包含该剪切开始日期时间及剪切结束日期时间的剪切数据831保存于剪切信息文件83中。但是，此时的剪切数据831所包含的同意标记为表示不同意的值“0”。另外，学习标记为表示不使用于学习的值“0”。

(动作二)

监视装置60设定机器学习模型82的学习日程。设定在例如每日的上午6：00时学习机器学习模型82的日程。关于该日程的数据存储在例如辅助存储设备93中。在关于日程的数据中也设定学习期间。例如，如上述的例子那样，在每日学习机器学习模型82的情况下，学习期间只要为过去24小时即可。或者，学习期间也可以设定为不正当行为易发生的时间段、例如收银台拥挤的时间段15：00至18：00等。通过缩短学习期间来减轻学习所需要的装置的负荷。另一方面，如果学习期间较短，则机器学习模型82的精度不能提高。综上所述，怎样设定学习期间是任意的。

作为ACT41，处理器91等待接受通过时钟94计时的当前的日期时间变为学习日程的开始日期时间。如果当前的日期时间变为开始日期时间，则处理器91从ACT41前进到ACT42。作为ACT42，处理器91确定学习期间。如上所述，因为学习期间作为与日程相关的数据被设定，所以处理器91将该设定的期间确定为学习期间。

如果确定了学习期间，则处理器91前进到ACT43。作为ACT43，处理器91检索剪切信息文件83。例如，处理器91从剪切信息文件83按剪切开始日期时间从先到后的顺序检索剪切数据831。

作为ACT44，处理器91确认所检索的剪切数据831的学习标记是否是“1”。在学习标记不是“1”，也就是为“0”的情况下，处理器91从ACT44前进到ACT50。作为ACT50，处理器91确认剪切信息文件83的检索是否结束。在没有结束剪切信息文件83的检索的情况下，处理器91返回到ACT43。处理器91继续剪切信息文件83的检索。

另一方面，在检索出的剪切数据831的学习标记是“1”的情况下，处理器91从ACT44前进到ACT45。作为ACT45，处理器91确认该剪切数据的剪切开始日期时间或剪切结束日期时间的日期是否在学习期间内。在剪切开始日期时间或剪切结束日期时间的日期不在学习期间内的情况下，处理器91从ACT45前进到ACT50。即、处理器91确认剪切信息文件83的检索是否结束。在没有结束剪切信息文件83的检索的情况下，处理器91继续剪切信息文件83的检索。

在剪切开始日期时间或剪切结束日期时间的日期在学习期间内的情况下，处理器91从ACT45前进到ACT46。作为ACT46，处理器91将剪切数据831的学习标记从“1”改写为“0”。另外，作为ACT47，处理器91取得剪切数据831的剪切开始日期时间和剪切结束日期时间。此后，作为ACT48，处理器91从影像文件81剪切出从剪切开始日期时间到剪切结束日期时间的时间内通过摄像头50拍摄的影像。作为ACT49，处理器91将从影像文件81剪切出的影像作为机器学习模型82的学习数据进行存储。此后，处理器91前进到ACT50。即、处理器91确认剪切信息文件83的检索是否结束。在剪切信息文件83的检索没有结束的情况下，处理器91继续剪切信息文件83的检索。

处理器91当结束剪切信息文件83的检索时，从ACT50前进到ACT51。作为ACT51，处理器91确认是否存储有学习数据。在没有存储有学习数据的情况下，处理器91结束图9的流程图所示的顺序的信息处理。

在存储有学习数据的情况下，处理器91从ACT51前进到ACT52。作为ACT52，处理器91利用该学习数据执行机器学习模型82的学习。至此，处理器91结束图9的流程图所示的顺序的信息处理。

这样，如果当前的日期时间变为学习日程的开始日期时间，则处理器91从剪切信息文件83检测出学习标记为“1”的剪切数据831。学习标记为“1”的剪切数据831是，同意标记为“1”，即、是在与在同意确认画面SCa中触摸了“同意”按键BTa的购买者的交易中所生成的剪切数据、且是没有使用于机器学习模型82的学习的剪切数据。处理器91进一步检测出在学习标记为“1”的剪切数据831中的、剪切开始日期时间或剪切结束日期时间的日期包含于学习期间的剪切数据831。此后，处理器91利用在从该剪切数据831的剪切开始日期时间到剪切结束日期时间的时间内以摄像头50拍摄的影像进行机器学习模型82的学习。此影像是拍摄有同意将摄像头50的影像利用于本来的目的以外的目的的购买者的影像。

另一方面，处理器91不会从剪切信息文件83检测出同意标记为“0”的剪切数据831。因此，拍摄有不同意将摄像头50的影像利用于本来的目的以外的目的的购物者的影像不被利用于机器学习模型82的学习。

此外，关于机器学习模型82的学习算法，利用公知的算法。因此，在此省略详细的说明。

[结账系统的作用效果]

如以上详述的那样，根据本实施例，能够不经由店铺的工作人员就能向在自助POS终端10自助进行购买商品的登记的购买者征得关于将拍摄有该购买者的影像利用于本来的目的以外的目的的同意。并且，能够在购买者开始购买商品的登记之前征得同意。因此，能够防止由于在购买商品的登记之后征得同意而产生的与购买者的纠纷于未然。

此外，学习部67通过使用大量的学习数据执行，从而机器学习模型82的精度得到提高。因此，可以在开始购买商品的登记之前不对所有的购买者确认同意或不同意，而是针对进行大量的购买商品的登记的购买者确认同意或不同意。如果向所有的顾客确认同意或不同意，则结账所涉及的时间变长。为了防止结账的购买者滞留，优选选择显示同意确认画面的购买者。具体地，利用载置登记前的购买商品的第一商品载置台102的秤。自助POS终端10存储第一商品载置台102的秤的计量值的阈值。使阈值为例如两公斤。比较登记前的要购买商品载置于第一商品载置台102时的、第一商品载置台102的秤的计量值和规定的阈值，判断计量值是否超过阈值(商品重量判断部)。在超过的情况下，允许显示同意确认画面，在没有超过的情况下，禁止显示同意确认画面。也就是说，设置控制部，在计量值超过阈值的情况下，执行确认部，在计量值没有超过阈值的情况下，禁止确认部的执行。据此，能够防止使在自助POS终端10进行购买商品的登记的购买者滞留，同时能够征得到同意。

另一方面，在监视装置60中，将通过自助POS终端10接收到意为同意的选择输入的时间点的日期时间作为以摄像头50拍摄的影像的剪切开始日期时间，将商品的结账结束的时间点的日期时间作为同一影像的剪切结束日期时间。如上所述，通过自助POS终端10接受同意的时机是购买者开始要购买商品的登记之前。因此，从剪切开始时刻到剪切结束时刻的期间包含购买者开始购买商品的登记后到结束结账的期间，因此，能够将已征得到同意的购买者的对于自助POS终端10的从最开始到最后的操作所涉及的影像使用于机器学习模型82的学习。

＜第二实施例＞

接着，使用图11至图15，关于第二实施例进行说明。

第二实施例也是适用于图1所示的结账系统100的情况。以下，将关于与第一实施例不同的部分进行说明。关于与第一实施例共同的部分标注相同的符号并省略说明。

[结账系统的说明]

在第二实施例中，监视装置60能够访问服务器20。例如，监视装置60能够经由自助POS终端10访问POS服务器20。或者，监视装置60连接于通信网络40，能够不经由自助POS终端10就访问POS服务器20。

另外，在第二实施例中，会员数据库22所存储的会员记录221的数据构造与第一实施例不同。

图11是表示会员记录221的数据结构的示意图。如图11所示，会员记录221不仅包含会员码及会员信息，还包含会员同意标记和不需要确认标记。会员同意标记是用于识别以会员码识别的会员是否同意将摄像头50的影像利用于本来的目的以外的目的的一位数据。在本实施例中，将已同意的会员的会员同意标记为“1”，将不同意的会员的会员同意标记为“0”。不需要确认标记是用于识别是否是不需要确认是否同意将照相机50的影像利用于本来的目的以外的目的的会员的一位数据。在本实施例中，将不需要确认的会员的不需要确认标记为“1”，将需要确认的会员的不需要确认标记为“0”。

[结账系统的动作说明]

图12及图13是表示自助POS终端10的处理器71依照第一程序执行的信息处理的顺序中的、与第一实施例不同的顺序的流程图。图14是表示监视装置60的处理器91依照第二程序执行的信息处理的顺序中的、与第一实施例不同的顺序的流程图。图15是表示自助POS终端10的触摸面板11所显示的会员用同意确认画面SCb的示意图。接着，使用各图，关于构成结账系统100的自助POS终端10及监视装置60的与第一实施例不同的动作进行说明。此外，以下说明的信息处理的顺序及内容是一例。只要能起到同样的作用效果，其顺序及内容能够适当变更。另外，会员用同意确认画面SCb也是一例。当然，能够将显示要素的配置或文本的内容等适当变更。

(自助POS终端的动作)

在自助POS终端10处于没有接收购买者的操作的空闲状态时，作为ACT61，处理器71经由设备接口771使触摸面板11显示结算开始画面。在结算开始画面中配置“开始”按键的软键。这样，在处于空闲状态时，在第一实施例中，虽然替代结算开始画面显示同意确认画面SCa，但在第二实施例中显示现有的结算开始画面。

因此，在卖场，将购买商品装入购物篮等或堆放于购物车，并移动到结账场所，站立于空闲的自助POS终端10的正面的购买者首先确认结算开始画面。在自助POS终端10登记购买商品的购买者触摸“开始”按键。

使结算开始画面显示的处理器71，作为ACT62，等待接受“开始”按键被触摸。当经由设备接口771输入“开始”按键被触摸时的信号时，处理器71从ACT62前进到ACT63。作为ACT63，处理器71经由设备接口771使触摸面板11显示会员确认画面。会员确认画面与第一实施例相同。即、“会员”按键及“非会员”按键是第二控件。在购买者是会员的情况下，触摸“会员”按键。在购买者不是会员的情况下，触摸“非会员”按键。

使会员确认画面显示的处理器71，作为ACT64，等待接受“会员”按键被触摸或“非会员”按键被触摸。在经由设备接口771输入“非会员”按键被触摸时的信号的情况下，处理器71从ACT64前进到ACT65。作为ACT65，处理器71经由设备接口771使触摸面板11显示同意确认画面SCa。同意确认画面SCa与第一实施例相同。即、“同意”按键及“不同意”按键是第一控件。同意关于将摄像头50的影像利用于本来的目的以外的目的的购买者触摸“同意”按键。不同意的购买者触摸“不同意”按键。

使同意确认画面SCa显示的处理器71，作为ACT66，等待接受“同意”按键BTa被触摸或“不同意”按键BTb被触摸。在经由设备接口771输入“同意”按键BTa被触摸时的信号的情况下，处理器71从ACT66前进到ACT67。作为ACT67，处理器71经由第二通信接口76将同意通知信号发送给监视装置60。

在经由设备接口771输入“不同意”按键BTb被触摸时的信号时，处理器71从ACT66前进到ACT68。作为ACT68，处理器71经由第二通信接口76将不同意通知信号发送给监视装置60。

在ACT67或ACT68中已发送同意通知信号或不同意通知信号的处理器71前进到ACT69。作为ACT69，处理器71经由设备接口771使触摸面板11显示商品登记画面。商品登记画面与第一实施例相同。此后，使该商品登记画面显示后的处理器71的信息处理也与第一实施例相同。因此，将图7的ACT9至ACT15的处理直接应用于第二实施例，省略其说明。

另一方面，在会员确认画面中“会员”按键被触摸的情况下，即、经由设备接口771输入“会员”按键被触摸后的信号的情况下，处理器71从ACT64前进到图13的ACT71。作为ACT71，处理器71经由设备接口772从卡读取器12读取会员卡的数据。此后，处理器71从该会员卡的数据检测出会员码。或者，处理器71经由设备接口774或设备接口775取得以扫描仪14或手持扫描仪15读取的条形码或二维码的数据。此后，处理器71从该条形码或二维码的数据检测出会员码。

这样一来，已取得会员码的处理器71前进到ACT72。作为ACT72，处理器71访问POS服务器20并问询会员码。根据该问询，POS服务器20检索会员数据库22。此后，在检测得到包含该会员码的会员记录221的情况下，POS服务器20将包含该会员记录221的数据的肯定响应信号发送给自助POS终端10。在没有检测得到包含该会员码的会员记录221的情况下，POS服务器20将否定响应信号发送给自助POS终端10。

作为ACT73，处理器71确认来自POS服务器20的响应信号。在接收到否定响应信号的情况下，处理器71前进到图12的ACT65。即、处理器71使触摸面板11显示同意确认画面SCa。之后，处理器71与上述同样地执行ACT65以后的处理。

与此相对，在已接收到肯定响应信号的情况下，作为ACT74，处理器71调查该肯定响应信号所包含的会员数据的不需要确认标记。在不需要确认标记是表示需要确认的会员的值、即“0”的情况下，处理器71从ACT74前进到ACT75。作为ACT75，处理器71经由设备接口771使触摸面板11显示会员用同意确认画面SCb。

如图15所示，在会员用同意确认画面SCb中显示用于征得购买者同意将拍摄有该购买者的摄像头50的影像利用于本来的目的以外的目的的第一文本TXa和第二文本TXb。另外，配置有[同意]按键BTa及[不同意]按键BTb的软键。[同意]按键BTa及[不同意]按键BTb是接收同意或不同意的选择输入的第一控件。并且，在保存[同意]按键BTa及[不同意]按键BTb的选择结果的情况下，配置用于勾选的复选框CB。复选框CB是指示保存同意或不同意的选择输入的结果的第三控件。第二文本TXb在会员记录221的会员同意标记是表示同意的值“1”的情况下，例如为“上次得到了您的同意”(表示同意的消息)的内容。在会员同意标记不是表示同意的值“1”的情况下，第二文本TXb例如为“希望得到您的同意”(催促同意的消息)的内容。另外，也可以显示“上次没有得到您的同意”(表示是不同意的消息)。第二文本TXb也可以省略。购买者上次购物时所选择的同意或不同意的选择结果被存储于POS服务器20的会员数据库22的会员记录221中。自助POS终端10取得上次的选择结果(选择结果取得部)，在上次的选择结果是同意的情况下，显示表示上次同意的消息。在上次的选择结果是不同意的情况下，显示催促同意的消息。或者显示表示上次不同意的消息。根据上次的选择结果能够变更消息。

已确认会员用同意确认画面SCb的购买者在同意将以摄像头50的影像利用于本来的目的以外的目的的情况下，触摸“同意”按键BTa。在不同意的情况下，购买者触摸“不同意”按键BTb。另外，在保存此次的选择结果的情况下，购买者勾选复选框CB。

使会员用同意确认画面SCb显示的处理器71，作为ACT76，等待接受“同意”按键BTa被触摸或“不同意”按键BTb被触摸。在经由设备接口771输入“同意”按键BTa被触摸时的信号的情况下，处理器71从ACT76前进到ACT77。作为ACT76，处理器71经由第二通信接口76向监视装置60发送会员同意通知信号。在会员同意通知信号中包含会员码。

在经由设备接口771输入“不同意”按键BTb被触摸时的信号的情况下，处理器71从ACT76前进到ACT78。作为ACT78，处理器71经由第二通信接口78向监视装置60发送会员不同意通知信号。会员不同意通知信号中也包含会员码。

在ACT77或ACT78中已发送会员同意通知信号或会员不同意通知信号的处理器71前进到ACT79。作为ACT79，处理器71确认是否勾选了复选框CB。在勾选了复选框CB的情况下，处理器71从ACT79前进到ACT80。作为ACT80，处理器71经由第二通信接口76将不需要确认通知信号发送给监视装置60。在没有勾选复选框CB的情况下，处理器71跳过ACT80的处理。在不需要确认通知信号中也包含会员码。

执行或跳过ACT80的处理的处理器71前进到图12的ACT69。即、处理器71使触摸面板11显示商品登记画面。之后，处理器71与上述同样地执行ACT69以后的处理。

另一方面，在肯定响应信号所包含的会员数据的不需要确认标记是表示是不需要确认的会员的值、即、“1”的情况下，处理器71从ACT74前进到ACT81。作为ACT81，处理器71取得肯定响应信号所包含的会员数据的会员同意标记。作为ACT82，处理器71确认会员同意标记是否是“1”。在会员同意标记为“1”的情况下，处理器71从ACT82前进到ACT83。作为ACT83，处理器71经由第二通信接口76将会员同意通知信号发送给监视装置60。

在会员同意标记是“0”的情况下，处理器71从ACT82前进到ACT84。作为ACT84，处理器71经由第二通信接口76将会员不同意通知信号发送给监视装置60。

在ACT83或ACT84中已发送会员同意通知信号或会员不同意通知信号的处理器71前进到图12的ACT69。即、处理器71使触摸面板11显示商品登记画面。此后，处理器71与上述相同地执行ACT69以后的处理。

(监视装置的动作)

如上所述，从自助POS终端10发送到监视装置60的通知信号的类别，除包含第一实施例的同意通知信号、不同意通知信号、利用结束通知信号之外，还包含会员同意通知信号、会员不同意通知信号及不需要确认通知信号。

作为图14的ACT91，监视装置60的处理器91等待从自助POS终端10接受通知信号。当经由第一终端接口97接收通知信号时，处理器91从ACT91前进到ACT92。作为ACT92，处理器91确认是否接收了会员同意通知信号。在通知信号不是会员同意通知信号的情况下，处理器91从ACT92前进到ACT93。作为ACT93，处理器91确认是否接收了会员不同意通知信号。在通知信号不是会员不同意通知信号的情况下，处理器91从ACT93前进到ACT94。作为ACT94，处理器91确认是否接收了不需要确认通知信号。

在通知信号不是不需要确认通知信号的情况下，处理器91执行其他的处理。例如，通知信号是同意通知信号、不同意通知信号或利用结束通知信号的情况下，处理器91执行与第一实施例中说明的ACT25至ACT36的处理相同的处理。

在通知信号是会员同意通知信号的情况下，处理器91从ACT92前进到ACT95。作为ACT95，处理器91取得通过时钟94计时的当前的日期时间。此后，作为ACT96，处理器91使其日期时间为剪切开始日期时间。另外，作为ACT97，处理器91使同意标记为“1”。

接着，作为ACT98，处理器91从会员同意通知信号取得会员码。此后，作为ACT99，处理器91访问POS服务器20，并指示使包含该会员码的会员记录221的会员同意标记为表示同意的值“1”。接受此指示后，POS服务器20使在会员数据库22所保存的会员记录221中的、包含该会员码的会员记录221的会员同意标记为“1”。当上述的处理结束时，处理器91返回到ACT91，等待接受下一个通知信号的接收。

在通知信号是会员不同意通知信号的情况下，处理器91从ACT93前进到ACT100。作为ACT100，处理器91取得通过时钟94计时的当前的日期时间。此后，作为ACT101，处理器91将该日期时间作为剪切开始日期时间。另外，作为ACT102，处理器91使同意标记为“0”。

接着，作为ACT103，处理器91从会员不同意通知信号取得会员码。此后，作为ACT104，处理器91访问POS服务器20，并指示使包含该会员码的会员记录221的会员同意标记为表示不同意的值“0”。接受此指示，POS服务器20使会员数据库22所保存的会员记录221中的、包含该会员码的会员记录221的会员同意标记为“0”。在结束以上的处理时，处理器91返回到ACT91，等待接受下一个通知信号的接收。

在通知信号是不需要确认通知信号的情况下，处理器91从ACT94前进到ACT105。作为ACT105，处理器91访问POS服务器20，并指示使包含该会员码的会员记录221的不需要确认标记为表示不需要确认的会员的值“1”。接受此指示，POS服务器20使会员数据库22所保存的会员记录221中的、包含该会员码的会员记录221的不需要确认标记为“1”。在结束以上的处理时，处理器91返回到ACT91，等待接受下一个通知信号的接收。

这样，在第二实施例中，不需要确认标记为“0”，即、是需要确认是否同意的会员的购买者触摸自助POS终端10的结算开始画面的“开始”按键，接着触摸会员确认画面的“会员”按键时，显示会员用同意确认画面SCb。在此，购买者例如触摸“不同意”按键BTb，并勾选复选框CB时，在监视装置60中当前的日期时间为利用开始日期时间，同意标记为“0”。另外，在POS服务器20中，会员数据库22中的包含该会员的会员码的会员记录221的会员同意标记为“0”。另外，不需要确认标记为“1”。此后，当购买者的结账结束并从自助POS终端10向监视装置60输出利用结束通知信号时，当前的日期时间为利用结束日期时间。另外，因为同意标记为“0”，所以学习标记为“0”。因此，拍摄有购买者的影像不被利用于机器学习模型的学习。

此后，购买者再次触摸自助POS终端10的结算开始画面的“开始”按键，接着触摸会员确认画面的“会员”按键时，会员用同意确认画面SCb不显示。在触摸面板11中显示商品登记画面。另外，监视装置60的同意标记为“0”。因此，拍摄有购买者的影像不被利用于机器学习模型的学习。

这样，作为会员的购买者通过触摸会员用同意确认画面SCb的“不同意”按键，并勾选复选框CB，从而下次及以后不需要对于会员用同意确认画面SCb的操作。然后，拍摄有购买者的图像不被利用于机器学习模型的学习。

另一方面，当已确认会员用同意确认画面SCb的购买者触摸例如“同意”按键BTa，并且勾选复选框CB时，在监视装置60中，当前的日期时间变为利用开始日期时间，同意标记为“1”。另外，在POS服务器20中，会员数据库22中的包含该会员的会员码的会员记录221的会员同意标记为“1”。另外，不需要确认标记也为“1”。此后，当购买者的结账结束并从自助POS终端10向监视装置60输出利用结束通知信号时，当前的日期时间为利用结束日期时间。另外，因为同意标记为“1”，所以学习标记为“1”。因此，拍摄有购买者的影像被利用于机器学习模型的学习中。

在此之后，当购买者再次触摸自助POS终端10的结算开始画面的“开始”按键，接着触摸会员确认画面的“会员”按键时，不显示会员用同意确认画面SCb。在触摸面板11中显示商品登记画面。另外，监视装置60的同意标记为“1”。因此，拍摄有购买者的影像被利用于机器学习模型的学习。

这样，作为会员的购买者通过触摸会员用同意确认画面SCb的“同意”按键，并勾选复选框CB，从而在下次及以后不需要对于会员用同意确认画面SCb进行操作。然后，拍摄有购买者的图像被利用于机器学习模型的学习。

[其他的实施例]

在上述实施例中，每个自助POS终端10包括摄像头50和监视装置60。作为其他的实施例，例如，也可以对于邻接的两台的自助POS终端10设定共用的摄像头50和监视装置60。或者，也可以对于多台摄像头50连接一台监视装置60，并以一台监视装置60监视对于两台以上的自助POS终端10的购买者的不正当行为。

在上述实施例中，在从自助POS终端10接收了不同意通知信号的情况下，处理器91执行ACT28至ACT30的处理。作为其他的实施例，也可以省略ACT28及ACT29的处理，从ACT23前进到ACT30，并使同意标记仅为“1”。在此情况下，在ACT36中，保存的剪切数据831为没有设定剪切开始日期时间的数据。如果进一步说，没有设定剪切开始日期时间的剪切数据831也可以不保存于剪切信息文件83。通过这样做，有节省剪切信息文件83的存储容量的优点。

另外，虽然说明了本发明的几个实施例，但上述这些实施例是作为例子提出的，并不意图限定发明的范围。上述这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换及变更。这些实施例及其变形均被包含在发明的范围中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

Claims (10)

1.一种商品登记装置，其特征在于，包括：

输入设备，能够由顾客自己进行操作；

显示设备，向操作所述输入设备的购买者显示信息；

登记部，基于经由所述输入设备输入的商品所涉及的数据来登记处理购买者要购买的商品的信息；以及

确认部，将用于征得购买者同意将拍摄有操作所述输入设备的该购买者的摄像头的影像利用于本来的目的以外的目的的同意确认画面在该购买者要购买的商品所涉及的数据从所述输入设备被输入之前显示于所述显示设备，并确认同意或不同意。

2.根据权利要求1所述的商品登记装置，其中，

所述同意确认画面是配置有接受同意或不同意的选择输入的第一控件的画面，

将已通过所述第一控件接受了同意或不同意的选择输入的情况处理为购买者的操作开始宣告。

3.根据权利要求1所述的商品登记装置，其中，

所述同意确认画面是在通过以配置有接受会员或非会员的选择输入的第二控件的会员确认画面的所述第二控件接受会员或非会员的选择输入，并在所述会员被选择输入的情况下，在输入识别该会员的信息后显示的画面。

4.根据权利要求3所述的商品登记装置，其中，

通过所述会员确认画面的第二控件选择输入了会员后所显示的所述同意确认画面是配置有接受同意或不同意的选择输入的第一控件的同时，还配置有指示保存该选择结果的第三控件的画面，在通过所述第三控件已指示保存选择结果的情况下，与在此之前输入的识别所述会员的信息相关联保存通过所述第一控件接受的选择输入的结果，

在与通过所述会员确认画面的所述第二控件接受会员的选择输入之后输入的识别所述会员的信息相关联而保存有通过所述第一控件接受的选择输入的结果的情况下，取消所述同意确认画面的显示。

5.根据权利要求1所述的商品登记装置，其中，

利用所述摄像头的影像的本来的目的是发现不正当行为，本来的目的以外的利用是用于提高机器学习模型的精度的利用。

6.根据权利要求3所述的商品登记装置，其中，还包括：

选择结果取得部，从服务器取得在上次购物时会员所选择的同意或不同意的选择结果，其中，所述同意确认画面显示与上次的选择结果对应的消息。

7.根据权利要求6所述的商品登记装置，其中，

所述同意确认画面在所述选择结果取得部所取得的上次的选择结果是同意的情况下，显示表示上次已同意的消息，在上次的选择结果是不同意的情况下，显示催促同意的消息。

8.根据权利要求1所述的商品登记装置，其中，还包括：

商品载置台，载置登记前的购买商品，其中，该商品载置台具有秤；以及

控制部，比较登记前要购买商品被载置于所述商品载置台时的、所述秤的计量值和规定的阈值，在计量值超过阈值的情况下，执行所述确认部，在计量值没有超过阈值的情况下，禁止所述确认部的执行。

9.一种监视装置，是根据权利要求1至8中任一项所述的商品登记装置的监视装置，其特征在于，包括：

第一日期时间取得部，取得在所述商品登记装置中通过所述确认部已接受意为同意的选择输入的时间点的日期时间；

第二日期时间取得部，取得在所述商品登记装置中通过所述登记部已登记的商品的结账结束的时间点的日期时间；以及

记录部，将所述第一日期时间取得部取得的日期时间作为通过所述摄像头拍摄的影像的剪切开始日期时间、将通过所述第二日期时间取得部取得的日期时间作为通过所述摄像头拍摄的影像的剪切结束日期时间进行记录。

10.一种存储介质，存储用于使包括能够由购买者自己操作的输入设备和向操作所述输入设备的购买者显示信息的显示设备的商品登记装置的计算机作为以下各部发挥功能的程序：

登记部，基于经由所述输入设备输入的商品所涉及的数据来登记处理购买者要购买的商品的信息；以及

确认部，将用于征得购买者同意将拍摄有操作所述输入设备的该购买者的摄像头的影像利用于本来的目的以外的目的的同意确认画面在该购买者要购买的商品所涉及的数据从所述输入设备被输入之前显示于所述显示设备，并确认同意或不同意。