CN111161743B - 基于语音识别的收银监督方法及系统 - Google Patents

Abstract

本发明提供了一种基于语音识别的收银监督方法及系统，该方法包括：采集收银操作过程中收银员与顾客的对话语音信息；根据声纹特征识别所述对话语音信息中所述收银员的语音；当所述收银员的语音中出现预设的特定词汇时，启动摄像设备采集所述收银操作的视频信息；根据所述视频信息判定所述收银操作是否违反操作规范。在本发明中，通过对收银操作对话中出现的特定词汇的语音识别，启动摄像头进行视频取证，并根据视频信息及进账情况，判定该收银操作是否有异常，从而提高了收银监管效率，保证了店铺资金的安全。

Description

基于语音识别的收银监督方法及系统

技术领域

本发明涉及语音识别领域，具体而言，涉及一种基于语音识别的收银监督方法及系统。

背景技术

收银员将公司的货款收取回笼汇总，并将销售数据正确输入收银机，将正确销售信息提供给公司的专职人员，(即在什么时间销售了哪些商品，卖了多少，付款方式等)公司根据这些信息对商品的种类、数量、价格、付款方式等进行数据归纳和分析，是整个公司信息网络的重要组成部分。

在线下门店中，有些收银员趁职务之便，借助收银的过程中饱私囊，私自套现。比如：不经公司财务系统打单，直接收取现金款或通过给人二维码进行收款，将货款收为己用；利用代金券、团购等与直接支付的差价，进行套现。

现有技术方案，通常采用视频监控系统，全天候的拍摄收银员的在岗图像信息，并通过重播视频画面或专人实时查看监控画面，了解收银员的在岗工作情况。

但是，现有的这种方式，重播视频画面或专人实时查看监控画面需要耗费较大的人力成本，且大量的视频画面需要较大的存储空间。其次，通过更换二维码、私自更改付款方式很难通过视频监控发现，监管效率不高。

发明内容

本发明实施例提供了一种基于语音识别的收银监督方法及系统，以至少解决相关技术中通过视频监控收银员的收银操作，导致监管效率不高的问题。

根据本发明的一个实施例，提供了一种基于语音识别的收银监督方法，包括：采集收银操作过程中收银员与顾客的对话语音信息；根据声纹特征识别所述对话语音信息中所述收银员的语音；当所述收银员的语音中出现预设的特定词汇时，启动摄像设备采集所述收银操作的视频信息；根据所述视频信息判定所述收银操作是否违反操作规范。

可选地，根据声纹特征识别所述对话语音信息中所述收银员的语音包括：提取所述对话语音信息中各说话人的声纹特征；将提取的所述声纹特征与预先构建的收银员的个体声纹模型相匹配，以识别出所述对话语音信息中所述收银员的语音。

可选地，当所述收银员的语音中出现预设的特定词汇时，启动摄像设备采集所述收银操作的视频信息包括：当所述语音中出现预设的特定词汇时，启动所述摄像设备录制指定时长的收银操作视频信息，并记录所述特定词汇出现时间，其中，所述特定词汇至少包括以下之一：“扫我的码”、“现金”、“更换支付方式”。

可选地，根据所述视频信息判定所述收银操作是否违反操作规范，包括以下至少之一：当出现“现金”特定词汇时，分析所述视频信息中收银员是否打开收银台，若没有打开，则判定该收银操作违反操作规范；当出现“扫我的码”特定词汇时，分析所述视频信息中是否出现收银员拿出手机的动作，如果有，则判定该收银操作违反操作规范；当出现“更换支付方式”特定词汇时，根据该特定词汇出现时间，确定在预设时间内指定账户中是否有资金进账，如果没有，则判定该该收银操作违反操作规范。

根据本发明的另一个实施例，提供了一种基于语音识别的收银监督系统，包括：语音采集模块，用于采集收银操作过程中收银员与顾客的对话语音信息；声纹识别模块，用于根据声纹特征识别所述对话语音信息中所述收银员的语音；视频采集模块，用于在所述收银员的语音中出现预设的特定词汇的情况下，采集所述收银操作的视频信息；判定模块，用于根据所述视频信息判定所述收银操作是否违反操作规范。

可选地，所述声纹识别模块包括：提取单元，用于提取所述对话语音信息中各说话人的声纹特征；匹配单元，用于将提取的所述声纹特征与预先构建的收银员的个体声纹模型相匹配，以识别出所述对话语音信息中所述收银员的语音。

可选地，所述视频采集模块包括：视频采集单元，用于当所述语音中出现预设的特定词汇时，启动所述摄像设备录制指定时长的收银操作视频信息，并记录所述特定词汇出现时间，其中，所述特定词汇至少包括以下之一：“扫我的码”、“现金”、“更换支付方式”。

可选地，所述判定模块包括以下至少之一：第一判定单元，用于在出现“现金”特定词汇的情况下，分析所述视频信息中收银员是否打开收银台，若没有打开，则判定该收银操作违反操作规范；第二判定单元，用于在出现“扫我的码”特定词汇的情况下，分析所述视频信息中是否出现收银员拿出手机的动作，如果有，则判定该收银操作违反操作规范；第三判定单元，用于在出现“更换支付方式”特定词汇的情况下，根据该特定词汇出现时间，确定在预设时间内指定账户中是否有资金进账，如果没有，则判定该该收银操作违反操作规范。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

在本发明的上述实施例中，通过对收银操作对话中出现的特定词汇的语音识别，启动摄像头进行视频取证，并根据视频信息及进账情况，判定该收银操作是否有异常，从而提高了收银监管效率，保证了店铺资金的安全。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的基于语音识别的收银监督方法流程图；

图2是根据本发明实施例的收银监督方法的流程图；

图3是根据本发明实施例的基于语音识别的收银监督系统结构示意图；

图4是根据本发明可选实施例的收银监督系统结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本实施例中提供了一种基于语音识别的收银监督方法，图1是根据本发明实施例的方法流程图，如图1所示，该流程包括如下步骤：

步骤S102，采集收银操作过程中收银员与顾客的对话语音信息；

步骤S104，根据声纹特征识别所述对话语音信息中所述收银员的语音；

步骤S106，当所述收银员的语音中出现预设的特定词汇时，启动摄像设备采集所述收银操作的视频信息；

步骤S108，根据所述视频信息判定所述收银操作是否违反操作规范。

在本实施例的步骤S104中，提取所述对话语音信息中各说话人的声纹特征；将提取的所述声纹特征与预先构建的收银员的个体声纹模型相匹配，以识别出所述对话语音信息中所述收银员的语音。

在本实施例的步骤S106中，当所述语音中出现预设的特定词汇时，启动所述摄像设备录制指定时长的收银操作视频信息，并记录所述特定词汇出现时间，其中，所述特定词汇至少包括以下之一：“扫我的码”、“现金”、“更换支付方式”。

在本实施例的步骤S108中，当出现“现金”特定词汇时，分析所述视频信息中收银员是否打开收银台，若没有打开，则判定该收银操作违反操作规范；当出现“扫我的码”特定词汇时，分析所述视频信息中是否出现收银员拿出手机的动作，如果有，则判定该收银操作违反操作规范；当出现“更换支付方式”特定词汇时，根据该特定词汇出现时间，确定在预设时间内指定账户中是否有资金进账，如果没有，则判定该该收银操作违反操作规范。

为了便于对本发明所提供的技术方案的理解，下面将结合具体场景的实施例进行详细描述。

本实施例提供了一种基于语音识别的收银监督方法，通过对收银员在岗时的语音信息，并结合收银情况进行分析，以判定收银员的收银操作是否异常。

如图2所示，本实施提供的基于语音识别的收银监督方法主要包括如下步骤：

步骤S201，在收银操作过程中发生对话时，采集对话语音信息；

步骤S202，对语音信息进行处理，提取语音信息中各说话人的声纹特征。

步骤S203，预先构建收银员的个体声纹模型；当语音信息中有声纹特征与预先存入声纹模型中的声纹特征相匹配，则分析该语音信息；

步骤S204，预先设置敏感词汇，比如“扫我的码”、“现金”、“更换支付方式”等；当语音识别到收银员说出敏感词汇后，启动摄像头的视频监控功能、录制指定时长的视频用于分析，并记录敏感词出现时间。

步骤S205，当出现“现金”关键词，分析视频中收银员是否打开收银台；若没有打开，则系统判定该交易出现问题，留取视频、音频证据。

步骤S206，当出现“扫我的码”关键词，分析视频中收银员是否出现拿出手机的动作；若有，则系统判定该交易出现问题，留取视频、音频证据。

步骤S207，当出现“更换支付方式”关键词，根据出现时间，预设时长阈值，根据店铺收款账号进账信息，识别指定时间段间是否有资金进账，若无，则系统判定该交易出现问题，留取视频、音频证据。

在本实施例中，通过对收银员敏感词的语音识别，指导摄像头进行录像取证，并根据视频信息及账号进账信息，识别收银员工作是否有异常，提高了监管效率，提高了店铺资金的安全度，减少了收银员中饱私囊事件发生的概率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种基于语音识别的收银监督系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”或“单元”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的基于语音识别的收银监督系统的结构框图，如图3所示，该系统包括语音采集模块10、声纹识别模块20、视频采集模块30和判定模块40。

语音采集模块10，用于采集收银操作过程中收银员与顾客的对话语音信息。

声纹识别模块20，用于根据声纹特征识别所述对话语音信息中所述收银员的语音。

视频采集模块30，用于在所述收银员的语音中出现预设的特定词汇的情况下，采集所述收银操作的视频信息。

判定模块40，用于根据所述视频信息判定所述收银操作是否违反操作规范。

图4是根据本发明实施例的基于区块链的公益交易系统的结构框图，如图4所示，该系统除包括图3所示的所有模块外，声纹识别模块20还包括：提取单元201，用于提取所述对话语音信息中各说话人的声纹特征；匹配单元202，用于将提取的所述声纹特征与预先构建的收银员的个体声纹模型相匹配，以识别出所述对话语音信息中所述收银员的语音。

在本实施例中，视频采集模块30还包括：视频采集单元301，用于当所述语音中出现预设的特定词汇时，启动所述摄像设备录制指定时长的收银操作视频信息，并记录所述特定词汇出现时间，其中，所述特定词汇至少包括以下之一：“扫我的码”、“现金”、“更换支付方式”。

在本实施例中，判定模块40包括以下至少之一：第一判定单元401，用于在出现“现金”特定词汇的情况下，分析所述视频信息中收银员是否打开收银台，若没有打开，则判定该收银操作违反操作规范；第二判定单元402，用于在出现“扫我的码”特定词汇的情况下，分析所述视频信息中是否出现收银员拿出手机的动作，如果有，则判定该收银操作违反操作规范；第三判定单元403，用于在出现“更换支付方式”特定词汇的情况下，根据该特定词汇出现时间，确定在预设时间内指定账户中是否有资金进账，如果没有，则判定该该收银操作违反操作规范。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，采集收银操作过程中收银员与顾客的对话语音信息；

S2，根据声纹特征识别所述对话语音信息中所述收银员的语音；

S3，当所述收银员的语音中出现预设的特定词汇时，启动摄像设备采集所述收银操作的视频信息；

S4，根据所述视频信息判定所述收银操作是否违反操作规范。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，采集收银操作过程中收银员与顾客的对话语音信息；

S2，根据声纹特征识别所述对话语音信息中所述收银员的语音；

S3，当所述收银员的语音中出现预设的特定词汇时，启动摄像设备采集所述收银操作的视频信息；

S4，根据所述视频信息判定所述收银操作是否违反操作规范。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于语音识别的收银监督方法，其特征在于，包括：

采集收银操作过程中收银员与顾客的对话语音信息；

根据声纹特征识别所述对话语音信息中所述收银员的语音；

当所述收银员的语音中出现预设的特定词汇时，启动摄像设备采集所述收银操作的视频信息；

根据所述视频信息判定所述收银操作是否违反操作规范。

2.根据权利要求1所述的方法，其特征在于，根据声纹特征识别所述对话语音信息中所述收银员的语音包括：

提取所述对话语音信息中各说话人的声纹特征；

将提取的所述声纹特征与预先构建的收银员的个体声纹模型相匹配，以识别出所述对话语音信息中所述收银员的语音。

3.根据权利要求1所述的方法，其特征在于，当所述收银员的语音中出现预设的特定词汇时，启动摄像设备采集所述收银操作的视频信息包括：

当所述语音中出现预设的特定词汇时，启动所述摄像设备录制指定时长的收银操作视频信息，并记录所述特定词汇出现时间，其中，所述特定词汇至少包括以下之一：“扫我的码”、“现金”、“更换支付方式”。

4.根据权利要求3所述的方法，其特征在于，根据所述视频信息判定所述收银操作是否违反操作规范，包括以下至少之一：

当出现“现金”特定词汇时，分析所述视频信息中收银员是否打开收银台，若没有打开，则判定该收银操作违反操作规范；

当出现“扫我的码”特定词汇时，分析所述视频信息中是否出现收银员拿出手机的动作，如果有，则判定该收银操作违反操作规范；

当出现“更换支付方式”特定词汇时，根据该特定词汇出现时间，确定在预设时间内指定账户中是否有资金进账，如果没有，则判定该收银操作违反操作规范。

5.一种基于语音识别的收银监督系统，其特征在于，包括：

语音采集模块，用于采集收银操作过程中收银员与顾客的对话语音信息；

声纹识别模块，用于根据声纹特征识别所述对话语音信息中所述收银员的语音；

视频采集模块，用于在所述收银员的语音中出现预设的特定词汇的情况下，采集所述收银操作的视频信息；

判定模块，用于根据所述视频信息判定所述收银操作是否违反操作规范。

6.根据权利要求5所述的系统，其特征在于，所述声纹识别模块包括：

提取单元，用于提取所述对话语音信息中各说话人的声纹特征；

匹配单元，用于将提取的所述声纹特征与预先构建的收银员的个体声纹模型相匹配，以识别出所述对话语音信息中所述收银员的语音。

7.根据权利要求5所述的系统，其特征在于，所述视频采集模块包括：

视频采集单元，用于当所述语音中出现预设的特定词汇时，启动摄像设备录制指定时长的收银操作视频信息，并记录所述特定词汇出现时间，其中，所述特定词汇至少包括以下之一：“扫我的码”、“现金”、“更换支付方式”。

8.根据权利要求7所述的系统，其特征在于，所述判定模块包括以下至少之一：

第一判定单元，用于在出现“现金”特定词汇的情况下，分析所述视频信息中收银员是否打开收银台，若没有打开，则判定该收银操作违反操作规范；

第二判定单元，用于在出现“扫我的码”特定词汇的情况下，分析所述视频信息中是否出现收银员拿出手机的动作，如果有，则判定该收银操作违反操作规范；

第三判定单元，用于在出现“更换支付方式”特定词汇的情况下，根据该特定词汇出现时间，确定在预设时间内指定账户中是否有资金进账，如果没有，则判定该收银操作违反操作规范。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。

Images