CN117808299A - 业务办理方法、装置、设备和介质 - Google Patents

Abstract

本公开提供了一种业务办理方法，可以应用于金融科技技术领域。该业务办理方法，包括：在取得用户授权的情况下，接收用户在业务办理过程中的第一识别信息和第二识别信息；基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验；基于所述第二识别信息，持续监控用户是否在业务办理过程中发生高风险行为；以及在所述身份校验不通过的情况下，或者在所述意愿校验不通过的情况下，或者所述高风险行为发生的情况下，生成告警指令。本公开还提供了一种业务办理装置、设备和介质。

Description

业务办理方法、装置、设备和介质

技术领域

本公开涉及金融科技技术领域，更具体地涉及一种业务办理方法、装置、设备和介质。

背景技术

随着5G、物联网以及机器学习等新技术的迅速发展，这些技术可大大提高各种行业、环境和应用数据分析的频率、灵活性和即时性，推动各行业的“数字化转型”。金融行业也一直持续关注和应用新技术进行创新，以往借助线下网点通过人工引导实现的服务办理，现可以通过各项终端设备并通过自助业务办理的流程实现办理，缺少专业客户服务人工干预的业务办理过程，并不能确保避免出现高危事件，因此，避免用户自助实现业务办理过程中发生高危事件的发生是十分必要的。

发明内容

鉴于上述问题，本公开提供了提高业务办理安全性的业务办理方法、装置、设备和介质。

根据本公开的第一个方面，提供了一种业务办理方法，包括：在取得用户授权的情况下，接收用户在业务办理过程中的第一识别信息和第二识别信息；基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验；基于所述第二识别信息，持续监控用户是否在业务办理过程中发生高风险行为；以及在所述身份校验不通过的情况下，或者在所述意愿校验不通过的情况下，或者所述高风险行为发生的情况下，生成告警指令。

根据本公开的实施例，其中，所述第一识别信息包括第一图像信息和第一语音信息，所述基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验，包括：对于所述身份校验，提取所述第一图像信息和/或所述第一语音信息中的特征，得到第一图像身份特征和/或第一语音身份特征；基于所述第一图像身份特征和/或所述第一语音身份特征，匹配预留的图像身份特征和/或语音身份特征；以及在匹配所述图像身份特征和/或所述语音身份特征匹配成功的情况下，判定身份校验通过。

根据本公开的实施例，其中，所述基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验，还包括：对于所述意愿校验，基于所述第一图像信息和/或所述第一语音信息，识别用户意愿；判断所述用户意愿是否为预设意愿；以及在所述用户意愿为预设意愿的情况下，判定意愿校验通过。

根据本公开的实施例，其中，所述第一图像信息包括面部图像信息和/或用户签名信息，所述第一图像信息是用户针对第一指定行为形成的图像信息，所述面部图像信息包括N个面部图像序列，N为正整数，所述基于所述第一图像信息和/或所述第一语音信息，识别用户意愿，包括：对于所述第一图像信息，在所述第一图像信息为面部图像信息的情况下，提取所述N个面部图像序列中的序列特征，得到面部图像序列特征；以及基于所述面部图像序列特征，识别面部动作；其中，所述判断所述用户意愿是否为预设意愿，包括：判断所述面部动作是否为指定面部动作。

根据本公开的实施例，其中，所述基于所述第一图像信息和/或所述第一语音信息，识别用户意愿，还包括：对于所述第一图像信息，在所述第一图像信息为用户签名信息的情况下，基于OCR技术提取签名内容；其中，所述判断所述用户意愿是否为预设意愿，还包括：判断所述签名内容是否为指定签名内容。

根据本公开的实施例，其中，所述基于所述第一图像信息和/或所述第一语音信息，识别用户意愿，还包括：对于所述第一语音信息，将所述第一语音信息转化为语音文字内容；其中，所述判断所述用户意愿是否为预设意愿，还包括：判断所述语音文字内容是否为指定文字内容。

根据本公开的实施例，其中，所述第二识别信息包括第二图像信息和/或第二语音信息，所述基于所述第二识别信息，持续监控用户是否在业务办理过程中发生高风险行为，包括：基于所述第二图像信息和/或所述第二语音信息，通过预设的行为识别模型，判断是否出现风险隐患事件；在出现风险隐患事件的情况下，判断所述风险隐患事件是否持续时长超过预设风险时间阈值；以及在所述风险隐患事件持续时长超过预设风险时间阈值的情况下，判定发生高风险行为。

根据本公开的实施例，其中，所述风险隐患事件包括：接打电话行为、多人出镜行为、换人操作行为以及代客操作行为。

本公开的第二方面提供了一种业务办理装置，包括：接收模块，用于在取得用户授权的情况下，接收用户在业务办理过程中的第一识别信息和第二识别信息；身份安全校验和意愿安全校验模块，用于基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验；高风险行为监控模块，用于基于所述第二识别信息，持续监控用户是否在业务办理过程中发生高风险行为；以及告警模块，用于在所述身份校验不通过的情况下，或者在所述意愿校验不通过的情况下，或者所述高风险行为发生的情况下，生成告警指令。

根据本公开的实施例，其中，所述第一识别信息包括第一图像信息和第一语音信息，所述身份安全校验和意愿安全校验模块，包括：身份安全校验子模块，所述身份安全校验子模块，用于对于所述身份校验，提取所述第一图像信息和/或所述第一语音信息中的特征，得到第一图像身份特征和/或第一语音身份特征；基于所述第一图像身份特征和/或所述第一语音身份特征，匹配预留的图像身份特征和/或语音身份特征；以及在匹配所述图像身份特征和/或所述语音身份特征匹配成功的情况下，判定身份校验通过。

根据本公开的实施例，其中，所述身份安全校验和意愿安全校验模块，还包括：意愿校验子模块，所述意愿校验子模块，用于对于所述意愿校验，基于所述第一图像信息和/或所述第一语音信息，识别用户意愿；判断所述用户意愿是否为预设意愿；以及在所述用户意愿为预设意愿的情况下，判定意愿校验通过。

根据本公开的实施例，其中，所述第一图像信息包括面部图像信息和/或用户签名信息，所述第一图像信息是用户针对第一指定行为形成的图像信息，所述面部图像信息包括N个面部图像序列，N为正整数，所述意愿校验子模块，包括：面部校验单元，所述面部校验单元，用于对于所述第一图像信息，在所述第一图像信息为面部图像信息的情况下，提取所述N个面部图像序列中的序列特征，得到面部图像序列特征；以及基于所述面部图像序列特征，识别面部动作；其中，所述面部校验单元，还用于判断所述面部动作是否为指定面部动作。

根据本公开的实施例，其中，所述意愿校验子模块，还包括：签名校验单元，所述签名校验单元，用于对于所述第一图像信息，在所述第一图像信息为用户签名信息的情况下，基于OCR技术提取签名内容；其中，所述签名校验单元，还用于判断所述签名内容是否为指定签名内容。

根据本公开的实施例，其中，所述意愿校验子模块，还包括：语音校验子单元，所述语音校验子单元，用于对于所述第一语音信息，将所述第一语音信息转化为语音文字内容；其中，所述语音校验子单元，还用于判断所述语音文字内容是否为指定文字内容。

根据本公开的实施例，其中，所述高风险行为监控模块，用于基于所述第二图像信息和/或所述第二语音信息，通过预设的行为识别模型，判断是否出现风险隐患事件；在出现风险隐患事件的情况下，判断所述风险隐患事件是否持续时长超过预设风险时间阈值；以及在所述风险隐患事件持续时长超过预设风险时间阈值的情况下，判定发生高风险行为。

根据本公开的实施例，其中，所述风险隐患事件包括：接打电话行为、多人出镜行为、换人操作行为以及代客操作行为。

本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述业务办理方法。

本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述业务办理方法。

本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述业务办理方法。

在本公开的实施例中，为了解决自助业务办理过程中安全性不足的技术问题，分别采集来自用户的第一识别信息和第二识别信息，一方面校验业务办理过程中是否为本人办理和/或本人办理的意愿是否符合，另一方面监控在业务办理过程中是否出现高风险的行为，一旦出现上述任一项判断过程不通过的情况下，生成告警指令，保证了自助业务办理过程中的安全性可靠性，并且，在网点场景下，更能够兼顾人力资源的充分释放和业务办理安全性的保障。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的业务办理方法的应用场景图；

图2示意性示出了根据本公开实施例的业务办理方法的流程图；

图3示意性示出了根据本公开实施例的身份校验方法的流程图；

图4示意性示出了根据本公开实施例的意愿校验方法的流程图；

图5示意性示出了根据本公开实施例的一种意愿校验方法的流程图；

图6示意性示出了根据本公开实施例的另一种意愿校验方法的流程图；

图7示意性示出了根据本公开实施例的另一种意愿校验方法的流程图；

图8示意性示出了根据本公开实施例的高风险监控方法的流程图；

图9示意性示出了根据本公开实施例的网点场景下的业务办理方法的全流程图；

图10示意性示出了根据本公开实施例的业务办理装置的结构框图；以及

图11示意性示出了根据本公开实施例的适于实现业务办理方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在本发明的技术方案中，所涉及的用户信息(包括但不限于用户个人信息、用户图像信息、用户设备信息，例如位置信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、存储、使用、加工、传输、提供、公开和应用等处理，均遵守相关国家和地区的相关法律法规和标准，采取了必要保密措施，不违背公序良俗，并提供有相应的操作入口，供用户选择授权或者拒绝。

在一个典型的场景中，用户在线下实现业务办理的过程中，通过应用生物识别、OCR手写体识别以及视频分析等多种技术，可以帮助网点工作人员为客户完成业务办理，以减少客服人员工作量。但由于客服人员在许多情况下还承担安全保障的任务，在业务办理的过程中，由于客服人员的缺失，在仅通过自助手段实现数字化业务办理的场景下，难以避免地会发生诸多风险。

为了解决现有技术中存在的技术问题，本公开的实施例提供了一种业务办理方法，包括：在取得用户授权的情况下，接收用户在业务办理过程中的第一识别信息和第二识别信息；基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验；基于所述第二识别信息，持续监控用户是否在业务办理过程中发生高风险行为；以及在所述身份校验不通过的情况下，或者在所述意愿校验不通过的情况下，或者所述高风险行为发生的情况下，生成告警指令。

在本公开的实施例中，为了解决自助业务办理过程中安全性不足的技术问题，分别采集来自用户的第一识别信息和第二识别信息，一方面校验业务办理过程中是否为本人办理和/或本人办理的意愿是否符合，另一方面监控在业务办理过程中是否出现高风险的行为，一旦出现上述任一项判断过程不通过的情况下，生成告警指令，保证了自助业务办理过程中的安全性可靠性，并且，在网点场景下，更能够兼顾人力资源的充分释放和业务办理安全性的保障。

图1示意性示出了根据本公开实施例的业务办理方法的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103、网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的业务办理方法一般可以由服务器105执行。相应地，本公开实施例所提供的业务办理装置一般可以设置于服务器105中。本公开实施例所提供的业务办理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的业务办理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图9对公开实施例的业务办理方法进行详细描述。

图2示意性示出了根据本公开实施例的业务办理方法的流程图。

如图2所示，该实施例的业务办理方法包括操作S210～操作S230，该方法可以由服务器105执行。

在操作S210中，在取得用户授权的情况下，接收用户在业务办理过程中的第一识别信息和第二识别信息。

服务器105接收来自用户侧的终端设备101、102、103在用户充分授权的情况下采集到的第一识别信息和第二识别信息。其中，终端设备101、102、103可以是例如手机、平板等常见的终端设备，用户通过此类终端设备登录金融服务客户端；终端设备101、102、103还可以是例如远程视频柜员机(或称VTM)等金融服务网点常见的终端设备，用户通过到达金融服务网点操作此类金融终端设备实现业务的办理。终端设备101、102、103在充分授权的情况下，终端设备101、102、103采集相应的识别信息并上送至服务器105中。

其中，第一识别信息是在用户进行业务办理过程中，用于校验用户身份的识别信息，或者用于校验用户办理意愿的识别信息，第一识别信息可以包括：视频、签名、语音以及指纹等常用识别信息中任意一或多项，当然，上述第一识别信息中具体采集的某项信息，取决于终端设备101、102、103中是否包含对应的采集硬件。

其中，第二识别信息是在用户进行业务办理过程中，用于校验用户当前所处环境是否存在风险的识别信息，或者用于校验用户所执行的动作是否存在风险的识别信息，第二识别信息可以包括：视频以及语音等常用识别信息中任意已获多项，当然，上述第一识别信息中具体采集的某项信息，取决于终端设备101、102、103中是否包含对应的采集硬件，例如，在终端设备仅具备录音麦克风的情况下，仅采集相对应的语音信息。

在操作S220中，基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验。

在实际的业务办理过程中，可以单独执行身份校验逻辑，也可以单独执行意愿校验的逻辑，还可以组合执行身份校验逻辑和意愿校验逻辑。对于第一识别信息而言，在身份校验和意愿校验时，所采集的第一识别信息可以是一致的，但是用于校验逻辑不同导致对于相同的识别信息的处理逻辑不同。

在操作S230中，基于所述第二识别信息，持续监控用户是否在业务办理过程中发生高风险行为。

针对高风险行为，部署了一或多个风控模型对高风险行为进行持续监控和分析处理，例如，可以通过持续监控客户视频或者客户语音进行实时分析，并根据不同的风控模型分析结果，判断是否触发高风险行为。

在操作S240中，在所述身份校验不通过的情况下，或者在所述意愿校验不通过的情况下，或者所述高风险行为发生的情况下，生成告警指令。

一旦在上述操作S220和操作S230中，出现身份校验未通过，或者出现意愿校验未通过，或者出现发生高风险行为，则生成告警指令，该告警指令用于告知并暂停当前用户进行的业务办理过程，可以理解的是，该告警指令的后续操作按照那个用户的业务办理场景不同存在一定差异，例如，在金融服务网点中，用户通过操作远程视频柜员机办理业务的过程中，由于触发高风险行为而生成的告警指令，用以提示现场的客服人员执行现场人工协助。

在本公开的实施例中，为了解决自助业务办理过程中安全性不足的技术问题，分别采集来自用户的第一识别信息和第二识别信息，一方面校验业务办理过程中是否为本人办理和/或本人办理的意愿是否符合，另一方面监控在业务办理过程中是否出现高风险的行为，一旦出现上述任一项判断过程不通过的情况下，生成告警指令，保证了自助业务办理过程中的安全性可靠性，并且，在网点场景下，更能够兼顾人力资源的充分释放和业务办理安全性的保障。

接下来，针对上述操作S220中的身份校验和意愿校验进行详细揭示，如下所示：

图3示意性示出了根据本公开实施例的身份校验方法的流程图。

如图3所示，该实施例的身份校验方法包括操作S310～操作S330，该操作S310～操作S330至少可以部分执行上述操作S220。

根据本公开的实施例，其中，所述第一识别信息包括第一图像信息和第一语音信息。

在操作S310中，对于所述身份校验，提取所述第一图像信息和/或所述第一语音信息中的特征，得到第一图像身份特征和/或第一语音身份特征。

上述操作S310中的第一图像信息包括用户的人脸图像和/或用户的亲自签名，其中，针对人脸图像，一般为视频流采集，采集视频流中多个视频帧，并选取其中的关键帧作为第一图像信息。

在操作S320中，基于所述第一图像身份特征和/或所述第一语音身份特征，匹配预留的图像身份特征和/或语音身份特征。

在操作S330中，在匹配所述图像身份特征和/或所述语音身份特征匹配成功的情况下，判定身份校验通过。

针对第一图像信息，通过灰度变换、噪声过滤以及归一化等预处理行为，对获取到的人脸图像或签名图像进行预处理；对于预处理后的图像进行特征提取，并对提取出的特征进行匹配识别，与该用户预先存储在服务器后台的图像特征模板(面部特征的模板或者签名特征的模板)进行匹配以计算其相似度，并在相似度超过阈值的情况下，判定为匹配成功，即图像通过身份验证。

针对第一语音信息，采集第一语音信息中的声纹特征，与该用户预先存储在服务器后台的声纹特征模板进行匹配以计算其相似度，并在相似度超过阈值的情况下，判定为匹配成功，即语音通过身份校验。

例如，在金融服务网点中，对客交易时客户业务办理时，通过目前广泛应用的人脸识别技术，通过端机配置双目摄像头等技术实现人脸活体检测，判断视频中采集的关键帧是否为预先存储于后台服务器中的该用户的人脸图像，保证为客户本人来现场办理业务。

又例如，在金融服务网点中，终端设备可发出电子申请书确认提示，引导用户签署本人姓名，形成签名图像，进而，提取该签名图像的特征，与该客户预存的签名图像进行相似度计算，确认客户申请书签名为客户本人签名。

还例如，通过客户业务办理过程中，通过麦克风采集设备采集用户语音，该用户语音可以是特定语句(如，“我愿意”，“我同意”等)，通过客户语音确认客户业务办理身份，提取采集到的客户语音其中的声纹特征，与客户在服务器后台预先留存声纹信息特征进行比对，保证为客户本人来现场办理业务。

图4示意性示出了根据本公开实施例的意愿校验方法的流程图。

如图4所示，该实施例的意愿校验方法包括操作S410～操作S430，该操作S410～操作S430至少可以部分执行上述操作S220。

在操作S410中，对于所述意愿校验，基于所述第一图像信息和/或所述第一语音信息，识别用户意愿。

在操作S420中，判断所述用户意愿是否为预设意愿。

在操作S430中，在所述用户意愿为预设意愿的情况下，判定意愿校验通过。

意愿校验是一组用于对客户业务办理意愿确认的处理程序，这组程序可以通过不同形式的组合，实现对客户业务办理意愿的确认。通过采集特定时间的第一图像信息和/或第一语音信息，进而识别第一图像信息和/或第一语音信息是否适合预先设定的意愿。

当然，为了确保方案的可实施性，上述意愿校验过程可以是不同的意愿校验方式中仅需通过一个或特定几个即可，例如，在视频意愿校验不通过或视频采集设备故障的情况下，执行语音意愿校验等检验方案(如，在金融服务网点中的VTM上执行)。当然，还可以是为了确保业务办理过程中的高安全性，上述意愿校验过程还可以是不同方式的意愿校验方式需全部通过方可通过人为意愿校验通过，例如，在视频意愿校验通过的情况下，继续执行语音意愿校验等校验方案(如，在用户终端手段上执行)。

需要说明的是，上述操作S410～操作S430的意愿校验过程不同于上述操作S310～操作S330的身份校验过程，身份校验用于校验当前操作的是否为用户本人，意愿校验用于校验用户是否听从终端设备的提示执行指定行为，例如，指定行为包括指定动作、指定表情、写下特定词汇以及说出特定词汇等。

图5示意性示出了根据本公开实施例的一种意愿校验方法的流程图。

如图5所示，该实施例的一种意愿校验方法包括操作S510～操作S530，该操作S510～操作S520至少可以部分执行上述操作S410，该操作S530至少可以部分执行上述操作S420。

根据本公开的实施例，其中，所述第一图像信息包括面部图像信息和/或用户签名信息，所述第一图像信息是用户针对第一指定行为形成的图像信息，所述面部图像信息包括N个面部图像序列，N为正整数。

在操作S510中，对于所述第一图像信息，在所述第一图像信息为面部图像信息的情况下，提取所述N个面部图像序列中的序列特征，得到面部图像序列特征。

在操作S520中，基于所述面部图像序列特征，识别面部动作。

在操作S530中，判断所述面部动作是否为指定面部动作。

具体地，根据具体业务场景，为客户播报具体场景业务办理确认话术，客户按照语音或文字播报指引，录制视频以确认意愿，系统综合视频中N个面部图像序列中全部或部分面部图像序列，确认为指定动作。

例如，终端设备可发出点头提示，在终端设备发出点头提示后，用户在规定时间内点头，服务器后台识别视频是否为点头的视频，是则说明用户意愿为预设意愿。

图6示意性示出了根据本公开实施例的另一种意愿校验方法的流程图。

如图6所示，该实施例的另一种意愿校验方法包括操作S610～操作S620，该操作S610至少可以部分执行上述操作S410，该操作S620至少可以部分执行上述操作S420。

在操作S610中，对于所述第一图像信息，在所述第一图像信息为用户签名信息的情况下，基于OCR技术提取签名内容。

在操作S620中，判断所述签名内容是否为指定签名内容。

具体地，根据具体业务场景，引导用户进行手写签名，客户按照播报指引，进行手写签名(如，签名为同意)，并上传该签名图片；后台通过OCR(或称，光学字符识别)技术，将该签名转化为文字；判断该段文字的确认意向为同意。

例如，终端设备可发出电子申请书确认提示，引导用户签署“我愿意”，通过OCR手写体识别技术，将手写的签名转化为标准的文字，进而确认客户申请书签名为“我同意”。

图7示意性示出了根据本公开实施例的另一种意愿校验方法的流程图。

如图7所示，该实施例的另一种意愿校验方法包括操作S710～操作S720，该操作S710至少可以部分执行上述操作S410，该操作S720至少可以部分执行上述操作S420。

在操作S710中，对于所述第一语音信息，将所述第一语音信息转化为语音文字内容。

其中，可以通过语音识别技术，将语音信息转化为可读的文字信息。该语音识别技术不同于上述操作S310～操作S330中的声纹识别技术，该语音识别技术用于提取语音中想要表达的内容，上述声纹识别技术用于提取语音中有关于区分人的声音的内容。

在操作S720中，判断所述语音文字内容是否为指定文字内容。

具体地，根据具体业务场景，为客户播报具体场景业务办理确认话术，客户按照播报指引，语音确认，系统录取语音确认片段并转化为文字内容；判断客户语音确认意向为同意。

例如，终端设备可发出语音确认提示，通过语音确认客户的办理意愿，指定客户如确认业务办理，回答“我确认”，后台分析将语音“我确定”转化为文字，进而确定是否回答为“我确认”，若是，则相关意愿确认完成。

图8示意性示出了根据本公开实施例的高风险监控方法的流程图。

如图8所示，该实施例的高风险监控方法包括操作S810～操作S830，该操作S810～操作S830至少可以部分执行上述操作S230。

根据本公开的实施例，其中，所述第二识别信息包括第二图像信息和/或第二语音信息。

在操作S810中，基于所述第二图像信息和/或所述第二语音信息，通过预设的行为识别模型，判断是否出现风险隐患事件。

在操作S820中，在出现风险隐患事件的情况下，判断所述风险隐患事件是否持续时长超过预设风险时间阈值。

在操作S830中，在所述风险隐患事件持续时长超过预设风险时间阈值的情况下，判定发生高风险行为。

根据本公开的实施例，其中，所述风险隐患事件包括：接打电话行为、多人出镜行为、换人操作行为以及代客操作行为。

每一风险隐患事件都对应有预先训练好相应的风控模型，该风控模型可以是多模态模型，用于接收输入的第二图像信息和/或第二语音信息等不同状态的输入数据，在风控模型判定出现风险隐患事件的情况下，持续监控是否仍然存在风险隐患事件，并在风险隐患事件存在一定时间的情况下，判定为高风险事件。其中，针对接打电话行为、多人出镜行为、换人操作行为以及代客操作行为等风险隐患事件，预先准备大量的训练数据对风控模型进行训练，保证风控模型的识别准确性。

例如，在客户业务办理过程中，端机实时获取客户业务办理画面，通过部署边缘计算节点或者云端进行视频分析，分析客户业务办理过程中是否存在长时间接打电话、多人出镜、中途换人、客服经理代客操作等，对于不同的风险操作进行对应的风险干预措施，保证客户业务办理过程中避免出现业务办理风险。

图9示意性示出了根据本公开实施例的网点场景下的业务办理方法的全流程图。

如图9所示，在网点场景下，客户前往办理业务，在客户对VTM机器插卡后执行联网核查；在联网核查不通过的情况下，转至现场人员协助，在联网核查通过的情况下，则进行人脸识别；在人脸识别不通过的情况下，转至现场人工协助；在人脸识别通过的情况下，进行语音确认，使客户回答相应语音；在客户回答语音判断为确认的情况下，核对通过，交易完成；在客户回答语音判断为未识别到目标语音的情况下，调用签名核对；在签名核对不通过的情况下，提示客户并转至现场人工确认；在签名核对通过的情况下，核对通过，交易完成。

在整个业务办理过程中，从人脸识别步骤开始，执行全程实时监测，判断是否出现长时间接打电话、多人出镜、中途换人、客服经理代客操作等；通过语音播报对客户进行提醒；继续监控风险是否停止；在风险停止的情况下，继续业务办理流程持续监控；在风险未停止的情况下，中断业务流程，并提示业务中断，引导客户重新办理或转至人工办理。

基于上述业务办理方法，本公开还提供了一种业务办理装置。以下将结合图10对该装置进行详细描述。

图10示意性示出了根据本公开实施例的业务办理装置的结构框图。

如图10所示，该实施例的业务办理装置1000包括接收模块1010、身份安全校验和意愿安全校验模块1020、高风险行为监控模块1030和告警模块1040。

接收模块1010用于在取得用户授权的情况下，接收用户在业务办理过程中的第一识别信息和第二识别信息。在一实施例中，接收模块1010可以用于执行前文描述的操作S210，在此不再赘述。

身份安全校验和意愿安全校验模块1020用于基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验。在一实施例中，身份安全校验和意愿安全校验模块1020可以用于执行前文描述的操作S220，在此不再赘述。

高风险行为监控模块1030用于基于所述第二识别信息，持续监控用户是否在业务办理过程中发生高风险行为。在一实施例中，高风险行为监控模块1030可以用于执行前文描述的操作S230，在此不再赘述。

告警模块1040用于在所述身份校验不通过的情况下，或者在所述意愿校验不通过的情况下，或者所述高风险行为发生的情况下，生成告警指令。在一实施例中，告警模块1040可以用于执行前文描述的操作S240，在此不再赘述。

在本公开的实施例中，为了解决自助业务办理过程中安全性不足的技术问题，分别采集来自用户的第一识别信息和第二识别信息，一方面校验业务办理过程中是否为本人办理和/或本人办理的意愿是否符合，另一方面监控在业务办理过程中是否出现高风险的行为，一旦出现上述任一项判断过程不通过的情况下，生成告警指令，保证了自助业务办理过程中的安全性可靠性，并且，在网点场景下，更能够兼顾人力资源的充分释放和业务办理安全性的保障。

根据本公开的实施例，其中，所述第一识别信息包括第一图像信息和第一语音信息，所述身份安全和意愿安全校验模块，包括：身份安全，对于所述身份校验，提取所述第一图像信息和/或所述第一语音信息中的特征，得到第一图像身份特征和/或第一语音身份特征；基于所述第一图像身份特征和/或所述第一语音身份特征，匹配预留的图像身份特征和/或语音身份特征；以及在匹配所述图像身份特征和/或所述语音身份特征匹配成功的情况下，判定身份校验通过。

根据本公开的实施例，其中，所述基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验，还包括：对于所述意愿校验，基于所述第一图像信息和/或所述第一语音信息，识别用户意愿；判断所述用户意愿是否为预设意愿；以及在所述用户意愿为预设意愿的情况下，判定意愿校验通过。

根据本公开的实施例，其中，所述第一图像信息包括面部图像信息和/或用户签名信息，所述第一图像信息是用户针对第一指定行为形成的图像信息，所述面部图像信息包括N个面部图像序列，N为正整数，所述基于所述第一图像信息和/或所述第一语音信息，识别用户意愿，包括：对于所述第一图像信息，在所述第一图像信息为面部图像信息的情况下，提取所述N个面部图像序列中的序列特征，得到面部图像序列特征；以及基于所述面部图像序列特征，识别面部动作；其中，所述判断所述用户意愿是否为预设意愿，包括：判断所述面部动作是否为指定面部动作。

根据本公开的实施例，其中，所述基于所述第一图像信息和/或所述第一语音信息，识别用户意愿，还包括：对于所述第一图像信息，在所述第一图像信息为用户签名信息的情况下，基于OCR技术提取签名内容；其中，所述判断所述用户意愿是否为预设意愿，还包括：判断所述签名内容是否为指定签名内容。

根据本公开的实施例，其中，所述基于所述第一图像信息和/或所述第一语音信息，识别用户意愿，还包括：对于所述第一语音信息，将所述第一语音信息转化为语音文字内容；其中，所述判断所述用户意愿是否为预设意愿，还包括：判断所述语音文字内容是否为指定文字内容。

根据本公开的实施例，其中，所述第二识别信息包括第二图像信息和/或第二语音信息，所述基于所述第二识别信息，持续监控用户是否在业务办理过程中发生高风险行为，包括：基于所述第二图像信息和/或所述第二语音信息，通过预设的行为识别模型，判断是否出现风险隐患事件；在出现风险隐患事件的情况下，判断所述风险隐患事件是否持续时长超过预设风险时间阈值；以及在所述风险隐患事件持续时长超过预设风险时间阈值的情况下，判定发生高风险行为。

根据本公开的实施例，其中，所述风险隐患事件包括：接打电话行为、多人出镜行为、换人操作行为以及代客操作行为。

根据本公开的实施例，接收模块1010、身份安全校验和意愿安全校验模块1020、高风险行为监控模块1030和告警模块1040中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，接收模块1010、身份安全校验和意愿安全校验模块1020、高风险行为监控模块1030和告警模块1040中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，接收模块1010、身份安全校验和意愿安全校验模块1020、高风险行为监控模块1030和告警模块1040中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图11示意性示出了根据本公开实施例的适于实现业务办理方法的电子设备的方框图。

如图11所示，根据本公开实施例的电子设备1100包括处理器1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1103中，存储有电子设备1100操作所需的各种程序和数据。处理器1101、ROM 1102以及RAM 1103通过总线1104彼此相连。处理器1101通过执行ROM 1102和/或RAM1103中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1102和RAM 1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备1100还可以包括输入/输出(I/O)接口1105，输入/输出(I/O)接口1105也连接至总线1104。电子设备1100还可以包括连接至I/O接口1105的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1102和/或RAM 1103和/或ROM 1102和RAM1103以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的物品推荐方法。

在该计算机程序被处理器1101执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1109被下载和安装，和/或从可拆卸介质1111被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种业务办理方法，包括：

在取得用户授权的情况下，接收用户在业务办理过程中的第一识别信息和第二识别信息；

基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验；

基于所述第二识别信息，持续监控用户是否在业务办理过程中发生高风险行为；以及

在所述身份校验不通过的情况下，或者在所述意愿校验不通过的情况下，或者所述高风险行为发生的情况下，生成告警指令。

2.根据权利要求1所述的方法，其中，所述第一识别信息包括第一图像信息和第一语音信息，

所述基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验，包括：

对于所述身份校验，提取所述第一图像信息和/或所述第一语音信息中的特征，得到第一图像身份特征和/或第一语音身份特征；

基于所述第一图像身份特征和/或所述第一语音身份特征，匹配预留的图像身份特征和/或语音身份特征；以及

在匹配所述图像身份特征和/或所述语音身份特征匹配成功的情况下，判定身份校验通过。

3.根据权利要求2所述的方法，其中，所述基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验，还包括：

对于所述意愿校验，基于所述第一图像信息和/或所述第一语音信息，识别用户意愿；

判断所述用户意愿是否为预设意愿；以及

在所述用户意愿为预设意愿的情况下，判定意愿校验通过。

4.根据权利要求3所述的方法，其中，所述第一图像信息包括面部图像信息和/或用户签名信息，所述第一图像信息是用户针对第一指定行为形成的图像信息，所述面部图像信息包括N个面部图像序列，N为正整数，

所述基于所述第一图像信息和/或所述第一语音信息，识别用户意愿，包括：

对于所述第一图像信息，在所述第一图像信息为面部图像信息的情况下，提取所述N个面部图像序列中的序列特征，得到面部图像序列特征；以及

基于所述面部图像序列特征，识别面部动作；

其中，

所述判断所述用户意愿是否为预设意愿，包括：

判断所述面部动作是否为指定面部动作。

5.根据权利要求4所述的方法，其中，所述基于所述第一图像信息和/或所述第一语音信息，识别用户意愿，还包括：

对于所述第一图像信息，在所述第一图像信息为用户签名信息的情况下，基于OCR技术提取签名内容；

其中，

所述判断所述用户意愿是否为预设意愿，还包括：

判断所述签名内容是否为指定签名内容。

6.根据权利要求5所述的方法，其中，所述基于所述第一图像信息和/或所述第一语音信息，识别用户意愿，还包括：

对于所述第一语音信息，将所述第一语音信息转化为语音文字内容；

其中，

所述判断所述用户意愿是否为预设意愿，还包括：

判断所述语音文字内容是否为指定文字内容。

7.根据权利要求1～6任一项所述的方法，其中，所述第二识别信息包括第二图像信息和/或第二语音信息，

所述基于所述第二识别信息，持续监控用户是否在业务办理过程中发生高风险行为，包括：

基于所述第二图像信息和/或所述第二语音信息，通过预设的行为识别模型，判断是否出现风险隐患事件；

在出现风险隐患事件的情况下，判断所述风险隐患事件是否持续时长超过预设风险时间阈值；以及

在所述风险隐患事件持续时长超过预设风险时间阈值的情况下，判定发生高风险行为。

8.根据权利要求7所述的方法，其中，所述风险隐患事件包括：接打电话行为、多人出镜行为、换人操作行为以及代客操作行为。

9.一种业务办理装置，包括：

接收模块，用于在取得用户授权的情况下，接收用户在业务办理过程中的第一识别信息和第二识别信息；

身份安全校验和意愿安全校验模块，用于基于所述第一识别信息，判断用户是否通过身份校验和/或意愿校验；

高风险行为监控模块，用于基于所述第二识别信息，持续监控用户是否在业务办理过程中发生高风险行为；以及

告警模块，用于在所述身份校验不通过的情况下，或者在所述意愿校验不通过的情况下，或者所述高风险行为发生的情况下，生成告警指令。

10.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～8中任一项所述的方法。

12.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～8中任一项所述的方法。