CN111554058A - 敏感操作的处理方法、装置、设备及计算机可读存储介质 - Google Patents

敏感操作的处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111554058A
CN111554058A CN202010340739.2A CN202010340739A CN111554058A CN 111554058 A CN111554058 A CN 111554058A CN 202010340739 A CN202010340739 A CN 202010340739A CN 111554058 A CN111554058 A CN 111554058A
Authority
CN
China
Prior art keywords
information
sensitive operation
face
voice
payment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010340739.2A
Other languages
English (en)
Inventor
林森
刘文君
陈磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010340739.2A priority Critical patent/CN111554058A/zh
Publication of CN111554058A publication Critical patent/CN111554058A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated

Abstract

本申请公开了一种敏感操作的处理方法、装置、设备及计算机可读存储介质,属于人脸识别技术领域。所述方法包括:响应于接收到敏感操作指令,获取人脸信息;根据所述敏感操作指令以及所述人脸信息获取敏感操作信息;语音播报所述敏感操作信息;响应于采集到所述敏感操作信息的语音反馈信息,根据所述语音反馈信息处理所述敏感操作指令。用户无需手动操作,可以避免用户手动操作时存在的卫生隐患,此外,由于可以无需使用触摸屏,因而该方案还可以降低处理设备的成本。

Description

敏感操作的处理方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及人脸识别技术领域,特别涉及一种敏感操作的处理方法、装置、设备及计算机可读存储介质。
背景技术
刷脸支付是一种可以使用人脸验证以处理支付操作的支付方式。
相关技术中一种敏感操作的处理方法中,敏感操作为刷脸支付操作,处理设备为刷脸支付设备,刷脸支付设备首先获取人脸信息,并从支付后台处理器获取该人脸信息对应的用户信息,刷脸支付设备将该用户信息以及支付信息(包括支付金额等)显示在触摸屏上,刷脸支付设备响应于用户点击触摸屏触发的确认指令完成刷脸支付,或响应于用户点击触摸屏触发的取消指令取消刷脸支付。
但是,在使用刷脸支付设备时用户需要手动操作触摸屏,具有一定的卫生隐患。
发明内容
本申请实施例提供了一种敏感操作的处理方法、装置、设备及计算机可读存储介质。所述技术方案如下:
根据本申请的一方面,提供了一种敏感操作的处理方法,所述敏感操作的处理方法包括:
响应于接收到敏感操作指令,获取人脸信息;
根据所述敏感操作指令以及所述人脸信息获取敏感操作信息;
语音播报所述敏感操作信息;
响应于采集到所述敏感操作信息的语音反馈信息,根据所述语音反馈信息处理所述敏感操作指令。
另一方面,提供了一种敏感操作的处理装置,所述敏感操作的处理装置包括:
第一获取模块,用于响应于接收到敏感操作指令,获取目标人脸信息;
第二获取模块,用于根据所述敏感操作指令以及所述人脸信息获取敏感操作信息;
播报模块,用于语音播报所述敏感操作信息;
处理模块,用于响应于采集到所述敏感操作信息的语音反馈信息,根据所述语音反馈信息处理所述敏感操作指令。
可选的,所述处理模块包括:
获取子模块,用于响应于采集到所述敏感操作信息的语音反馈信息,获取所述语音反馈信息的语音识别结果;
支付操作子模块,用于响应于所述语音识别结果指示所述语音反馈信息的声纹与所述人脸信息对应的声纹一致,且所述语音反馈信息指示确认敏感操作,执行所述敏感操作指令对应的敏感操作。
可选的,所述处理模块还包括:
第一提示子模块,用于响应于所述语音识别结果指示所述语音反馈信息的声纹与所述人脸信息对应的声纹一致,且所述语音反馈信息指示未确认敏感操作,提示进行预设操作;
第二提示子模块,用于响应于所述语音识别结果指示所述语音反馈信息的声纹与所述人脸信息对应的声纹不一致,提示进行所述预设操作。
可选的,处理模块还包括:
播报子模块,用于语音播报所述敏感操作的敏感操作结果。
可选的,所述获取子模块还用于:
将所述语音反馈信息发送至后台服务器;
获取所述后台服务器反馈的所述语音反馈信息的语音识别结果。
可选的,所述第二获取模块包括:
用户信息获取子模块,用于根据所述人脸信息获取用户信息;
补充信息获取子模块,用于根据所述敏感操作指令获取补充信息;
敏感操作信息获取子模块,用于生成所述敏感操作信息,所述敏感操作信息包括所述用户信息和所述补充信息。
可选的,所述用户信息获取子模块还用于:
将所述人脸信息上传至后台服务器;
获取所述后台服务器反馈的所述用户信息。
又一方面,提供了一种处理设备,所述处理设备包括处理器、存储器、摄像头、传声器以及扬声器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并与所述摄像头、传声器以及扬声器执行以实现如第一方面所述的敏感操作的处理方法。
再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的敏感操作的处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
提供了一种敏感操作的处理方法,该敏感操作的处理方法可以语音播报敏感操作信息,采集该敏感操作信息的语音反馈信息,并根据该语音反馈信息处理敏感操作指令,如此便能根据用户的语音以及人脸信息来处理敏感操作指令,用户无需手动操作,可以避免用户手动操作时存在的卫生隐患,此外,由于可以无需使用触摸屏,因而该方案还可以降低处理设备的成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的敏感操作的处理方法的实施环境的示意图;
图2是本申请实施例提供的一种敏感操作的处理方法的流程图;
图3是本申请实施例提供的另一种敏感操作的处理方法的流程图;
图4是本申请实施例提供的一种用户在结账时使用刷脸支付的示意图;
图5是本申请实施例提供的一种刷脸支付设备语音播报支付信息的示意图;
图6是本申请实施例提供的一种刷脸支付设备获取语音反馈信息的示意图;
图7是本申请实施例提供的一种刷脸支付设备语音播报支付操作的支付结果的示意图;
图8是本申请实施例提供的一种刷脸支付设备的硬件组成示意图;
图9是本申请实施例提供的一种支付后台服务器与刷脸支付设备之间的通讯示意图;
图10是本申请实施例提供的一种敏感操作的处理装置的框图;
图11是本申请实施例提供的一种处理设备的示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在一种敏感操作的处理方法中,敏感操作为刷脸支付操作,处理设备为刷脸支付设备,刷脸支付设备首先获取人脸信息,并从支付后台处理器获取该人脸信息对应的用户信息,刷脸支付设备将该用户信息以及支付信息(包括支付金额等)显示在触摸屏上,刷脸支付设备响应于用户点击触摸屏触发的确认指令完成刷脸支付,或响应于用户点击触摸屏触发的取消指令取消刷脸支付。
该处理设备包括触摸屏以及摄像头,处理设备包括刷脸支付设备以及智能门锁设备等各种具有人脸验证并处理敏感操作的设备。当处理设备为刷脸支付设备时,该刷脸支付设备的体积较大,一般设置在商场或超市的独立区域,或设置在收银柜台。
本申请实施例提供了一种敏感操作的处理方法、装置、设备及计算机可读存储介质。
图1是本申请实施例提供的敏感操作的处理方法的实施环境的示意图,该实施环境可以包括服务器11,处理设备12以及用户终端13。
服务器11可以为一个服务器或服务器集群。该服务器11可以为后台服务器,该后台服务器可以包括支付后台的服务器,用于提供人脸识别系统,语音识别系统,反馈系统以及支付系统等。
处理设备12可以为具有人脸验证以处理敏感操作的功能的设备。示例性的,该处理设备12可以包括刷脸支付设备。可选地,该刷脸支付设备包括刷脸支付终端以及收款终端,刷脸支付终端可以为具有获取人脸功能,播报功能以及蓝牙功能的终端,收款终端可以为销售(point of sales,pos)机等各种具有发起收款的功能的终端。
用户终端13可以为手机、平板电脑、笔记本电脑、智能可穿戴设备等各种具扫码付款功能的终端。
处理设备12以及用户终端13都可以通过有线或无线的方式(图1示出的是以无线的方式进行连接的情况,但本申请实施例对此不进行限制)与服务器11连接。当处理设备12为刷脸支付设备时,用户可以通过刷脸支付设备完成刷脸支付或取消刷脸支付。
图2是本申请实施例提供的一种敏感操作的处理方法的流程图。该敏感操作的处理方法可以用于图1所示实施环境的处理设备中,该敏感操作的处理方法可以包括:
步骤201,响应于接收到敏感操作指令,获取人脸信息。
敏感操作可以包括支付操作,开门操作等各种涉及用户隐私以及用户安全的操作。根据敏感操作的不同,可以设置有不同的处理设备。
人脸信息可以为处理设备通过摄像头采集到的视频图像中的人脸。
步骤202,根据敏感操作指令以及人脸信息获取敏感操作信息。
敏感操作信息可以用于向用户确认用户信息以及提示用户进行下一步骤的信息。
步骤203,语音播报敏感操作信息。
步骤204,响应于采集到敏感操作信息的语音反馈信息,根据语音反馈信息处理敏感操作指令。
语音反馈信息可以为处理设备采集到的用户的语音信息。
综上所述,本申请实施例提供了一种敏感操作的处理方法,该敏感操作的处理方法可以语音播报敏感操作信息,采集该敏感操作信息的语音反馈信息,并根据该语音反馈信息处理敏感操作指令,如此便能根据用户的语音以及人脸信息来处理敏感操作指令,用户无需手动操作,可以避免用户手动操作时存在的卫生隐患,此外,由于可以无需使用触摸屏,因而该方案还可以降低处理设备的成本。
图3是本申请实施例提供的另一种敏感操作的处理方法的流程图,该敏感操作的处理方法可以应用于图1所示实施环境的处理设备中。参考图3可以看出,该敏感操作的处理方法可以包括:
步骤301,响应于接收到敏感操作指令,获取人脸信息。
处理设备响应于接收到敏感操作指令,获取人脸信息。处理设备可以包括智能门锁设备以及刷脸支付设备等可以实现处理设备。
敏感操作可以包括支付操作,开门操作等各种涉及用户隐私以及用户安全的操作。根据敏感操作的不同,可以设置有不同的处理设备。
当处理设备为智能门锁设备时,敏感操作指令可以为开门指令。智能门锁设备响应于接收到开门指令,开始获取人脸信息。开门指令可以为用户通过智能门锁设备发送的开门指令。
当处理设备为刷脸支付设备时,敏感操作指令可以为支付指令。刷脸支付设备响应于接收到支付指令,开始获取人脸信息。支付指令可以为操作人员(例如收银员)通过刷脸支付设备发送的支付指令。
此外,当刷脸支付设备包括刷脸支付终端以及收款终端时,刷脸支付终端可以响应于接收到收款终端发送的支付指令。其中,支付指令可以包括收款终端发送的订单信息(例如购买商品信息以及支付总价)以及请求刷脸支付指令。刷脸支付终端在未接收到收款终端的支付指令时,可以处于待机状态,此时刷脸支付终端可以不开启摄像头获取人脸信息。
需要说明的是,人脸信息可以为处理设备通过摄像头采集到的视频图像中与处理设备的距离小于预设值的人脸,该预设值可以为操作人员根据实际情况进行设置的值。人脸信息还可以为摄像头采集到的视频图像中处于预设位置的人脸,示例性的,该预设位置可以为正对处理设备的位置。
需要说明的是,本申请实施例提供的处理设备可以不具有显示屏(当处理设备为刷脸支付设备且该刷脸支付设备包括刷脸支付终端以及收款终端时,刷脸支付终端可以不具有显示屏),用户在人脸验证以处理敏感操作时,可能存在有其他用户处于处理设备的采集范围内,此时,处理设备可以包括有重置键,当进行人脸验证的用户周围较近的位置有其他用户时,进行人脸验证的用户或销售人员可以通过重置键使处理设备重新获取人脸信息。
示例性的,如图4所示,其为本申请实施例提供的一种用户在结账时使用刷脸支付的示意图。刷脸支付设备可以包括刷脸支付设备402以及收银员403,刷脸支付设备402与收银员403配合以实现用户401刷脸支付。用户401在收银台进行结账时,收银员403将支付指令发送至刷脸支付设备402,该支付指令可以包括订单信息以及请求刷脸支付指令,刷脸支付设备响应于请求刷脸支付指令,开启摄像头获取用户401的人脸信息,该订单信息可以包括用户401够买的商品的信息以及支付总价。
步骤302,将人脸信息上传至后台服务器。
处理设备在获取到人脸信息后,可以将该人脸信息上传至后台服务器。处理设备可以通过有线或无线的方式与后台服务器连接,本申请实施例对此不进行限制。
用户可以通过用户终端预先将该用户的人脸信息,用户信息以及声纹上传至后台服务器,后台服务器可以保存有人脸信息对应的用户信息以及人脸信息对应的声纹。
将人脸信息上传至后台服务器,以便后台服务器根据该人脸信息得到人脸信息对应的用户信息以及人脸信息对应的声纹,以便对敏感操作指令进行处理。
需要说明的是,当处理设备为刷脸支付设备时,后台服务器可以为支付后台服务器,该支付后台服务器可以用于提供人脸识别系统,语音识别系统,反馈系统以及支付系统等。
步骤303,获取后台服务器反馈的用户信息。
处理设备获取后台服务器反馈的人脸信息对应的用户信息。
由于后台服务器存储有人脸信息对应的用户信息,因而处理设备可以将获取到的人脸信息上传至后台服务器并获取后台服务器反馈的该人脸信息对应的用户信息。
用户信息可以包括用户在后台服务器所在平台的昵称,或者可以为用户自行设置(例如用户可以在向后台服务器上传人脸信息,用户信息以及声纹时,根据用户习惯设置一串数字或一个昵称)的一个用于在处理敏感操作时确认的称呼,还可以为用户在后台服务器所在平台注册的手机号的后四位,如此可以提高敏感操作的处理隐私性,以便提高用户体验。
示例性的,当处理设备为刷脸支付设备时,用户信息可以包括“手机尾号为3654的x小姐”。
步骤304,根据敏感操作指令获取补充信息。
处理设备可以根据敏感操作指令获取补充信息。补充信息可以用于补充处理设备在处理敏感操作的过程中获取的除用户信息外的其他信息。
当处理设备为智能门锁设备时,补充信息可以为门牌信息。该门牌信息可以包括智能门锁设备对应的门牌号等信息。
当处理设备为刷脸支付设备时,补充信息可以为订单信息,刷脸支付设备可以根据支付指令获取支付指令中带有的订单信息,该订单信息可以包括购买支付总价,或者可以包括商品信息以及支付总价等信息。
示例性的,订单信息可以为商品A一件,商品B两件,商品C一件,商品总件数4,支付金额56元。
步骤305,生成敏感操作信息。敏感操作信息包括用户信息和补充信息。
处理设备可以生成包括用户信息以及补充信息的敏感操作信息。
当处理设备为智能门锁设备时,敏感操作信息可以为开门信息。
当处理设备为刷脸支付设备时,敏感操作信息可以为支付信息。该支付信息还可以包括指示用户进行支付的提示语。
需要说明的是,步骤304和步骤305还可以由后台服务器执行,图3所示为步骤303以步骤304由处理设备执行的情况,本申请实施例对此并不进行限制。当步骤304以及步骤305由后台服务器执行时,步骤303可以不执行。
当步骤304和步骤305由后台服务器执行时,后台服务器可以在执行步骤301时同时获取敏感操作指令,或处理设备在发送人脸信息时将敏感操作指令一起发送至后台服务器。处理设备将人脸信息上传至后台服务器后,后台服务器可以根据敏感操作指令获取补充信息,并根据人脸信息获取用户信息,后台服务器可以生成包括用户信息以及补充信息的敏感操作信息,并将该敏感操作信息发送至处理设备。
示例性的,如图5所示,其为本申请实施例提供的一种刷脸支付设备语音播报支付信息的示意图。刷脸支付设备402可以通过扬声器语音播报支付信息,支付信息可以为“手机尾号为3654的x小姐,商品总件数4,支付金额56元,请回复确认支付,取消支付或重听一遍”。
步骤306,语音播报敏感操作信息。
处理设备将生成的包括用户信息以及补充信息的敏感操作信息通过扬声器进行语音播报。
由于处理设备采取语音播报的方法告知用户敏感操作信息,因此该处理设备可以不设置触摸屏,可以大大减少处理设备的制造成本,有利于处理设备的普及。处理设备还可以提供重复播报的功能,以便用户可以获取到完整的敏感操作信息,避免用户误处理。
此外,当处理设备为刷脸支付设备且该刷脸支付设备包括刷脸支付终端以及付款终端时,刷脸支付终端可以不设置触摸屏。
处理设备在语音播报敏感操作信息后,可以处于获取语音信息的状态,以便处理设备及时获取用户的语音反馈信息。
步骤307,将语音反馈信息发送至后台服务器。
处理设备可以获取用户的语音反馈信息,并将该语音反馈信息发送至后台服务器。
处理设备可以预先设置有指定反馈信息,当用户说出该指定反馈信息后,处理设备可以停止获取语音反馈信息。处理设备通过扬声器语音播报敏感操作信息后可以处于获取语音信息的状态,此时处理设备可以获取接收到的语音信息,当处理设备采集到的语音信息包括指定反馈信息后,处理设备可以停止获取语音信息。
本申请实施例提供的敏感操作的处理方法涉及自然语言处理(Nature LanguageProcessing,NLP)技术,该NLP技术是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。NLP技术是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。NLP技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
处理设备以及后台服务器可以通过NLP技术对语音反馈信息进行处理。
相较于相关技术中处理设备通过触摸屏向用户展示敏感操作信息,并响应于用户通过触摸屏发送的反馈信息进行敏感操作或取消敏感操作,本申请实施例中由处理设备语音播报敏感操作信息,可以在用户双手被占用的情况下使敏感操作的处理方法较为简便。且用户无需接触处理设备,相较于用户需要触摸处理设备的屏幕的方案,本申请提供的方案更加的干净卫生。
示例性的,如图6所示,其为本申请实施例提供的一种刷脸支付设备获取语音反馈信息的示意图。指定反馈信息可以包括“确认支付”,“取消支付”以及“重听一遍”,用户401可以说出“确认支付”,当刷脸支付设备402检测到指定反馈信息“确认支付”后,刷脸支付设备402停止获取语音反馈信息,并将获取到的语音反馈信息“确认支付”上传至支付后台服务器。
后台服务器在接收到语音反馈信息后,可以获取该语音反馈信息的声纹,将语音反馈信息的声纹与人脸信息对应的声纹进行对比,并判断语音反馈信息是否指示确认敏感操作,之后根据比对结果以及判断结果来生成对应的用于指示处理设备的语音识别结果。
步骤308,获取后台服务器反馈的语音反馈信息的语音识别结果。
后台服务器可以将处理设备上传的语音反馈信息的声纹与人脸信息对应的声纹进行比对得到语音识别结果,语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹一致,语音识别结果还可以指示语音反馈信息的声纹与人脸信息对应的声纹不一致,语音识别结果还可以指示语音反馈信息的声纹与人脸对应的声纹一致时,用户是否确认敏感操作。处理设备可以根据语音识别结果的指示执行相应的步骤。本申请实施例中通过人脸验证与语音识别结果的指示处理敏感操作,避免了相关技术中触摸屏获取到的处理指令可能并非是人脸验证的用户点击触摸屏触发的处理指令的问题,达到了提高了敏感操作的处理方法的安全性的效果。
步骤309,步骤310以及步骤311为处理设备根据语音识别结果的不同选择的不同步骤,也即是在执行步骤308后,选择性执行步骤309,步骤310以及步骤311中的一个步骤。
在一种可选的实施方式中,也可以由处理设备来生成语音识别结果,该方式可以包括:
处理设备可以从后台服务器获取人脸信息对应的声纹,将语音反馈信息的声纹与人脸信息对应的声纹进行对比,判断语音反馈信息的声纹与人脸信息对应的声纹是否一致,在语音反馈信息的声纹与人脸信息对应的声纹一致时,判断语音反馈信息是否指示确认敏感操作,当语音反馈信息指示确认敏感操作时,完成敏感操作(示例性的,当处理设备为刷脸支付设备时,完成敏感操作也即是完成付款)。由处理设备来生成语音识别结果时,可以不执行步骤307。
步骤309,响应于语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹一致,且语音反馈信息指示确认敏感操作,执行敏感操作指令对应的敏感操作。
处理设备为智能门锁设备时,当语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹一致,且语音反馈信息指示确认开门时,智能门锁设备可以进行开门指令对应的开门操作,该开门操作可以包括智能门锁设备打开该智能门锁设备对应的房门。
处理设备为刷脸支付设备时,当语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹一致,且语音反馈信息指示确认支付时,刷脸支付设备可以执行支付指令对应的支付操作,该支付操作可以包括刷脸支付设备与支付后台服务器通信,完成当前用户账户资金的转移。
需要说明的是,步骤309为可选地步骤,也即是后台服务器可以获取语音反馈信息的声纹,将语音反馈信息的声纹与人脸信息对应的声纹进行对比,判断语音反馈信息的声纹与人脸信息对应的声纹是否一致,在语音反馈信息的声纹与人脸信息对应的声纹一致时,判断语音反馈信息是否指示确认敏感操作,当语音反馈信息指示确认敏感操作时,处理设备完成敏感操作。
在执行步骤309后执行步骤312。
步骤310,响应于语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹一致,且语音反馈信息指示未确认敏感操作,提示进行预设操作。
当语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹一致,且语音反馈信息指示未确认敏感操作,表示用户可能不愿意使用人脸识别以进行敏感操作,或者可能是语音识别结果出现错误。此时处理设备可以通过语音播报的方式提示进行预设操作。
处理设备为智能门锁设备时,预设操作可以包括扫码开门或其他的一些开门方式(如使用钥匙开门等)。
处理设备为刷脸支付设备时,预设操作可以包括扫码支付或其他的一些支付方式(如现金支付和信用卡支付等)。
在执行步骤310后执行步骤312。
步骤311,响应于语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹不一致,提示进行预设操作。
当语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹不一致时,表明可能人脸识别或语音识别出现了问题,此时可以通过语音播报的方式提示预设操作。
此外,也可以通过语音播报的方式提示用户重新进行人脸识别,并重新进行语音反馈信息的采集。
在执行步骤311后执行步骤312。
步骤312,语音播报敏感操作的敏感操作结果。
处理设备可以通过扬声器语音播报敏感操作的敏感操作结果。该敏感操作结果可以包括步骤309,步骤310以及步骤311三种情况下的敏感操作结果。
步骤312中,处理设备通过扬声器语音播报的敏感操作的敏感操作结果可以包括下面几种:
1)处理设备完成敏感操作后,处理设备可以语音播报敏感操作的敏感操作结果。
示例性的,如图7所示,其为本申请实施例提供的一种刷脸支付设备语音播报支付操作的支付结果的示意图。刷脸支付设备402可以通过扬声器向用户401语音播报支付操作的支付结果,该支付结果可以为“手机尾号为3654的x小姐,商品总件数4,支付金额56元,已完成支付”。
示例性的,智能门锁设备可以通过扬声器向用户语音播报开门操作的开门结果,该开门结果可以为“用户125,已开启房门A”。
2)处理设备响应于语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹一致,且语音反馈信息为指示未确认敏感操作,处理设备可以进行语音播报提示用户进行预设操作。
示例性的,当刷脸支付设备402响应于语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹一致,且语音反馈信息为指示未确认支付时,刷脸支付设备402可以通过扬声器向用户401播报“手机尾号为3654的x小姐,请回复扫码支付或纸币支付”,以提示用户进行扫码支付或纸币支付(也即是线下支付)。
3)处理设备响应于语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹不一致,提示进行预设操作,处理设备还可以提示重新获取语音反馈信息。
示例性的,当刷脸支付设备402响应于语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹不一致时,刷脸支付设备402可以通过扬声器向用户401播报“手机尾号为3654的x小姐,语音不匹配,请回复确认支付,扫码支付或纸币支付”。
综上所述,本申请实施例提供了一种敏感操作的处理方法,该敏感操作的处理方法可以语音播报敏感操作信息,采集该敏感操作信息的语音反馈信息,并根据该语音反馈信息处理敏感操作指令,如此便能根据用户的语音以及人脸信息来处理敏感操作指令,用户无需手动操作,可以避免用户手动操作时存在的卫生隐患,此外,由于可以无需使用触摸屏,因而该方案还可以降低处理设备的成本。
在一个示例性实施例中,处理设备为刷脸支付设备且还刷脸支付设备包括刷脸支付终端以及收款终端,用户A在收银台结账前,将用户A的人脸信息,用户信息以及声纹通过用户A的终端(例如手机)上传至支付后台服务器,用户A在收银台进行结账时,收银员可以通过收款终端发送支付指令,该支付指令通过收款终端发送至刷脸支付终端与支付后台服务器,刷脸支付终端响应于接收到的支付指令,开启摄像头获取用户A的人脸信息,刷脸支付终端在获取到用户A的人脸信息后,将该人脸信息上传至支付后台服务器,并获取支付后台服务器反馈的用户A的用户信息“手机尾号为3654的A先生”,支付后台服务器在获取人脸信息对应的用户信息时获取人脸信息对应的声纹,刷脸支付终端根据支付指令获取订单信息,订单信息包括“商品A一件,商品B两件,商品C一件,商品总件数4,支付金额56元”,刷脸支付终端生成包括用户信息以及订单信息的支付信息“您是手机尾号为3654的A先生,商品总件数4,支付金额56元,请回复确认支付,取消支付或重听一遍”,刷脸支付终端语音播报该支付信息。用户A说出“确认支付”,刷脸支付终端将用户A说出的话“确认支付”作为语音反馈信息发送至支付后台服务器,支付后台服务器将语音反馈信息的声纹与人脸信息对应的声纹进行对比,刷脸支付终端获取支付后台服务器反馈的语音识别结果,该语音识别结果可以为语音反馈信息的声纹与人脸信息对应的声纹一致,且用户A确认支付,支付后台服务器与刷脸支付设备通信,完成当前用户账户资金的转移,刷脸支付终端语音播报支付结果“手机尾号为3654的A先生,商品总件数4,支付金额56元,已完成支付”。
如图8所示,其为本申请实施例提供的一种刷脸支付设备的硬件组成示意图。该刷脸支付设备800可以包括摄像头,语音播报盒子,刷脸支付软件系统以及其他硬件。摄像头用于获取人脸信息,语音播报盒子用于播报支付结果,以及支付信息等刷脸支付软件系统可以与支付后台服务器通信连接,以实现本申请实施例提供的敏感操作的处理方法,其他硬件可以包括语音获取模块等。
图9所示为本申请实施例提供的一种支付后台服务器与刷脸支付设备之间的通讯示意图。支付后台服务器900可以包括人脸识别系统,语音识别系统,反馈系统以及支付系统。其中人脸识别系统可以用于对刷脸支付设备上传的人脸信息进行人脸识别,语音识别系统可以用于对刷脸支付设备上传的语音反馈信息进行语音识别,反馈系统可以用于将信息(用户信息以及语音识别结果等信息)反馈至刷脸支付设备,支付系统可以用于完成用户账户资金的转移等操作。
图10是本申请实施例提供的一种敏感操作的处理装置的框图。参考图10可以看出,该敏感操作的处理装置1000可以包括:
第一获取模块1001,用于响应于接收到敏感操作指令,获取目标人脸信息。
第二获取模块1002,用于根据敏感操作指令以及人脸信息获取敏感操作信息。
播报模块1003,用于语音播报敏感操作信息。
处理模块1004,用于响应于采集到敏感操作信息的语音反馈信息,根据语音反馈信息处理敏感操作指令。
综上所述,本申请实施例提供了一种敏感操作的处理方法,该敏感操作的处理方法可以语音播报敏感操作信息,采集该敏感操作信息的语音反馈信息,并根据该语音反馈信息处理敏感操作指令,如此便能根据用户的语音以及人脸信息来处理敏感操作指令,用户无需手动操作,可以避免用户手动操作时存在的卫生隐患,此外,由于可以无需使用触摸屏,因而该方案还可以降低处理设备的成本。
可选地,处理模块包括:
获取子模块,用于响应于采集到敏感操作信息的语音反馈信息,获取语音反馈信息的语音识别结果。
获取子模块还用于将语音反馈信息发送至后台服务器,获取后台服务器反馈的语音反馈信息的语音识别结果。
支付操作子模块,用于响应于语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹一致,且语音反馈信息指示确认敏感操作,执行敏感操作指令对应的敏感操作。
可选地,处理模块1004还包括:
第一提示子模块,用于响应于语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹一致,且语音反馈信息指示未确认敏感操作,提示进行预设操作。
第二提示子模块,用于响应于语音识别结果指示语音反馈信息的声纹与人脸信息对应的声纹不一致,提示进行预设操作。
可选地,处理模块还包括:
播报子模块,用于语音播报敏感操作的敏感操作结果。
可选地,第二获取模块包括:
用户信息获取子模块,用于根据人脸信息获取用户信息。用户信息获取子模块还用于将人脸信息上传至后台服务器,获取后台服务器反馈的用户信息。
补充信息获取子模块,用于根据敏感操作指令获取补充信息。
敏感操作信息获取子模块,用于生成敏感操作信息,敏感操作信息包括用户信息和补充信息。
图11是本申请实施例提供的一种处理设备的示意图,该处理设备可以为终端。示例地,如图11所示,该处理设备110包括中央处理单元(Central Processing Pnit,CPU)1101、存储器1102,摄像头1104,扬声器1105,以及连接存储器1102,中央处理单元1101,摄像头1104和扬声器1105的系统总线1103,存储器1102可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory,EEPROM)、闪存或其他固态存储其技术,CD-ROM、高密度数字视频光盘(Digital Video Disc)DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。
上述存储器1102还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行,以实现本申请实施例提供的敏感操作的处理方法。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由处理器加载并执行以实现如上述方法实施例所提供的敏感操作的处理方法。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种敏感操作的处理方法,其特征在于,所述方法包括:
响应于接收到敏感操作指令,获取人脸信息;
根据所述敏感操作指令以及所述人脸信息获取敏感操作信息;
语音播报所述敏感操作信息;
响应于采集到所述敏感操作信息的语音反馈信息,根据所述语音反馈信息处理所述敏感操作指令。
2.根据权利要求1所述的方法,其特征在于,所述响应于采集到所述敏感操作信息的语音反馈信息,根据所述语音反馈信息处理所述敏感操作指令,包括:
响应于采集到所述敏感操作信息的语音反馈信息,获取所述语音反馈信息的语音识别结果;
响应于所述语音识别结果指示所述语音反馈信息的声纹与所述人脸信息对应的声纹一致,且所述语音反馈信息指示确认敏感操作,执行所述敏感操作指令对应的敏感操作。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于所述语音识别结果指示所述语音反馈信息的声纹与所述人脸信息对应的声纹一致,且所述语音反馈信息指示未确认敏感操作,提示进行预设操作;
或者,
响应于所述语音识别结果指示所述语音反馈信息的声纹与所述人脸信息对应的声纹不一致,提示进行所述预设操作。
4.根据权利要求2所述的方法,其特征在于,所述执行所述敏感操作指令对应的敏感操作之后,所述方法还包括:
语音播报所述敏感操作的敏感操作结果。
5.根据权利要求2所述的方法,其特征在于,所述响应于采集到所述敏感操作信息的语音反馈信息,获取所述语音反馈信息的语音识别结果,包括:
将所述语音反馈信息发送至后台服务器;
获取所述后台服务器反馈的所述语音反馈信息的语音识别结果。
6.根据权利要求1至5任一所述的方法,其特征在于,所述根据所述敏感操作指令以及所述人脸信息获取敏感操作信息,包括:
根据所述人脸信息获取用户信息;
根据所述敏感操作指令获取补充信息;
生成所述敏感操作信息,所述敏感操作信息包括所述用户信息和所述补充信息。
7.根据权利要求6所述的方法,其特征在于,所述根据所述人脸信息获取用户信息,包括:
将所述人脸信息上传至后台服务器;
获取所述后台服务器反馈的所述用户信息。
8.一种敏感操作的处理装置,其特征在于,所述敏感操作的处理装置包括:
第一获取模块,用于响应于接收到敏感操作指令,获取目标人脸信息;
第二获取模块,用于根据所述敏感操作指令以及所述人脸信息获取敏感操作信息;
播报模块,用于语音播报所述敏感操作信息;
处理模块,用于响应于采集到所述敏感操作信息的语音反馈信息,根据所述语音反馈信息处理所述敏感操作指令。
9.一种处理设备,其特征在于,包括处理器、存储器、摄像头、传声器以及扬声器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并与所述摄像头、传声器以及扬声器执行以实现如权利要求1至7任一所述的敏感操作的处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的敏感操作的处理方法。
CN202010340739.2A 2020-04-26 2020-04-26 敏感操作的处理方法、装置、设备及计算机可读存储介质 Pending CN111554058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010340739.2A CN111554058A (zh) 2020-04-26 2020-04-26 敏感操作的处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010340739.2A CN111554058A (zh) 2020-04-26 2020-04-26 敏感操作的处理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111554058A true CN111554058A (zh) 2020-08-18

Family

ID=72001211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010340739.2A Pending CN111554058A (zh) 2020-04-26 2020-04-26 敏感操作的处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111554058A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572668A (zh) * 2021-06-29 2021-10-29 青岛海尔科技有限公司 语音信号的处理方法和装置及电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745516A (zh) * 2014-01-16 2014-04-23 周克荣 声控防盗门使用方法
CN103955825A (zh) * 2014-05-21 2014-07-30 深圳数字电视国家工程实验室股份有限公司 电子支付方法、装置及数字电视
CN108876998A (zh) * 2018-06-13 2018-11-23 上海快鱼电子有限公司 基于生物特征识别的人证合一的门禁实现方法和系统
CN110472980A (zh) * 2019-08-19 2019-11-19 广州织点智能科技有限公司 一种刷脸支付方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745516A (zh) * 2014-01-16 2014-04-23 周克荣 声控防盗门使用方法
CN103955825A (zh) * 2014-05-21 2014-07-30 深圳数字电视国家工程实验室股份有限公司 电子支付方法、装置及数字电视
CN108876998A (zh) * 2018-06-13 2018-11-23 上海快鱼电子有限公司 基于生物特征识别的人证合一的门禁实现方法和系统
CN110472980A (zh) * 2019-08-19 2019-11-19 广州织点智能科技有限公司 一种刷脸支付方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572668A (zh) * 2021-06-29 2021-10-29 青岛海尔科技有限公司 语音信号的处理方法和装置及电子装置

Similar Documents

Publication Publication Date Title
US8917825B2 (en) Telephone-based commerce system
CN109284044A (zh) 一种基于大数据的功能菜单展示方法及相关设备
US8566203B1 (en) User identification using mobile device
US9501765B2 (en) Preparing preliminary transaction work for a mobile banking customer
WO2018156619A1 (en) Payment processing method and apparatus, and transaction method and mobile device
CN104537532A (zh) 消费数据记录方法及装置
EP1902442A2 (en) Selective security masking within recorded speech utilizing speech recognition techniques
CN110324314B (zh) 用户注册方法及装置、存储介质、电子设备
CN110097356B (zh) 一种支付方法、装置、设备和存储介质
US20110184821A1 (en) Payment device triggered modified transaction session at point of sale
US8738450B2 (en) Audible transaction process and system
KR102632763B1 (ko) 판매자들 사이의 경쟁 판매율에 따라 사용 허가를 선별적으로 적용하는 글로벌 이커머스 통합 관리 방법 및 시스템
CN109087110A (zh) 一种智能销售方法、装置及终端设备
US10750020B2 (en) Systems, methods and computer program products for voice call customer support
US20140156506A1 (en) Self-service using mobile device
CN111614924A (zh) 计算机系统、资源发送方法、装置、设备及介质
CN111554058A (zh) 敏感操作的处理方法、装置、设备及计算机可读存储介质
CN109376666A (zh) 一种商品售卖方法、装置、售卖机及存储介质
CN111161729A (zh) 用于智能自助设备的语音交互方法和装置
KR20120025322A (ko) 스마트폰을 이용한 상품 주문 시스템
CN107688935A (zh) 支付设备、方法及装置、系统、介质和移动、电子设备
CN112562690A (zh) 基于物品配送的业务处理方法、装置、设备和存储介质
US20140156505A1 (en) Agent-aided transaction
JP2006227815A (ja) 試供品配布システムおよび試供品配布装置
CN111738707B (zh) 交易金额识别方法、支付方法和计算机装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination