CN111899442A

CN111899442A - 盲人自助办理银行业务的方法及装置

Info

Publication number: CN111899442A
Application number: CN202010823748.7A
Authority: CN
Inventors: 高坡
Original assignee: Bank of China Ltd
Current assignee: Bank of China Ltd
Priority date: 2020-08-17
Filing date: 2020-08-17
Publication date: 2020-11-06

Abstract

本发明公开了一种盲人自助办理银行业务的方法及装置，其中该方法包括：当检测到银行卡插入后，利用语音提示用户当前的操作步骤；当操作步骤播报完成后，采集目标区域中用户的图像序列；提取图像序列中用户的动作特征；将提取的动作特征与动作库中的预设动作进行比对，确认用户的动作特征所指示的输入内容；按照输入内容执行当前操作步骤，在当前操作步骤执行完成后，利用语音提示用户下一个操作步骤，并继续执行利用语音提示用户当前的操作步骤的后续步骤，如此循环直至完成银行业务办理的所有操作步骤。本发明可以辅助盲人快速准确地在银行进行自助存取款操作。

Description

盲人自助办理银行业务的方法及装置

技术领域

本发明涉及银行业务处理技术领域，尤其涉及一种盲人自助办理银行业务的方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

在一些场景中，比如盲人在银行进行存取款时，与普通人不同的是，盲人无法看到操作界面，尤其是在输入一些数字，以及点击是或否、确认或取消这些功能的时候，这就带来了很大的不便。

发明内容

本发明实施例提供一种盲人自助办理银行业务的方法，用以辅助盲人快速准确地在银行进行自助存取款操作，该方法包括：

当检测到银行卡插入后，利用语音提示用户当前的操作步骤；

当操作步骤播报完成后，采集目标区域中用户的图像序列；

提取图像序列中用户的动作特征；

将提取的动作特征与动作库中的预设动作进行比对，确认用户的动作特征所指示的输入内容；

按照输入内容执行当前操作步骤，在当前操作步骤执行完成后，利用语音提示用户下一个操作步骤，并继续执行利用语音提示用户当前的操作步骤的后续步骤，如此循环直至完成银行业务办理的所有操作步骤。

本发明实施例还提供一种盲人自助办理银行业务的装置，用以辅助盲人快速准确地在银行进行自助存取款操作，该装置包括：

语音提示模块，用于当检测到银行卡插入后，利用语音提示用户当前的操作步骤；

图像采集模块，用于当操作步骤播报完成后，采集目标区域中用户的图像序列；

特征提取模块，用于提取图像序列中用户的动作特征；

比对模块，用于将提取的动作特征与动作库中的预设动作进行比对，确认用户的动作特征所指示的输入内容；

操作执行模块，用于按照输入内容执行当前操作步骤，在当前操作步骤执行完成后，触发语音提示模块、图像采集模块、特征提取模块、比对模块针对用户下一个操作步骤重新执行，直至完成银行业务办理的所有操作步骤。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述盲人自助办理银行业务的方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述盲人自助办理银行业务的方法的计算机程序。

本发明实施例中，通过语音提示用户每个操作环节，并通过动作识别来确认用户想要输入的内容，之后根据识别出的用户想要输入的内容完成银行业务办理，与现有技术中，盲人用户无法看到操作界面，无法准确找到输入内容对应的输入键相比，无需盲人用户查看操作界面，通过语音即可知道当前的操作步骤，做出相应动作即可输入内容，方便了盲人快速准确地在银行进行自助存取款操作，节省了盲人用户去人工窗口办理银行业务所需花费的时间与精力，给盲人用户带来了极大方便。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中盲人自助办理银行业务的方法的一种流程图；

图2为本发明实施例中盲人自助办理银行业务的方法的另一种流程图；

图3为本发明实施例中盲人自助办理银行业务的方法的另一种流程图；

图4为本发明实施例中盲人自助办理银行业务的装置的一种结构示意图；

图5为本发明实施例中盲人自助办理银行业务的装置的一种结构示意图；

图6为本发明实施例中盲人自助办理银行业务的装置的一种结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

本发明实施例提供了一种盲人自助办理银行业务的方法，如图1所示，方法包括步骤101至步骤105：

步骤101、当检测到银行卡插入后，利用语音提示用户当前的操作步骤。

如果当前装置为供盲人用户专用的装置，可以在插入银行卡后进入盲人用户办理业务的模式；如果当前装置为同时供盲人用户和非盲人用户办理业务的装置，在检测到银行卡插入之后，可以调取该银行卡卡号对应的用户信息，根据用户信息确认银行卡办理者是否为盲人用户，若该银行卡的办理者是盲人用户，则进入盲人用户办理业务的模式，启动语音提示功能和动作识别功能。

语音提示功能用于提示每个操作步骤，比如说，提示用户当前的操作步骤为“输入密码”，或者“选择所需办理的业务类型”等等。

考虑到可能由亲属等非盲人用户持有盲人用户的银行卡代替其办理银行业务，眼睛正常的用户无需语音提示，也可以按下输入键来输入内容，在插入银行卡之后，可以语音提示用户确认自身是否为盲人用户，如果为盲人用户则做出指定动作(如点头、摇头等)，如果为非盲人用户则做出其他动作，采取这样的方式来区分当前银行卡的持有者为盲人用户或非盲人用户；同时，还可以在操作界面中出现供用户选择是否为盲人用户的选项，非盲人用户可以选择相应选项来确认自己为非盲人用户。

步骤102、当操作步骤播报完成后，采集目标区域中用户的图像序列。

其中，目标区域是摄像装置所能拍摄的区域。

其中，图像序列可以是一段动态影像中的多帧图像，或者是拍摄的几幅静态图像。采集动态影像还是静态图像可以按照需求来确定，比如说，如果需要用户做出“点头”或“摇头”这样的动作时，通过静态图像显然无法确定用户做出的是什么样的动态，这时就需要采集动态影像，通过连续的多帧图像来确认用户动作；而当输入数字时，就无需采集动态影像，通过静态图像就可以确认用户想要输入的数字是几。当然，采集动态影像还是静态图像可以由装置设计者来设定，对于采集的图像序列的形式，在此不做限定。

为了保证用户的资金安全，在执行完步骤102之后，如图2所示，还可以执行如下步骤206至步骤210，其中，步骤210可以代替步骤103：

步骤206、提取图像序列中的人脸特征。

步骤207、获取银行中留存的与银行卡对应的合法人脸信息。

需要说明的是，合法人脸信息中可以包括一个或者多个人脸信息。

步骤208、将图像序列中的人脸特征与合法人脸信息进行比对。

步骤209、如果图像序列中的人脸特征与合法人脸信息中的任意一个人脸相同，则确认当前用户为合法用户。

在确认当前用户为合法用户之后，还可以在后续过程中提取用户的动作特征的同时，继续追踪验证用户的身份。

步骤210、提取图像序列中合法用户的动作特征。

通过人脸比对，可以确认用户是否为合法用户，以此来保障用户的资金安全。

在本发明实施例的另一种实现方式中，如图3所示，在执行步骤208将图像序列中的人脸特征与合法人脸信息进行比对之后，还可以执行如下步骤311：

步骤311、如果图像序列中的人脸特征与所有合法人脸信息均不相同，则通过留存的合法用户的联系方式，向合法用户发出告警信息。

其中，银行中留存的合法用户的联系方式，如电话号码等，可以通过向合法用户拨打电话提示有非法用户办理银行业务；如果合法用户中有非盲人用户，且该合法用户注册了银行APP、公众号等关联了该银行卡，还可以通过银行APP或公众号等中的聊天功能向非盲人用户发送当前办理银行业务用户的人脸图像，以警示有非法用户办理银行业务。

考虑到可能存在盲人委托非法用户办理银行业务的情况，当向盲人拨打电话，或者向非盲人用户发送人脸图像之后，可以由盲人在语音中确认是否允许非法用户办理银行业务，或者在银行APP或公众号中显示是否允许继续办理业务的选项，供用户选择是否允许业务继续办理。

如果允许业务继续办理，则在执行步骤311后，可以继续执行步骤103；如果不允许业务继续办理，则不再执行后续步骤；银行也可以采取吞卡等措施来保障用户资金安全。

步骤103、提取图像序列中用户的动作特征。

其中，动作特征包括手部动作特征和头部动作特征。例如，手部动作主要用来表示密码等数字，头部动作主要用来表示是或否、确认或取消、同意或反对等功能。

步骤104、将提取的动作特征与动作库中的预设动作进行比对，确认用户的动作特征所指示的输入内容。

在本发明实施例中，可以通过计算机对传感器或者摄像机采集的原始图像或图像序列数据进行处理和分析，学习并理解其中人的动作和行为，进而得到动作库。动作库中的动作可以包含国内和国际通用手部和头部动作，例如点头代表是或确认，摇头代表否或取消等，输入数字可以通过手部动作来完成等。

在将提取的动作特征与动作库中的预设动作进行比对之后，如果提取的动作特征与动作库中的预设动作不匹配，则利用语音提示用户当前的动作特征为无效动作，并按照预设动作说明向用户提示有效动作的动作说明；当语音提示完成后，重新采集目标区域中用户的图像序列。

示例性的，输入数字时，动作说明可以为“请您伸出相应数量的手指”；当输入确认或取消时，动作说明可以为“如确认，请您点头；如取消，请您摇头”等。动作说明可以由装置设计者自行设置。

步骤105、按照输入内容执行当前操作步骤，在当前操作步骤执行完成后，利用语音提示用户下一个操作步骤，并继续执行利用语音提示用户当前的操作步骤的后续步骤，如此循环直至完成银行业务办理的所有操作步骤。

利用语音提示用户当前的操作步骤的后续步骤即为步骤102至步骤105，当步骤105的“按照输入内容执行当前操作步骤”执行完成之后，则提示用户下一个操作步骤，回到102继续执行，如此循环，知道完成所有操作步骤。

比如说，银行业务“取款”的操作步骤包括“插入银行卡”→“输入密码”→“选择所要办理的业务类型”→“输入取款金额”→“取出出钞口中款项”→“退卡”，在上述操作步骤中，在每个操作步骤执行之前，都语音提示当前的操作步骤，比如，当用户选择所要办理的业务类型之后，语音播报“请您输入取款金额”，并提示用户如何以动作表达取款数额；取款数额输入完成之后，则语音播报“请您取出出钞口中款项”，逐个步骤执行直至完成“退卡”步骤。

本发明实施例中还提供了一种盲人自助办理银行业务的装置，如下面的实施例所述。由于该装置解决问题的原理与盲人自助办理银行业务的方法相似，因此该装置的实施可以参见盲人自助办理银行业务的方法的实施，重复之处不再赘述。

如图4所示，该装置400包括语音提示模块401、图像采集模块402、特征提取模块403、比对模块404和操作执行模块405。

其中，语音提示模块401，用于当检测到银行卡插入后，利用语音提示用户当前的操作步骤。

图像采集模块402，用于当操作步骤播报完成后，采集目标区域中用户的图像序列。

特征提取模块403，用于提取图像序列中用户的动作特征。

比对模块404，用于将提取的动作特征与动作库中的预设动作进行比对，确认用户的动作特征所指示的输入内容。

操作执行模块405，用于按照输入内容执行当前操作步骤，在当前操作步骤执行完成后，触发语音提示模块401、图像采集模块402、特征提取模块403、比对模块404针对用户下一个操作步骤重新执行，直至完成银行业务办理的所有操作步骤。

在本发明实施例的一种实现方式中，如图5所示，该装置400还包括获取模块506。

特征提取模块403，还用于提取图像序列中的人脸特征。

获取模块506，用于获取银行中留存的与银行卡对应的合法人脸信息。

比对模块404，还用于将图像序列中的人脸特征与合法人脸信息进行比对。

特征提取模块403，还用于当图像序列中的人脸特征与合法人脸信息中的任意一个人脸相同时，确认当前用户为合法用户，提取图像序列中合法用户的动作特征。

在本发明实施例的一种实现方式中，如图6所示，该装置400还包括告警模块607：

告警模块607，用于当图像序列中的人脸特征与所有合法人脸信息均不相同时，通过留存的合法用户的联系方式，向合法用户发出告警信息。

在本发明实施例的一种实现方式中，

语音提示模块401，还用于当提取的动作特征与动作库中的预设动作不匹配时，利用语音提示用户当前的动作特征为无效动作，并按照预设动作说明向用户提示有效动作的动作说明；

图像采集模块402，还用于当语音提示完成后，重新采集目标区域中用户的图像序列。

在本发明实施例的一种实现方式中，动作特征包括手部动作特征和头部动作特征。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种盲人自助办理银行业务的方法，其特征在于，所述方法包括：

当操作步骤播报完成后，采集目标区域中用户的图像序列；

提取图像序列中用户的动作特征；

2.根据权利要求1所述的方法，其特征在于，在采集目标区域中用户的图像序列之后，所述方法还包括：

提取图像序列中的人脸特征；

获取银行中留存的与银行卡对应的合法人脸信息；

将图像序列中的人脸特征与合法人脸信息进行比对；

如果图像序列中的人脸特征与合法人脸信息中的任意一个人脸相同，则确认当前用户为合法用户，提取图像序列中合法用户的动作特征。

3.根据权利要求2所述的方法，其特征在于，在将图像中的人脸特征与合法人脸信息相比对之后，所述方法还包括：

如果图像序列中的人脸特征与所有合法人脸信息均不相同，则通过留存的合法用户的联系方式，向合法用户发出告警信息。

4.根据权利要求1所述的方法，其特征在于，在将提取的动作特征与动作库中的预设动作进行比对之后，所述方法还包括：

如果提取的动作特征与动作库中的预设动作不匹配，则利用语音提示用户当前的动作特征为无效动作，并按照预设动作说明向用户提示有效动作的动作说明；

当语音提示完成后，重新采集目标区域中用户的图像序列。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述动作特征包括手部动作特征和头部动作特征。

6.一种盲人自助办理银行业务的装置，其特征在于，所述装置包括：

特征提取模块，用于提取图像序列中用户的动作特征；

7.根据权利要求6所述的装置，其特征在于，

特征提取模块，还用于提取图像序列中的人脸特征；

获取模块，用于获取银行中留存的与银行卡对应的合法人脸信息；

比对模块，还用于将图像序列中的人脸特征与合法人脸信息进行比对；

特征提取模块，还用于当图像序列中的人脸特征与合法人脸信息中的任意一个人脸相同时，确认当前用户为合法用户，提取图像序列中合法用户的动作特征。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

告警模块，用于当图像序列中的人脸特征与所有合法人脸信息均不相同时，通过留存的合法用户的联系方式，向合法用户发出告警信息。

9.根据权利要求8所述的装置，其特征在于，

语音提示模块，还用于当提取的动作特征与动作库中的预设动作不匹配时，利用语音提示用户当前的动作特征为无效动作，并按照预设动作说明向用户提示有效动作的动作说明；

图像采集模块，还用于当语音提示完成后，重新采集目标区域中用户的图像序列。

10.根据权利要求6至9任一项所述的装置，其特征在于，所述动作特征包括手部动作特征和头部动作特征。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一所述方法的计算机程序。