CN107272887A - 一种基于增强现实实现客户端场景交互的方法 - Google Patents

一种基于增强现实实现客户端场景交互的方法 Download PDF

Info

Publication number
CN107272887A
CN107272887A CN201710347788.7A CN201710347788A CN107272887A CN 107272887 A CN107272887 A CN 107272887A CN 201710347788 A CN201710347788 A CN 201710347788A CN 107272887 A CN107272887 A CN 107272887A
Authority
CN
China
Prior art keywords
intelligent terminal
scene
client
user
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710347788.7A
Other languages
English (en)
Inventor
李秀生
毛航
陈林江
刘亚猛
彭剑
沈星
李元俊
陈建刚
王月超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN201710347788.7A priority Critical patent/CN107272887A/zh
Publication of CN107272887A publication Critical patent/CN107272887A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Technology Law (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及银行客户端交互场景领域，具体公开了一种基于增强现实实现客户端场景交互的方法，本方法采用的技术方案为:首先采集虚拟实景影像和交互实景影像，其次将影像存储为数据内容，再将数据内容封装成SDK,再将SDK编码嵌入智能终端设备；用户可以直接通过访问智能终端设备可以在虚拟实景的引导下办理网上银行业务。本申请方案一方面用户可以直接通过访问智能终端来获得虚拟实景的交互体验，使得用户的用户体验更好；另一方面老人或者盲人等相对特殊人群可以通过直接访问智能终端的虚拟实景办理银行业务，使得这一类的相对特殊人群可以在智能终端的引导下顺利便捷的使用手机银行等相关服务。

Description

一种基于增强现实实现客户端场景交互的方法
技术领域
本发明涉及银行业务办理领域，具体涉及一种基于增强现实技术实现客户端场景交互的方法。
背景技术
根据人口学调查显示，最近几年来中国人口的老龄化问题突出；随着智能化的普及，越来越多的年轻人生活越来越智能化，比如手机支付，手机外卖，手机银行等；而许多年纪大或者教育程度低的人群逐渐与社会脱节。如银行，很多银行拥有自己的客户端，用户可以在手机银行客户端上办理业务，避免了在外地办理业务不方便以及需要找到自己对应银行卡的银行不方便等情况。通常流程是在银行开通网上银行服务，然后进入银行客户端，再进行登录，再一步一步的办理操作，最后完成网上银行的业务办理；但是对于老年人视力差或者教育程度低或者盲人等人群，对于这一类人群在缺少引导的情况下很难网上银行的办理业务；但是网上业务办理相对于柜台办理，对于简化银行操作，节省银行服务人员等很有意义；对于年轻用户来看现有的客户端操作较为繁琐，模式单一；那么如何实现这一人群使用网上银行等来办理银行业务以及如何实现更好的银行客户端与用户之间的交互带给用户更好的体验成为现在的关注热点。
发明内容
本发明的目的在于：针对上述由于老人以及盲人缺少引导而无法在相应客户端办理银行业务的问题，本发明提供一种基于增强现实技术实现客户端场景交互进而引导特殊用户实现客户端办理银行业务的方法。
本发明采用的技术方案如下：
一种基于增强现实实现客户端场景交互的方法,其特征在于，包括以下步骤：
(1)利用装有摄像设备的工具获取各种银行业务办理场景的实景图，不同业务流程根据客户LBS定位以及屏幕点击操作，获得不同银行业务对应的实景以及控制参数，该控制参数能控制虚拟客户经理配合实景进行动作变换以及语音交互；
(2)将每张影像存成数组数据结构，该数组数据结构包括对应取样时间的虚拟客户经理模型的动作以及声音，并对影像数据进行分割、加入前后指针或标记，使用客户经理的动作说话内容手势与影像数据同步化，形成虚拟实景的数字内容；
(3)将虚拟实景的数字内容封装成SDK，并将SDK进行编码嵌入带摄像头以及语音识别的智能终端；
(4)在步骤(1)处理的同时，利用多组传感器以及摄像设备采集在客户经理指导下办理不同业务时候的用户的手势，语音，用于获得实景对应的交互控制数据信息，该交互控制数据信息能够指导智能终端的虚拟场景的变换；
(5)将交互控制数据信息的内容封装成SDK,同时将其编码同步嵌入步骤(3)中的带摄像头以及语音识别的智能终端；
(6)在智能终端的虚拟场景根据用户的语音或手势移动进行场景变化，最终用户在智能终端的虚拟实景的引导下在智能终端上实现银行业务办理。
具体地，步骤(1)和步骤(4)中的摄像设备均包括多组摄像设备，对相应采集的影像进行全方位的摄像。
具体地，步骤(3)与步骤(5)中将SDK嵌入智能终端的第三方APP。
本申请中，用户语音通过智能终端的语音识别进行识别输入，手势通过摄像头进行采集输入；虚拟实景可以根据语音以及手势来进行相应的变换，最后在虚拟实景的整体引导下用户可以在智能终端办理好网上银行业务。
本申请中利用增强现实技术，采集银行办理业务的交互场景获得虚拟实景的数据内容，再封装成SDK,并将其嵌入至智能终端，一方面用户可以直接通过访问智能终端来获得虚拟实景的交互体验，使得用户的用户体验更好；另一方面老人或者盲人等相对特殊人群可以通过直接访问智能终端的虚拟实景办理银行业务，使得这一类的相对特殊人群可以在智能终端的引导下顺利便捷的使用手机银行等相关服务。与此同时，这对于拓展网上银行的用户量有重要意义，可以减少线下银行从业人员的数量等。
用户可以直接访问第三方APP来访问虚拟实景并同时在虚拟实景的引导作用下完成智能终端上的银行业务办理。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本申请中利用增强现实技术，采集银行办理业务的交互场景获得虚拟实景的数据内容，再封装成SDK,并将其嵌入至智能终端，一方面用户可以直接通过访问智能终端来获得虚拟实景的交互体验，使得用户的用户体验更好；另一方面老人或者盲人等相对特殊人群可以通过直接访问智能终端的虚拟实景办理银行业务，使得这一类的相对特殊人群可以在智能终端的引导下顺利便捷的使用手机银行等相关服务。与此同时，这对于拓展网上银行的用户量有重要意义，可以减少线下银行从业人员的数量等。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。
图1是本发明基于增强现实实现客户端场景交互的方法的流程图；
图2是网上银行开户流程图；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
实施例1
原有的网上银行开户流程主要包括六大步骤：
步骤1，用户注册：输入用户名，姓名，省份证号，登录密码，再次确认登录密码，验证码信息进行注册，无误后注册成功；(其中用户需要识别和理解注册信息并正确填写完成方可注册成功)
步骤2，用户登录：用户需要根据注册时候的用户名以及登录密码进行输入登录(用户需要牢记注册时的用户名以及密码，如果忘记密码，需要再实名找回)；
步骤3，选择业务类型：用户需要理解和选择网上银行开户属于网上业务办理大类，同时要理解个人开户也企业开户业务类型区别并进行选择(选择错误的业务类型将会导致开户失败)；
步骤4，填写开户人信息以及选择开户账号相关信息：开户人信息主要包括开户人的姓名，电话，省份证号，省份证正反面，地址；开户账号相关信息主要包括开户类型(储蓄卡或是信用卡或是其他)，开户附加功能选择(网上支付，手机短信等)；(用户如果填写错误的开户人信息将会导致开户失败；用户如果选择错误的开户账号相关信息容易导致后期使用不方便)。
开户的整个过程，对于每一步需要填写或者选择的信息需要基本的认知以及需要基本的识字能力，所以网上银行的使用对于年纪大眼睛近视的老人以及盲人或者缺乏基本教育的人群有难度。
下面将详细阐述基于本方案的实现网上银行开户的过程：
一种基于增强现实实现客户端场景交互的方法,包括以下步骤：
(1)利用装有摄像设备的工具获取各种银行业务办理场景的实景图，不同业务流程根据客户LBS定位以及屏幕点击操作，获得不同银行业务对应的实景以及控制参数，该控制参数能控制虚拟客户经理配合实景进行动作变换以及语音交互；
具体地来说，拍摄场景中，客户经理首先在门口迎接用户，简单问候之后，进行开户业务的介绍，并将用户带领至开户窗口，并指导用户开户信息填写的各项介绍以及填写的注意事项。在这个过程中，控制参数主要就包含了客户经理的位置坐标，客户经理的语速，讲话内容的时间控制；需要采集的信息包括客户经理的行为动作以及面部表情，语言内容，地理位置坐标，银行办理业务场景。
(2)将每张影像存成数组数据结构，该数组数据结构包括对应取样时间的客户经理的动作以及声音，并对影像数据进行分割、加入前后指针或标记，使用客户经理的动作说话内容手势与影像数据同步化，形成虚拟实景的数字内容；
(3)将虚拟实景的数字内容封装成SDK，并将SDK进行编码嵌入带摄像头以及语音识别的智能终端的网上银行的APP中；
(4)在步骤(1)处理的同时，利用多组传感器以及摄像设备采集在客户经理指导下办理银行开户业务时候的用户的手势，语音，用于获得实景对应的交互控制数据信息，该交互控制数据信息能够指导智能终端的虚拟场景的变换；
具体地来说，需要采集用户在开户业务时候的细节手势，具体语音，并同时控制用户办理业务时候的坐标等。
(5)将交互控制数据信息的内容封装成SDK,同时将其编码同步嵌入步骤(3)中的带摄像头以及语音识别的智能终端的网上银行的APP中；
(6)在智能终端的虚拟场景根据用户的语音或手势移动进行场景变化，最终用户在智能终端的虚拟实景的引导下在智能终端上实现银行业务办理。
具体地，步骤(2)中的传感器和步骤(4)的传感器均包括里程计，惯性传感器，GPS,麦克风，温度计，计时器，气体传感器，语音识别器，倾斜计。
具体地，步骤(1)和步骤(4)中的摄像设备均包括多组摄像设备，对相应采集的影像进行全方位的摄像。
在采集过程中，需要多次拍摄，采集清晰的影像；同时多方位的采集银行大厅的信息，便于营造后期一个更接近与真实化世界的虚拟实景。

Claims (4)

1.一种基于增强现实实现客户端场景交互的方法,其特征在于，包括以下步骤：
(1)利用装有摄像设备的工具获取各种银行业务办理场景的实景图，不同业务流程根据客户LBS定位以及屏幕点击操作，获得不同银行业务对应的实景以及控制参数，该控制参数能控制虚拟客户经理配合实景进行动作变换以及语音交互；
(2)将每张影像存成数组数据结构，该数组数据结构包括对应取样时间的虚拟客户经理模型的动作以及声音，并对影像数据进行分割、加入前后指针或标记，使用客户经理的动作说话内容手势与影像数据同步化，形成虚拟实景的数字内容；
(3)将虚拟实景的数字内容封装成SDK，并将SDK进行编码嵌入带摄像头以及语音识别的智能终端；
(4)在步骤(1)处理的同时，利用多组传感器以及摄像设备采集在客户经理指导下办理不同业务时候的用户的手势，语音，用于获得实景对应的交互控制数据信息，该交互控制数据信息能够指导智能终端的虚拟场景的变换；
(5)将交互控制数据信息的内容封装成SDK,同时将其编码同步嵌入步骤(3)中的带摄像头以及语音识别的智能终端；
(6)在智能终端的虚拟场景根据用户的语音或手势移动进行场景变化，最终用户在智能终端的虚拟实景的引导下在智能终端上实现银行业务办理。
2.如权利1所述的一种基于增强现实实现客户端场景交互的方法,其特征在于，步骤(2)中的传感器和步骤(4)的传感器均包括里程计，惯性传感器，GPS,麦克风，温度计，计时器，气体传感器，语音识别器，倾斜计。
3.如权利1所述的一种基于增强现实实现客户端场景交互的方法,其特征在于，步骤(1)和步骤(4)中的摄像设备均包括多组摄像设备，对相应采集的影像进行全方位的摄像。
4.如权利1所述的一种基于增强现实实现客户端场景交互的方法,其特征在于，步骤(3)与步骤(5)中将SDK嵌入智能终端的第三方APP。
CN201710347788.7A 2017-05-17 2017-05-17 一种基于增强现实实现客户端场景交互的方法 Pending CN107272887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710347788.7A CN107272887A (zh) 2017-05-17 2017-05-17 一种基于增强现实实现客户端场景交互的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710347788.7A CN107272887A (zh) 2017-05-17 2017-05-17 一种基于增强现实实现客户端场景交互的方法

Publications (1)

Publication Number Publication Date
CN107272887A true CN107272887A (zh) 2017-10-20

Family

ID=60065218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710347788.7A Pending CN107272887A (zh) 2017-05-17 2017-05-17 一种基于增强现实实现客户端场景交互的方法

Country Status (1)

Country Link
CN (1) CN107272887A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833503A (zh) * 2017-11-10 2018-03-23 广东电网有限责任公司教育培训评价中心 配网核心作业增强现实仿真培训系统
CN109343705A (zh) * 2018-09-14 2019-02-15 广州越维信息科技有限公司 Ar辅助办税方法与系统
CN109616111A (zh) * 2018-12-24 2019-04-12 北京恒泰实达科技股份有限公司 一种基于语音识别的场景交互控制方法
CN111178847A (zh) * 2019-12-31 2020-05-19 中国银行股份有限公司 基于vr技术的虚拟银行网点设备、控制装置及工作方法
CN111665948A (zh) * 2020-06-15 2020-09-15 中国银行股份有限公司 一种非现场业务办理方法及vr系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140236740A1 (en) * 2011-11-16 2014-08-21 Jpmorgan Chase Bank, N.A. System and Method for Interactive Virtual Banking
CN104469287A (zh) * 2014-11-19 2015-03-25 中电长城(长沙)信息技术有限公司 一种用于远程vtm的虚拟坐席系统及其实现方法
US20150294405A1 (en) * 2014-04-11 2015-10-15 Bank Of America Corporation Virtual banking center
CN105913364A (zh) * 2016-04-11 2016-08-31 刘强 基于虚拟现实技术的监狱出监教育模拟方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140236740A1 (en) * 2011-11-16 2014-08-21 Jpmorgan Chase Bank, N.A. System and Method for Interactive Virtual Banking
US20150294405A1 (en) * 2014-04-11 2015-10-15 Bank Of America Corporation Virtual banking center
CN104469287A (zh) * 2014-11-19 2015-03-25 中电长城(长沙)信息技术有限公司 一种用于远程vtm的虚拟坐席系统及其实现方法
CN105913364A (zh) * 2016-04-11 2016-08-31 刘强 基于虚拟现实技术的监狱出监教育模拟方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
浦发银行战略发展部智慧银行课题组: ""Fintech技术是构建智慧银行的驱动力"", 《中国银行业》 *
金漫 等: ""虚拟现实技术在银行业的应用"", 《企业经济》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833503A (zh) * 2017-11-10 2018-03-23 广东电网有限责任公司教育培训评价中心 配网核心作业增强现实仿真培训系统
CN107833503B (zh) * 2017-11-10 2019-10-29 广东电网有限责任公司教育培训评价中心 配网核心作业增强现实仿真培训系统
CN109343705A (zh) * 2018-09-14 2019-02-15 广州越维信息科技有限公司 Ar辅助办税方法与系统
CN109616111A (zh) * 2018-12-24 2019-04-12 北京恒泰实达科技股份有限公司 一种基于语音识别的场景交互控制方法
CN111178847A (zh) * 2019-12-31 2020-05-19 中国银行股份有限公司 基于vr技术的虚拟银行网点设备、控制装置及工作方法
CN111178847B (zh) * 2019-12-31 2023-08-22 中国银行股份有限公司 基于vr技术的虚拟银行网点设备、控制装置及工作方法
CN111665948A (zh) * 2020-06-15 2020-09-15 中国银行股份有限公司 一种非现场业务办理方法及vr系统

Similar Documents

Publication Publication Date Title
CN107272887A (zh) 一种基于增强现实实现客户端场景交互的方法
CN104777911B (zh) 一种基于全息技术的智能交互方法
CN108010037B (zh) 图像处理方法、装置及存储介质
CN109658352A (zh) 图像信息的优化方法及装置、电子设备和存储介质
CN110428378A (zh) 图像的处理方法、装置及存储介质
CN106817349A (zh) 一种在通信过程中使通信界面产生动画效果的方法及装置
US7774194B2 (en) Method and apparatus for seamless transition of voice and/or text into sign language
CN109817236A (zh) 基于场景的音频降噪方法、装置、电子设备和存储介质
CN112184497B (zh) 一种客户到访轨迹追踪及客流分析系统及方法
CN103918284B (zh) 语音控制装置、语音控制方法和程序
CN110111193A (zh) 一种数据处理的方法及装置
CN109816764A (zh) 图像生成方法及装置、电子设备和存储介质
JP2022551660A (ja) シーンのインタラクション方法及び装置、電子機器並びにコンピュータプログラム
CN109257645A (zh) 视频封面生成方法及装置
US20230047858A1 (en) Method, apparatus, electronic device, computer-readable storage medium, and computer program product for video communication
CN110060215A (zh) 图像处理方法及装置、电子设备和存储介质
CN108985176A (zh) 图像生成方法及装置
CN109118430A (zh) 超分辨率图像重建方法及装置、电子设备及存储介质
CN108960158A (zh) 一种智能手语翻译的系统和方法
CN109871843A (zh) 字符识别方法和装置、用于字符识别的装置
CN109784304A (zh) 用于标注牙齿图像的方法和装置
TW201908949A (zh) 表情圖片生成方法和裝置、電子設備及儲存介質
US20220351425A1 (en) Integrating overlaid digital content into data via processing circuitry using an audio buffer
CN107623622A (zh) 一种发送语音动画的方法及电子设备
CN114727120A (zh) 直播音频流的获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020