CN111915819A - 远程虚拟交互方法、装置及系统 - Google Patents
远程虚拟交互方法、装置及系统 Download PDFInfo
- Publication number
- CN111915819A CN111915819A CN202010818590.4A CN202010818590A CN111915819A CN 111915819 A CN111915819 A CN 111915819A CN 202010818590 A CN202010818590 A CN 202010818590A CN 111915819 A CN111915819 A CN 111915819A
- Authority
- CN
- China
- Prior art keywords
- teller
- client
- image
- character
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供一种远程虚拟交互方法、装置及系统，可用于金融领域或其他领域，方法包括：接收客户端发送的业务触发指令；根据至少一个预设图像采集装置采集到的柜员的环境图像信息，构建业务空间框架；根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息，得到人物立体图像；将所述业务空间框架和所述人物立体图像返回至所述客户端进行图像展示；本申请能够有效提升客户与柜员的沟通效率。
Description
技术领域
本申请涉及信息处理领域，也可用于金融领域，具体涉及一种远程虚拟交互方法、装置及系统。
背景技术
随着经济的发展，用户在银行网点的智能柜员机系统上办理各类业务变得越来越普及，办理的业务包括自助类和审核类。自助类业务即在智能柜员机上可完成整个交易，审核类业务即在智能柜员机上进行业务办理时，需要网点的大堂经理使用Pad进行审核才可以完成整个交易。研究发现，人们在办理自助类业务时，大部分情况需要大堂经理在旁边进行指导；而办理审核类业务必须需要大堂经理进行审核，也就是无论是办理哪种业务，都需要人力在现场进行支持。调查发现，每个网点至少需要两名大堂经理，人力成本较大，而这部分工作完全可以通过某些技术方案进行实现。
同时，在客户办理业务的过程中，大堂经理无法识别客户信息进行主动营销，只能进行简单的交流，浪费了与客户面对面介绍产品、营销产品的机会。
发明内容
针对现有技术中的问题，本申请提供一种远程虚拟交互方法、装置及系统，能够有效提升客户与柜员的沟通效率。
为了解决上述问题中的至少一个，本申请提供以下技术方案：
第一方面，本申请提供一种远程虚拟交互方法，包括：
接收客户端发送的业务触发指令；
根据至少一个预设图像采集装置采集到的柜员的环境图像信息，构建业务空间框架；
根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息，得到人物立体图像；
将所述业务空间框架和所述人物立体图像返回至所述客户端进行图像展示。
进一步地，所述根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息，得到人物立体图像，包括：
根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息进行人物特征提取和配准处理；
根据经过所述特征提取和配准处理后得到的点云数据构建人物立体模型，对所述人物立体模型进行全局优化和数据融合处理，得到人物立体图像。
进一步地，在所述接收客户端发送的业务触发指令之后，还包括：
对所述业务触发指令中的客户图像信息进行人脸识别，其中，所述客户图像信息是由设置在所述客户端的至少一个人脸图像采集装置采集得到；
根据所述人脸识别的结果，确定与所述客户对应的推荐产品，以使所述客户端对所述推荐产品进行信息展示。
第二方面，本申请提供一种远程虚拟交互装置，包括：
业务触发指令接收模块，用于接收客户端发送的业务触发指令；
业务空间框架构建模块，用于根据至少一个预设图像采集装置采集到的柜员的环境图像信息，构建业务空间框架；
人物立体图像构建模块，用于根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息，得到人物立体图像；
图像展示模块，用于将所述业务空间框架和所述人物立体图像返回至所述客户端进行图像展示。
进一步地，所述人物立体图像构建模块包括：
特征提取和配准处理单元，用于根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息进行人物特征提取和配准处理；
模型构建和优化融合单元，用于根据经过所述特征提取和配准处理后得到的点云数据构建人物立体模型，对所述人物立体模型进行全局优化和数据融合处理，得到人物立体图像。
进一步地，还包括：
人脸识别单元，用于对所述业务触发指令中的客户图像信息进行人脸识别，其中，所述客户图像信息是由设置在所述客户端的至少一个人脸图像采集装置采集得到；
产品推荐单元，用于根据所述人脸识别的结果，确定与所述客户对应的推荐产品，以使所述客户端对所述推荐产品进行信息展示。
第三方面，本申请提供一种远程虚拟交互系统，包括客户端和柜员端，所述客户端包括柜员机和显示装置，所述柜员端包括图像采集装置、虚拟扫描仪及位移传感器，所述客户端与所述柜员端无线通信；
所述柜员端包括：
业务触发指令接收模块，用于接收所述客户端发送的业务触发指令；
业务空间框架构建模块，用于根据至少一个所述图像采集装置采集到的柜员的环境图像信息，构建业务空间框架；
人物立体图像构建模块，用于根据所述虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个所述位移传感器采集到的人物位移信息，得到人物立体图像；
图像展示模块，用于将所述业务空间框架和所述人物立体图像返回至所述客户端的所述显示装置进行图像展示。
第四方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的远程虚拟交互方法的步骤。
第五方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的远程虚拟交互方法的步骤。
由上述技术方案可知，本申请提供一种远程虚拟交互方法、装置及系统，通过柜员端预设的图像采集装置采集柜员的环境图像信息，以此构建三维立体场景的业务空间框架，然后通过预设的虚拟扫描仪对柜员进行立体图形扫描，得到柜员的人物图像信息，并通过设置在柜员特定位置处的位移传感器来采集柜员的人物位移信息，并根据人物图像信息和人物位移信息构建柜员的人物立体图像，然后在客户端图像展示所述业务空间框架和所述人物立体图像，以此提升客户与柜员的沟通效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的远程虚拟交互方法的流程示意图之一；
图2为本申请实施例中的远程虚拟交互方法的流程示意图之二；
图3为本申请实施例中的远程虚拟交互方法的流程示意图之三；
图4为本申请实施例中的远程虚拟交互装置的结构图之一；
图5为本申请实施例中的远程虚拟交互装置的结构图之二；
图6为本申请实施例中的远程虚拟交互装置的结构图之三；
图7为本申请实施例中的远程虚拟交互系统的结构图；
图8为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的远程虚拟交互方法、装置及系统可用于金融领域在智能柜员机中的应用，也可用于除金融领域之外的任意领域，本申请的远程虚拟交互方法、装置及系统的应用领域不做限定。
考虑到现有技术中客户操作柜员机时银行人力成本较大、业务办理效率低下的问题，本申请提供一种远程虚拟交互方法、装置及系统，通过柜员端预设的图像采集装置采集柜员的环境图像信息，以此构建三维立体场景的业务空间框架，然后通过预设的虚拟扫描仪对柜员进行立体图形扫描，得到柜员的人物图像信息，并通过设置在柜员特定位置处的位移传感器来采集柜员的人物位移信息，并根据人物图像信息和人物位移信息构建柜员的人物立体图像，然后在客户端图像展示所述业务空间框架和所述人物立体图像，以此提升客户与柜员的沟通效率。
为了能够有效提升客户与柜员的沟通效率，本申请提供一种远程虚拟交互方法的实施例，参见图1，所述远程虚拟交互方法具体包含有如下内容：
步骤S101：接收客户端发送的业务触发指令。
举例来说，在办理业务时，客户端可点击呼叫远程工作人员(例如银行柜员)按钮，此时柜员端的工作人员会收到一条消息请求，点击消息即可连通客户端，即柜员端和客户端建立了连接。
步骤S102：根据至少一个预设图像采集装置采集到的柜员的环境图像信息，构建业务空间框架。
可选的，柜员端的多台摄像头将视频画面传送到自身的后台处理服务器中，服务器根据多个视频画面进行初步整合，建立一个空间框架(空间框架就是根据摄像头的返回视频图像，将人物和周围的环境结合起来，从而建立一个近似真实的空间框架，基于这个空间框架，后续才可以对人物图像进行进一步重构)。
步骤S103：根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息，得到人物立体图像。
可选的，用预设虚拟扫描仪对各个角度下的人物进行3d立体图形的扫描，并在人物表面设立侦测点，将这些侦测点提取到数据库中，后台服务器基于SFM算法重新构建人物特征(SFM算法流程为：特征提取，配准，点云模型化，全局优化和数据融合)，进而展现出3D人物画面。当人物发生变化时，侦测点也动态发生变化，人物特征会快速构建并展现。
步骤S104：将所述业务空间框架和所述人物立体图像返回至所述客户端进行图像展示。
可选的，柜员端工作人员的高清画面通过自身的后台处理服务器进行3D虚拟重构后，连同所述业务空间框架的图像信息一同传输到客户端并投影到客户端处的显示装置上，所述显示装置具有显示屏，所述显示装置优选为能够进行业务空间框架和人物立体图像的3D展示的增强现实设备，例如AR眼镜，客户通过该AR眼镜，看到的是工作人员的3D立体画面，客户的画面也可通过柜员机上设置的客户图像采集设备传输到柜员端，从而实现客户和工作人员的“面对面”交流，进而提升客户与柜员的沟通效率，也由此间接提升了业务办理效率。
从上述描述可知，本申请实施例提供的远程虚拟交互方法，能够通过柜员端预设的图像采集装置采集柜员的环境图像信息，以此构建三维立体场景的业务空间框架，然后通过预设的虚拟扫描仪对柜员进行立体图形扫描，得到柜员的人物图像信息，并通过设置在柜员特定位置处的位移传感器来采集柜员的人物位移信息，并根据人物图像信息和人物位移信息构建柜员的人物立体图像，然后在客户端图像展示所述业务空间框架和所述人物立体图像，以此提升客户与柜员的沟通效率。
为了能够准确形成柜员得人物立体图像，在本申请的远程虚拟交互方法的一实施例中，参见图2，上述步骤S103还可以具体包含如下内容：
步骤S201：根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息进行人物特征提取和配准处理。
步骤S202：根据经过所述特征提取和配准处理后得到的点云数据构建人物立体模型，对所述人物立体模型进行全局优化和数据融合处理，得到人物立体图像。
具体的，用预设虚拟扫描仪对各个角度下的人物进行3d立体图形的扫描，并在人物表面设立侦测点，将这些侦测点提取到数据库中，后台服务器基于SFM算法重新构建人物特征(SFM算法流程为：特征提取，配准，点云模型化，全局优化和数据融合)，进而展现出3D人物画面。当人物发生变化时，侦测点也动态发生变化，人物特征会快速构建并展现。
为了能够提高业务办理效率和准确率，在本申请的远程虚拟交互方法的一实施例中，参见图3，在上述步骤S101之后，还可以具体包含如下内容：
步骤S301：对所述业务触发指令中的客户图像信息进行人脸识别，其中，所述客户图像信息是由设置在所述客户端的至少一个人脸图像采集装置采集得到。
步骤S302：根据所述人脸识别的结果，确定与所述客户对应的推荐产品，以使所述客户端对所述推荐产品进行信息展示。
具体的，通过设置在客户端处的人脸图像采集装置(例如柜员机上设置的摄像头)采集客户人脸信息，并通过人脸识别算法对所述客户的人脸信息进行识别，例如调用后台大数据处理服务器，获取客户的相关信息(比如客户身份信息、客户投资风险等级、客户历史消费记录以及消费偏好等)，并根据上述客户的相关信息通过现有算法确定该客户可能喜好的产品(例如预先存储于设定数据库中的理财产品)，在客户端的显示装置上推送相关的产品介绍，当用户感兴趣时，点击屏幕，可引导客户到柜员机上进行产品的查询和购买，从而达到对客户的精准营销。
比如客户办理转账汇款业务过程中(介质为卡)。首先，客户将卡插入到智能柜员机，系统会根据卡号获取客户的相关参数信息，然后调用对应接口得到客户的星级、投资爱好、风险级别等基本信息，系统根据这些信息分别调用不同接口，展现与客户爱好相符的产品进行广告推送，即展示在左显示屏和右显示屏上。客户在办理转账汇款业务过程中，可能存在等待系统处理等情况，或者此业务办理结束后，如果客户对广告感兴趣，可引导客户到智能柜员机上进行产品的查询和购买。
比如客户办理借记卡挂失业务过程中(介质为刷脸)。首先，客户点击刷脸登录，人脸比对通过后即可进入业务的办理。而系统根据人脸识别结果可获取到客户的相关参数信息，然后调用对应接口得到客户的星级、投资爱好、风险级别等基本信息，系统根据这些信息分别调用不同接口，展现与客户爱好相符的产品进行广告推送，即展示在左显示屏和右显示屏上。客户在办理借记卡挂失业务过程中，可能存在等待大堂经理审核等情况，或者此业务办理结束后，如果客户对广告感兴趣，可引导客户到智能柜员机上进行产品的查询和购买。
为了能够有效提升客户与柜员的沟通效率，本申请提供一种用于实现所述远程虚拟交互方法的全部或部分内容的远程虚拟交互装置的实施例，参见图4，所述远程虚拟交互装置具体包含有如下内容：
业务触发指令接收模块10，用于接收客户端发送的业务触发指令。
业务空间框架构建模块20，用于根据至少一个预设图像采集装置采集到的柜员的环境图像信息，构建业务空间框架。
人物立体图像构建模块30，用于根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息，得到人物立体图像。
图像展示模块40，用于将所述业务空间框架和所述人物立体图像返回至所述客户端进行图像展示。
从上述描述可知，本申请实施例提供的远程虚拟交互装置，能够通过柜员端预设的图像采集装置采集柜员的环境图像信息，以此构建三维立体场景的业务空间框架，然后通过预设的虚拟扫描仪对柜员进行立体图形扫描，得到柜员的人物图像信息，并通过设置在柜员特定位置处的位移传感器来采集柜员的人物位移信息，并根据人物图像信息和人物位移信息构建柜员的人物立体图像，然后在客户端图像展示所述业务空间框架和所述人物立体图像，以此提升客户与柜员的沟通效率。
为了能够准确形成柜员得人物立体图像，在本申请的远程虚拟交互装置的一实施例中，参见图5，所述人物立体图像构建模块30包括：
特征提取和配准处理单元31，用于根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息进行人物特征提取和配准处理。
模型构建和优化融合单元32，用于根据经过所述特征提取和配准处理后得到的点云数据构建人物立体模型，对所述人物立体模型进行全局优化和数据融合处理，得到人物立体图像。
为了能够提高业务办理效率和准确率，在本申请的远程虚拟交互装置的一实施例中，参见图6，还具体包含有如下内容：
人脸识别单元51，用于对所述业务触发指令中的客户图像信息进行人脸识别，其中，所述客户图像信息是由设置在所述客户端的至少一个人脸图像采集装置采集得到。
产品推荐单元52，用于根据所述人脸识别的结果，确定与所述客户对应的推荐产品，以使所述客户端对所述推荐产品进行信息展示。
为了能够有效提升客户与柜员的沟通效率，本申请提供一种包含所述远程虚拟交互装置的全部或部分内容的远程虚拟交互系统的实施例，参见图7，所述远程虚拟交互系统具体包括客户端和柜员端，所述客户端包括柜员机和显示装置，所述柜员端包括图像采集装置、虚拟扫描仪及位移传感器，所述客户端与所述柜员端无线通信。
所述柜员端包括：
业务触发指令接收模块，用于接收所述客户端发送的业务触发指令；
业务空间框架构建模块，用于根据至少一个所述图像采集装置采集到的柜员的环境图像信息，构建业务空间框架；
人物立体图像构建模块，用于根据所述虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个所述位移传感器采集到的人物位移信息，得到人物立体图像；
图像展示模块，用于将所述业务空间框架和所述人物立体图像返回至所述客户端的所述显示装置进行图像展示。
从上述描述可知，本申请实施例提供的远程虚拟交互系统，能够通过柜员端预设的图像采集装置采集柜员的环境图像信息，以此构建三维立体场景的业务空间框架，然后通过预设的虚拟扫描仪对柜员进行立体图形扫描，得到柜员的人物图像信息，并通过设置在柜员特定位置处的位移传感器来采集柜员的人物位移信息，并根据人物图像信息和人物位移信息构建柜员的人物立体图像，然后在客户端图像展示所述业务空间框架和所述人物立体图像，以此提升客户与柜员的沟通效率。
为了更进一步说明本方案，本申请还提供一种应用上述远程虚拟交互装置实现远程虚拟交互方法的具体应用实例，具体包含有如下内容：
一种远程虚拟交互系统，包括客户端、远程端以及后台处理服务器；
客户端包括：智能柜员机，摄像头，传感器，交互眼镜，主显示屏，左显示屏，右显示屏。
远程端包括：摄像头，传感器。
在远程端，摄像头和传感器实时采集工作人员画面，传入智能柜员机系统的后台处理服务器对其进行3D虚拟重构，传输到客户端并投影到主显示屏上。
在客户端，客户来到智能柜员机办理业务，可选择佩戴交互眼镜(交互眼镜会与眼镜厂商合作，在底层驱动层双方约定好通信规则，从而建立连接进行交互)，在办理业务时，可点击呼叫远程工作人员按钮，此时远程端的工作人员会收到一条消息请求，点击消息即可连通客户端，即远程端和客户端建立了连接。远程端工作人员的高清画面通过智能柜员机系统的后台处理服务器进行3D虚拟重构后，传输到客户端并投影到主显示屏上，客户通过交互眼镜，看到的是工作人员的3D立体画面，客户的画面也可通过智能柜员机传输到远程端，从而实现客户和工作人员“面对面”交流。
3D虚拟重构的过程为：远程端的多台摄像头将视频画面传送到后台处理服务器中，服务器根据多个视频画面进行初步整合，建立一个空间框架(空间框架就是根据摄像头的返回视频图像，将人物和周围的环境结合起来，从而建立一个近似真实的空间框架，基于这个空间框架，后续才可以对人物图像进行进一步重构)，然后用虚拟扫描仪对各个角度下的人物进行3d立体图形的扫描，并在人物表面设立侦测点，将这些侦测点提取到数据库中，后台服务器基于SFM算法重新构建人物特征(SFM算法流程为：特征提取，配准，点云模型化，全局优化和数据融合)，进而展现出3D人物画面。当人物发生变化时，侦测点也动态发生变化，人物特征会快速构建并展现。
同时，通过采集客户人脸信息，通过人脸识别，调用后台大数据处理服务器，可获取客户的相关信息(比如投资风险等级等)，在左显示屏和右显示屏上推送相关的产品介绍，当用户感兴趣时，点击屏幕，可引导客户到智能柜员机上进行产品的查询和购买，从而达到对客户的精准营销。
比如客户办理转账汇款业务过程中(介质为卡)。首先，客户将卡插入到智能柜员机，系统会根据卡号获取客户的相关参数信息，然后调用对应接口得到客户的星级、投资爱好、风险级别等基本信息，系统根据这些信息分别调用不同接口，展现与客户爱好相符的产品进行广告推送，即展示在左显示屏和右显示屏上。客户在办理转账汇款业务过程中，可能存在等待系统处理等情况，或者此业务办理结束后，如果客户对广告感兴趣，可引导客户到智能柜员机上进行产品的查询和购买。
比如客户办理借记卡挂失业务过程中(介质为刷脸)。首先，客户点击刷脸登录，人脸比对通过后即可进入业务的办理。而系统根据人脸识别结果可获取到客户的相关参数信息，然后调用对应接口得到客户的星级、投资爱好、风险级别等基本信息，系统根据这些信息分别调用不同接口，展现与客户爱好相符的产品进行广告推送，即展示在左显示屏和右显示屏上。客户在办理借记卡挂失业务过程中，可能存在等待大堂经理审核等情况，或者此业务办理结束后，如果客户对广告感兴趣，可引导客户到智能柜员机上进行产品的查询和购买。
由上述内容可知，本申请至少还可以实现如下技术效果：
利用日趋成熟的5G技术和AR技术，为客户在业务办理中提供一种用户体验更好的解决方案。让客户在业务办理中陷入一种“身临其境”的虚拟环境，从而带来一种全新的用户体验。同时，在业务办理中，还可以实现主动精准营销的目的，为客户提供优质的产品和服务。
从硬件层面来说，为了能够有效提升客户与柜员的沟通效率，本申请提供一种用于实现所述远程虚拟交互方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现远程虚拟交互装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的远程虚拟交互方法的实施例，以及远程虚拟交互装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，远程虚拟交互方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图8为本申请实施例的电子设备9600的系统构成的示意框图。如图8所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图8是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，远程虚拟交互方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤S101：接收客户端发送的业务触发指令。
步骤S102：根据至少一个预设图像采集装置采集到的柜员的环境图像信息，构建业务空间框架。
步骤S103：根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息，得到人物立体图像。
步骤S104：将所述业务空间框架和所述人物立体图像返回至所述客户端进行图像展示。
从上述描述可知，本申请实施例提供的电子设备，通过柜员端预设的图像采集装置采集柜员的环境图像信息，以此构建三维立体场景的业务空间框架，然后通过预设的虚拟扫描仪对柜员进行立体图形扫描，得到柜员的人物图像信息，并通过设置在柜员特定位置处的位移传感器来采集柜员的人物位移信息，并根据人物图像信息和人物位移信息构建柜员的人物立体图像，然后在客户端图像展示所述业务空间框架和所述人物立体图像，以此提升客户与柜员的沟通效率。
在另一个实施方式中，远程虚拟交互装置可以与中央处理器9100分开配置，例如可以将远程虚拟交互装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现远程虚拟交互方法功能。
如图8所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图8中所示的所有部件；此外，电子设备9600还可以包括图8中没有示出的部件，可以参考现有技术。
如图8所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的远程虚拟交互方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的远程虚拟交互方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤S101：接收客户端发送的业务触发指令。
步骤S102：根据至少一个预设图像采集装置采集到的柜员的环境图像信息，构建业务空间框架。
步骤S103：根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息，得到人物立体图像。
步骤S104：将所述业务空间框架和所述人物立体图像返回至所述客户端进行图像展示。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过柜员端预设的图像采集装置采集柜员的环境图像信息，以此构建三维立体场景的业务空间框架，然后通过预设的虚拟扫描仪对柜员进行立体图形扫描，得到柜员的人物图像信息，并通过设置在柜员特定位置处的位移传感器来采集柜员的人物位移信息，并根据人物图像信息和人物位移信息构建柜员的人物立体图像，然后在客户端图像展示所述业务空间框架和所述人物立体图像，以此提升客户与柜员的沟通效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种远程虚拟交互方法，其特征在于，所述方法包括：
接收客户端发送的业务触发指令；
根据至少一个预设图像采集装置采集到的柜员的环境图像信息，构建业务空间框架；
根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息，得到人物立体图像；
将所述业务空间框架和所述人物立体图像返回至所述客户端进行图像展示。
2.根据权利要求1所述的远程虚拟交互方法，其特征在于，所述根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息，得到人物立体图像，包括：
根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息进行人物特征提取和配准处理；
根据经过所述特征提取和配准处理后得到的点云数据构建人物立体模型，对所述人物立体模型进行全局优化和数据融合处理，得到人物立体图像。
3.根据权利要求1所述的远程虚拟交互方法，其特征在于，在所述接收客户端发送的业务触发指令之后，还包括：
对所述业务触发指令中的客户图像信息进行人脸识别，其中，所述客户图像信息是由设置在所述客户端的至少一个人脸图像采集装置采集得到；
根据所述人脸识别的结果，确定与所述客户对应的推荐产品，以使所述客户端对所述推荐产品进行信息展示。
4.一种远程虚拟交互装置，其特征在于，包括：
业务触发指令接收模块，用于接收客户端发送的业务触发指令；
业务空间框架构建模块，用于根据至少一个预设图像采集装置采集到的柜员的环境图像信息，构建业务空间框架；
人物立体图像构建模块，用于根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息，得到人物立体图像；
图像展示模块，用于将所述业务空间框架和所述人物立体图像返回至所述客户端进行图像展示。
5.根据权利要求4所述的远程虚拟交互装置，其特征在于，所述人物立体图像构建模块包括：
特征提取和配准处理单元，用于根据预设虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个位移传感器采集到的人物位移信息进行人物特征提取和配准处理；
模型构建和优化融合单元，用于根据经过所述特征提取和配准处理后得到的点云数据构建人物立体模型，对所述人物立体模型进行全局优化和数据融合处理，得到人物立体图像。
6.根据权利要求4所述的远程虚拟交互装置，其特征在于，还包括：
人脸识别单元，用于对所述业务触发指令中的客户图像信息进行人脸识别，其中，所述客户图像信息是由设置在所述客户端的至少一个人脸图像采集装置采集得到；
产品推荐单元，用于根据所述人脸识别的结果，确定与所述客户对应的推荐产品，以使所述客户端对所述推荐产品进行信息展示。
7.一种远程虚拟交互系统，其特征在于，包括客户端和柜员端，所述客户端包括柜员机和显示装置，所述柜员端包括图像采集装置、虚拟扫描仪及位移传感器，所述客户端与所述柜员端无线通信；
所述柜员端包括：
业务触发指令接收模块，用于接收所述客户端发送的业务触发指令；
业务空间框架构建模块，用于根据至少一个所述图像采集装置采集到的柜员的环境图像信息，构建业务空间框架；
人物立体图像构建模块，用于根据所述虚拟扫描仪对所述柜员进行立体图形扫描得到的人物图像信息和在所述柜员的特定位置处设立的至少一个所述位移传感器采集到的人物位移信息，得到人物立体图像；
图像展示模块，用于将所述业务空间框架和所述人物立体图像返回至所述客户端的所述显示装置进行图像展示。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至3任一项所述的远程虚拟交互方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至3任一项所述的远程虚拟交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010818590.4A CN111915819A (zh) | 2020-08-14 | 2020-08-14 | 远程虚拟交互方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010818590.4A CN111915819A (zh) | 2020-08-14 | 2020-08-14 | 远程虚拟交互方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111915819A true CN111915819A (zh) | 2020-11-10 |
Family
ID=73283164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010818590.4A Pending CN111915819A (zh) | 2020-08-14 | 2020-08-14 | 远程虚拟交互方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915819A (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110149042A1 (en) * | 2009-12-18 | 2011-06-23 | Electronics And Telecommunications Research Institute | Method and apparatus for generating a stereoscopic image |
| CN102625129A (zh) * | 2012-03-31 | 2012-08-01 | 福州一点通广告装饰有限公司 | 远程真人三维虚拟仿场景互动的实现方法 |
| CN103279987A (zh) * | 2013-06-18 | 2013-09-04 | 厦门理工学院 | 基于Kinect的物体快速三维建模方法 |
| US20140118466A1 (en) * | 2012-11-01 | 2014-05-01 | Nautilus Hyosung Inc. | Method of providing remote financial service using remote video banking machine |
| CN104835265A (zh) * | 2015-04-22 | 2015-08-12 | 中国建设银行股份有限公司 | 一种vtm业务办理的方法及系统 |
| CN105759960A (zh) * | 2016-02-02 | 2016-07-13 | 上海尚镜信息科技有限公司 | 一种结合3d摄像头的增强现实远程指导方法和系统 |
| US9503681B1 (en) * | 2015-05-29 | 2016-11-22 | Purdue Research Foundation | Simulated transparent display with augmented reality for remote collaboration |
| CN107645651A (zh) * | 2017-10-12 | 2018-01-30 | 北京临近空间飞艇技术开发有限公司 | 一种增强现实的远程指导方法和系统 |
| CN107918913A (zh) * | 2017-11-20 | 2018-04-17 | 中国银行股份有限公司 | 银行业务处理方法、装置以及系统 |
| CN108257218A (zh) * | 2018-01-17 | 2018-07-06 | 北京网信云服信息科技有限公司 | 信息交互控制方法、装置及设备 |
| CN108525289A (zh) * | 2018-03-26 | 2018-09-14 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108922077A (zh) * | 2018-07-28 | 2018-11-30 | 武汉云易虹科技有限公司 | 一种基于音视频交互的柜台业务办理系统及方法 |
| US20190378331A1 (en) * | 2014-09-29 | 2019-12-12 | Amazon Technologies, Inc. | Virtual world generation engine |
| CN111178847A (zh) * | 2019-12-31 | 2020-05-19 | 中国银行股份有限公司 | 基于vr技术的虚拟银行网点设备、控制装置及工作方法 |
| CN111526118A (zh) * | 2019-10-29 | 2020-08-11 | 南京翱翔信息物理融合创新研究院有限公司 | 一种基于混合现实的远程操作引导系统及方法 |
-
2020
- 2020-08-14 CN CN202010818590.4A patent/CN111915819A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110149042A1 (en) * | 2009-12-18 | 2011-06-23 | Electronics And Telecommunications Research Institute | Method and apparatus for generating a stereoscopic image |
| CN102625129A (zh) * | 2012-03-31 | 2012-08-01 | 福州一点通广告装饰有限公司 | 远程真人三维虚拟仿场景互动的实现方法 |
| US20140118466A1 (en) * | 2012-11-01 | 2014-05-01 | Nautilus Hyosung Inc. | Method of providing remote financial service using remote video banking machine |
| CN103279987A (zh) * | 2013-06-18 | 2013-09-04 | 厦门理工学院 | 基于Kinect的物体快速三维建模方法 |
| US20190378331A1 (en) * | 2014-09-29 | 2019-12-12 | Amazon Technologies, Inc. | Virtual world generation engine |
| CN104835265A (zh) * | 2015-04-22 | 2015-08-12 | 中国建设银行股份有限公司 | 一种vtm业务办理的方法及系统 |
| US9503681B1 (en) * | 2015-05-29 | 2016-11-22 | Purdue Research Foundation | Simulated transparent display with augmented reality for remote collaboration |
| CN105759960A (zh) * | 2016-02-02 | 2016-07-13 | 上海尚镜信息科技有限公司 | 一种结合3d摄像头的增强现实远程指导方法和系统 |
| CN107645651A (zh) * | 2017-10-12 | 2018-01-30 | 北京临近空间飞艇技术开发有限公司 | 一种增强现实的远程指导方法和系统 |
| CN107918913A (zh) * | 2017-11-20 | 2018-04-17 | 中国银行股份有限公司 | 银行业务处理方法、装置以及系统 |
| CN108257218A (zh) * | 2018-01-17 | 2018-07-06 | 北京网信云服信息科技有限公司 | 信息交互控制方法、装置及设备 |
| CN108525289A (zh) * | 2018-03-26 | 2018-09-14 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108922077A (zh) * | 2018-07-28 | 2018-11-30 | 武汉云易虹科技有限公司 | 一种基于音视频交互的柜台业务办理系统及方法 |
| CN111526118A (zh) * | 2019-10-29 | 2020-08-11 | 南京翱翔信息物理融合创新研究院有限公司 | 一种基于混合现实的远程操作引导系统及方法 |
| CN111178847A (zh) * | 2019-12-31 | 2020-05-19 | 中国银行股份有限公司 | 基于vr技术的虚拟银行网点设备、控制装置及工作方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴从中，张凌华，詹曙: "融合Gabor特征的SFM算法三维人脸建模", 《合肥工业大学学报（自然科学版）》 * |
| 沈江华，孙殿柱，李延瑞，梁增凯: "点云初始配准的优化求解算法", 《西安交通大学学报》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9560203B2 (en) | System and method for providing customer support on a user interface | |
| RU2721998C2 (ru) | Способ, устройство и носимая часть, оснащенная контрольным процессором ядра системы, использующим изображения штрихкода для осуществления обмена информацией | |
| CN111178847B (zh) | 基于vr技术的虚拟银行网点设备、控制装置及工作方法 | |
| CN106157006A (zh) | 基于在线直播的虚拟礼物赠送方法及装置 | |
| CN111861561B (zh) | 广告信息定位、展示方法及其相应的装置、设备、介质 | |
| CN111669535A (zh) | 基于多路视频远程办理金融业务的方法及系统 | |
| CN102387093A (zh) | 一种即时通讯好友和群组分享的方法和系统 | |
| CN114493785A (zh) | 基于元宇宙的智能商场服务交易平台 | |
| CN110807650A (zh) | 一种金融产品新用户邀请方法和系统 | |
| WO2019047497A1 (zh) | 3d眼镜租用装置、系统及方法 | |
| CN113435989A (zh) | 金融数据处理方法及装置 | |
| JP2023522266A (ja) | マルチメディアデータ配信の方法、装置、デバイス及び媒体 | |
| CN113159896A (zh) | 银行理财产品的线上营销方法、装置及系统 | |
| CN111917631A (zh) | 一种互联网金融服务方法、装置、电子设备、可读存储介质和系统 | |
| CN111915819A (zh) | 远程虚拟交互方法、装置及系统 | |
| CN115205009A (zh) | 基于虚拟技术的开户业务处理方法及装置 | |
| CN117196596A (zh) | 基于数字货币的支付方法、装置和系统 | |
| JP2022184842A (ja) | コンピュータプログラム、方法、及び、サーバ装置 | |
| CN110378785B (zh) | 由服务器执行的交易处理方法、装置、计算设备以及介质 | |
| CN113836455A (zh) | 特效渲染方法、装置、设备、存储介质及计算机程序产品 | |
| JP7219027B2 (ja) | プログラム、情報処理端末、情報処理方法、及び情報処理装置 | |
| CN112929635A (zh) | 裸眼3d显示屏的显示控制方法、多视点裸眼3d显示器 | |
| CN111818164A (zh) | 基于云应用的资源转移方法、装置和计算机设备 | |
| CN112101915A (zh) | 金融服务管控数据处理方法及装置 | |
| CN111210311B (zh) | 一种生成订单的方法和自提柜 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201110 |