CN109343705A - Ar辅助办税方法与系统 - Google Patents

Ar辅助办税方法与系统 Download PDF

Info

Publication number
CN109343705A
CN109343705A CN201811079720.6A CN201811079720A CN109343705A CN 109343705 A CN109343705 A CN 109343705A CN 201811079720 A CN201811079720 A CN 201811079720A CN 109343705 A CN109343705 A CN 109343705A
Authority
CN
China
Prior art keywords
user
control
tax
equipment
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811079720.6A
Other languages
English (en)
Inventor
赵熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Vietnam Mdt Infotech Ltd
Original Assignee
Guangzhou Vietnam Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Vietnam Mdt Infotech Ltd filed Critical Guangzhou Vietnam Mdt Infotech Ltd
Priority to CN201811079720.6A priority Critical patent/CN109343705A/zh
Publication of CN109343705A publication Critical patent/CN109343705A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/123—Tax preparation or submission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及税务信息化领域，涉及一种AR辅助办税方法，包括：确定用户通过计算机访问电子税务官网后，显示办税AR场景并询问需办理的税务业务；对用户语音解析后将解析结果发送给AR设备；由AR设备标注第一控件并引导用户对第一控件执行操作；再由计算机和服务器通讯，标注出第二控件并向用户反馈税务业务办理的操作步骤；接收用户对第二控件执行操作直至用户完成税务业务的办理。本发明还提出AR辅助办税系统。本发明将语音技术、计算机视觉和远程协同等技术集成在一起，将电子税务官网对应的指引信息叠加到AR设备，实现基于AR技术的操作引导，更高效协助纳税人进行业务办理和咨询，解放了税务工作人员精力并提高办税大厅服务效率。

Description

AR辅助办税方法与系统
技术领域
本发明涉及税务信息化领域，特别涉及一种AR辅助办税方法与系统。
背景技术
当前我国税务部门信息化投入大，但纳税人对税务服务的满意度却没有得到快速的提升，整个信息化建设已陷入发展瓶颈，其面临的问题有三个：
(1)每到缴税高峰，前来办税大厅进行业务咨询和办理的纳税人多，尽管办税大厅通过配置办税引导服务人员一定程度上可以缓解办税压力，但是由于纳税人多且税务内容属于高专业性业务，即使是经验丰富的税务工作人员在遇到纳税人询问时也无法快速解答所有的问题，这时非常容易造成纳税人现场排队阻塞现象，引发纳税人不满或投诉，导致纳税人对办税大厅的服务满意度下降。
(2)由于纳税人企业人员变动，导致税务机关经常接到电子税局系统操作使用咨询，因此，税务机关需要经常召开纳税人学堂培训，耗费大量的人力和物力。
(3)纳税人咨询的问题70％-80％都集中在税收政策、办税流程、企业税务管理信息查询等常规咨询，导致办税大厅工作人员大部分工作精力耗费在解答这些常规税务咨询，大大降低办税大厅的服务效率。
因此，如何有效利用现有信息化成果，进行服务创新、让税务服务更加公开透明，更好地为纳税人提供服务，改善税局与纳税人之间的关系，成为亟需解决的问题。
发明内容
本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种AR辅助办税方法与系统。
本发明实施方式的AR辅助办税方法，其特征在于，包括：
步骤1，确定用户通过计算机访问电子税务官网后，通过AR设备显示预设的办税AR场景；其中，计算机和AR设备相连接；
步骤2，以语音方式向用户询问所需办理的税务业务；接收并解析用户针对询问反馈的需办理的税务业务，将解析结果发送给AR设备；
步骤3，由AR设备根据解析结果标注出电子税务官网中税务业务对应的第一控件，引导用户对第一控件执行操作进入税务业务的主页面；
步骤4，由计算机将包括主页面网址、主页面的ID、主页面的每个控件名称和每个控件的位置坐标在内的主页面信息发送给服务器，接收服务器反馈的包括用户所需操作的第二控件的名称和第二控件的位置坐标在内的控件信息；
步骤5，计算机将控件信息发送给AR设备并由AR设备根据控件信息标注出第二控件；
步骤6，向用户反馈当前主页面税务业务办理的操作步骤；
步骤7，接收用户依据操作步骤对第二控件执行操作直至用户完成税务业务的办理。
一种实施方式中，步骤3包括：
步骤31，由AR设备根据解析结果使用包括标记、提示框、动画和箭头在内的一种或多种UI标注出电子税务官网中用户需办理的税务业务对应的的第一控件；
步骤32，在第一控件周围显示包括文本、图片或视频在内的任意一种或多种用于提示该控件的对应操作的提示信息；
步骤33，根据UI和提示信息引导用户对第一控件执行操作进入需办理的税务业务的主页面。
一种实施方式中，步骤5包括：
步骤51，计算机将控件信息发送给AR设备；
步骤52，由AR设备根据控件信息使用包括标记、提示框、动画和箭头在内的一种或多种UI标注出第二控件；
步骤53，在第二控件周围显示包括文本、图片或视频在内的任意一种或多种用于提示该控件的对应操作的提示信息。
一种实施方式中，该方法还包括步骤：接收用户通过凝视和/或触发预设的手势来执行第一控件或第二控件周围的提示信息的消隐。
一种实施方式中，该方法还包括步骤：确定提示信息被消隐后，接收用户通过触发预设的手势来执行提示信息的重新显示。
一种实施方式中，该方法还包括步骤：确定用户执行操作的第一控件或第二控件与提示信息不符，则向用户反馈与提示信息相符的控件引导用户执行操作。
一种实施方式中，该方法还包括步骤：接收用户在电子税务官网全局关闭提示信息的请求，不显示所有控件对应的提示信息。
一种实施方式中，该方法还包括步骤：接收用户发送的需要税务专家协助的协助请求，根据协助请求连接远程设置的税务专家系统，将当前用户在计算机上操作的画面共享给税务专家，由税务专家通过直接对话或同步画面指引的方式完成专家对用户的办税协助。
一种实施方式中，步骤2包括：
步骤21，以语音方式向用户询问所需办理的税务业务；
步骤22，接收用户针对询问反馈的需办理的税务业务；
步骤23，将接收到的语音转换为字符串并以词为单位进行切分获得关键词；确定关键词与数据库中已有词汇的重合度大于预设重合度阈值时，输出解析结果；
步骤24，将解析结果发送给AR设备。
本发明还提出一种AR辅助办税系统，其特征在于，包括：
计算机，用于用户访问电子税务官网办理税务业务；
AR设备，用于用户访问电子税务官网办理税务业务的过程中进行AR显示和人机交互；
语音模块，用于用户访问电子税务官网办理税务业务的过程中以语音方式进行交互；
服务器，用于跟计算机和AR设备进行网络通讯和数据交互；
计算机和AR设备相连接，服务器分别跟计算机和AR设备通讯连接；
确定用户访问电子税务官网后，AR设备向用户显示预设的办税AR场景；语音模块以语音方式向用户询问所需办理的税务业务；接收并解析用户针对询问反馈的需办理的税务业务，将解析结果发送给AR设备；
AR设备根据解析结果标注出电子税务官网中用户需办理的税务业务对应的的第一控件，引导用户对第一控件执行操作进入需办理的税务业务的主页面；
计算机将包括主页面网址、主页面的ID、主页面的每个控件名称和每个控件的位置坐标在内的主页面信息发送给服务器，接收服务器反馈的包括用户所需操作的第二控件的名称和第二控件的位置坐标在内的控件信息；计算机将控件信息发送给AR设备并由AR设备根据控件信息标注出第二控件；
AR设备和语音模块向用户反馈当前主页面税务业务办理的操作步骤；接收用户依据操作步骤对第二控件执行操作直至用户完成税务业务的办理。
本发明实施方式的AR辅助办税方法与系统，将语音技术、计算机视觉和远程协同等关键技术集成在一起，将电子税务官网对应的指引信息叠加到AR设备中，实现基于AR技术的操作引导，更高效协助纳税人进行业务办理和财税专业咨询，而且也解放了税务工作人员的精力，提高办税大厅的服务效率。
本发明的附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本发明实施方式的AR辅助办税方法的流程示意图；
图2是是本发明实施方式中辅助办税的指引信息的示意图；
图3是本发明实施方式的AR辅助办税系统的组成示意图。
具体实施方式
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。
实施例1
请参阅图1，本发明实施方式的AR辅助办税方法，包括：
步骤1，确定用户通过计算机访问电子税务官网后，通过AR设备显示预设的办税AR场景；其中，计算机和AR设备相连接。
步骤2，以语音方式向用户询问所需办理的税务业务；接收并解析用户针对询问反馈的需办理的税务业务，将解析结果发送给AR设备。
步骤3，由AR设备根据解析结果标注出电子税务官网中税务业务对应的的第一控件，引导用户对第一控件执行操作进入税务业务的主页面。
步骤4，由计算机将包括主页面网址、主页面的ID、主页面的每个控件名称和每个控件的位置坐标在内的主页面信息发送给服务器，接收服务器反馈的包括用户所需操作的第二控件的名称和第二控件的位置坐标在内的控件信息。
步骤5，计算机将控件信息发送给AR设备并由AR设备根据控件信息标注出第二控件。
步骤6，向用户反馈当前主页面税务业务办理的操作步骤。
步骤7，接收用户依据操作步骤对第二控件执行操作直至用户完成税务业务的办理。
本实施例中，AR(Augmented Reality，简称AR)设备可以使用微软公司的Hololens。计算机和Hololens相连接，用户佩戴上Hololens后视觉上感受的画面是Hololens显示的内容和真实世界里计算机上的屏幕窗口的内容相叠加。
电子税务官网的税务业务包括但不限于：
1办税(登录进行身份验证、进行业务选择，支付功能、需要打印，辅助信息显示、远程专家协助)
2查询(可能需要打印，需要调用信息)
3学习(税务知识和税务系统使用方法的学习)
4咨询(远程专家协助)
5其他(意见反馈之类的)
步骤1中，用户在打开计算机和Hololens后，打开浏览器并进入电子税务官网后，计算机发送指令给Hololens打开相应的辅助操作税务软件，Hololens接收到指令后，开始进行虚拟空间定位，由于用户当前的使用场景是固定的，HoloLens调取该场景的信息，匹配该场景下初始化的空间锚点，将该场景信息进行空间初定位，进一步显示电子税务官网的主页大厅。当进入主页大厅后，会有一段模拟税务局的AR场景，例如一个虚拟的税局场景模型，并有一段语音报道“欢迎来到电子税务操作系统”。
步骤2中，具体包括：
步骤21，以语音方式向用户询问所需办理的税务业务。
步骤22，接收用户针对询问反馈的需办理的税务业务。
步骤23，将接收到的语音转换为字符串并以词为单位进行切分获得关键词；确定关键词与数据库中已有词汇的重合度大于预设重合度阈值时，输出解析结果。
步骤24，将解析结果发送给AR设备。
例如，计算机以语音方式向用户询问所需办理的税务业务，用户以语音方式回复税务业务为“小规模纳税人增值税申报”，计算机收到用户的语音开始与服务器通信进行语音识别和语义理解。服务器上预先设置了一个语义库，语义库包括税务知识库、控件信息库以及页面代码库，其中税务知识库存储了税务相关的知识信息，控件信息库存储了电子税务官网所有控件的信息，页面代码库存储了所有电子税务官网页面的代码。在接收到用户的语音后，通过语音识别工具将语音转换成字符串，然后使用分词工具将字符串以词为单位进行切分并进行词性标注，同时使用语音识别工具提取出关键词，进一步地，可以先将存放在语义库中的关键名词或动词在字符串中搜索，将关键的名词提取出来后再进行切分，提高分词的准确率。如果先前就已提取出对应的名词，则再搜索出语义库中存在的动词，按提取出来的名词与动词按照它们的语义的组合去进行查询；否则将提取出的关键词进行词性标注，并按照词性(动词或名词)在语义库中对比查询，如果关键词存在与语义库中已有词汇存在50％或以上的重合度的情况，则将该关键词与已有词视为同一语义并录入，然后按照关键词的语义组合找出它们所对应的问题，即解析出来用户存在疑问的问题，也就是解析出来用户的意图。然后计算机将解析结果发送给Hololens。
若用户当前为未登录状态，Hololens接收解析结果后将用户登录控件标注出来，并语音提示用户先登录电子税务官网。待登录完成后，计算机继续语音询问用户想要办理的业务，当用户回答“小规模纳税人增值税申报”后，对用户的回答进行语音解析并发送指令给Hololens。
在步骤3中，具体包括：
步骤31，由AR设备根据解析结果使用包括标记、提示框、动画和箭头在内的一种或多种UI标注出电子税务官网中用户需办理的税务业务对应的的第一控件。
步骤32，在第一控件周围显示包括文本、图片或视频在内的任意一种或多种用于提示该控件的对应操作的提示信息。
步骤33，根据UI和提示信息引导用户对第一控件执行操作进入需办理的税务业务的主页面。
即Hololens接收指令后标注“小规模纳税人增值税申报”处控件，提示用户点击该控件。Hololens的标注是调用内置标注UI，包括标记、提示框、动画和箭头在内的一种或多种UI，来对“小规模纳税人增值税申报”控件处进行标注。然后在“小规模纳税人增值税申报”控件处显示包括文本、图片或视频在内的任意一种或多种用于提示该控件的对应操作的提示信息。如图2所示，图2中控件1可以是“小规模纳税人增值税申报”控件或者其他用户需要办理的税务业务对应的具体控件，在控件周围，例如图2的右侧可以显示文本、图片或视频在内的任意一种或多种形式的提示信息，提示文本可以是“小规模纳税人增值税申报”这个税务业务的详细解释，提示图片可以是“小规模纳税人增值税申报”这个税务业务办理的流程图，提示视频可以是“小规模纳税人增值税申报”这个税务业务办理的指导视频。由于标注用的UI和对控件显示的提示信息都是在Hololens上，和当前计算机显示的电子税务官网的真实网页是不会造成干扰的。通过提示信息的显示，可以辅助纳税人，即用户了解要办理的税务业务的内容和办理的操作步骤，既保证了纳税人得到专业可靠且通俗易懂的咨询反馈，也解放了税务人员的精力。
在步骤4中，当用户操作某个控件时，例如对控件进行点击或者输入，计算机会将包括主页面网址、主页面的ID、主页面的每个控件名称和每个控件的位置坐标在内的主页面信息发送给服务器，服务器接收到这些主页面信息后，会在语义库中进行搜索，配合语义理解得到用户提出的问题的解答，以及页面的网址和页面的ID对应的需要用户操作的控件名称和控件的位置，并将这些通过计算机反馈给HoloLens。为了与电子税务官网中主页大厅的控件区别开，将主页大厅的控件命名为第一控件，第一控件包括用户登录控件、税务业务访问的指引控件等，将具体税务业务对应的页面，即税务业务的主页面出现的控件命名为第二控件，这些命名只是为了表述的方便，本身控件之间并未区别，用户对控件的操作也是类似的。
在步骤5中，具体包括：
步骤51，计算机将控件信息发送给AR设备。
步骤52，由AR设备根据控件信息使用包括标记、提示框、动画和箭头在内的一种或多种UI标注出第二控件。
步骤53，在第二控件周围显示包括文本、图片或视频在内的任意一种或多种用于提示该控件的对应操作的提示信息。
即HoloLens对第二控件的标注和提示信息的显示可以参照步骤3中对于第一控件的标注和提示信息的显示，在此不再赘述。
进一步地，本实施例的AR辅助办税方法还包括步骤：接收用户通过凝视和/或触发预设的手势来执行第一控件或第二控件周围的提示信息的消隐。
用户可以在HoloLens中通过凝视和/或触发特定的手势来执行提示信息的消隐。其中，凝视是利用光标确定用户凝视的位置，相当于实现鼠标的作用。预设的手势包括单击、双击和持续点击等多个手势，达到对AR图像的选取功能。用户办理具体的税务业务时，例如发票管理，根据提示信息中的图像打开发票管理页面时，可能会发现有一些信息的填写是不需要提示信息的，此时提示信息的存在会干扰用户视线，所以用户可以通过凝视和/或触发特定的手势来执行提示信息的消隐。
进一步地，本实施例的AR辅助办税方法还包括步骤：确定提示信息被消隐后，接收用户通过触发预设的手势来执行提示信息的重新显示。例如，本实施例中，在提示信息被消隐后，该提示信息将收进计算机屏幕外的一个小圆点中，当用户误操作消隐了需要的提示信息时，可以通过手势点击这个小圆点，使被消隐的提示信息重新显示。
除了提示信息的消隐和提示信息的在消隐后的重新显示，还可以通过凝视和/或触发特定的手势来实现相应的控件进一步的了解。
当用户在电子税务官网的网站上点击“小规模纳税人增值税申报”的控件并进入“小规模纳税人增值税申报”的业务主页面后，若指示用户凝视点的光标在某个控件处悬停一段时间后，则表示该用户对该控件处存在疑问，那么计算机即向Hololens发送指令，Hololens接收到了指令后，即对用户悬停控件处的位置进行标注并显示提示信息，解答用户在该处存在的疑问；直至用户点击“提交”，那么引导任务完成，HoloLens等待再次接收指令，开始新的业务指引。
针对用户的误操作，本实施例的AR辅助办税方法还包括步骤：确定用户执行操作的第一控件或第二控件与提示信息不符，则向用户反馈与提示信息相符的控件引导用户执行操作。例如，检测到用户操作的控件与提示信息不符或者检测到页面显示了用户输入错误的信息，则继续显示原来的提示信息，并通过语音的方式告知用户操作或输入有误。
进一步地，本实施例的AR辅助办税方法还包括步骤：接收用户在电子税务官网全局关闭提示信息的请求，不显示所有控件对应的提示信息。如用户不需要辅助办税的提示信息，可通过语音的方式表述需要在电子税务官网全局关闭全部提示信息的显示，也可以直接触发手势取消掉不需要的提示信息，避免受到不需要的干扰。
进一步地，本实施例的AR辅助办税方法还包括步骤：接收用户发送的需要税务专家协助的协助请求，根据协助请求连接远程设置的税务专家系统，将当前用户在计算机上操作的画面共享给税务专家，由税务专家通过直接对话或同步画面指引的方式完成专家对用户的办税协助。当提示信息不足以或不能解决用户所提出的问题时，用户可以通过特定的语句呼叫税务专家系统，或者也可以通过手势方式打开税务专家系统。例如，用户在办税时在某个需要填写的内容上出现了疑惑，不知道该填什么，这时，他可以通过特定的语句(“呼叫税务专家”，或者提到“远程专家”、“专家系统”等词汇的语句)或直接使用手势点击HoloLens界面上的远程专家按钮，视为用户发送了需要税务专家协助的协助请求，这时先前的提示信息与语音功能会暂时关闭，税务专家就能在他的屏幕上看到用户操作的页面，同时可以与用户进行对话，也可以将税务专家通过鼠标在画面里操作的内容同步显示到用户配戴的HoloLens上，让用户可以直接看到税务专家的指导，以此来进行专家对用户的办税辅助。
本实施例将语音技术、计算机视觉和远程协同等关键技术集成在一起，将电子税务官网对应的指引信息叠加到AR设备中，实现基于AR技术的操作引导，更高效协助纳税人进行业务办理和财税专业咨询，而且也解放了税务工作人员的精力，提高办税大厅的服务效率。
实施例2
请参阅图3，本发明实施方式的AR辅助办税系统，包括：
计算机，用于用户访问电子税务官网办理税务业务。
AR设备，用于用户访问电子税务官网办理税务业务的过程中进行AR显示和人机交互。
语音模块，用于用户访问电子税务官网办理税务业务的过程中以语音方式进行交互。
服务器，用于跟计算机和AR设备进行网络通讯和数据交互。
计算机和AR设备相连接，服务器分别跟计算机和AR设备通讯连接。
确定用户访问电子税务官网后，AR设备向用户显示预设的办税AR场景；语音模块以语音方式向用户询问所需办理的税务业务；接收并解析用户针对询问反馈的需办理的税务业务，将解析结果发送给AR设备。
AR设备根据解析结果标注出电子税务官网中用户需办理的税务业务对应的的第一控件，引导用户对第一控件执行操作进入需办理的税务业务的主页面。
计算机将包括主页面网址、主页面的ID、主页面的每个控件名称和每个控件的位置坐标在内的主页面信息发送给服务器，接收服务器反馈的包括用户所需操作的第二控件的名称和第二控件的位置坐标在内的控件信息；计算机将控件信息发送给AR设备并由AR设备根据控件信息标注出第二控件。
AR设备和语音模块向用户反馈当前主页面税务业务办理的操作步骤；接收用户依据操作步骤对第二控件执行操作直至用户完成税务业务的办理。
本实施例中，AR(Augmented Reality，简称AR)设备可以使用微软公司的Hololens。计算机和Hololens相连接，用户佩戴上Hololens后视觉上感受的画面是Hololens显示的内容和真实世界里计算机上的屏幕窗口的内容相叠加。
其中，计算机、AR设备、语音模块和服务器之间的工作配合过程，可以参考实施例1，在此不再赘述。
以发票领用业务为例，当用户在计算机上登录并进入电子税务官网的主页大厅后，将会出现语音询问办理用户所需办理业务。用户可以通过Hololens看到计算机上的屏幕窗口的内容，即用户视野看到的画面是Hololens显示的内容和真实世界里计算机上的屏幕窗口的内容相叠加。
用户以语音回复回复需要办理的税务业务为“发票领用”后，计算机与服务器通讯，由服务器结合预设的语义库获取语音并解析出用户的意图后，发送指令给Hololens。
HoloLens接收到指令之后，立即调用内置标注UI对“发票管理”控件处进行标注，并“发票管理”控件周围显示提示信息。其中，内置的用于标注的UI主要有标记、提示框、动画和一些箭头等的组合形式，提示信息主要有文本、图片、视频等。由于此处的UI全部是Hololens的虚拟UI，与计算机屏幕中的真实网页相叠加，不会对用户造成干扰。
用户可以在HoloLens中通过凝视和/或触发预设的手势来执行提示信息的消隐、提示信息消隐后的重新显示或者点击相应的控件进一步的了解。例如，用户需要办理发票管理的税务业务时，在当前税务业务的网页主页面发现有一些信息填写的提示信息是不需要的，而且扰乱了用户视线。用户可以通过手势的方式将不需要的提示信息进行消隐。消隐过后，该提示信息将收进计算机屏幕外的一个小圆点中，当用户误操作消隐了需要的提示信息时，可以通过手势点击这个小圆点，使被消隐的提示信息重新显示。
当用户在电子税务官网的网站上点击“发票管理”并进入发票管理的业务主页面后，计算机向Hololens发送指令，Hololens接收到了指令后对“发票领用”控件处的位置进行标注，指引用户下一步点击“发票领用”控件。
当用户在电子税务官网的网站上点击“发票领用”并进入发票领用的业务主页面后，利用指示用户凝视点的光标在某个控件处悬停一段时间后，则表示该用户对该控件处存在疑问，那么计算机即向Hololens发送指令，Hololens接收到了指令后，即对用户悬停控件处的位置进行标注并显示提示信息，解答用户在该处存在的疑问；直至用户点击“提交”，那么辅助办税任务完成，HoloLens等待再次接收指令，开始新的办税业务辅助指引。
当提示信息不足以或不能解决用户所提出的问题时，用户可以通过特定的语句通过语音模块呼叫税务专家系统，或者也可以通过手势方式打开税务专家系统，例如说用户在办税时在某个需要填写的内容上出现了疑惑，不知道该填什么，这时，他可以通过特定的语句(“呼叫专家”，或者提到“远程专家”“专家系统”等词汇的语句)或直接使用手势点击HoloLens界面上的远程税务专家按钮来启动税务专家系统。这时先前的提示信息与语音模块会暂时关闭，税务专家就能在他的屏幕上看到用户操作的页面，同时可以与用户进行对话，也可以将税务专家通过鼠标在画面里操作的内容同步显示到用户配戴的HoloLens上，让用户可以直接看到税务专家的指引信息，以此来进行专家对用户的办税辅助。
本实施例将语音技术、计算机视觉和远程协同等关键技术集成在一起，将电子税务官网对应的指引信息叠加到AR设备中，实现基于AR技术的操作引导，更高效协助纳税人进行业务办理和财税专业咨询，而且也解放了税务工作人员的精力，提高办税大厅的服务效率。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种AR辅助办税方法，其特征在于，包括：
步骤1，确定用户通过计算机访问电子税务官网后，通过AR设备显示预设的办税AR场景；其中，计算机和AR设备相连接；
步骤2，以语音方式向用户询问所需办理的税务业务；接收并解析用户针对询问反馈的需办理的税务业务，将解析结果发送给AR设备；
步骤3，由AR设备根据解析结果标注出电子税务官网中税务业务对应的第一控件，引导用户对第一控件执行操作进入税务业务的主页面；
步骤4，由计算机将包括主页面网址、主页面的ID、主页面的每个控件名称和每个控件的位置坐标在内的主页面信息发送给服务器，接收服务器反馈的包括用户所需操作的第二控件的名称和第二控件的位置坐标在内的控件信息；
步骤5，计算机将控件信息发送给AR设备并由AR设备根据控件信息标注出第二控件；
步骤6，向用户反馈当前主页面税务业务办理的操作步骤；
步骤7，接收用户依据操作步骤对第二控件执行操作直至用户完成税务业务的办理。
2.如权利要求1所述AR辅助办税方法，其特征在于，步骤3包括：
步骤31，由AR设备根据解析结果使用包括标记、提示框、动画和箭头在内的一种或多种UI标注出电子税务官网中用户需办理的税务业务对应的的第一控件；
步骤32，在第一控件周围显示包括文本、图片或视频在内的任意一种或多种用于提示该控件的对应操作的提示信息；
步骤33，根据UI和提示信息引导用户对第一控件执行操作进入需办理的税务业务的主页面。
3.如权利要求1所述AR辅助办税方法，其特征在于，步骤5包括：
步骤51，计算机将控件信息发送给AR设备；
步骤52，由AR设备根据控件信息使用包括标记、提示框、动画和箭头在内的一种或多种UI标注出第二控件；
步骤53，在第二控件周围显示包括文本、图片或视频在内的任意一种或多种用于提示该控件的对应操作的提示信息。
4.如权利要求2或3所述AR辅助办税方法，其特征在于，该方法还包括步骤：接收用户通过凝视和/或触发预设的手势来执行第一控件或第二控件周围的提示信息的消隐。
5.如权利要求4所述AR辅助办税方法，其特征在于，该方法还包括步骤：
确定提示信息被消隐后，接收用户通过触发预设的手势来执行提示信息的重新显示。
6.如权利要求5所述AR辅助办税方法，其特征在于，该方法还包括步骤：
确定用户执行操作的第一控件或第二控件与提示信息不符，则向用户反馈与提示信息相符的控件引导用户执行操作。
7.如权利要求5所述AR辅助办税方法，其特征在于，该方法还包括步骤：
接收用户在电子税务官网全局关闭提示信息的请求，不显示所有控件对应的提示信息。
8.如权利要求1所述AR辅助办税方法，其特征在于，该方法还包括步骤：
接收用户发送的需要税务专家协助的协助请求，根据协助请求连接远程设置的税务专家系统，将当前用户在计算机上操作的画面共享给税务专家，由税务专家通过直接对话或同步画面指引的方式完成专家对用户的办税协助。
9.如权利要求1所述AR辅助办税方法，其特征在于，步骤2包括：
步骤21，以语音方式向用户询问所需办理的税务业务；
步骤22，接收用户针对询问反馈的需办理的税务业务；
步骤23，将接收到的语音转换为字符串并以词为单位进行切分获得关键词；确定关键词与数据库中已有词汇的重合度大于预设重合度阈值时，输出解析结果；
步骤24，将解析结果发送给AR设备。
10.一种AR辅助办税系统，其特征在于，包括：
计算机，用于用户访问电子税务官网办理税务业务；
AR设备，用于用户访问电子税务官网办理税务业务的过程中进行AR显示和人机交互；
语音模块，用于用户访问电子税务官网办理税务业务的过程中以语音方式进行交互；
服务器，用于跟计算机和AR设备进行网络通讯和数据交互；
计算机和AR设备相连接，服务器分别跟计算机和AR设备通讯连接；
确定用户访问电子税务官网后，AR设备向用户显示预设的办税AR场景；语音模块以语音方式向用户询问所需办理的税务业务；接收并解析用户针对询问反馈的需办理的税务业务，将解析结果发送给AR设备；
AR设备根据解析结果标注出电子税务官网中用户需办理的税务业务对应的的第一控件，引导用户对第一控件执行操作进入需办理的税务业务的主页面；
计算机将包括主页面网址、主页面的ID、主页面的每个控件名称和每个控件的位置坐标在内的主页面信息发送给服务器，接收服务器反馈的包括用户所需操作的第二控件的名称和第二控件的位置坐标在内的控件信息；计算机将控件信息发送给AR设备并由AR设备根据控件信息标注出第二控件；
AR设备和语音模块向用户反馈当前主页面税务业务办理的操作步骤；接收用户依据操作步骤对第二控件执行操作直至用户完成税务业务的办理。
CN201811079720.6A 2018-09-14 2018-09-14 Ar辅助办税方法与系统 Pending CN109343705A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811079720.6A CN109343705A (zh) 2018-09-14 2018-09-14 Ar辅助办税方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811079720.6A CN109343705A (zh) 2018-09-14 2018-09-14 Ar辅助办税方法与系统

Publications (1)

Publication Number Publication Date
CN109343705A true CN109343705A (zh) 2019-02-15

Family

ID=65305550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811079720.6A Pending CN109343705A (zh) 2018-09-14 2018-09-14 Ar辅助办税方法与系统

Country Status (1)

Country Link
CN (1) CN109343705A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993507A (zh) * 2019-04-17 2019-07-09 王亚萍 一种先导式纳税服务系统
CN110119206A (zh) * 2019-05-10 2019-08-13 西北工业大学 一种面向工业作业操作引导的ar资源动态加载方法
CN111080926A (zh) * 2019-12-09 2020-04-28 神思电子技术股份有限公司 一种自助设备的辅助交互方法与装置
CN111145063A (zh) * 2019-11-21 2020-05-12 泰康保险集团股份有限公司 一种业务系统指引方法和装置
CN111626834A (zh) * 2019-02-28 2020-09-04 百度在线网络技术（北京）有限公司 智能税务处理方法、装置、终端和介质
CN112363696A (zh) * 2020-11-11 2021-02-12 中车工业研究院有限公司 增强现实快速开发系统及方法、电子设备及可读存储介质
CN112908328A (zh) * 2021-02-02 2021-06-04 安通恩创信息技术(北京)有限公司 设备操控方法、系统、计算机设备及存储介质
CN114327737A (zh) * 2022-03-04 2022-04-12 中信建投证券股份有限公司 一种远程辅助方法、装置及系统
CN114841786A (zh) * 2022-04-01 2022-08-02 国家税务总局易县税务局 远程辅导巡查方法及系统、存储介质、电子装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160155187A1 (en) * 2014-12-01 2016-06-02 Verizon Patent And Licensing Inc. Customized virtual reality user environment control
CN107038361A (zh) * 2016-10-13 2017-08-11 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
CN107123042A (zh) * 2017-04-26 2017-09-01 山东浪潮商用系统有限公司 一种智能语音办税方法、装置及系统
CN107272887A (zh) * 2017-05-17 2017-10-20 四川新网银行股份有限公司 一种基于增强现实实现客户端场景交互的方法
CN107918913A (zh) * 2017-11-20 2018-04-17 中国银行股份有限公司 银行业务处理方法、装置以及系统
CN107957774A (zh) * 2016-10-18 2018-04-24 阿里巴巴集团控股有限公司 虚拟现实空间环境中的交互方法及装置
CN108510378A (zh) * 2018-02-27 2018-09-07 吉林省行氏动漫科技有限公司 一种虚拟自助办税系统及办税方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160155187A1 (en) * 2014-12-01 2016-06-02 Verizon Patent And Licensing Inc. Customized virtual reality user environment control
CN107038361A (zh) * 2016-10-13 2017-08-11 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
CN107957774A (zh) * 2016-10-18 2018-04-24 阿里巴巴集团控股有限公司 虚拟现实空间环境中的交互方法及装置
CN107123042A (zh) * 2017-04-26 2017-09-01 山东浪潮商用系统有限公司 一种智能语音办税方法、装置及系统
CN107272887A (zh) * 2017-05-17 2017-10-20 四川新网银行股份有限公司 一种基于增强现实实现客户端场景交互的方法
CN107918913A (zh) * 2017-11-20 2018-04-17 中国银行股份有限公司 银行业务处理方法、装置以及系统
CN108510378A (zh) * 2018-02-27 2018-09-07 吉林省行氏动漫科技有限公司 一种虚拟自助办税系统及办税方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626834A (zh) * 2019-02-28 2020-09-04 百度在线网络技术（北京）有限公司 智能税务处理方法、装置、终端和介质
CN111626834B (zh) * 2019-02-28 2023-12-08 百度在线网络技术（北京）有限公司 智能税务处理方法、装置、终端和介质
CN109993507A (zh) * 2019-04-17 2019-07-09 王亚萍 一种先导式纳税服务系统
CN110119206A (zh) * 2019-05-10 2019-08-13 西北工业大学 一种面向工业作业操作引导的ar资源动态加载方法
CN111145063A (zh) * 2019-11-21 2020-05-12 泰康保险集团股份有限公司 一种业务系统指引方法和装置
CN111080926A (zh) * 2019-12-09 2020-04-28 神思电子技术股份有限公司 一种自助设备的辅助交互方法与装置
CN112363696A (zh) * 2020-11-11 2021-02-12 中车工业研究院有限公司 增强现实快速开发系统及方法、电子设备及可读存储介质
CN112363696B (zh) * 2020-11-11 2023-12-22 中车工业研究院有限公司 增强现实快速开发系统及方法、电子设备及可读存储介质
CN112908328A (zh) * 2021-02-02 2021-06-04 安通恩创信息技术(北京)有限公司 设备操控方法、系统、计算机设备及存储介质
CN114327737A (zh) * 2022-03-04 2022-04-12 中信建投证券股份有限公司 一种远程辅助方法、装置及系统
CN114841786A (zh) * 2022-04-01 2022-08-02 国家税务总局易县税务局 远程辅导巡查方法及系统、存储介质、电子装置
CN114841786B (zh) * 2022-04-01 2024-03-22 国家税务总局保定市税务局稽查局 远程辅导巡查方法及系统、存储介质、电子装置

Similar Documents

Publication Publication Date Title
CN109343705A (zh) Ar辅助办税方法与系统
US10824798B2 (en) Data collection for a new conversational dialogue system
US10565282B1 (en) Automatic entry of suggested translated terms in an online application program
KR101099196B1 (ko) 적응형 기계 번역
JP7293643B2 (ja) 構造化文書の内容をチャットベースのインタラクションに翻訳するための半自動化された方法及びシステム、プログラム
US20160147399A1 (en) Collaborative creation of annotation training data
US20100205529A1 (en) Device, system, and method for creating interactive guidance with execution of operations
TWI661349B (zh) 產生對話式使用者介面的方法及系統
US20070245308A1 (en) Flexible XML tagging
US20180341685A1 (en) Integrating virtual and human agents in a multi-channel support system for complex software applications
CN109992338B (zh) 用于跨多个平台显露虚拟助理服务的方法和系统
US20060085755A1 (en) Learning supporting program having tag information function, learning supporting method, and learning supporting system
CN111597318A (zh) 业务任务的执行方法、装置及系统
US9147181B2 (en) Pre-transmission contextual electronic message prompting
US11086884B2 (en) Automatically updating a remote database using a client-side word processor
CN109344374A (zh) 基于大数据的报表生成方法及装置、电子设备、存储介质
CN114417784A (zh) 一种文档的评论显示方法、装置、设备及介质
US10505873B2 (en) Streamlining end-to-end flow of business-to-business integration processes
CN109891410B (zh) 用于新的会话对话系统的数据收集
CN106570002B (zh) 自然语言处理方法和装置
Latham et al. A Conversational Expert System Supporting Bullying and Harassment Policies.
CN111611779B (zh) 辅助文本标注方法、装置、设备及其存储介质
CN114693269A (zh) 结合rpa和ai的发票核定业务办理方法、装置及电子设备
JP2011134264A (ja) 画面データ変換装置、画面データ変換方法、及びプログラム
CN113722467B (zh) 用户搜索意图的处理方法、系统、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215