CN112399129A - 基于小程序的在线视频通讯方法、装置及计算机设备 - Google Patents
基于小程序的在线视频通讯方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN112399129A CN112399129A CN202110066165.9A CN202110066165A CN112399129A CN 112399129 A CN112399129 A CN 112399129A CN 202110066165 A CN202110066165 A CN 202110066165A CN 112399129 A CN112399129 A CN 112399129A
- Authority
- CN
- China
- Prior art keywords
- filled
- filling
- data
- sensitive information
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006854 communication Effects 0.000 title claims abstract description 71
- 238000004891 communication Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012795 verification Methods 0.000 claims description 66
- 238000004590 computer program Methods 0.000 claims description 15
- 238000007689 inspection Methods 0.000 claims description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 21
- 230000001788 irregular Effects 0.000 description 10
- 230000036541 health Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 238000005429 filling process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/174—Form filling; Merging
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了基于小程序的在线视频通讯方法、装置、计算机设备及存储介质，涉及人工智能技术，先是若检测到同意指令，与用户端建立音视频通话连接，之后将待填写表单同步至用户端，之后接收用户端发送的语音回复数据，将语音回复数据依次进行语音识别和表单填写项内容识别得到第一待填充文本，将第一待填充文本填充至待填写表单中的非敏感信息区域，得到第一填写后表单数据，并接收用户端发送的敏感信息回复文本，将敏感信息回复文本进行表单填写项内容识别得到第二待填充文本，将第二待填充文本填充至待填写表单中的敏感信息区域，得到第二填写后表单数据。实现了基于小程序发起的音视频通话辅助用户获取信息，提高了用户获取准确信息的效率。
Description
技术领域
本发明涉及人工智能的语音语义技术领域，尤其涉及一种基于小程序的在线视频通讯方法、装置、计算机设备及存储介质。
背景技术
目前，网上购物因其便利性而得到了越来越多用户的使用。一般用户进行网上购物的常见操作是先下载对应的应用程序，然后接收系统的推荐信息购买产品，或是自己定向搜索产品后购买。但是目前基于纯互联网方式的购买产品因缺乏人工实时讲解并不能充分的了解该产品的详细细节，导致获取信息不充分，也降低了用户获取准确信息的效率。
发明内容
本发明实施例提供了一种基于小程序的在线视频通讯方法、装置、计算机设备及存储介质，旨在解决现有技术中用户在线选定产品因缺乏人工实时讲解并不能充分的了解该产品的详细细节，导致获取信息不充分，也降低了用户获取准确信息的效率的问题。
第一方面，本发明实施例提供了一种基于小程序的在线视频通讯方法，其包括：
将包括有音视频通话请求的小程序邀请数据发送至用户端；
若检测到用户端根据所述小程序邀请数据对应发送的同意指令，与所述用户端建立音视频通话连接；
将待填写表单同步至用户端；其中，所述待填写表单中包括非敏感信息区域和敏感信息区域，所述敏感信息区域在本地为屏蔽不可见状态；
接收用户端发送的语音回复数据，将所述语音回复数据依次进行语音识别和表单填写项内容识别得到第一待填充文本，将所述第一待填充文本填充至所述待填写表单中的非敏感信息区域，得到第一填写后表单数据；
接收用户端发送的敏感信息回复文本，将所述敏感信息回复文本进行表单填写项内容识别得到第二待填充文本，将所述第二待填充文本填充至所述待填写表单中的敏感信息区域，得到第二填写后表单数据；所述第二填写后表单数据在本地为屏蔽不可见状态；
根据所述第一填写后表单数据和所述第二填写后表单数据组合得到填写后表单数据，将所述填写后表单数据上传至表单验证服务器进行验证；
若所述填写后表单数据通过验证，获取与所述填写后表单数据对应的讲解文本以发送至用户端；
将所采集的当前讲解语音数据发送至用户端；以及
若检测到用户的完成指令，获取本地已获取的音频数据，将所述音频数据上传至质检服务器。
第二方面，本发明实施例提供了一种基于小程序的在线视频通讯装置，其包括：
小程序邀请数据发送单元，用于将包括有音视频通话请求的小程序邀请数据发送至用户端；
通话连接建立单元，用于若检测到用户端根据所述小程序邀请数据对应发送的同意指令，与所述用户端建立音视频通话连接；
表单同步单元，用于将待填写表单同步至用户端；其中，所述待填写表单中包括非敏感信息区域和敏感信息区域，所述敏感信息区域在本地为屏蔽不可见状态；
第一填充单元，用于接收用户端发送的语音回复数据，将所述语音回复数据依次进行语音识别和表单填写项内容识别得到第一待填充文本，将所述第一待填充文本填充至所述待填写表单中的非敏感信息区域，得到第一填写后表单数据；
第二填充单元，用于接收用户端发送的敏感信息回复文本，将所述敏感信息回复文本进行表单填写项内容识别得到第二待填充文本，将所述第二待填充文本填充至所述待填写表单中的敏感信息区域，得到第二填写后表单数据；所述第二填写后表单数据在本地为屏蔽不可见状态；
表单验证单元，用于根据所述第一填写后表单数据和所述第二填写后表单数据组合得到填写后表单数据，将所述填写后表单数据上传至表单验证服务器进行验证；
讲解文本发送单元，用于若所述填写后表单数据通过验证，获取与所述填写后表单数据对应的讲解文本以发送至用户端；
讲解语音发送单元，用于将所采集的当前讲解语音数据发送至用户端；以及
音频数据上传单元，用于若检测到用户的完成指令，获取本地已获取的音频数据，将所述音频数据上传至质检服务器。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于小程序的在线视频通讯方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于小程序的在线视频通讯方法。
本发明实施例提供了一种基于小程序的在线视频通讯方法、装置、计算机设备及存储介质，先是若检测到用户端根据所述小程序邀请数据对应发送的同意指令，与所述用户端建立音视频通话连接，之后将待填写表单同步至用户端；其中，所述待填写表单中包括非敏感信息区域和敏感信息区域，所述敏感信息区域在本地为屏蔽不可见状态，之后接收用户端发送的语音回复数据，将所述语音回复数据依次进行语音识别和表单填写项内容识别得到第一待填充文本，将所述第一待填充文本填充至所述待填写表单中的非敏感信息区域，得到第一填写后表单数据，并接收用户端发送的敏感信息回复文本，将所述敏感信息回复文本进行表单填写项内容识别得到第二待填充文本，将所述第二待填充文本填充至所述待填写表单中的敏感信息区域，得到第二填写后表单数据。实现了基于小程序发起的音视频通话辅助用户获取信息，提高了用户获取准确信息的效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于小程序的在线视频通讯方法的应用场景示意图；
图2为本发明实施例提供的基于小程序的在线视频通讯方法的流程示意图；
图3为本发明实施例提供的基于小程序的在线视频通讯装置的示意性框图；
图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的基于小程序的在线视频通讯方法的应用场景示意图；图2为本发明实施例提供的基于小程序的在线视频通讯方法的流程示意图，该基于小程序的在线视频通讯方法应用于座席终端（座席终端也能视为一种服务器）中，该方法通过安装于座席终端中的应用软件进行执行。
如图2所示，该方法包括步骤S101~S109。
S101、将包括有音视频通话请求的小程序邀请数据发送至用户端。
在本实施例中，为了更清楚的理解本申请的技术方案，下面对所涉及的终端进行详细介绍。本申请是在座席终端的角度描述技术方案。
第一是座席终端，其使用者是座席客服人员，可以向用户所对应的用户端推送小程序形式的推荐信息。
第二是用户端，其可以接收座席终端发送的小程序数据包对应的链接或小程序码，一旦用户端的使用者（即用户）点击了这一链接或扫描小程序码后，直接加载该小程序数据包对应的小程序。以该小程序为载体，用户端可以与座席终端建立通讯连接后从而进行音视频通话以及屏幕共享。
第三是服务器，其可以作为中转站实现座席终端与用户端之间的点对点连接。
当座席客服人员在座席终端上完成了包括有音视频通话请求的小程序邀请数据的配置（前提是这一小程序之前已在小程序发布平台上完成了平台审核，此时在小程序中添加一个音视频通话请求是无需再次发送到小程序发布平台上审核），即可生成一个小程序邀请数据，用户端的使用者点击与小程序邀请数据对应的链接或是扫描小程序码后，即可打开小程序的页面，并在该页面上显示是否接收音视频通话请求。
S102、若检测到用户端根据所述小程序邀请数据对应发送的同意指令，与所述用户端建立音视频通话连接。
在本实施例中，当用户端接收到了所述小程序邀请数据并打开小程序后，在该页面上是否接收音视频通话请求的两个虚拟按键中选中了同意通话的虚拟按钮后，则触发产生同意指令并发送至座席服务器，当座席服务器接收到该同意指令，则与所述用户端建立音视频连接。
S103、将待填写表单同步至用户端；其中，所述待填写表单中包括非敏感信息区域和敏感信息区域，所述敏感信息区域在本地为屏蔽不可见状态。
在本实施例中，当座席终端与用户端建立了音视频通话连接后，座席客服人员即可与用户进行沟通以获取信息。例如以在线投保这一具体场景为例，为了获取用户的用户基础信息（如用户姓名、用户年龄、用户健康状况等），可以将一个用于获取用户信息的待填写表单同步至用户端。
此时，步骤S103之后还包括：
将屏幕共享指令发送至用户端。
在本实施例中，为了更加方便座席客服人员对用户进行待填写表单的引导，在发送了待填写表单至用户端后还可以发送一个屏幕共享指令至用户端，此时座席终端的显示器和用户端的显示器上均同步显示该待填写表单。
该待填写表单中包括非敏感信息区域和敏感信息区域，所述敏感信息区域在本地为屏蔽不可见状态，所述非敏感信息区域在本地为可见状态。这样一些非敏感信息在座席终端和用户端的显示屏上均为可见状态，敏感信息区域在本地为屏蔽不可见状态而在用户端上为可见状态。这样，用户在座席客服人员的引导下即可进行非敏感信息区域中信息项的填写工作。
S104、接收用户端发送的语音回复数据，将所述语音回复数据依次进行语音识别和表单填写项内容识别得到第一待填充文本，将所述第一待填充文本填充至所述待填写表单中的非敏感信息区域，得到第一填写后表单数据。
在本实施例中，为了更快速的进行待填写表单的自动填写过程，座席客服人员可以根据待填写表单的每一填写项对用户进行提问，这样用户即可对应答复，当完成了对非敏感信息区域中所有填写项的提问并得到了用户对应的语音回复后，即可自动进行语音识别和表单填写项内容识别后填写至非敏感信息区域中的对应填写项中，即可得到第一填写后表单数据。该第一填写后表单数据也会同时显示在座席终端的显示器以及用户端的显示器上，这样用户可及时的查看各填写项内容是否准确。
在上述过程中，用户端发送的语音回复数据可以理解为一个语音数据集，其包括有针对座席客服人员针对非敏感信息区域中每一填写项对应提问的答复语音数据，此时可以针对每一答复语音数据进行语音识别得到语音识别结果，然后将该语音识别结果填充至对应的填写项中，从而完成表单的自动填写。为了更准确的识别定位当前座席客服人员所提问的待填写项，可以通过以下过程实现：
获取当前填写项引导语音数据，对所述当前填写项引导语音数据进行语音识别，得到填写项识别结果；
调用预设的填写项名称与区域定位序号对应清单，获取与所述填写项识别结果对应的当前区域定位序号；
将所述填写项识别结果填充至所述当前区域定位序号对应的填充区域，直至所有非敏感信息区域的填写项均完成填充时得到第一填写后表单数据。
在本实施例中，为了更加快速的定位当前用户的语音回复数据对应的填写项，是先识别座席终端发送的当前填写项引导语音数据，由于在座席终端本地存储了语音识别模型（例如N-Gram模型），此时可以通过语音识别模型对所述当前填写项引导语音数据进行语音识别，得到填写项识别结果。
之后，又由于在座席终端的本地也预先存储了每一类型的填写项名称与区域定位序号对应清单，故在确定了此次的待填写表单的类型且在已知了当前的填写项识别结果，这样可快速查询定位到与所述填写项识别结果对应的当前区域定位序号，从而已知了后面所接收到的用户端所发送语音回复数据应自动填充的区域。通过这一方式，实现了语音识别内容快速准确的填充至对应的位置。
在一实施例中，所述将所述填写项识别结果填充至所述当前区域定位序号对应的填充区域，直至所有非敏感信息区域的填写项均完成填充时得到第一填写后表单数据之后，还包括：
获取与所述待填写表单对应的填写项校验模板，将所有非敏感信息区域的填写项均与填写项校验模板进行比对，判断是否存在有非敏感信息区域的填写项与对应的填写项校验模板不相同；
若存在有非敏感信息区域的填写项与对应的填写项校验模板不相同，将对应的非敏感信息区域的填写项进行高亮显示；
若不存在有非敏感信息区域的填写项与对应的填写项校验模板不相同，进行第一填写后表单数据填写成功的提示。
在本实施例中，由于在座席终端的本地存储有与各种类型的待填写表单分别对应的填写校验项模板，此时获取与当前类型的待填写表单相对应的填写项校验模板，然后将待填写表单中所有非敏感信息区域的填写项均与填写项校验模板进行比对，判断是否存在有填写项与对应的填写项校验模板不相同。
若存在有非敏感信息区域的填写项与对应的填写项校验模板不相同，表示自动填充的填写项中有不规范的内容，需要及时的提示用户进行修改，即可以将不规范的填写项内容进行高亮显示，此时用户可以直接手动操作用户端输入字符进行填写以修改不规范内容。
若不存在有非敏感信息区域的填写项与对应的填写项校验模板不相同，表示自动填充的填写项中没有不规范的内容，可以直接提示座席终端和用户端此次非敏感区域的填写项完成了自动填充。
其中，为了确保以小程序为载体进行座席终端与用户端之间的音视频通话，需要在座席终端和用户端上均加载小程序中的live-pusher组件和live-player组件。此时以用户端上采集的音视频数据传输到座席终端为例来说明，是用户端上的live-pusher组件将用户端所采集到的音视频数据进行编码后直接通过点对点传输到座席终端的指定区域存储，而座席终端上live-player组件则对指定区域中的编码后音视频数据进行解码和渲染后，在座席终端上的小程序界面上进行显示。
在此过程中，由于座席终端和用户端采用了点对点的通讯，故能有效确保通话过程不卡顿。其中，从座席终端的角度来描述，座席终端和用户端之间建立点对点通讯的具体过程如下：
将座席终端公网IP和座席终端端口号上传至服务器进行座席终端注册；
获取服务器所发送与用户端相对应的用户端公网IP和用户端端口号；
将第一点对点通讯包根据用户端公网IP和用户端端口号发送至用户端；
接收用户端根据座席终端公网IP和座席终端端口号发送的第二点对点通讯包。
上述过程可以形象的理解为UDP打洞过程，座席终端向用户端所在的第二局域网发送第一点对点通讯包，第二局域网的网关是不知道将第一点对点通讯包发送至第二局域网中的哪一设备，故将该第一点对点通讯包舍弃。但是在第二局域网的网关会记录来自第二局域网中设备发送的数据包都发送给座席终端。
同样的，用户端向座席终端所在的第一局域网发送第二点对点通讯包，第一局域网的网关是不知道将第二点对点通讯包发送至第一局域网中的哪一设备，故将该第二点对点通讯包舍弃。但是在第一局域网的网关会记录来自第一局域网中设备发送的数据包都发送给用户端。通过上述过程实现了用户端和座席终端之间的点对点通讯后，然后基于小程序中的live-pusher组件和live-player组件来实现音视频数据的无卡顿传输。
S105、接收用户端发送的敏感信息回复文本，将所述敏感信息回复文本进行表单填写项内容识别得到第二待填充文本，将所述第二待填充文本填充至所述待填写表单中的敏感信息区域，得到第二填写后表单数据；所述第二填写后表单数据在本地为屏蔽不可见状态。
在本实施例中，之前是实现了对非敏感信息区域的自动填充，此处由于敏感信息区域只在用户端的显示器上进行显示，那么用户只用根据敏感信息区域中的各填写项对应填写文本后，即可得到敏感信息回复文本。此时敏感信息回复文本发送至座席终端上并在待填写表单的敏感信息区域的自动填充时，仍是采用屏蔽不可见的方式进行填充，也即座席客服人员在座席终端的显示器上屏蔽不可见，但实质上已经完成了敏感信息区域的内容填充。当完成了对敏感信息区域的内容填充后，可在座席终端的显示器及用户端的显示器上显示待填写表单已完成所有信息填充的提示信息。
在一实施例中，步骤S105包括：
将所述敏感信息回复文本根据敏感信息区域的表单填写项进行划分，得到与敏感信息区域中的每一表单填写项分别对应的第二待填充子文本，并组成第二待填充文本；
获取敏感信息区域中每一表单填写项分别对应的隐藏定位区域，将各第二待填充子文本分别填充至对应的隐藏定位区域，直至所有敏感信息区域的填写项均完成填充时得到第二填写后表单数据。
在本实施例中，在座席终端的本地也预先存储了敏感信息区域中填写项名称与隐藏定位区域的对应清单，故在接收了敏感信息回复文本后，可以快速根据敏感信息区域的表单填写项进行划分，得到与敏感信息区域中的每一表单填写项分别对应的第二待填充子文本。而且根据敏感信息区域中填写项名称与隐藏定位区域的对应清单可以获知每一第二待填充子文本对应的填充区域。通过这一方式，实现了文本内容在隐藏区域的快速填充。
S106、根据所述第一填写后表单数据和所述第二填写后表单数据组合得到填写后表单数据，将所述填写后表单数据上传至表单验证服务器进行验证。
在本实施例中，当座席终端获取了所述第一填写后表单数据和所述第二填写后表单数据后，将两者合并即可得到完整的填写后表单数据。填写后表单数据中所述第二填写后表单数据对应的内容在座席终端上仍是不可见状态。此时可以将所述填写后表单数据上传至表单验证服务器进行验证，此处的验证与步骤S104中对填写项基本格式的检查，此处上传至表单验证服务器进行表单的验证，是为了对用户身份的真实性进行验证。
S107、若所述填写后表单数据通过验证，获取与所述填写后表单数据对应的讲解文本以发送至用户端。
在本实施例中，当表单验证服务器通过了对所述填写后表单数据的用户身份验证后，座席终端将根据所述填写后表单数据对应的进行保单权益讲解，在讲解之前会将与所述填写后表单数据对应的讲解文本发送至用户端。
在一实施例中，步骤S107中获取与所述填写后表单数据对应的讲解文本以发送至用户端包括：
获取与所述填写后表单数据对应的讲解文本；
生成与所述讲解文本对应的小程序码；
将所述小程序码对应的图片发送至用户端。
在本实施例中，当座席终端上接收到了表单验证服务器发送的表单验证通过指令，此时为了对之前的投保内容进行保单权益讲解和健康告知讲解，可将讲解文本先以小程序码的形式推送至用户端。用户打开该小程序码进行识别后，即跳转对应的讲解文本的显示页面。
S108、将所采集的当前讲解语音数据发送至用户端。
在本实施例中，当完成了将讲解文本发送至用户端之后，由于座席终端仍与用户端处于音视频通话状态，此时座席客服人员基于讲解文本通过语音的方式说明给用户，这样座席终端将所采集的当前讲解语音数据发送至用户端。
S109、若检测到用户的完成指令，获取本地已获取的音频数据，将所述音频数据上传至质检服务器。
在本实施例中，当完成了上述的讲解过程后，一旦用户在用户端的界面点击了确认虚拟按钮后（例如用户在听取完座席客服人员讲解的保单权益和健康告知后，生成一个是否支付投保的页面，该支付投保中的支付按钮则对应一个确认虚拟按钮），即触发了一个完成指令。由于座席客服人员与用户之间的音视频通话的全过程都可以被录音以进行后续的语音质检，故上述全过程交流对应的音频数据会保存在座席终端本地，之后在通话结束之后上传至质检服务器进行语音质检。
该方法实现了基于小程序发起的音视频通话辅助用户获取信息，提高了用户获取准确信息的效率。
本发明实施例还提供一种基于小程序的在线视频通讯装置，该基于小程序的在线视频通讯装置用于执行前述基于小程序的在线视频通讯方法的任一实施例。具体地，请参阅图3，图3是本发明实施例提供的基于小程序的在线视频通讯装置的示意性框图。该基于小程序的在线视频通讯装置100可以配置于服务器中。
如图3所示，基于小程序的在线视频通讯装置100包括：小程序邀请数据发送单元101、通话连接建立单元102、表单同步单元103、第一填充单元104、第二填充单元105、表单验证单元106、讲解文本发送单元107、讲解语音发送单元108、音频数据上传单元109。
小程序邀请数据发送单元101，用于将包括有音视频通话请求的小程序邀请数据发送至用户端。
在本实施例中，当座席客服人员在座席终端上完成了包括有音视频通话请求的小程序邀请数据的配置（前提是这一小程序之前已在小程序发布平台上完成了平台审核，此时在小程序中添加一个音视频通话请求是无需再次发送到小程序发布平台上审核），即可生成一个小程序邀请数据，用户端的使用者点击与小程序邀请数据对应的链接或是扫描小程序码后，即可打开小程序的页面，并在该页面上显示是否接收音视频通话请求。
通话连接建立单元102，用于若检测到用户端根据所述小程序邀请数据对应发送的同意指令，与所述用户端建立音视频通话连接。
在本实施例中，当用户端接收到了所述小程序邀请数据并打开小程序后，在该页面上是否接收音视频通话请求的两个虚拟按键中选中了同意通话的虚拟按钮后，则触发产生同意指令并发送至座席服务器，当座席服务器接收到该同意指令，则与所述用户端建立音视频连接。
表单同步单元103，用于将待填写表单同步至用户端；其中，所述待填写表单中包括非敏感信息区域和敏感信息区域，所述敏感信息区域在本地为屏蔽不可见状态。
在本实施例中，当座席终端与用户端建立了音视频通话连接后，座席客服人员即可与用户进行沟通以获取信息。例如以在线投保这一具体场景为例，为了获取用户的用户基础信息（如用户姓名、用户年龄、用户健康状况等），可以将一个用于获取用户信息的待填写表单同步至用户端。
此时，基于小程序的在线视频通讯装置100还包括：
屏幕共享指令发送单元，用于将屏幕共享指令发送至用户端。
在本实施例中，为了更加方便座席客服人员对用户进行待填写表单的引导，在发送了待填写表单至用户端后还可以发送一个屏幕共享指令至用户端，此时座席终端的显示器和用户端的显示器上均同步显示该待填写表单。
该待填写表单中包括非敏感信息区域和敏感信息区域，所述敏感信息区域在本地为屏蔽不可见状态，所述非敏感信息区域在本地为可见状态。这样一些非敏感信息在座席终端和用户端的显示屏上均为可见状态，敏感信息区域在本地为屏蔽不可见状态而在用户端上为可见状态。这样，用户在座席客服人员的引导下即可进行非敏感信息区域中信息项的填写工作。
第一填充单元104，用于接收用户端发送的语音回复数据，将所述语音回复数据依次进行语音识别和表单填写项内容识别得到第一待填充文本，将所述第一待填充文本填充至所述待填写表单中的非敏感信息区域，得到第一填写后表单数据。
在本实施例中，为了更快速的进行待填写表单的自动填写过程，座席客服人员可以根据待填写表单的每一填写项对用户进行提问，这样用户即可对应答复，当完成了对非敏感信息区域中所有填写项的提问并得到了用户对应的语音回复后，即可自动进行语音识别和表单填写项内容识别后填写至非敏感信息区域中的对应填写项中，即可得到第一填写后表单数据。该第一填写后表单数据也会同时显示在座席终端的显示器以及用户端的显示器上，这样用户可及时的查看各填写项内容是否准确。
在上述过程中，用户端发送的语音回复数据可以理解为一个语音数据集，其包括有针对座席客服人员针对非敏感信息区域中每一填写项对应提问的答复语音数据，此时可以针对每一答复语音数据进行语音识别得到语音识别结果，然后将该语音识别结果填充至对应的填写项中，从而完成表单的自动填写。为了更准确的识别定位当前座席客服人员所提问的待填写项，第一填充单元104还用于：
获取当前填写项引导语音数据，对所述当前填写项引导语音数据进行语音识别，得到填写项识别结果；
调用预设的填写项名称与区域定位序号对应清单，获取与所述填写项识别结果对应的当前区域定位序号；
将所述填写项识别结果填充至所述当前区域定位序号对应的填充区域，直至所有非敏感信息区域的填写项均完成填充时得到第一填写后表单数据。
在本实施例中，为了更加快速的定位当前用户的语音回复数据对应的填写项，是先识别座席终端发送的当前填写项引导语音数据，由于在座席终端本地存储了语音识别模型（例如N-Gram模型），此时可以通过语音识别模型对所述当前填写项引导语音数据进行语音识别，得到填写项识别结果。
之后，又由于在座席终端的本地也预先存储了每一类型的填写项名称与区域定位序号对应清单，故在确定了此次的待填写表单的类型且在已知了当前的填写项识别结果，这样可快速查询定位到与所述填写项识别结果对应的当前区域定位序号，从而已知了后面所接收到的用户端所发送语音回复数据应自动填充的区域。通过这一方式，实现了语音识别内容快速准确的填充至对应的位置。
在一实施例中，所述基于小程序的在线视频通讯装置100，还包括：
校验模板比对单元，用于获取与所述待填写表单对应的填写项校验模板，将所有非敏感信息区域的填写项均与填写项校验模板进行比对，判断是否存在有非敏感信息区域的填写项与对应的填写项校验模板不相同；
第一提示单元，用于若存在有非敏感信息区域的填写项与对应的填写项校验模板不相同，将对应的非敏感信息区域的填写项进行高亮显示；
第二提示单元，用于若不存在有非敏感信息区域的填写项与对应的填写项校验模板不相同，进行第一填写后表单数据填写成功的提示。
在本实施例中，由于在座席终端的本地存储有与各种类型的待填写表单分别对应的填写校验项模板，此时获取与当前类型的待填写表单相对应的填写项校验模板，然后将待填写表单中所有非敏感信息区域的填写项均与填写项校验模板进行比对，判断是否存在有填写项与对应的填写项校验模板不相同。
若存在有非敏感信息区域的填写项与对应的填写项校验模板不相同，表示自动填充的填写项中有不规范的内容，需要及时的提示用户进行修改，即可以将不规范的填写项内容进行高亮显示，此时用户可以直接手动操作用户端输入字符进行填写以修改不规范内容。
若不存在有非敏感信息区域的填写项与对应的填写项校验模板不相同，表示自动填充的填写项中没有不规范的内容，可以直接提示座席终端和用户端此次非敏感区域的填写项完成了自动填充。
其中，为了确保以小程序为载体进行座席终端与用户端之间的音视频通话，需要在座席终端和用户端上均加载小程序中的live-pusher组件和live-player组件。此时以用户端上采集的音视频数据传输到座席终端为例来说明，是用户端上的live-pusher组件将用户端所采集到的音视频数据进行编码后直接通过点对点传输到座席终端的指定区域存储，而座席终端上live-player组件则对指定区域中的编码后音视频数据进行解码和渲染后，在座席终端上的小程序界面上进行显示。
在此过程中，由于座席终端和用户端采用了点对点的通讯，故能有效确保通话过程不卡顿。其中，从座席终端的角度来描述，座席终端和用户端之间建立点对点通讯的具体过程如下：
将座席终端公网IP和座席终端端口号上传至服务器进行座席终端注册；
获取服务器所发送与用户端相对应的用户端公网IP和用户端端口号；
将第一点对点通讯包根据用户端公网IP和用户端端口号发送至用户端；
接收用户端根据座席终端公网IP和座席终端端口号发送的第二点对点通讯包。
上述过程可以形象的理解为UDP打洞过程，座席终端向用户端所在的第二局域网发送第一点对点通讯包，第二局域网的网关是不知道将第一点对点通讯包发送至第二局域网中的哪一设备，故将该第一点对点通讯包舍弃。但是在第二局域网的网关会记录来自第二局域网中设备发送的数据包都发送给座席终端。
同样的，用户端向座席终端所在的第一局域网发送第二点对点通讯包，第一局域网的网关是不知道将第二点对点通讯包发送至第一局域网中的哪一设备，故将该第二点对点通讯包舍弃。但是在第一局域网的网关会记录来自第一局域网中设备发送的数据包都发送给用户端。通过上述过程实现了用户端和座席终端之间的点对点通讯后，然后基于小程序中的live-pusher组件和live-player组件来实现音视频数据的无卡顿传输。
第二填充单元105，用于接收用户端发送的敏感信息回复文本，将所述敏感信息回复文本进行表单填写项内容识别得到第二待填充文本，将所述第二待填充文本填充至所述待填写表单中的敏感信息区域，得到第二填写后表单数据；所述第二填写后表单数据在本地为屏蔽不可见状态。
在本实施例中，之前是实现了对非敏感信息区域的自动填充，此处由于敏感信息区域只在用户端的显示器上进行显示，那么用户只用根据敏感信息区域中的各填写项对应填写文本后，即可得到敏感信息回复文本。此时敏感信息回复文本发送至座席终端上并在待填写表单的敏感信息区域的自动填充时，仍是采用屏蔽不可见的方式进行填充，也即座席客服人员在座席终端的显示器上屏蔽不可见，但实质上已经完成了敏感信息区域的内容填充。当完成了对敏感信息区域的内容填充后，可在座席终端的显示器及用户端的显示器上显示待填写表单已完成所有信息填充的提示信息。
在一实施例中，第二填充单元105包括：
文本划分单元，用于将所述敏感信息回复文本根据敏感信息区域的表单填写项进行划分，得到与敏感信息区域中的每一表单填写项分别对应的第二待填充子文本，并组成第二待填充文本；
隐藏定位区域获取单元，用于获取敏感信息区域中每一表单填写项分别对应的隐藏定位区域，将各第二待填充子文本分别填充至对应的隐藏定位区域，直至所有敏感信息区域的填写项均完成填充时得到第二填写后表单数据。
在本实施例中，在座席终端的本地也预先存储了敏感信息区域中填写项名称与隐藏定位区域的对应清单，故在接收了敏感信息回复文本后，可以快速根据敏感信息区域的表单填写项进行划分，得到与敏感信息区域中的每一表单填写项分别对应的第二待填充子文本。而且根据敏感信息区域中填写项名称与隐藏定位区域的对应清单可以获知每一第二待填充子文本对应的填充区域。通过这一方式，实现了文本内容在隐藏区域的快速填充。
表单验证单元106，用于根据所述第一填写后表单数据和所述第二填写后表单数据组合得到填写后表单数据，将所述填写后表单数据上传至表单验证服务器进行验证。
在本实施例中，当座席终端获取了所述第一填写后表单数据和所述第二填写后表单数据后，将两者合并即可得到完整的填写后表单数据。填写后表单数据中所述第二填写后表单数据对应的内容在座席终端上仍是不可见状态。此时可以将所述填写后表单数据上传至表单验证服务器进行验证，此处的验证与第一填充单元104中对填写项基本格式的检查，此处上传至表单验证服务器进行表单的验证，是为了对用户身份的真实性进行验证。
表单验证单元106，用于若所述填写后表单数据通过验证，获取与所述填写后表单数据对应的讲解文本以发送至用户端。
在本实施例中，当表单验证服务器通过了对所述填写后表单数据的用户身份验证后，座席终端将根据所述填写后表单数据对应的进行保单权益讲解，在讲解之前会将与所述填写后表单数据对应的讲解文本发送至用户端。
在一实施例中，讲解文本发送单元107包括：
讲解文本获取单元，用于获取与所述填写后表单数据对应的讲解文本；
小程序码生成单元，用于生成与所述讲解文本对应的小程序码；
小程序码发送单元，用于将所述小程序码对应的图片发送至用户端。
在本实施例中，当座席终端上接收到了表单验证服务器发送的表单验证通过指令，此时为了对之前的投保内容进行保单权益讲解和健康告知讲解，可将讲解文本先以小程序码的形式推送至用户端。用户打开该小程序码进行识别后，即跳转对应的讲解文本的显示页面。
讲解语音发送单元108，用于将所采集的当前讲解语音数据发送至用户端。
在本实施例中，当完成了将讲解文本发送至用户端之后，由于座席终端仍与用户端处于音视频通话状态，此时座席客服人员基于讲解文本通过语音的方式说明给用户，这样座席终端将所采集的当前讲解语音数据发送至用户端。
音频数据上传单元109，用于若检测到用户的完成指令，获取本地已获取的音频数据，将所述音频数据上传至质检服务器。
在本实施例中，当完成了上述的讲解过程后，一旦用户在用户端的界面点击了确认虚拟按钮后（例如用户在听取完座席客服人员讲解的保单权益和健康告知后，生成一个是否支付投保的页面，该支付投保中的支付按钮则对应一个确认虚拟按钮），即触发了一个完成指令。由于座席客服人员与用户之间的音视频通话的全过程都可以被录音以进行后续的语音质检，故上述全过程交流对应的音频数据会保存在座席终端本地，之后在通话结束之后上传至质检服务器进行语音质检。
该装置实现了基于小程序发起的音视频通话辅助用户获取信息，提高了用户获取准确信息的效率。
上述基于小程序的在线视频通讯装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4，图4是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图4，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于小程序的在线视频通讯方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于小程序的在线视频通讯方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于小程序的在线视频通讯方法。
本领域技术人员可以理解，图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图4所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于小程序的在线视频通讯方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于小程序的在线视频通讯方法，其特征在于，包括：
将包括有音视频通话请求的小程序邀请数据发送至用户端；
若检测到用户端根据所述小程序邀请数据对应发送的同意指令，与所述用户端建立音视频通话连接；
将待填写表单同步至用户端；其中，所述待填写表单中包括非敏感信息区域和敏感信息区域，所述敏感信息区域在本地为屏蔽不可见状态；
接收用户端发送的语音回复数据，将所述语音回复数据依次进行语音识别和表单填写项内容识别得到第一待填充文本，将所述第一待填充文本填充至所述待填写表单中的非敏感信息区域，得到第一填写后表单数据；
接收用户端发送的敏感信息回复文本，将所述敏感信息回复文本进行表单填写项内容识别得到第二待填充文本，将所述第二待填充文本填充至所述待填写表单中的敏感信息区域，得到第二填写后表单数据；所述第二填写后表单数据在本地为屏蔽不可见状态；
根据所述第一填写后表单数据和所述第二填写后表单数据组合得到填写后表单数据，将所述填写后表单数据上传至表单验证服务器进行验证；
若所述填写后表单数据通过验证，获取与所述填写后表单数据对应的讲解文本以发送至用户端；
将所采集的当前讲解语音数据发送至用户端；以及
若检测到用户的完成指令，获取本地已获取的音频数据，将所述音频数据上传至质检服务器。
2.根据权利要求1所述的基于小程序的在线视频通讯方法，其特征在于，所述将待填写表单同步至用户端之后，还包括：
将屏幕共享指令发送至用户端。
3.根据权利要求1所述的基于小程序的在线视频通讯方法，其特征在于，所述将所述语音回复数据依次进行语音识别和表单填写项内容识别得到第一待填充文本，将所述第一待填充文本填充至所述待填写表单中的非敏感信息区域，得到第一填写后表单数据，包括：
获取当前填写项引导语音数据，对所述当前填写项引导语音数据进行语音识别，得到填写项识别结果；
调用预设的填写项名称与区域定位序号对应清单，获取与所述填写项识别结果对应的当前区域定位序号；
将所述填写项识别结果填充至所述当前区域定位序号对应的填充区域，直至所有非敏感信息区域的填写项均完成填充时得到第一填写后表单数据。
4.根据权利要求1所述的基于小程序的在线视频通讯方法，其特征在于，所述将所述语音回复数据依次进行语音识别和表单填写项内容识别得到第一待填充文本，将所述第一待填充文本填充至所述待填写表单中的非敏感信息区域，得到第一填写后表单数据之后，还包括：
获取与所述待填写表单对应的填写项校验模板，将所有非敏感信息区域的填写项均与填写项校验模板进行比对，判断是否存在有非敏感信息区域的填写项与对应的填写项校验模板不相同；
若存在有非敏感信息区域的填写项与对应的填写项校验模板不相同，将对应的非敏感信息区域的填写项进行高亮显示；
若不存在有非敏感信息区域的填写项与对应的填写项校验模板不相同，进行第一填写后表单数据填写成功的提示。
5.根据权利要求1所述的基于小程序的在线视频通讯方法，其特征在于，所述若检测到用户的完成指令，获取本地已获取的音频数据，将所述音频数据上传至质检服务器之后，还包括：
获取与所述填写后表单数据对应的讲解文本；
生成与所述讲解文本对应的小程序码；
将所述小程序码对应的图片发送至用户端。
6.根据权利要求1所述的基于小程序的在线视频通讯方法，其特征在于，还包括：
将座席终端公网IP和座席终端端口号上传至服务器进行座席终端注册；
获取服务器所发送与用户端相对应的用户端公网IP和用户端端口号；
将第一点对点通讯包根据用户端公网IP和用户端端口号发送至用户端；
接收用户端根据座席终端公网IP和座席终端端口号发送的第二点对点通讯包。
7.根据权利要求1所述的基于小程序的在线视频通讯方法，其特征在于，所述接收用户端发送的敏感信息回复文本，将所述敏感信息回复文本进行表单填写项内容识别得到第二待填充文本，将所述第二待填充文本填充至所述待填写表单中的敏感信息区域，得到第二填写后表单数据，包括：
将所述敏感信息回复文本根据敏感信息区域的表单填写项进行划分，得到与敏感信息区域中的每一表单填写项分别对应的第二待填充子文本，并组成第二待填充文本；
获取敏感信息区域中每一表单填写项分别对应的隐藏定位区域，将各第二待填充子文本分别填充至对应的隐藏定位区域，直至所有敏感信息区域的填写项均完成填充时得到第二填写后表单数据。
8.一种基于小程序的在线视频通讯装置，其特征在于，包括：
小程序邀请数据发送单元，用于将包括有音视频通话请求的小程序邀请数据发送至用户端；
通话连接建立单元，用于若检测到用户端根据所述小程序邀请数据对应发送的同意指令，与所述用户端建立音视频通话连接；
表单同步单元，用于将待填写表单同步至用户端；其中，所述待填写表单中包括非敏感信息区域和敏感信息区域，所述敏感信息区域在本地为屏蔽不可见状态；
第一填充单元，用于接收用户端发送的语音回复数据，将所述语音回复数据依次进行语音识别和表单填写项内容识别得到第一待填充文本，将所述第一待填充文本填充至所述待填写表单中的非敏感信息区域，得到第一填写后表单数据；
第二填充单元，用于接收用户端发送的敏感信息回复文本，将所述敏感信息回复文本进行表单填写项内容识别得到第二待填充文本，将所述第二待填充文本填充至所述待填写表单中的敏感信息区域，得到第二填写后表单数据；所述第二填写后表单数据在本地为屏蔽不可见状态；
表单验证单元，用于根据所述第一填写后表单数据和所述第二填写后表单数据组合得到填写后表单数据，将所述填写后表单数据上传至表单验证服务器进行验证；
讲解文本发送单元，用于若所述填写后表单数据通过验证，获取与所述填写后表单数据对应的讲解文本以发送至用户端；
讲解语音发送单元，用于将所采集的当前讲解语音数据发送至用户端；以及
音频数据上传单元，用于若检测到用户的完成指令，获取本地已获取的音频数据，将所述音频数据上传至质检服务器。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于小程序的在线视频通讯方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于小程序的在线视频通讯方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110066165.9A CN112399129B (zh) | 2021-01-19 | 2021-01-19 | 基于小程序的在线视频通讯方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110066165.9A CN112399129B (zh) | 2021-01-19 | 2021-01-19 | 基于小程序的在线视频通讯方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112399129A true CN112399129A (zh) | 2021-02-23 |
| CN112399129B CN112399129B (zh) | 2021-04-13 |
Family
ID=74624860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110066165.9A Active CN112399129B (zh) | 2021-01-19 | 2021-01-19 | 基于小程序的在线视频通讯方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112399129B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113299294A (zh) * | 2021-05-26 | 2021-08-24 | 中国平安人寿保险股份有限公司 | 任务型对话机器人交互方法、装置、设备及存储介质 |
| CN115204127A (zh) * | 2022-09-19 | 2022-10-18 | 深圳市北科瑞声科技股份有限公司 | 基于远程流调的表单填写方法、装置、设备及介质 |
| CN115841098A (zh) * | 2023-02-24 | 2023-03-24 | 天津爱波瑞科技发展有限公司 | 基于数据识别的交互式批量填充方法与系统 |
| CN113299294B (zh) * | 2021-05-26 | 2024-06-11 | 中国平安人寿保险股份有限公司 | 任务型对话机器人交互方法、装置、设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1892641A (zh) * | 2005-06-29 | 2007-01-10 | 国际商业机器公司 | 用于在电子表单中隐藏模型内的敏感数据的方法和系统 |
| CN101963844A (zh) * | 2010-09-26 | 2011-02-02 | 百度在线网络技术（北京）有限公司 | 一种表单输入的方法和设备 |
| CN108063766A (zh) * | 2017-12-19 | 2018-05-22 | 甜新科技（上海）有限公司 | 一种多客户渠道融合服务平台的通信方法及系统 |
| CN109120698A (zh) * | 2018-08-20 | 2019-01-01 | 广东翼卡车联网服务有限公司 | 一种实现汽车试驾流媒体直播服务的方法 |
| CN109147624A (zh) * | 2018-08-29 | 2019-01-04 | 合肥市徽马信息科技有限公司 | 一种基于微信小程序的语音讲解系统 |
| CN111291396A (zh) * | 2020-02-06 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 表单数据的处理方法、装置、电子设备、及存储介质 |
| CN111356024A (zh) * | 2020-03-11 | 2020-06-30 | 厦门亿合恒拓信息科技有限公司 | 网页端和微信小程序端的在线视频通信方法及存储介质 |
| CN111723559A (zh) * | 2020-06-19 | 2020-09-29 | 苏州思必驰信息科技有限公司 | 一种实时信息抽取方法及装置 |
| CN112036138A (zh) * | 2020-07-29 | 2020-12-04 | 长沙市到家悠享网络科技有限公司 | 一种简历填写方法、装置、电子设备以及存储介质 |
| CN112052657A (zh) * | 2020-07-30 | 2020-12-08 | 北京城市网邻信息技术有限公司 | 房源文本信息生成方法、装置、电子设备和存储介质 |
| CN112232042A (zh) * | 2020-09-08 | 2021-01-15 | 广州金域医学检验中心有限公司 | 取材信息录入方法、装置、计算机设备及存储介质 |
-
2021
- 2021-01-19 CN CN202110066165.9A patent/CN112399129B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1892641A (zh) * | 2005-06-29 | 2007-01-10 | 国际商业机器公司 | 用于在电子表单中隐藏模型内的敏感数据的方法和系统 |
| CN101963844A (zh) * | 2010-09-26 | 2011-02-02 | 百度在线网络技术（北京）有限公司 | 一种表单输入的方法和设备 |
| CN108063766A (zh) * | 2017-12-19 | 2018-05-22 | 甜新科技（上海）有限公司 | 一种多客户渠道融合服务平台的通信方法及系统 |
| CN109120698A (zh) * | 2018-08-20 | 2019-01-01 | 广东翼卡车联网服务有限公司 | 一种实现汽车试驾流媒体直播服务的方法 |
| CN109147624A (zh) * | 2018-08-29 | 2019-01-04 | 合肥市徽马信息科技有限公司 | 一种基于微信小程序的语音讲解系统 |
| CN111291396A (zh) * | 2020-02-06 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 表单数据的处理方法、装置、电子设备、及存储介质 |
| CN111356024A (zh) * | 2020-03-11 | 2020-06-30 | 厦门亿合恒拓信息科技有限公司 | 网页端和微信小程序端的在线视频通信方法及存储介质 |
| CN111723559A (zh) * | 2020-06-19 | 2020-09-29 | 苏州思必驰信息科技有限公司 | 一种实时信息抽取方法及装置 |
| CN112036138A (zh) * | 2020-07-29 | 2020-12-04 | 长沙市到家悠享网络科技有限公司 | 一种简历填写方法、装置、电子设备以及存储介质 |
| CN112052657A (zh) * | 2020-07-30 | 2020-12-08 | 北京城市网邻信息技术有限公司 | 房源文本信息生成方法、装置、电子设备和存储介质 |
| CN112232042A (zh) * | 2020-09-08 | 2021-01-15 | 广州金域医学检验中心有限公司 | 取材信息录入方法、装置、计算机设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113299294A (zh) * | 2021-05-26 | 2021-08-24 | 中国平安人寿保险股份有限公司 | 任务型对话机器人交互方法、装置、设备及存储介质 |
| CN113299294B (zh) * | 2021-05-26 | 2024-06-11 | 中国平安人寿保险股份有限公司 | 任务型对话机器人交互方法、装置、设备及存储介质 |
| CN115204127A (zh) * | 2022-09-19 | 2022-10-18 | 深圳市北科瑞声科技股份有限公司 | 基于远程流调的表单填写方法、装置、设备及介质 |
| CN115841098A (zh) * | 2023-02-24 | 2023-03-24 | 天津爱波瑞科技发展有限公司 | 基于数据识别的交互式批量填充方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112399129B (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230410084A1 (en) | Computerized agent external to an instant messaging (im) service for enhancing an im session managed by the im service | |
| CN112399129B (zh) | 基于小程序的在线视频通讯方法、装置及计算机设备 | |
| US10565590B2 (en) | Data processing method based on instant messaging or social applications, and device thereof | |
| US10997671B2 (en) | Methods, systems and computer program products for collaborative tax return preparation | |
| CN110764855B (zh) | 一种信息处理的方法及电子设备、存储介质 | |
| EP1986381A1 (en) | A method and system for implementing instant communication | |
| CN108648067A (zh) | 贷款审批方法、装置、计算机设备及存储介质 | |
| CN107800765B (zh) | 一种信息处理方法、终端及系统 | |
| CN108364171B (zh) | 图形码生成方法、资源发送及接收方法、装置及电子设备 | |
| CN109040049B (zh) | 用户注册方法和装置、电子设备 | |
| CN110020340A (zh) | 一种数据处理的方法、装置和客户端 | |
| CN113988532A (zh) | 团体配送订单的提交方法、装置、电子设备 | |
| CN106209396A (zh) | 匹配方法及相关装置 | |
| CN108288152B (zh) | 一种分享信息的交互方法、终端及存储介质 | |
| CN105871785A (zh) | 一种业务处理方法、装置和系统 | |
| CN114598913B (zh) | 一种多人双录交互控制方法、系统 | |
| WO2020077838A1 (zh) | 订单提示方法及装置 | |
| CN115776548A (zh) | 双录系统 | |
| CN110612712B (zh) | 用于验证对象的身份的在线验证方法和系统 | |
| CN114385898A (zh) | 服务人员推荐方法、终端设备、以及服务器 | |
| CN111538899A (zh) | 资源信息的推送方法及设备端、服务端 | |
| JP2005115902A (ja) | 融資手続支援システム及び融資手続支援方法 | |
| CN111182029B (zh) | 信息处理方法、装置、设备和存储介质 | |
| CN114329372A (zh) | 一种联合开通权限方法及装置、计算机可读存储介质 | |
| CN105471709A (zh) | 一种信息展示方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |