CN112333549B - 视频处理方法及装置、电子设备、存储介质 - Google Patents

视频处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN112333549B
CN112333549B CN202110001013.0A CN202110001013A CN112333549B CN 112333549 B CN112333549 B CN 112333549B CN 202110001013 A CN202110001013 A CN 202110001013A CN 112333549 B CN112333549 B CN 112333549B
Authority
CN
China
Prior art keywords
video
screen
service
recording
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110001013.0A
Other languages
English (en)
Other versions
CN112333549A (zh
Inventor
刘微微
赵之砚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202110001013.0A priority Critical patent/CN112333549B/zh
Publication of CN112333549A publication Critical patent/CN112333549A/zh
Application granted granted Critical
Publication of CN112333549B publication Critical patent/CN112333549B/zh
Priority to PCT/CN2021/109386 priority patent/WO2022142315A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations

Abstract

本发明涉及人工智能技术,可应用于智慧城市领域中,揭露了一种视频处理方法及装置、电子设备、存储介质,该方法包括:获取目标业务的业务相关信息,以及人机交互操作端执行目标业务的双录视频;根据双录视频和业务相关信息对人机交互操作端上的指定业务环节进行录屏,并生成录屏视频;在根据接收到的视频稽核指令播放双录视频时,按照录屏视频的起始时间和结束时间同步显示录屏视频。本发明还涉及区块链技术,将双录视频和录屏视频存储于区块链中。通过本发明,解决了目前现有的双录系统中,由于外设摄像头位置固定,导致录制的视频不能清晰地记录屏幕上的用户操作细节影像,进而导致后续对录制信息核对困难的技术问题。

Description

视频处理方法及装置、电子设备、存储介质
技术领域
本发明涉及人工智能技术,可应用于智慧城市领域中,具体而言,涉及一种视频处理方法及装置、电子设备、存储介质。
背景技术
目前,为了满足一定的监管需求,在银行业金融机构的销售专区装配电子系统,以对每笔产品销售过程中销售经理以及客户进行同步录音录像。
相关技术中,金融保险双录系统是本地化部署在金融机构中,通过iPad前端(智能手写板)连接外设摄像头,摄像头固定在某一个位置,进行录制。该方式同时也带来了不少弊端,例如,由于外设摄像头一般不可移动,其录制的视频的双录过程中,对iPad前端上显示的关键流程无法清晰地获取到,比如,难录制下来用户真实签署或阅读电子合同的iPad画面。若增加外设摄像头,去专门录制用户进行阅读电子合同或电子签名的屏幕,成本较高,且很容易受光线、环境影响,比如屏幕反光等常见现象,也无法清晰地获取到iPad画面。
针对相关技术中存在的上述问题,目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种视频处理方法及装置、电子设备、存储介质,以至少解决了目前现有的双录系统中,由于外设摄像头位置固定,导致录制的视频不能清晰地记录屏幕上的用户操作细节影像,进而导致后续对录制信息核对困难的技术问题。
第一方面,提供了一种视频处理方法,包括:获取目标业务的业务相关信息,以及人机交互操作端执行所述目标业务的双录视频,其中,所述目标业务包括多个业务环节;根据所述双录视频和所述业务相关信息对所述人机交互操作端上的指定业务环节进行录屏,并生成录屏视频;在根据接收到的视频稽核指令播放所述双录视频时,按照所述录屏视频的起始时间和结束时间同步显示所述录屏视频。
可选的,获取目标业务的业务相关信息,以及人机交互操作端执行所述目标业务的双录视频,包括:通过与所述人机交互操作端关联的图像采集装置获取所述双录视频;以及,通过所述人机交互操作端的接口获取所述目标业务的业务相关信息,其中,所述业务相关信息至少包括:参与方的人员信息,所述目标业务的业务名称,所述多个业务环节,以及每个业务环节对应的标识码。
可选的,根据所述双录视频和所述业务相关信息对所述人机交互操作端上的指定业务环节进行录屏,并生成录屏视频,包括:根据所述业务相关信息配置业务规则,其中,所述业务规则用于检测所述人机交互操作端上执行的业务环节,所述业务规则至少包括:所述目标业务的业务名称,所述目标业务的业务类型,参与方的身份核验计算基准,所述指定业务环节,以及执行所述目标业务时人机对话的话术模式;基于所述双录视频和所述业务规则检测所述人机交互操作端上执行的业务环节;若所述人机交互操作端上执行的业务环节为所述指定业务环节,则启用录屏模块,通过所述录屏模块对所述人机交互操作端进行录屏,得到所述录屏视频。
可选的,通过所述录屏模块对所述人机交互操作端进行录屏,得到所述录屏视频,包括;通过所述录屏模块记录所述人机交互操作端上的当前页面内容,以及记录执行所述指定业务环节的起始时间和结束时间;基于所述当前页面内容、所述起始时间和所述结束时间生成所述录屏视频。
可选的,通过所述录屏模块对所述人机交互操作端进行录屏,得到所述录屏视频,还包括:在所述人机交互操作端上执行所述指定业务环节过程中,若所述人机交互操作端上显示图案编码,则通过读码模块获取所述图案编码,其中,所述图案编码用于标识所述人机交互操作端上呈现的当前页面内容;关联所述图案编码与所述录屏视频。
可选的,所述记录执行所述指定业务环节的起始时间和结束时间包括:通过所述双录视频检测所述人机交互操作端上播报的语音文本;将所述语音文本中的关键字与预设文本进行匹配,其中,所述预设文本是根据人机对话的话术模式确定的;根据匹配结果检测所述指定业务环节的执行进度;基于所述执行进度记录所述指定业务环节的起始时间和结束时间。
可选的,将所述双录视频和所述录屏视频存储于区块链中,在根据接收到的视频稽核指令播放所述双录视频时,按照所述录屏视频的起始时间和结束时间同步显示所述录屏视频包括:在响应所述视频稽核指令播放所述双录视频时,检测所述双录视频中开始所述指定业务环节的起始时间;按照所述录屏视频中所述指定业务环节的起始时间和结束时间同步显示所述录屏视频。
第二方面,提供了一种视频处理装置,包括:获取模块,用于获取目标业务的业务相关信息,以及人机交互操作端执行所述目标业务的双录视频,其中,所述目标业务包括多个业务环节;录屏模块,用于根据所述双录视频和所述业务相关信息对所述人机交互操作端上的指定业务环节进行录屏,并生成录屏视频;显示模块,用于在根据接收到的视频稽核指令播放所述双录视频时,按照所述录屏视频的起始时间和结束时间同步显示所述录屏视频。
可选的,所述获取模块包括:第一获取单元,用于通过与所述人机交互操作端关联的图像采集装置获取所述双录视频;以及,第二获取单元,用于通过所述人机交互操作端的接口获取所述目标业务的业务相关信息,其中,所述业务相关信息至少包括:参与方的人员信息,所述目标业务的业务名称,所述多个业务环节,以及每个业务环节对应的标识码。
可选的,所述录屏模块包括:配置单元,用于根据所述业务相关信息配置业务规则,其中,所述业务规则用于检测所述人机交互操作端上执行的业务环节,所述业务规则至少包括:所述目标业务的业务名称,所述目标业务的业务类型,参与方的身份核验计算基准,所述指定业务环节,以及执行所述目标业务时人机对话的话术模式;第一检测单元,用于基于所述双录视频和所述业务规则检测所述人机交互操作端上执行的业务环节;生成单元,用于若所述人机交互操作端上执行的业务环节为所述指定业务环节,则启用录屏模块,通过所述录屏模块对所述人机交互操作端进行录屏,得到所述录屏视频。
可选的,所述生成单元包括;记录子单元,用于通过所述录屏模块记录所述人机交互操作端上的当前页面内容,以及记录执行所述指定业务环节的起始时间和结束时间;生成子单元,用于基于所述当前页面内容、所述起始时间和所述结束时间生成所述录屏视频。
可选的,所述录屏模块还包括:第三获取单元,用于在所述人机交互操作端上执行所述指定业务环节过程中,若所述人机交互操作端上显示图案编码,则通过读码模块获取所述图案编码,其中,所述图案编码用于标识所述人机交互操作端上呈现的当前页面内容;关联单元,用于关联所述图案编码与所述录屏视频。
可选的,所述记录子单元用于:通过所述双录视频检测所述人机交互操作端上播报的语音文本;将所述语音文本中的关键字与预设文本进行匹配,其中,所述预设文本是根据人机对话的话术模式确定的;根据匹配结果检测所述指定业务环节的执行进度;基于所述执行进度记录所述指定业务环节的起始时间和结束时间。
可选的,将所述双录视频和所述录屏视频存储于区块链中,所述显示模块包括:第二检测单元,用于在响应所述视频稽核指令播放所述双录视频时,检测所述双录视频中开始所述指定业务环节的起始时间;显示单元,用于按照所述录屏视频中所述指定业务环节的起始时间和结束时间同步显示所述录屏视频。
第三方面,还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
第四方面,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项装置实施例中的步骤。
借由上述技术方案,通过获取目标业务的业务相关信息以及人机交互操作端执行目标业务的双录视频,然后根据双录视频和业务相关信息对人机交互操作端上的指定业务环节进行录屏;然后在根据接收到的视频稽核指令播放双录视频时,按照录屏视频的起始时间和结束时间同步显示录屏视频,无需调整外设摄像头位置或者增设额外摄像头去捕捉用户在屏幕上的操作细节影像,也能清晰地记录屏幕上的操作的细节内容,解决了目前现有的双录系统中,由于外设摄像头位置固定,导致录制的视频不能清晰地记录屏幕上的用户操作细节影像,进而导致后续对录制信息核对困难的技术问题,操作简单,成本低,极大地提高了用户体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种视频处理方法应用于计算机终端的硬件结构框图;
图2是根据本发明实施例的一种视频处理方法的流程图;
图3是根据本发明一具体实施例提供的业务规则的示意图;
图4是根据本发明一具体实施例提供的一种记录业务环节的示意图;
图5是根据本发明实施例的一种视频处理装置的结构框图;
图6是根据本发明实施例的一种电子设备的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在移动终端、服务器、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例,图1是本发明实施例的一种视频处理方法应用于计算机终端的硬件结构框图。如图1所示,计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述计算机终端的结构造成限定。例如,计算机终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的视频处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器,也可以包括易失性存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
双录系统是一个配置灵活度高、具有较强扩展性的服务、管理系统,与各个业务系统有良好的兼容性,通过系统配置的各个服务引擎对影、音、视频的加工处理实现了对电子化信息全面管理,是一个集影像处理、流程管理和规则配置的系统。整个销售录像查询系统的网络架构分为三层:总行、分行及下属网点。在分行设置缓存服务器,便于录像视频、音频的传输;在总行设置传输的服务器、系统管理服务器、存储服务器、数据库服务器,其中,存储服务器与数据库服务器共享存储盘阵;网点通过银行专网进行系统访问和文件传输。
由于现有的金融银行双录系统很容易受光线、环境影响,导致录制的图像不清晰,获取的录像内容不完整,不能保证有效性,为了解决上述问题,本发明实施例提供一种视频处理方法,图2是根据本发明实施例的一种视频处理方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,获取目标业务的业务相关信息,以及人机交互操作端执行目标业务的双录视频,其中,目标业务包括多个业务环节;
在本实施例中,目标业务可以为金融服务业务,比如银行相关业务,证券相关业务,信托相关业务,或保险相关业务等;例如交易保险产品(如基金、股票等),自助办卡业务(如开户),贷款,存款等相关业务。
每个目标业务对应一个业务流程,该业务流程包括多个业务环节。例如银行的自助开户业务,它的业务流程为:选择“开户业务”→阅读开户协议→插入二代身份证→人脸图像、指纹等信息采集→身份核实→阅读开户合同→进行电签→设置密码→发卡等多个业务环节。
业务相关信息至少包括参与方的人员信息(例如客户和销售经理的基本信息)和业务信息,其中,业务信息至少包括业务流程、业务环节以及每个业务环节的标识码,标识码用于标识业务环节,可通过标识码携带对应业务环节的业务内容,例如电子合同的编码、电子签名流水号等标识码。
步骤S204,根据双录视频和业务相关信息对人机交互操作端上的指定业务环节进行录屏,并生成录屏视频;
在本实施例中,通过双录视频和业务相关信息设置开启录屏功能,以对指定业务环节进行录屏,无需对整个业务流程进行录屏,不仅可以减少占用内存,还能通过录屏视频清晰记录客户办理目标业务的操作细节。
步骤S206,在根据接收到的视频稽核指令播放双录视频时,按照录屏视频的起始时间和结束时间同步显示录屏视频。
需要强调的是,为进一步保证上述双录视频和录屏视频的私密和安全性,上述双录视频和录屏视频还可以存储于一区块链的节点中。
本发明实施例提供的视频处理方法,通过获取目标业务的业务相关信息和人机交互操作端执行目标业务的双录视频,然后根据双录视频和业务相关信息对人机交互操作端上的指定业务环节进行录屏;然后在根据接收到的视频稽核指令播放双录视频时,按照录屏视频的起始时间和结束时间同步显示录屏视频,无需调整外设摄像头位置或者增设额外摄像头去捕捉用户在屏幕上的操作细节影像,也能清晰地记录屏幕上操作的细节内容,解决了目前现有的双录系统中,由于外设摄像头位置固定,导致录制的视频不能清晰地记录屏幕上的用户操作细节影像,进而导致后续对录制信息核对困难的技术问题,操作简单,成本低,极大地提高了用户体验。
本发明实施例中提供了一种可能的实现方式,获取目标业务的业务相关信息,以及人机交互操作端执行目标业务的双录视频,包括:通过与人机交互操作端关联的图像采集装置获取双录视频;以及,通过人机交互操作端的接口获取目标业务的业务相关信息,其中,业务相关信息至少包括:参与方的人员信息,目标业务的业务名称,多个业务环节,以及每个业务环节对应的标识码。
在本案的一个实施例中,通过在双录后台管理端安装SDK(即软件开发工具包),使得在iPad端(即上述人机交互操作端)引入录屏功能,iPad端连接外设摄像头。通过业务端(即上述人机交互操作端)传递给双录SDK,双录SDK接收初始化的参与人信息以及涉及的业务信息,用于在双录过程中进行人脸识别、信息播报等。其中,参与人信息可以为:销售经理姓名、身份证号、工号、客户姓名、身份证号、手机号、指纹、现场人脸图像、风险等级(例如个人信用等级)。
在一个示例中,以客户需要办理个人开户业务为例,iPad前端初始化录制时,在客户选择个人开户业务后,当客户和销售经理(即上述参与方)在自助机器(即上述人机交互操作端)前办理个人开户业务(即上述目标业务)时,可通过在自助机器上录入客户和销售经理的基本信息(例如客户的手机号、身份证号、销售经理的工号等),或者通过自助机器上的扫码区(即上述接口,例如指纹采集接口或身份证识别接口等)录入客户身份证信息、指纹或人脸;以及待办理的业务信息(例如购买的保险产品所涉及的业务信息,比如合同编号(即上述标识码)、电签流水号等);同时通过外设摄像头拍摄客户和销售经理操作自助机器(例如iPad前端)的双录视频。
本发明实施例中提供了一种可能的实现方式,根据双录视频和业务相关信息对人机交互操作端上的指定业务环节进行录屏,并生成录屏视频,包括:根据业务相关信息配置业务规则,其中,业务规则用于检测人机交互操作端上执行的业务环节,业务规则至少包括:目标业务的业务名称,目标业务的业务类型,参与方的身份核验计算基准,指定业务环节,以及执行目标业务时人机对话的话术模式;基于双录视频和业务规则检测人机交互操作端上执行的业务环节;若人机交互操作端上执行的业务环节为指定业务环节,则启用录屏模块,通过录屏模块对人机交互操作端进行录屏,得到录屏视频。
在本案的一个可选的实施例中,双录后台管理可针对该双录视频设定录屏规则,按照双录规则启用录屏功能。例如通常在第三个环节进行电子合同阅读,则后台管理设置“按环节启用”设置为3-5业务环节,示意为iPad前端在录制第三个环节开始、第五个环节结束前启用录屏功能。
图3是根据本发明一具体实施例提供的业务规则的示意图,如图3所示,双录后台管理根据参与方的基本信息以及操作目标业务的业务相关信息编辑业务规则。例如,业务规则包括:双录规则名称“万能/型”(保险类型);话术配置模式“按产品类型配置话术”(通过机器语音提示参与者操作流程或操作进度情况);产品类型“分红”;身份核验计算基准“最少比对通过次数”(例如4次);同框质检计算基准“同框质检通过率”(例如60%);录屏启用时间“按环节启用”(例如业务环节3-4);在编辑业务规则之后,开启录屏功能。
在本实施例中,身份核验计算基准主要是根据初始化SDK传入的信息(包含客户/销售经理的姓名、身份证号等),再加上视频间隔一段时间的截图,即姓名+身份证号+截图的人脸图,调用人脸识别服务,由人脸识别服务返回是否是本人。
本发明实施例中提供了一种可能的实现方式,通过录屏模块对人机交互操作端进行录屏,得到录屏视频,包括:通过录屏模块记录人机交互操作端上的当前页面内容,以及记录执行指定业务环节的起始时间和结束时间;基于当前页面内容、起始时间和结束时间生成录屏视频。
在本实施例中,当检测到人机交互操作端执行指定业务环节时,通过启用录屏模块记录人机交互操作端的页面内容,执行指定业务环节的起始时间和结束时间。例如,配置录屏规则为电子签名或合同阅读环节,当电子签名或合同阅读页面展示在前端时,此时根据后台双录规则,iPad请求系统录屏权限弹出操作示意框,点击确认“开启录屏”,iPad端开始录制视频,并记录录制的开始时间。
当电子签名或合同阅读结束后,进入下一个环节时,录屏马上结束,记录录屏结束时间。整个iPad前端页面的内容会实时录制下来。例如,通常销售的某金融或保险产品对应业务部门会制定消费者必须完成或知晓的步骤或信息,例如电子签名、风险须知、产品风险等级揭示等,这些内容会以必须完成的环节形式展示在前端SDK中。
本发明实施例中提供了一种可能的实现方式,通过录屏模块对人机交互操作端进行录屏,得到录屏视频,还包括:在人机交互操作端上执行指定业务环节过程中,若人机交互操作端上显示图案编码,则通过读码模块获取图案编码,其中,图案编码用于标识人机交互操作端上呈现的当前页面内容;关联图案编码与录屏视频。
在本案的一个可选的实施例中,在客户在屏幕进行电签过程中,电子签名页面的右上角会显示电签的一维条形码,该条形码即为电子签名的流水号;同理,合同阅读页面右上角显示的是合同编号的一维条形码。本实施例通过在双录后台管理端安装SDK,使得在iPad端引入条形码追溯功能(即上述读码模块),以读取一维条形码。
在一个示例中,在监测到iPad前端页面执行到电子签名环节时,启用录屏功能模块并通过读码模块(如基于Zxing开源库的barcode识别条形码)找到iPad前端页面上的电子签名的一维条形码;对电子签名条形码进行解码,以解读条形码的编号,并进行存储;然后将该条形码与电子签名环节进行关联,以进行绑定,作为录屏视频的附带识别信息之一,便于后续追溯录屏视频与业务订单、双录主视频的关系。
本发明实施例中提供了一种可能的实现方式,记录执行指定业务环节的起始时间和结束时间包括:通过双录视频检测人机交互操作端上播报的语音文本;将语音文本中的关键字与预设文本进行匹配,其中,预设文本是根据人机对话的话术模式确定的;根据匹配结果检测指定业务环节的执行进度;基于执行进度记录指定业务环节的起始时间和结束时间。
在本案的一个可选的实施例中,以产品类型的配置话术记录执行指定业务环节的起始时间和结束时间,具体包括以下步骤:
步骤1:双录后台配置好双录每个业务环节需要播报的语音(即上述预设文本),即编辑业务规则“人机对话的话术模式”;
步骤2:前端SDK播放到指定业务环节时,记录开始时间,并将当前语音传送给TTS(全称为Track & Trace system,即双向追溯系统)服务进行语音播报;
步骤3:在播报完毕后,通常需要客户回答同意、确认等意愿性的话术。TTS播报完毕后,语音采集开始,此时客户说过的任何内容会被语音记录,然后将这段语音传送给ASR(全称为Automatic Speech Recognition,即自动语音识别技术)服务进行解析,ASR服务返回语音识别的文本内容;
步骤4:文本内容是否与后台预先配置好的关键字匹配,记录执行的进度。若匹配,当前环节完成,自动进入下一环节,记录业务环节如图4所示,图4是根据本发明一具体实施例提供的一种记录业务环节的示意图,并记录结束时间;若不匹配,提示客户未回答。
本发明实施例中提供了一种可能的实现方式,将双录视频和录屏视频存储于区块链中,在根据接收到的视频稽核指令播放双录视频时,按照录屏视频的起始时间和结束时间同步显示录屏视频包括:在响应视频稽核指令播放双录视频时,检测双录视频中开始指定业务环节的起始时间;按照录屏视频中指定业务环节的起始时间和结束时间同步显示录屏视频。
在本实施例中,录屏结束后,录屏视频实时存储到本地,由iPad前端销售人员将摄像头摄录视频(即上述双录视频)+录屏视频一同上传到云端存储。
优选地,将双录视频和录屏视频存储于区块链中。
需要强调的是,为进一步保证上述双录视频和录屏视频的私密和安全性,上述双录视频和录屏视频还可以存储于一区块链的节点中。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Bloc kchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
优选地,若检测到双录视频的稽核指令,在播放双录视频的目标业务环节时同步播放录屏视频。
在本实施例中,进入双录后台管理平台,对该金融或保险产品进行视频稽核时,同步显示外设摄像头视频+录屏画面,即根据录屏视频的开始时间与结束时间,与外设摄像头全程录制的视频同步显示,从而方便质检员多角度验证电签、合同阅读等业务环节的真实性,大大提升了稽核的效率。
基于上述实施步骤,在参与方操作iPad前端时,开启双录功能,同时通过预先设定的录屏规则,对操作业务的指定业务环节进行录屏,并将录屏视频与双录视频进行关联,在需要进行视频稽核时,实现了同步显示外设摄像头视频和录屏画面,大大提升了稽核的效率。
基于上文各个实施例提供的视频处理方法,基于同一发明构思,在本实施例中还提供了一种视频处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的一种视频处理装置的结构框图,如图5所示,该装置包括:获取模块50,用于获取目标业务的业务相关信息,以及人机交互操作端执行目标业务的双录视频,其中,目标业务包括多个业务环节;录屏模块52,连接至上述获取模块50,用于根据双录视频和业务相关信息对人机交互操作端上的指定业务环节进行录屏,并生成录屏视频;显示模块56,连接至上述录屏模块52,用于在根据接收到的视频稽核指令播放所述双录视频时,按照所述录屏视频的起始时间和结束时间同步显示所述录屏视频。
在一个可能的实现方式中,获取模块50包括:第一获取单元,用于通过与人机交互操作端关联的图像采集装置获取双录视频;以及,第二获取单元,用于通过人机交互操作端的接口获取目标业务的业务相关信息,其中,业务相关信息至少包括:参与方的人员信息,目标业务的业务名称,多个业务环节,以及每个业务环节对应的标识码。
在一个可能的实现方式中,录屏模块52包括:配置单元,用于根据业务相关信息配置业务规则,其中,业务规则用于检测人机交互操作端上执行的业务环节,业务规则至少包括:目标业务的业务名称,目标业务的业务类型,参与方的身份核验计算基准,指定业务环节,以及执行目标业务时人机对话的话术模式;第一检测单元,用于基于双录视频和业务规则检测人机交互操作端上执行的业务环节;生成单元,用于若人机交互操作端上执行的业务环节为指定业务环节,则启用录屏模块,通过录屏模块对人机交互操作端进行录屏,得到录屏视频。
在一个可能的实现方式中,生成单元包括;记录子单元,用于通过录屏模块记录人机交互操作端上的当前页面内容,以及记录执行指定业务环节的起始时间和结束时间;生成子单元,用于基于当前页面内容、起始时间和结束时间生成录屏视频。
在一个可能的实现方式中,录屏模块52还包括:第三获取单元,用于在人机交互操作端上执行指定业务环节过程中,若人机交互操作端上显示图案编码,则通过读码模块获取图案编码,其中,图案编码用于标识人机交互操作端上呈现的当前页面内容;关联单元,用于关联图案编码与录屏视频。
在一个可能的实现方式中,记录子单元用于:通过双录视频检测人机交互操作端上播报的语音文本;将语音文本中的关键字与预设文本进行匹配,其中,预设文本是根据人机对话的话术模式确定的;根据匹配结果检测指定业务环节的执行进度;基于执行进度记录指定业务环节的起始时间和结束时间。
在一个可能的实现方式中,将双录视频和录屏视频存储于区块链中,显示模块56包括:第二检测单元,用于在响应视频稽核指令播放双录视频时,检测双录视频中开始指定业务环节的起始时间;显示单元,用于按照录屏视频中指定业务环节的起始时间和结束时间同步显示录屏视频。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取目标业务的业务相关信息,以及人机交互操作端执行所述目标业务的双录视频,其中,所述目标业务包括多个业务环节;
S2,根据所述双录视频和所述业务相关信息对所述人机交互操作端上的指定业务环节进行录屏,并生成录屏视频;
S3,在根据接收到的视频稽核指令播放所述双录视频时,按照所述录屏视频的起始时间和结束时间同步显示所述录屏视频。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
基于上述图2所示方法和图5所示装置的实施例,为了实现上述目的,本申请实施例还提供了一种电子设备,如图6所示,包括存储器62和处理器61,其中存储器62和处理器61均设置在总线63上存储器62存储有计算机程序,处理器61执行计算机程序时实现图2所示的视频处理方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个存储器(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
可选地,该设备还可以连接用户接口、网络接口、摄像头、射频(Radio Frequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种电子设备的结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种视频处理方法,其特征在于,包括:
获取目标业务的业务相关信息,以及人机交互操作端执行所述目标业务的双录视频,其中,所述目标业务包括多个业务环节;
根据所述双录视频和所述业务相关信息对所述人机交互操作端上的指定业务环节进行录屏,并生成录屏视频,包括:根据所述业务相关信息配置业务规则;基于所述双录视频和所述业务规则检测所述人机交互操作端上执行的业务环节;若所述人机交互操作端上执行的业务环节为所述指定业务环节,则启用录屏模块,通过所述录屏模块对所述人机交互操作端进行录屏,得到所述录屏视频,其中,所述业务规则至少包括:所述目标业务的业务名称,所述目标业务的业务类型,参与方的身份核验计算基准,所述指定业务环节,以及执行所述目标业务时人机对话的话术模式;
在根据接收到的视频稽核指令播放所述双录视频时,按照所述录屏视频的起始时间和结束时间同步显示所述录屏视频;
其中,根据所述双录视频和所述业务相关信息对所述人机交互操作端上的指定业务环节进行录屏,并生成录屏视频,还包括:在所述人机交互操作端上执行所述指定业务环节过程中,若所述人机交互操作端上显示图案编码,则通过读码模块获取所述图案编码,其中,所述图案编码用于标识所述人机交互操作端上呈现的当前页面内容;关联所述图案编码与所述录屏视频。
2.根据权利要求1所述的方法,其特征在于,获取目标业务的业务相关信息,以及人机交互操作端执行所述目标业务的双录视频,包括:
通过与所述人机交互操作端关联的图像采集装置获取所述双录视频;以及,
通过所述人机交互操作端的接口获取所述目标业务的业务相关信息,其中,所述业务相关信息至少包括:参与方的人员信息,所述目标业务的业务名称,所述多个业务环节,以及每个业务环节对应的标识码。
3.根据权利要求1所述的方法,其特征在于,包括:
所述业务规则用于检测所述人机交互操作端上执行的业务环节。
4.根据权利要求1所述的方法,其特征在于,通过所述录屏模块对所述人机交互操作端进行录屏,得到所述录屏视频,包括;
通过所述录屏模块记录所述人机交互操作端上的当前页面内容,以及记录执行所述指定业务环节的起始时间和结束时间;
基于所述当前页面内容、所述起始时间和所述结束时间生成所述录屏视频。
5.根据权利要求4所述的方法,其特征在于,所述记录执行所述指定业务环节的起始时间和结束时间包括:
通过所述双录视频检测所述人机交互操作端上播报的语音文本;
将所述语音文本中的关键字与预设文本进行匹配,其中,所述预设文本是根据人机对话的话术模式确定的;
根据匹配结果检测所述指定业务环节的执行进度;
基于所述执行进度记录所述指定业务环节的起始时间和结束时间。
6.根据权利要求1所述的方法,其特征在于,将所述双录视频和所述录屏视频存储于区块链中,在根据接收到的视频稽核指令播放所述双录视频时,按照所述录屏视频的起始时间和结束时间同步显示所述录屏视频包括:
在响应所述视频稽核指令播放所述双录视频时,检测所述双录视频中开始所述指定业务环节的起始时间;
按照所述录屏视频中所述指定业务环节的起始时间和结束时间同步显示所述录屏视频。
7.一种视频处理装置,其特征在于,包括:
获取模块,用于获取目标业务的业务相关信息,以及人机交互操作端执行所述目标业务的双录视频,其中,所述目标业务包括多个业务环节;
录屏模块,用于根据所述双录视频和所述业务相关信息对所述人机交互操作端上的指定业务环节进行录屏,并生成录屏视频;
显示模块,用于在根据接收到的视频稽核指令播放所述双录视频时,按照所述录屏视频的起始时间和结束时间同步显示所述录屏视频;
其中,所述录屏模块用于:根据所述业务相关信息配置业务规则;基于所述双录视频和所述业务规则检测所述人机交互操作端上执行的业务环节;若所述人机交互操作端上执行的业务环节为所述指定业务环节,则启用录屏模块,通过所述录屏模块对所述人机交互操作端进行录屏,得到所述录屏视频,其中,所述业务规则至少包括:所述目标业务的业务名称,所述目标业务的业务类型,参与方的身份核验计算基准,所述指定业务环节,以及执行所述目标业务时人机对话的话术模式;
所述录屏模块还用于,在所述人机交互操作端上执行所述指定业务环节过程中,若所述人机交互操作端上显示图案编码,则通过读码模块获取所述图案编码,其中,所述图案编码用于标识所述人机交互操作端上呈现的当前页面内容;关联所述图案编码与所述录屏视频。
8.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202110001013.0A 2021-01-04 2021-01-04 视频处理方法及装置、电子设备、存储介质 Active CN112333549B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110001013.0A CN112333549B (zh) 2021-01-04 2021-01-04 视频处理方法及装置、电子设备、存储介质
PCT/CN2021/109386 WO2022142315A1 (zh) 2021-01-04 2021-07-29 视频处理方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110001013.0A CN112333549B (zh) 2021-01-04 2021-01-04 视频处理方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN112333549A CN112333549A (zh) 2021-02-05
CN112333549B true CN112333549B (zh) 2021-05-18

Family

ID=74302183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110001013.0A Active CN112333549B (zh) 2021-01-04 2021-01-04 视频处理方法及装置、电子设备、存储介质

Country Status (2)

Country Link
CN (1) CN112333549B (zh)
WO (1) WO2022142315A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333549B (zh) * 2021-01-04 2021-05-18 深圳壹账通智能科技有限公司 视频处理方法及装置、电子设备、存储介质
CN113179380B (zh) * 2021-04-22 2022-04-08 深圳壹账通智能科技有限公司 签名录制方法、装置、设备及存储介质
CN113596402A (zh) * 2021-07-29 2021-11-02 上海浦东发展银行股份有限公司 事中监控方法、装置、设备、系统和存储介质
CN113507642A (zh) * 2021-09-10 2021-10-15 江西省天轴通讯有限公司 一种视频切分方法、系统、存储介质及设备
CN115022707A (zh) * 2022-06-21 2022-09-06 杭州海康威视数字技术股份有限公司 计算机设备及录屏装置
CN115904296B (zh) * 2023-03-09 2023-05-09 江苏北弓智能科技有限公司 一种双录投屏签单服务系统
CN116866650B (zh) * 2023-05-25 2024-03-29 飞虎互动科技(北京)有限公司 实时音视频录制方法、系统及电子设备
CN116756053A (zh) * 2023-08-22 2023-09-15 青岛民航凯亚系统集成有限公司 基于录屏回放的前端项目测试问题上报分配方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360362A (zh) * 2011-09-28 2012-02-22 华为技术有限公司 坐席录屏方法、质检方法及相关设备
CN105657229A (zh) * 2016-02-04 2016-06-08 杭州百航信息技术有限公司 折叠式金融摄像台及其安全视频记录方法
CN109640018A (zh) * 2018-12-12 2019-04-16 北京无线天利移动信息技术股份有限公司 一种用于电子化投保的证据采集方法及系统
CN111241157A (zh) * 2020-01-07 2020-06-05 支付宝(杭州)信息技术有限公司 操作行为的回溯方法、装置和电子设备
CN112039972A (zh) * 2020-08-26 2020-12-04 支付宝(杭州)信息技术有限公司 一种业务的处理方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9554189B2 (en) * 2014-06-30 2017-01-24 Microsoft Technology Licensing, Llc Contextual remote control interface
CN112333549B (zh) * 2021-01-04 2021-05-18 深圳壹账通智能科技有限公司 视频处理方法及装置、电子设备、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360362A (zh) * 2011-09-28 2012-02-22 华为技术有限公司 坐席录屏方法、质检方法及相关设备
CN105657229A (zh) * 2016-02-04 2016-06-08 杭州百航信息技术有限公司 折叠式金融摄像台及其安全视频记录方法
CN109640018A (zh) * 2018-12-12 2019-04-16 北京无线天利移动信息技术股份有限公司 一种用于电子化投保的证据采集方法及系统
CN111241157A (zh) * 2020-01-07 2020-06-05 支付宝(杭州)信息技术有限公司 操作行为的回溯方法、装置和电子设备
CN112039972A (zh) * 2020-08-26 2020-12-04 支付宝(杭州)信息技术有限公司 一种业务的处理方法、装置及设备

Also Published As

Publication number Publication date
WO2022142315A1 (zh) 2022-07-07
CN112333549A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112333549B (zh) 视频处理方法及装置、电子设备、存储介质
US9836726B2 (en) Internet payment system using credit card imaging
CN109859410B (zh) 一种智慧终端柜员机及其应用
CN104021472A (zh) 身份验证方法及系统
CN109816521A (zh) 一种银行业务处理方法、装置及系统
CN111683285B (zh) 文件内容识别方法、装置、计算机设备及存储介质
CN110798709B (zh) 视频处理方法和装置、存储介质及电子装置
US20190087923A1 (en) System and method for automated continuing education attendance and credit tracking
US11695975B1 (en) System and method for live web camera feed and streaming transmission with definitive online identity verification for prevention of synthetic video and photographic images
CN109858222B (zh) 一种基于人脸特征的身份验证区块链系统及其验证方法
CN106327206A (zh) 正品认证工具及正品认证系统
CN112788269B (zh) 视频处理方法、装置、服务器及存储介质
US11715285B2 (en) Methods and systems for providing images for facilitating communication
CN112907243A (zh) 区块链交易审计方法及装置
CN108428135A (zh) 身份验证方法
CN111008852A (zh) 艺术品防伪鉴定方法、服务器、终端及存储介质
CN113034110B (zh) 基于视频审核的业务处理方法、系统、介质与电子设备
CN109800703A (zh) 基于微表情的风险审核方法、装置、计算机设备及存储介质
JP6473531B1 (ja) 顔認証技術による自動割り勘決済システム
US11934915B2 (en) Synthetic standardized wave identifiers for representing and classifying entities
CN115204860A (zh) 一种基于统一支付平台的自助缴费系统
CN107545332A (zh) 准客户信息合并分析方法及服务器
CN114662007B (zh) 数据推荐方法、装置、计算机设备和存储介质
CN114553684A (zh) 网点运维方法、装置、计算机设备、存储介质
CN115331674A (zh) 用于听障人士的业务处理系统和业务处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant