CN114598832A - 双模云执法记录终端控制方法、终端及装置 - Google Patents

Abstract

本发明公开了一种双模云执法记录终端控制方法、终端及装置，所述方法包括：采集执法检查过程的音视频数据，生成音视频文件；采集执法检查相关的文本信息，生成文本文件；合成，得到全过程记录文件；将全过程记录文件发送到云服务平台；对全过程记录文件进行分解；对满足预设条件的视频文件进行增强处理，对满足预设条件的音频文件进行去噪处理，对文本文件进行自然语言处理；将处理后的文件进行集成；根据集成后的文件生成可被访问的地址，发送给需要调取执法文件的终端。在执法过程中执法人员除手机外只需要一台设备就可整合全过程记录文件，实现对现场执法全过程记录的智能处理，提升了音视频清晰度和查看全过程记录的及时性和体验。

Description

双模云执法记录终端控制方法、终端及装置

技术领域

本发明涉及计算机技术领域，特别是一种双模云执法记录终端控制方法、终端及装置。

背景技术

执法记录仪广泛应用与公安、交通、卫生等执法领域，主要用途是全程对执法检查过程进行录音、录像，保全现场执法检查证据，保障执法检查人员和被检查者的合法权益。目前，相关部门要求执法主体要全面推行行政执法公示制度执法全过程记录制度，全过程记录制度不但包括现场的音视频记录，还包括现场执法检查的文字记录，因此就需要执法人员需要携带三部设备（执法记录仪、执法手持机、个人手机），执法记录仪用于录音录像，执法手持机用于执法信息采集和执法文书制作等，这样，给执法人员带来很大的不方便性，此外在一些光线不足或者现场噪音嘈杂的执法环境，执法记录仪拍摄的视频录像因光线原因不够清晰，需要运用视频增强和音频去噪同步技术，实现执法音视频记录的智能处理。

因鉴于此，特提出本发明。

发明内容

本发明的目的在于提供一种双模云执法记录终端控制方法、终端及装置，在执法过程中执法人员除手机外只需要一台设备就可以整合全过程记录文件。

为解决上述问题，第一方面，本发明实施例提供一种双模云执法记录终端控制方法，所述双模云执法机记录终端包括音视频记录单元和文字记录单元，所述控制方法包括：

音视频记录单元采集执法检查过程的音视频数据，生成音视频文件；文字记录单元采集执法检查相关的文本信息，生成文本文件；

双模云执法机记录终端将所述音视频文件和所述文本文件合成，得到全过程记录文件；

双模云执法机记录终端将所述全过程记录文件发送到云服务平台；

云服务平台对所述全过程记录文件进行分解，分离出音频文件、视频文件和文本文件；

云服务平台按照预设条件对满足所述预设条件的视频文件进行增强处理，对满足所述预设条件的音频文件进行去噪处理，对文本文件进行自然语言处理；

将处理后的音频文件、视频文件和文本文件进行集成；

根据集成后的文件生成可被访问的地址，发送给需要调取执法文件的终端。

进一步地，在所述生成音视频文件和所述生成文本文件时，双模云执法机记录终端还记录相应的地理位置信息。

进一步地，所述将所述音视频文件和所述文本文件合成包括：

创建寄存器文件，所述寄存器文件中配置音视频文件、文本文件列表信息和音视频文件效果信息；

将所述寄存器文件、音视频文件、文本文件进行打包集成，进行签名校验。

进一步地，所述音视频文件效果信息包括：用数值0或1定义视频是否清晰、用数值0或1定义音频是否嘈杂。

进一步地，所述云服务平台对所述全过程记录文件进行分解，分离出音频文件、视频文件和文本文件包括：根据所述寄存器文件描述的音视频文件、文本文件列表信息，抽取全部的音视频文件，分离出音频文件列表、视频文件列表和文本文件列表。

进一步地，所述云服务平台按照预设条件对满足所述预设条件的视频文件进行增强处理，对满足所述预设条件的音频文件进行去噪处理包括：

根据所述寄存器文件中关于视频是否清晰、音频是否嘈杂的定义，若判断为音频嘈杂，则调用去噪程序完成对音频文件的去噪；若判断为视频不清晰，则调用视频增强程序，完成对视频文件的增强处理。

进一步地，所述对文本文件进行自然语言处理包括：提取执法文书内容关键信息，所述执法文书内容关键信息包括执法人员、执法时间、单位名称、执法地点、事件描述、执法类型。

进一步地，所述将处理后的音频文件、视频文件和文本文件进行集成包括：集成音视频文件、生成音视频文件列表以及文本信息的描述转换，将音视频文件列表和所述描述转换得到的描述性文字进行编排。

第二方面，本发明实施例提供一种双模云执法记录终端，包括：

音视频记录单元，所述音视频记录单元用于采集执法检查过程的音视频数据，生成音视频文件；

文字记录单元，所述文字记录单元用于采集执法检查相关的文本信息，生成文本文件；

处理单元，所述处理单元用于将所述音视频文件和所述文本文件合成，得到全过程记录文件；

控制单元，用于将所述全过程记录文件发送到云服务平台，以使得云服务平台对所述全过程记录文件进行分解，分离出音频文件、视频文件和文本文件，按照预设条件对满足所述预设条件的视频文件进行增强处理，对满足所述预设条件的音频文件进行去噪处理，对文本文件进行自然语言处理，将处理后的音频文件、视频文件和文本文件进行集成，根据集成后的文件生成可被访问的地址，发送给需要调取执法文件的终端。

第三方面，本发明实施例还提供一种双模云执法记录装置，包括云服务平台和上述的双模云执法记录终端，其中，所述云服务平台用于对所述全过程记录文件进行分解，分离出音频文件、视频文件和文本文件，按照预设条件对满足所述预设条件的视频文件进行增强处理，对满足所述预设条件的音频文件进行去噪处理，对文本文件进行自然语言处理，将处理后的音频文件、视频文件和文本文件进行集成，根据集成后的文件生成可被访问的地址，发送给需要调取执法文件的终端。

本发明实施例提供的一种双模云执法记录终端控制方法、终端及装置，主要借助服务端（云端）、客户端（云记录仪）的协同，实现对现场执法全过程记录（音视频记录、文本记录）的智能处理，提升了音视频的清晰度，提升了用户查看全过程记录的及时性和体验，且将文本记录终端与音视频记录进行整合，将原来的携带三台设备变为两台，方便了执法监督人员的现场执法体验。在一些优选的实施例中，还借助5G通信，使得本方案中的视频增强和音频去噪同步技术可借助云端强大的计算能力，快速的实现音视频的智能处理，完成音视频预览的效果的优化。

附图说明

图1示出了根据本发明的实施例的双模云执法记录终端的控制方法的流程图；

图2示出了根据本发明的实施例的双模云执法记录终端的框图。

具体实施方式

下面将参考附图中示出的若干示例性实施方式来描述本发明的原理和精神。应当理解，描述这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

在本发明的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

本发明实施例提供一种双模云执法记录终端，此外还提供了一种双模云执法记录终端的控制方法，因该控制方法是基于该双模云执法记录终端实现的，两者之间具有紧密的联系，因此，在下文的实施例中，将结合本发明实施例提供的双模云执法记录终端对其控制方法进行介绍。

参考图2，在一个实施例中，双模云执法记录终端包括集成在一起的文字记录单元和音视频记录单元，此外还包括处理单元、存储单元和控制单元。其中，文字记录单元和音视频记录单元分别包括各自的采集模块、寄存模块和定位模块。处理单元包括合成模块和签名模块，控制单元包括发送模块、接收模块和传输模块。云执法记录终端是一个的音视频记录单元和文字记录单元双模集成的整备，音视频记录单元主要完成对执法检查过程的录音、录像，全程采集音视频数据。上述各个单元及其模块可以作为一个客户端应用于执法记录仪等终端设备中，即得到本实施例的双模云执法记录终端。在一些实施例中，双模云执法记录终端可以采用5G和云服务平台通信。

结合图1，基于该双模云执法记录终端，本发明实施例提供的双模云执法记录终端控制方法100包括：

步骤101，音视频记录单元采集执法检查过程的音视频数据，生成音视频文件；文字记录单元采集执法检查相关的文本信息，生成文本文件。

根据本发明的一个实施例，音视频记录单元利用其采集模块主要完成对执法检查过程的录音、录像，全程采集音视频数据。文字记录单元完成文本信息的采集，制作生成PDF格式的文书，两个单元的采集模块负责相关文件的生成，寄存模块主要实现两种类型文件的临时存储，而定位模块主要是记录文件生成在这个时间段的地理位置信息。音视频记录单元和文字记录单元整合在一台记录终端中，不需要设置执法录音录像仪和执法手持机两台设备，而只要用一台设备就可以完成对执法中所需要的所有原始数据的整备。

步骤102，双模云执法机记录终端将音视频文件和文本文件合成，得到全过程记录文件。

根据本发明的一个实施例，云执法记录终端通过处理单元完成音视频文件和文本文件这两种类型文件的合成，合成过程如下：首先创建一个全过程记录的寄存器文件（XML格式），包含如下信息（MediaFileIDList{id,size,time,path}、TextFileIDList{id,size,time,path}、audioModel=0：正常，audioModel= 1：嘈杂、vedioModel=0：正常，vedioModel=1：昏暗、location）。其中MediaFileIDList为音视频文件列表信息，包括音视频文件的编号（id）、大小（size）、时间（time）和存储路径（path）。TextFileIDList为文本文件的列表信息，包括文本文件的编号（id）、大小（size）、时间（time）和存储路径（path）。这样云服务平台在收到信息后，可以快速找到相关的音视频文件，并根据文件大小分配合理的运算资源。audioModel为音频效果信息，若音频效果为清晰，则为其赋值为0，表示音频效果正常，若音频效果为嘈杂，则为其赋值为1。vedioModel为视频效果信息，若视频效果为清晰，则为其赋值为0，表示正常，若视频效果为昏暗，则为其赋值为1。

音频效果信息和视频效果信息可以人工配置，也可以按照公知的音频噪声检测技术和视频清晰度检测技术来进行识别。在音频噪声检测方面，可以采用基于MFCC特征与支持向量机(support vector machine,SVM)的检测方法、基于模糊熵特征与SVM的检测方法、基于多层感知机(multilayer perceptron,MLP)的检测方法，来区分噪声信号和正常的语音信号，在被判断为存在噪声信号或噪声信号强度达到阈值时则配置音频效果信息为嘈杂。视频清晰度检测技术可以采用全参考视频清晰度测量、半参考视频清晰度测量和无参考视频清晰度测量中的任何一种测量方式，当测量值到达预设的阈值时可自动将vedioModel配置为1。若采用人工配置，可以提供是否需要进行音频去噪和视频增强的虚拟按钮，当检测到操作人员输入的需要进行音频去噪和视频增强的输入信号，则为audioModel赋值为1，为vedioModel赋置为1。

接着，在步骤102中，调用合成模块，将寄存器文件（xml）、音视频文件、文本文件进行打包集成，形成.vlg为扩展名的文件，然后调用MD5进行签名校验，生成校验值，存放在校验后的寄存器文件中。

步骤103，双模云执法机记录终端将全过程记录文件发送到云服务平台。

在步骤103中，云执法记录终端通过调用控制单元的发送模块把全过程记录文件（.vlg为扩展名）发送到制定地址的云服务平台中。

根据本发明的实施例云服务平台包括控制单元、处理单元和存储单元。控制单元包括发送模块、接收模块和传输模块。处理单元包括分离模块、转换模块和合成模块。

接下来，方法进行到由云服务平台执行的阶段，首先，在步骤104中，云服务平台对全过程记录文件进行分解，分离出音频文件、视频文件和文本文件。

根据一个实施例，云服务平台调用接收模块接收执法记录终端发送过来的文件，并进行完整性校验。接着，云服务平台的处理单元调用分离模块，先把全过程记录文件进行分解，然后根据寄存器文件（xml）描述的文件列表进行处理，首先将全部的音视频文件使用ffmpeg的API循环进行抽取，分离出音频文件列表、视频文件列表和文本文件列表。

接下来，进行到步骤105，云服务平台按照预设条件对满足预设条件的视频文件进行增强处理，对满足预设条件的音频文件进行去噪处理，对文本文件进行自然语言处理。

在步骤105中，是否需要对音视频文件进行处理的预设条件即步骤102中的音频效果信息和视频效果信息。在一个实施例中，根据全过程记录（.vlg为扩展名）的寄存器文件（xml）中关于audioModel和vedioModel的定义，调取转换模块进行相关处理。如果audioModel=1，则调用基于傅里叶变换的重采样算法的去噪程序，完成对音频文件的去噪；如果vedioModel=1，则调用使用视频增强算法Retinex的程序，完成对视频文件的增强处理，当audioModel=0或vedioModel=0时，不对音频、视频文件做任何处理。针对TextFileIDList定义的文本文件循环处理，通过NLP（自然语言处理）技术实现对文本进行分析和实体识别提取，主要提取执法文书内容关键信息，主要包括执法人员、执法时间、单位名称、执法地点、事件描述、执法类型（现场检查、案件处罚）。

执法文书是受到法律严格规范的文书形式，其内容一经生成一般不可进行修改，以确保执法的公正性和公信力，因此，在技术方面，可能需要调用已知的处理精度比较高的NLP算法，而这些算法往往会消耗比多的运算资源。基于此，本发明实施例在预先在云执法记录终端就定义了audioModel和vedioModel为0或1。这样在云服务平台端只需要进行最简单的数值判断就可以确定是否需要进行音频去噪和视频增强处理，若判断为不需要，则可以及时音频去噪和视频增强环节节省出来计算资源释放给自然语言处理进行算力补充。另一方面，由于云服务平台端可以根据audioModel和vedioModel的赋值，快速为需要进行处理的音视频文件启动去噪或增强程序，节约了判断时间，这样当对文本文件的自然语言处理完成后，可以将自然语言处理的计算资源快速补充给去噪或增强运算，更有效率地提升了运算资源的利用率。

步骤106，将处理后的音频文件、视频文件和文本文件进行集成。

在一个实施例中，经过转换模块生成的文件和信息要调取系统的合成模块进行打包集成，主要包括音视频文件的集成、生成音视频文件列表以及文本信息的描述转换，例如，将文书提取出来的信息自动拼接为一段描述性语言，更为具体的，可以是：执法人员某某于某年某月某日对某单位进行了现场检查（案件处罚），在（执法地点）现场发现了（事件描述），将音视频文件列表和描述性文字进行智能编排，自动生成一个URL页面和调用地址。

步骤107，根据集成后的文件生成可被访问的地址，发送给需要调取执法文件的终端。

根据一个实施例，云端平台的发送模块，将URL页面发送到制定的手持机程序终端，执法人员通过手持机的应用，即可快速查看现场执法的全过程记录，并可调取执法文件进行详细查看。

本发明实施例提供的创新的执法全过程记录的文件格式，将传统的音视频记录和文字记录的分离，且能够针对执法全过程记录文件的智能化处理基础（音频处理、视频处理、文本处理）和智能化合成技术（音视频合成、文本合成、URL描述合成），解决了目前执法全过程记录的实时性不高、音视频记录与文字记录关联不上，在特殊环境下（昏暗、嘈杂）音视频文件模糊不清等问题，全面提高整个执法全过程记录的工作效率、协同性和即时性。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

本文中应用了具体个例对发明构思进行了详细阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离该发明构思的前提下，所做的任何显而易见的修改、等同替换或其他改进，均应包含在本发明的保护范围之内。

Claims (10)

1.双模云执法记录终端控制方法，其特征在于，所述双模云执法机记录终端包括音视频记录单元和文字记录单元，所述控制方法包括：

音视频记录单元采集执法检查过程的音视频数据，生成音视频文件；文字记录单元采集执法检查相关的文本信息，生成文本文件；

双模云执法机记录终端将所述音视频文件和所述文本文件合成，得到全过程记录文件；

双模云执法机记录终端将所述全过程记录文件发送到云服务平台；

云服务平台对所述全过程记录文件进行分解，分离出音频文件、视频文件和文本文件；

云服务平台按照预设条件对满足所述预设条件的视频文件进行增强处理，对满足所述预设条件的音频文件进行去噪处理，对文本文件进行自然语言处理；

将处理后的音频文件、视频文件和文本文件进行集成；

根据集成后的文件生成可被访问的地址，发送给需要调取执法文件的终端。

2.根据权利要求1所述的双模云执法记录终端控制方法，其特征在于，在所述生成音视频文件和所述生成文本文件时，双模云执法机记录终端还记录相应的地理位置信息。

3.根据权利要求1所述的双模云执法记录终端控制方法，其特征在于，所述将所述音视频文件和所述文本文件合成包括：

创建寄存器文件，所述寄存器文件中配置音视频文件、文本文件列表信息和音视频文件效果信息；

将所述寄存器文件、音视频文件、文本文件进行打包集成，进行签名校验。

4.根据权利要求3所述的双模云执法记录终端控制方法，其特征在于，所述音视频文件效果信息包括：用数值0或1定义视频是否清晰、用数值0或1定义音频是否嘈杂。

5.根据权利要求4所述的双模云执法记录终端控制方法，其特征在于，所述云服务平台对所述全过程记录文件进行分解，分离出音频文件、视频文件和文本文件包括：根据所述寄存器文件描述的音视频文件、文本文件列表信息，抽取全部的音视频文件，分离出音频文件列表、视频文件列表和文本文件列表。

6.根据权利要求5所述的双模云执法记录终端控制方法，其特征在于，所述云服务平台按照预设条件对满足所述预设条件的视频文件进行增强处理，对满足所述预设条件的音频文件进行去噪处理包括：

根据所述寄存器文件中关于视频是否清晰、音频是否嘈杂的定义，若判断为音频嘈杂，则调用去噪程序完成对音频文件的去噪；若判断为视频不清晰，则调用视频增强程序，完成对视频文件的增强处理。

7.根据权利要求6所述的双模云执法记录终端控制方法，其特征在于，所述对文本文件进行自然语言处理包括：提取执法文书内容关键信息，所述执法文书内容关键信息包括执法人员、执法时间、单位名称、执法地点、事件描述、执法类型。

8.根据权利要求6所述的双模云执法记录终端控制方法，其特征在于，所述将处理后的音频文件、视频文件和文本文件进行集成包括：集成音视频文件、生成音视频文件列表以及文本信息的描述转换，将音视频文件列表和所述描述转换得到的描述性文字进行编排。

9.双模云执法记录终端，其特征在于，包括：

音视频记录单元，所述音视频记录单元用于采集执法检查过程的音视频数据，生成音视频文件；

文字记录单元，所述文字记录单元用于采集执法检查相关的文本信息，生成文本文件；

处理单元，所述处理单元用于将所述音视频文件和所述文本文件合成，得到全过程记录文件；

控制单元，用于将所述全过程记录文件发送到云服务平台，以使得云服务平台对所述全过程记录文件进行分解，分离出音频文件、视频文件和文本文件，按照预设条件对满足所述预设条件的视频文件进行增强处理，对满足所述预设条件的音频文件进行去噪处理，对文本文件进行自然语言处理，将处理后的音频文件、视频文件和文本文件进行集成，根据集成后的文件生成可被访问的地址，发送给需要调取执法文件的终端。

10.双模云执法记录装置，其特征在于，包括云服务平台和权利要求9所述的双模云执法记录终端，其中，所述云服务平台用于对所述全过程记录文件进行分解，分离出音频文件、视频文件和文本文件，按照预设条件对满足所述预设条件的视频文件进行增强处理，对满足所述预设条件的音频文件进行去噪处理，对文本文件进行自然语言处理，将处理后的音频文件、视频文件和文本文件进行集成，根据集成后的文件生成可被访问的地址，发送给需要调取执法文件的终端。

Images