CN113836972A - 基于ocr的安全审计方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例涉及通信技术领域，公开了一种基于OCR的安全审计方法及装置，该方法包括：获取录制的审计视频；对所述审计视频进行OCR处理，得到对应的OCR数据；将所述OCR数据进行标识后存储以备审计查询。通过上述方式，对审计视频进行OCR处理，可减少数据冗余，减轻服务器的存储负担。

Description

基于OCR的安全审计方法、装置、设备及存储介质

技术领域

本发明实施例涉及通信技术领域，具体涉及一种基于OCR的安全审计方法、装置、设备及存储介质。

背景技术

随着云计算和虚拟化技术的发展，云服务技术日趋成熟，云服务的投入使用，降低了企业的IT成本投入，增强了系统的可维护性和安全性。但随着云服务的广泛部署，尤其是在涉密企业的安全性越来越受到重视。为了安全审计，需要对RDP(远程桌面协议)和VNC(虚拟网络控制台)通信协议的内容进行录屏监控，即需要安全审计。

堡垒机又叫运维安全审计系统，首先将服务器群的访问限定单一入口，所有用户均不能直接访问服务器，而需通过堡垒机中转，可实现有条件地对整个流量进行监控，对风险操作进行记录报警，对用户进行集中地细粒度权限管理。若在堡垒机中集成单点登录(SSO)功能，用户只需登录一次就可以访问所有相互信任的应用系统，以解决单用户多账号问题。

堡垒机的核心技术协议代理，协议代理是通过截获HTTP、ftp、ssh、rdp、vnc通信协议内容，解析并记录IT运维人员的操作过程。而对于RDP及VNC做做过程只能进行录屏，无法识别风险过程，需要在后面翻看记录才能甄别，时效性较差。另外，采用RDP和VNC的录屏方式都只是将神经记录下来，这样会造成数据冗余，服务器压力较大。

发明内容

鉴于上述问题，本发明实施例提供了一种基于OCR的安全审计方法、装置、设备及存储介质，克服了上述问题或者至少部分地解决了上述问题。

根据本发明实施例的一个方面，提供了一种基于OCR的安全审计方法，所述方法包括：获取录制的审计视频；对所述审计视频进行OCR处理，得到对应的OCR数据；将所述OCR数据进行标识后存储以备审计查询。

在一种可选的方式中，所述对所述审计视频进行OCR处理，得到对应的OCR数据之前，还包括：对所述审计视频进行去重处理，得到去重之后的审计视频。

在一种可选的方式中，所述对所述审计视频进行去重处理，得到去重之后的审计视频之后，还包括：对所述去重之后的审计视频进行分类，得到分类结果；所述对所述审计视频进行OCR处理，得到对应的OCR数据，包括：基于所述分类结果对所述审计视频进行OCR处理，得到对应的OCR数据。

在一种可选的方式中，所述对所述去重之后的审计视频进行分类，得到分类结果，包括：分析每一帧所述审计视频，合并重复的视频帧，得到去重之后的审计视频。

在一种可选的方式中，所述对所述去重之后的审计视频进行分类，得到分类结果，包括：获取每一帧视频与对应相邻帧之间的差异，根据所述差异对所述去重之后的审计视频进行分类，得到分类结果，所述分类结果至少包括：关键帧及执行帧；

所述基于所述分类结果对所述审计视频进行OCR处理，得到对应的OCR数据，具体为：分别对所述关键帧及执行帧进行OCR处理，得到对应的OCR数据。

在一种可选的方式中，所述对所述关键帧进行OCR处理，得到对应的OCR数据，包括：对所有所述关键帧进行分组，得到至少一组关键帧，每一组所述关键帧包括前帧及后帧；根据预设分割规则对所述一组关键帧中的前帧进行图像分割，得到至少两个分割区域，分别对每一所述分割区域进行OCR处理，得到对应的OCR数据；将所述一组关键帧的后帧的与所述前帧的差异区域进行去噪处理，并对去噪处理的差异区域进行OCR处理，得到对应的OCR数据。

在一种可选方式中，所述对所述执行帧进行OCR处理，得到对应的OCR数据，包括：对所有所述执行帧进行分组，得到至少一组执行帧；从所述一组执行帧中去除首帧及末帧，得出对应的一组被选执行帧；每隔一预设时间段从所述一组被选执行帧中选取一帧添加至所示首帧与末帧之间，直到到达执行时长，得到预处理的录制视频，所述执行时长为所述末帧与所述首帧之间的时间差；对所述预处理的录制视频进行OCR处理，得到对应的OCR数据。

根据本发明实施例的另一个方面，提供了一种基于OCR的安全审计装置，包括：获取模块，用于获取录制的审计视频；OCR处理模块，用于对所述审计视频进行OCR处理，得到对应的OCR数据；存储标识模块，用于将所述OCR数据进行标识后存储以备审计查询。

根据本发明实施例的另一方面，提供了一种设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于OCR的安全审计方法的步骤。

根据本发明实施例的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行上述基于OCR的安全审计方法步骤。

本发明实施例中，对审计视频进行OCR处理，可减少数据冗余，减轻服务器的存储负担。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明第一实施例提供的基于OCR的安全审计方法的流程示意图；

图2示出了本发明第一实施例提供的基于OCR的安全审计方法的时间节点与OCR字符的映射关系图；

图3示出了本发明第一实施例提供的一优选方式的基于OCR的安全审计方法的流程示意图；

图4示出了本发明第一实施例提供的基于OCR的安全审计方法的前帧的图像分割示意图；

图5示出了本发明第二实施例的基于OCR的安全审计装置的结构示意图；

图6示出了本发明第四实施例的设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了本发明第一实施例提供的基于OCR的安全审计方法的流程示意图。如图1所示，该方法包括：

步骤S1，获取录制的审计视频；

具体地，当需要进行安全审计时，首先需要录制IT运维人员的操作过程的视频，获取录制的审计视频。

步骤S2，对审计视频进行OCR处理，得到对应的OCR数据；

具体地，对审计视频进行OCR(Optical Character Recognition，光学字符识别)处理，得到对应的OCR数据，通过OCR手段将视频数据转换为字符数据，可减少数据冗余，降低服务器的存储压力。

步骤S3，将OCR数据进行标识后存储以备审计查询；

具体地，将OCR数据进行标识后存储以备审计查询，如将并OCR完成后的字符串加入执行标识，并与对应的时间点形成映射关系，如图2所示，目录项为一组不连续的时间节点，内容项为一组带有标识的OCR处理的字符，以图2的形式形成映射关系。该时间节点为对应视频帧的时间节点,T1、T2、、、TN分别表示视频帧的时间节点，M1、M2、、、MN分别为对应视频帧的OCR处理的字符。

在本实施例中，对审计视频进行OCR处理，可减少数据冗余，减轻服务器的存储负担。

在本实施例的一个优选方案中，见图3，在步骤S2之前还包括：

步骤S4，对审计视频进行去重处理，得到去重之后的审计视频；

具体地，所述审计视频是由一帧帧的视频帧组成，分析相邻的视频帧，若相邻的视频帧是一样的，则需要保留其中一个视频帧，删除一样的其他视频帧，从而实现去重目的，得到去重之后的审计视频，通过去重，可以减少数据的处理，提高审计效率，也可缓解数据冗余，减轻服务器负担。

例如，视频中一段时间的帧为t1，t2，t3，t4，q1，q2，m1，m2，m3；此时t1，t2，t3，t4为一组相邻且图像相同的帧，m1，m2，m3为一组相邻亲图像相同的帧；则t1，t2，t3，t4合并后的帧为t0，t0具有t1和t4两个帧的时间节点；m1，m2，m3合并后的帧为m0，m0具有m1和m3两个帧的时间节点。在本实施例中，根据时间点分析每一帧，若当前帧与上一帧相同，则删除当前帧，继续分析下一帧，若当前帧与上一帧不相同，则分析下一帧是否与当前帧相同，若相同则删除下一帧，若不同则继续分析下下一帧。

在本实施例又一优选方案中，该步骤S4之后还可包括：

步骤S5，获取每一帧视频与对应相邻帧之间的差异，根据差异对所述去重之后的审计视频进行分类，得到分类结果；

具体地，分析每一帧视频，将其与相邻帧的视频进行比较，获取与相邻帧的视频时间的差异(本实施例优选以距离来衡量相邻两个视频帧之间的差异)，采用聚类算法，通过距离来量化帧，如获取每一帧与相邻帧之间的距离，距离的获取可采用哈希值、灰度等方式获取，得到每一帧与相邻帧之间的差异，该差异以距离的方式来体现，比较每一帧对应的差异，根据差异进行分类，得到关键帧、执行帧及备选帧。

进一步地，该分类结果至少包括关键帧、执行帧，还可以包括备选帧。该关键帧是指该帧与相邻帧之间的距离在所在组中最大者，执行帧为该帧与相邻帧之间的距离在所在组中居中，被选帧为该帧与相邻帧之间的距离在所在组中最小者，即每一组中包括关键帧、执行帧及备选帧。

在实际场景中，关键帧是指该帧与前一帧或后一帧的差异(如距离)较大的帧，可以任务是用户在关键帧中通过界面操作执行了关键步骤，由于该关键帧是指该帧与前一帧或后一帧的差异(如距离)较大的帧，则关键帧为成对出现，如第k帧与第k+1帧之间的距离最大，则第k帧与第k+1帧可分别认为是关键帧。

分类的过程如下：由于视频帧是以时间节点作为顺序排列，可逐帧统计相邻两个视频帧之间的距离，若距离大于或等于第一预设值时，确定该距离对应的视频帧为关键帧(此时关键帧为所述两个视频帧)，若所述距离小于所示第一预设值，且大于或等于第二预设值时，确定对应的视频帧为执行帧，若所述距离小于所述第二预设值时，确定对应的视频帧为备选帧，其中，所述第一预设值大于所述第二预设值，所述第一预设值及第二预设值的具体数值可根据实际场景而设，此处对此不作限制。

例如：视频帧包括第一帧、第二帧、第三帧、第四帧、第五帧、第六帧，第一预设值为10，第二预设值为5，第一帧与第二帧的距离为3，第二帧与第三帧的距离为12，第三帧与第四帧的距离为6，第四帧与第五帧的距离为7，第五帧与第六帧的距离为8，则第二帧及第三帧为关键帧，第四帧、第五帧及第六帧为执行帧，第一帧为备选帧。

在本实施例的进一步优选方案中，该步骤S2具体为：

基于分类结果对审计视频进行OCR处理，得到对应的OCR数据；

具体地，根据分类结果来对审计视频进行OCR处理，得到对应的OCR数据。

进一步地，分别对关键帧及执行帧进行OCR处理，得到对应的OCR数据；

具体地，采用不同的方式分别对关键帧及执行帧进行OCR处理，得到对应的OCR数据。

在本实施例的进一步优选方案中，分别对关键帧及执行帧进行OCR处理，得到对应的OCR数据的过程如下：

对所有关键帧进行分组，得到至少一组关键帧；

具体地，先对所有关键帧进行分组，得到至少一组关键帧，每一组关键帧包括前帧及后帧；

根据预设分割规则对一组关键帧中的前帧进行图像分割，得到至少两个分割区域，分别对每一分割区域进行OCR处理，得到对应的OCR数据；

具体地，由于该组关键帧的前帧与后帧是相邻的，前帧对应于做了什么操作，后帧对应于发生了什么，前帧的OCR策略和后帧的OCR策略是有所区别的，因此需要根据分割规则对每一组关键帧的前帧进行图像分割，得到至少两个分割区域，并分别对每一分割区域进行OCR处理，得到对应的OCR数据；该预设分割规则可以根据实际需求而设用户执行的操作本身可能从图像中是不易于机器辨别的，所以需要对前帧中整个图像执行OCR，对于前帧来说，用户执行的操作本身可能从图像中不易于被机器辨别的，所以需要对前帧中整个图像执行OCR，因此需要根据预设分割规则对前帧进行图像分割，得到至少两个分割区域，该预设分割规则可根据实际场景而设，此处对此不做限制。该预设分割规则是用于定义分割的区域数量，每个区域的位置、区域尺寸等，并定义每个分割区域的作用等，如图4所示，为分割示意图。

将一组关键帧的后帧的与前帧的差异区域进行去噪处理，并对去噪处理的差异区域进行OCR处理，得到对应的OCR数据；

具体地，对于后帧来说，用户执行操作后发生的事情是易于机器辨别的，所以只需要对后帧的执行部分区域进行OCR即可，将一组关键帧的后帧的与前帧的差异区域进行去噪处理，并对去噪处理的差异区域进行OCR处理，得到对应的OCR数据，例如，首先分析该一组关键帧中的前帧与后帧之间的差异区域(前帧与后帧比对，识别出差异区域，该差异区域为后帧图像中出现的内容且没有出现在前帧图像的)，并对后帧的差异区域进行去噪处理，并对去噪处理的差异区域进行OCR处理，得到对应的OCR数据，其中，去噪处理可以采用平滑滤波的方式来进行，而平滑滤波函数为：

其中，所述x为像素点的x方向坐标，y为像素点的y方向坐标，σ为预设方差，本实施例使用平滑函数滤波的公式：g(x,y)＝h(x,y,σ)*f(x,y)，其中，g(x,y)为滤波后的图像，f(x,y)为滤波前的图像，平滑处理后，使用一阶偏导的有限差分来计算梯度的幅值和方向：

G_x＝[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]/2；

G_x＝[f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)]/2；

θ[x.y]＝arctan(G_x/G_y)；

其中，M表示图像的边缘强度，θ表示边缘方向，由此对前述差异区域的边缘进行定位，然后提取该差异区域，对提取的差异区域进行OCR处理，得到对应的OCR字符串。

在本实施例的一个优选方案中，对执行帧进行OCR处理，得到对应的OCR数据的过程如下：

对所有执行帧进行分组，得到至少一组执行帧；

具体地，由于执行帧是连续的，且帧的数量较大，为了减少OCR处理的帧的数量，首先需要对所有的执行帧进行分组，如可以根据间隔的关键帧之间的执行帧来作为一组，且间隔的关键帧不属于同一组关键帧，得到至少一组执行帧；

从一组执行帧中去除首帧及末帧，得出对应的一组被选执行帧；

具体地，该一组执行帧是以时间为顺序的方式排列，从该一组执行帧中去除首帧及末帧，得到一组被选执行帧；

每隔一预设时间段从一组被选执行帧中选取一帧添加至所示首帧与末帧之间，直到到达执行时长，得到预处理的录制视频；

具体地，每隔一预设时间段从一组被选执行帧中随机选取一帧添加至所示首帧与末帧之间，直到到达执行时长，得到预处理的录制视频；该执行时长为所述末帧与所述首帧之间的时间差；如该一组执行帧包括30帧图像，执行帧首帧的时间为20:10，执行帧末帧的时间为20:20，该组执行帧的时长为10分钟，帧数为10*60*30＝18000张，此时控制预设时间段T设置为1s，则预处理后执行帧的数量为600张，从而压缩执行帧数量，减少后续OCR处理难度。该预设时间段可以根据实际情况而设，此处对此不作限制。

对预处理的录制视频进行OCR处理，得到对应的OCR数据。

具体地，对预处理的录制视频进行OCR处理，得到对应的OCR数据，并对OCR数据进行标识以备后续审计使用。

在本实施例中，对审计视频进行OCR处理，可减少数据冗余，减轻服务器的存储负担。

其次，对审计视频的帧进行去重处理，可减少运算量，提高效率；

再者，对执行帧进行时段压缩来减少运算量，可提高处理效率，也降低数据冗余。

图5示出了本发明第二实施例的基于OCR的安全审计装置的结构示意图。该装置包括：获取模块51、与获取模块51连接的OCR处理模块52、与OCR处理模块52连接的存储标识模块53,其中：

获取模块51，用于获取录制的审计视频；

具体地，当需要进行安全审计时，首先需要录制IT运维人员的操作过程的视频，获取录制的审计视频。

OCR处理模块52，用于对所述审计视频进行OCR处理，得到对应的OCR数据；

具体地，对审计视频进行OCR(Optical Character Recognition，光学字符识别)处理，得到对应的OCR数据，通过OCR手段将视频数据转换为字符数据，可减少数据冗余，降低服务器的存储压力。

存储标识模块53，用于将所述OCR数据进行标识后存储以备审计查询。

具体地，将OCR数据进行标识后存储以备审计查询，如将并OCR完成后的字符串加入执行标识，并与对应的时间点形成映射关系，如图2所示，目录项为一组不连续的时间节点，内容项为一组带有标识的OCR处理的字符，以图2的形式形成映射关系。该时间节点为对应视频帧的时间节点,T1、T2、、、TN分别表示视频帧的时间节点，M1、M2、、、MN分别为对应视频帧的OCR处理的字符。

在本实施例中，对审计视频进行OCR处理，可减少数据冗余，减轻服务器的存储负担。

在本实施例的一个优选方案中，该装置还包括与OCR处理模块52连接的预处理模块，其中：

预处理模块，用于对审计视频进行去重处理，得到去重之后的审计视频；

具体地，所述审计视频是由一帧帧的视频帧组成，分析相邻的视频帧，若相邻的视频帧是一样的，则需要保留其中一个视频帧，删除一样的其他视频帧，从而实现去重目的，得到去重之后的审计视频，通过去重，可以减少数据的处理，提高审计效率，也可缓解数据冗余，减轻服务器负担。

例如，视频中一段时间的帧为t1，t2，t3，t4，q1，q2，m1，m2，m3；此时t1，t2，t3，t4为一组相邻且图像相同的帧，m1，m2，m3为一组相邻亲图像相同的帧；则t1，t2，t3，t4合并后的帧为t0，t0具有t1和t4两个帧的时间节点；m1，m2，m3合并后的帧为m0，m0具有m1和m3两个帧的时间节点。在本实施例中，根据时间点分析每一帧，若当前帧与上一帧相同，则删除当前帧，继续分析下一帧，若当前帧与上一帧不相同，则分析下一帧是否与当前帧相同，若相同则删除下一帧，若不同则继续分析下下一帧。

在本实施例又一优选方案中，该预处理模块还用于：

获取每一帧视频与对应相邻帧之间的差异，根据差异对所述去重之后的审计视频进行分类，得到分类结果；

具体地，分析每一帧视频，将其与相邻帧的视频进行比较，获取与相邻帧的视频时间的差异，采用聚类算法，通过距离来量化帧，如获取每一帧与相邻帧之间的距离，距离的获取可采用哈希值、灰度等方式获取，得到每一帧与相邻帧之间的差异，该差异以距离的方式来体现，比较每一帧对应的差异，根据差异进行分类，得到关键帧、执行帧及备选帧。需要说明的是，在进行分类前，可以对审计视频进行分组，得到至少一组视频帧，每一组视频帧包括若干帧连续的视频，在该组视频帧内对每一帧视频进行分类，得到该组视频帧对应的分类结果，该分类结果至少包括关键帧、执行帧，还可以包括备选帧。该关键帧是指该帧与相邻帧之间的距离在所在组中最大者，执行帧为该帧与相邻帧之间的距离在所在组中居中，被选帧为该帧与相邻帧之间的距离在所在组中最小者，即每一组中包括关键帧、执行帧及备选帧。

在实际场景中，关键帧是指该帧与前一帧或后一帧的差异(如距离)较大的帧，可以任务是用户在关键帧中通过界面操作执行了关键步骤，由于该关键帧是指该帧与前一帧或后一帧的差异(如距离)较大的帧，则关键帧为成对出现，如第k帧与第k+1帧之间的距离最大，则第k帧与第k+1帧可分别认为是关键帧。

分类的过程如下：由于视频帧是以时间节点作为顺序排列，可逐帧统计相邻两个视频帧之间的距离，若距离大于或等于第一预设值时，确定该距离对应的视频帧为关键帧(此时关键帧为所述两个视频帧)，若所述距离小于所示第一预设值，且大于或等于第二预设值时，确定对应的视频帧为执行帧，若所述距离小于所述第二预设值时，确定对应的视频帧为备选帧，其中，所述第一预设值大于所述第二预设值，所述第一预设值及第二预设值的具体数值可根据实际场景而设，此处对此不作限制。

例如：视频帧包括第一帧、第二帧、第三帧、第四帧、第五帧、第六帧，第一预设值为10，第二预设值为5，第一帧与第二帧的距离为3，第二帧与第三帧的距离为12，第三帧与第四帧的距离为6，第四帧与第五帧的距离为7，第五帧与第六帧的距离为8，则第二帧及第三帧为关键帧，第四帧、第五帧及第六帧为执行帧，第一帧为备选帧。

在本实施例的进一步优选方案中，该OCR处理模块具体用于：

基于分类结果对审计视频进行OCR处理，得到对应的OCR数据；

具体地，根据分类结果来对审计视频进行OCR处理，得到对应的OCR数据。

进一步地，分别对关键帧及执行帧进行OCR处理，得到对应的OCR数据；

具体地，采用不同的方式分别对关键帧及执行帧进行OCR处理，得到对应的OCR数据。

在本实施例的进一步优选方案中，分别对关键帧及执行帧进行OCR处理，得到对应的OCR数据的过程如下：

对所有关键帧进行分组，得到至少一组关键帧；

具体地，先对所有关键帧进行分组，得到至少一组关键帧，每一组关键帧包括前帧及后帧；

根据预设分割规则对一组关键帧中的前帧进行图像分割，得到至少两个分割区域，分别对每一分割区域进行OCR处理，得到对应的OCR数据；

具体地，由于该组关键帧的前帧与后帧是相邻的，前帧对应于做了什么操作，后帧对应于发生了什么，前帧的OCR策略和后帧的OCR策略是有所区别的，因此需要根据分割规则对每一组关键帧的前帧进行图像分割，得到至少两个分割区域，并分别对每一分割区域进行OCR处理，得到对应的OCR数据；该预设分割规则可以根据实际需求而设用户执行的操作本身可能从图像中是不易于机器辨别的，所以需要对前帧中整个图像执行OCR，对于前帧来说，用户执行的操作本身可能从图像中不易于被机器辨别的，所以需要对前帧中整个图像执行OCR，因此需要根据预设分割规则对前帧进行图像分割，得到至少两个分割区域，该预设分割规则可根据实际情况而设，此处对此不做限制。该预设分割规则是用于定义分割的区域数量，每个区域的位置、区域尺寸等，并定义每个分割区域的作用等，如图4所示，为分割示意图。

将一组关键帧的后帧的与前帧的差异区域进行去噪处理，并对去噪处理的差异区域进行OCR处理，得到对应的OCR数据；

具体地，对于后帧来说，用户执行操作后发生的事情是易于机器辨别的，所以只需要对后帧的执行部分区域进行OCR即可，将一组关键帧的后帧的与前帧的差异区域进行去噪处理，并对去噪处理的差异区域进行OCR处理，得到对应的OCR数据，例如，首先分析该一组关键帧中的前帧与后帧之间的差异区域(前帧与后帧比对，识别出差异区域，该差异区域为后帧图像中出现的内容且没有出现在前帧图像的)，并对后帧的差异区域进行去噪处理，并对去噪处理的差异区域进行OCR处理，得到对应的OCR数据，其中，去噪处理可以采用平滑滤波的方式来进行，而平滑滤波函数为：

其中，所述x为像素点的x向坐标，y为像素点的y向坐标，σ为预设方差，本实施例使用平滑函数滤波的公式：g(x,y)＝h(x,y,σ)*f(x,y)，其中，g(x,y)为滤波后的图像，f(x,y)为滤波前的图像，平滑处理后，使用一阶偏导的有限差分来计算梯度的幅值和方向：

G_x＝[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]/2；

G_x＝[f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)]/2；

θ[x.y]＝arctan(G_x/G_y)；

其中，M表示图像的边缘强度，θ表示边缘方向，由此对前述差异区域的边缘进行定位，然后提取该差异区域，对提取的差异区域进行OCR处理，得到对应的OCR字符串。

在本实施例的一个优选方案中，对执行帧进行OCR处理，得到对应的OCR数据的过程如下：

对所有执行帧进行分组，得到至少一组执行帧；

具体地，由于执行帧是连续的，且帧的数量较大，为了减少OCR处理的帧的数量，首先需要对所有的执行帧进行分组，如可以根据间隔的关键帧之间的执行帧来作为一组，且间隔的关键帧不属于同一组关键帧，得到至少一组执行帧；

从一组执行帧中去除首帧及末帧，得出对应的一组被选执行帧；

具体地，该一组执行帧是以时间为顺序的方式排列，从该一组执行帧中去除首帧及末帧，得到一组被选执行帧；

每隔一预设时间段从一组被选执行帧中选取一帧添加至所示首帧与末帧之间，直到到达执行时长，得到预处理的录制视频；

具体地，每隔一预设时间段从一组被选执行帧中选取一帧添加至所示首帧与末帧之间，直到到达执行时长，得到预处理的录制视频；该执行时长为所述末帧与所述首帧之间的时间差；如该一组执行帧包括30帧图像，执行帧首帧的时间为20:10，执行帧末帧的时间为20:20，该组执行帧的时长为10分钟，帧数为10*60*30＝18000张，此时控制预设时间段T设置为1s，则预处理后执行帧的数量为600张，从而压缩执行帧数量，减少后续OCR处理难度。该预设时间段可以根据实际情况而设，此处对此不作限制。

对预处理的录制视频进行OCR处理，得到对应的OCR数据。

具体地，对预处理的录制视频进行OCR处理，得到对应的OCR数据，并对OCR数据进行标识以备后续审计使用。

在本实施例中，对审计视频进行OCR处理，可减少数据冗余，减轻服务器的存储负担。

其次，对审计视频的帧进行去重处理，可减少运算量，提高效率；

再者，对执行帧进行时段压缩来减少运算量，可提高处理效率，也降低数据冗余。

本发明第三实施例还提供了一种计算机存储介质，所述计算机存储介质包括存储在计算机存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述第一实施例中的基于区块链的话费转让的方法。

可执行指令具体可以用于使得处理器执行以下操作：

获取录制的审计视频；

对所述审计视频进行OCR处理，得到对应的OCR数据；

将所述OCR数据进行标识后存储以备审计查询。

在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：

对所述审计视频进行去重处理，得到去重之后的审计视频。

在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：

对所述去重之后的审计视频进行分类，得到分类结果；

所述可执行指令使所述处理器执行以下操作：

基于所述分类结果对所述审计视频进行OCR处理，得到对应的OCR数据。

在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：

分析每一帧所述审计视频，合并重复的视频帧，得到去重之后的审计视频。

在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：

获取每一帧视频与对应相邻帧之间的差异，根据所述差异对所述去重之后的审计视频进行分类，得到分类结果，所述分类结果至少包括：关键帧及执行帧；

所述可执行指令使所述处理器执行以下操作：

分别对所述关键帧及执行帧进行OCR处理，得到对应的OCR数据。

在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：

对所有所述关键帧进行分组，得到至少一组关键帧，每一组所述关键帧包括前帧及后帧；

根据预设分割规则对所述一组关键帧中的前帧进行图像分割，得到至少两个分割区域，分别对每一所述分割区域进行OCR处理，得到对应的OCR数据；

将所述一组关键帧的后帧的与所述前帧的差异区域进行去噪处理，并对去噪处理的差异区域进行OCR处理，得到对应的OCR数据。

在一种可选方式中，所述可执行指令使所述处理器执行以下操作：

对所有所述执行帧进行分组，得到至少一组执行帧；

从所述一组执行帧中去除首帧及末帧，得出对应的一组被选执行帧；

每隔一预设时间段从所述一组被选执行帧中选取一帧添加至所示首帧与末帧之间，直到到达执行时长，得到预处理的录制视频，所述执行时长为所述末帧与所述首帧之间的时间差；

对所述预处理的录制视频进行OCR处理，得到对应的OCR数据。

图6示出了本发明第四实施例的设备的结构示意图，本发明具体实施例并不对设备的具体实现做限定。

如图6所示，该设备可以包括：处理器(processor)602、通信接口(CommunicationsInterface)604、存储器(memory)606、以及通信总线608。

其中：处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。处理器602，用于执行程序610，具体可以执行上述第一实施例中的基于OCR的安全审计方法的相关步骤。

具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。

处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序610具体可以用于使得处理器602执行以下操作：

获取录制的审计视频；

对所述审计视频进行OCR处理，得到对应的OCR数据；

将所述OCR数据进行标识后存储以备审计查询。

在一种可选的方式中，所述程序610使所述处理器602执行以下操作：

对所述审计视频进行去重处理，得到去重之后的审计视频。

在一种可选的方式中，所述程序610使所述处理器602执行以下操作：

若等待预设时间未接收到所述目标转让对象所在运营商的计费节点反馈的所述空缺项对应的数据，向所述用户反馈话费转让无效的提示。

在一种可选的方式中，所述程序610使所述处理器602执行以下操作：

对所述去重之后的审计视频进行分类，得到分类结果；

所述程序610使所述处理器602执行以下操作：

基于所述分类结果对所述审计视频进行OCR处理，得到对应的OCR数据。

在一种可选的方式中，所述程序610使所述处理器602执行以下操作：

分析每一帧所述审计视频，合并重复的视频帧，得到去重之后的审计视频。

在一种可选的方式中，所述程序610使所述处理器602执行以下操作：

获取每一帧视频与对应相邻帧之间的差异，根据所述差异对所述去重之后的审计视频进行分类，得到分类结果，所述分类结果至少包括：关键帧及执行帧；

所述程序610使所述处理器602执行以下操作：

分别对所述关键帧及执行帧进行OCR处理，得到对应的OCR数据。

在一种可选的方式中，所述程序610使所述处理器602执行以下操作：

对所有所述关键帧进行分组，得到至少一组关键帧，每一组所述关键帧包括前帧及后帧；

根据预设分割规则对所述一组关键帧中的前帧进行图像分割，得到至少两个分割区域，分别对每一所述分割区域进行OCR处理，得到对应的OCR数据；

将所述一组关键帧的后帧的与所述前帧的差异区域进行去噪处理，并对去噪处理的差异区域进行OCR处理，得到对应的OCR数据。

在一种可选的方式中，所述程序610使所述处理器602执行以下操作：

对所有所述执行帧进行分组，得到至少一组执行帧；

从所述一组执行帧中去除首帧及末帧，得出对应的一组被选执行帧；

每隔一预设时间段从所述一组被选执行帧中选取一帧添加至所示首帧与末帧之间，直到到达执行时长，得到预处理的录制视频，所述执行时长为所述末帧与所述首帧之间的时间差；

对所述预处理的录制视频进行OCR处理，得到对应的OCR数据。

在发明中，对审计视频进行OCR处理，可减少数据冗余，减轻服务器的存储负担。

其次，对审计视频的帧进行去重处理，可减少运算量，提高效率；

再者，对执行帧进行时段压缩来减少运算量，可提高处理效率，也降低数据冗余。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种基于OCR的安全审计方法，其特征在于，所述方法包括：

获取录制的审计视频；

对所述审计视频进行OCR处理，得到对应的OCR数据；

将所述OCR数据进行标识后存储以备审计查询。

2.如权利要求1所述的方法，其特征在于，所述对所述审计视频进行OCR处理，得到对应的OCR数据之前，还包括：

对所述审计视频进行去重处理，得到去重之后的审计视频。

3.如权利要求2所述的方法，其特征在于，所述对所述审计视频进行去重处理，得到去重之后的审计视频之后，还包括：

对所述去重之后的审计视频进行分类，得到分类结果；

所述对所述审计视频进行OCR处理，得到对应的OCR数据，包括：

基于所述分类结果对所述审计视频进行OCR处理，得到对应的OCR数据。

4.如权利要求3所述的方法，其特征在于，所述对所述去重之后的审计视频进行分类，得到分类结果，包括：

分析每一帧所述审计视频，合并重复的视频帧，得到去重之后的审计视频。

5.如权利要求4所述的方法，其特征在于，所述对所述去重之后的审计视频进行分类，得到分类结果，包括：

获取每一帧视频与对应相邻帧之间的差异，根据所述差异对所述去重之后的审计视频进行分类，得到分类结果，所述分类结果至少包括：关键帧及执行帧；

所述基于所述分类结果对所述审计视频进行OCR处理，得到对应的OCR数据，具体为：

分别对所述关键帧及执行帧进行OCR处理，得到对应的OCR数据。

6.如权利要求5所述的方法，其特征在于，所述对所述关键帧进行OCR处理，得到对应的OCR数据，包括：

对所有所述关键帧进行分组，得到至少一组关键帧，每一组所述关键帧包括前帧及后帧；

根据预设分割规则对所述一组关键帧中的前帧进行图像分割，得到至少两个分割区域，分别对每一所述分割区域进行OCR处理，得到对应的OCR数据；

将所述一组关键帧的后帧的与所述前帧的差异区域进行去噪处理，并对去噪处理的差异区域进行OCR处理，得到对应的OCR数据。

7.如权利要求5所述的方法，其特征在于，所述对所述执行帧进行OCR处理，得到对应的OCR数据，包括：

对所有所述执行帧进行分组，得到至少一组执行帧；

从所述一组执行帧中去除首帧及末帧，得出对应的一组被选执行帧；

每隔一预设时间段从所述一组被选执行帧中选取一帧添加至所示首帧与末帧之间，直到到达执行时长，得到预处理的录制视频，所述执行时长为所述末帧与所述首帧之间的时间差；

对所述预处理的录制视频进行OCR处理，得到对应的OCR数据。

8.一种基于OCR的安全审计装置，其特征在于，包括：

获取模块，用于获取录制的审计视频；

OCR处理模块，用于对所述审计视频进行OCR处理，得到对应的OCR数据；

存储标识模块，用于将所述OCR数据进行标识后存储以备审计查询。

9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据权利要求1-7任一项所述基于OCR的安全审计方法的步骤。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-7任一项所述基于OCR的安全审计方法的步骤。

Images