CN109829458A - 实时自动生成记录系统操作行为的日志文件的方法 - Google Patents

Abstract

一种实时自动生成记录系统操作行为的日志文件的方法，通过分帧处理电网调度大厅中调度员反事故中操作视频，获得每秒操作界面图像，并利用基于位置特征、颜色特征和形状特征的处理方法截取能够表征当前时间所在的系统界面的类型和具体操作内容以及鼠标光标位置的特征标签图像，经图像文字识别其中内容并通过逻辑化整合操作行为文字内容生成操作日志文件；本发明能够解决目前电网系统中滞后的系统操作人员操作行为日志记录的问题，并为未来人因的可靠性分析提供真实充足的人因操作数据；另一方面为电力系统提供评价操作人员工作行为和工作状态的数据依据，有效辅助员工绩效考核的进行。

Description

实时自动生成记录系统操作行为的日志文件的方法

技术领域

本发明涉及的是一种信息安全领域的技术，具体是一种实时自动生成记录系统操作行为的日志文件的方法。

背景技术

目前电力系统相关人因数据的缺乏，导致电力系统人因可靠性分析(HumanReliability Analysis，HRA)领域发展进程缓慢。电力系统操作实际经验数据是进行电力系统操作人因可靠性分析的最可靠的数据来源，但也有其局限性：一方面绝大多数数据是日常理性任务操作数据，很少有HRA方法中所研究的紧急场景下的数据；另一方面由于操作中人为因素造成不良后果，实际工作人员在上报和反映情况的时候有所保留，所以完全使用实际数据并不能真实的反映操作情况。当前在华东电网电力系统对调度员执行操作命令的人因数据的日志记录也仅限于操作动作执行后人工手动录入，导致人因数据的操作日志记录存在延迟性和客观性，对日后人为可靠性量化分析和探究电网事故发生的真正原因造成一定的误差和阻碍。

发明内容

本发明针对现有技术存在的上述不足，提出一种实时自动生成记录系统操作行为的日志文件的方法，能够解决目前电网系统中滞后的系统操作人员操作行为日志记录的问题，并为未来人因的可靠性分析提供真实充足的人因操作数据；另一方面为电力系统提供评价操作人员工作行为和工作状态的数据依据，有效辅助员工绩效考核的进行。

本发明是通过以下技术方案实现的：

本发明涉及一种实时自动生成记录系统操作行为的日志文件的方法，通过分帧处理电网调度大厅中调度员操作视频，获得每秒操作界面图像，并利用基于位置特征、颜色特征和形状特征的处理方法截取能够表征当前时间所在的系统界面的类型和具体操作内容以及鼠标光标位置的特征标签图像，经图像文字识别其中内容并通过逻辑化整合操作行为文字内容生成操作日志文件。

所述的位置特征、颜色特征和形状特征的处理方法是指：采用win10系统环境和Python3.6编程语言的方法进行实验环境的搭建，将图像处理OpenCV3的技术手段应用到逻辑生成操作日志的方法上，具体包括：

所述的颜色特征的处理方法，即分析系统界面的图像特征，确定ROI区域的颜色类型，提取特征标签的颜色特征。根据HSV空间颜色模型与RGB颜色空间之间的转换关系，通过函数设定标签特征颜色的HSV范围，提取RGB图像中的设定颜色，获取初步的颜色特征图。

所述的位置特征的处理方法，即基于OpenCV3将所提取的颜色特征图像区域，利用Canny边缘检测算法将特征标签图像的边缘直线检测出来，得到边缘检测的二值图；然后基于OpenCV3采用Hough线变换算法中的HoughLinesP()概率直线函数获得所检测到的直线的端点像素坐标，从而可以得到特征标签区域的矩形区域范围。

根据颜色特征和位置特征检测并获得表征界面类型和具体操作内容的区域标签，实现准确截取特征标签图像的目的。

所述的形状特征用于对鼠标光标的处理，其处理方法为：根据鼠标光标圆形的形状特征，基于OpenCV3中的cv2.findContours()函数来查找圆形光标的轮廓，通过优化参数进行查找，返回圆形轮廓的所有像素坐标值。通过比较前后两帧图像中的鼠标光标中心的位置坐标来判断鼠标的移动情况，从而反映当前工作状态。

技术效果

与现有技术相比，本发明解决日前电网系统中滞后的操作行为日志记录的问题，并为未来人因的可靠性分析提供相应的人因操作数据来源。

附图说明

图1为实施例架构示意图；

图2为实施例中视频帧图像原图；

图3为实施例中时间标签图；

图4为实施例中一级标签图；

图5为实施例中二级标签ROI区域图；

图6为实施例中颜色特征提取区域标签图；

图7为实施例中Canny边缘检测结果图；

图8为实施例中HoughLinesP直线检测位置特征结果图；

图9为实施例中二级标签图；

图10为实施例中鼠标光标颜色检测结果图；

图11为实施例中鼠标光标形状检测结果图；

图12为实施例中图像文字识别结果图。

具体实施方式

如图1所示，为本实施例涉及的一种在win10操作系统环境和Python3.6编程环境下的实时自动生成记录系统操作行为的日志文件的系统，包括：实时操作视频帧获取模块、系统界面图像的特征分析模块、操作界面各类标签的图像截取模块、确定操作鼠标的移动状态模块、图像通识文字识别OCR模块、逻辑化整合操作行为模块和自动生成操作日志文件模块，其中：实时操作视频帧获取模块利用图像处理OpenCV模块进行实时摄像头下的视频帧图像的实时获取，为日志文件的生成获取图像信息资源，同时也为后续操作提供原图；系统界面图像的特征分析模块与视频帧图像模块相连，综合分析整个图像界面的各个操作界面的特征，获取特征区域ROI依据颜色特征，位置特征和形状特征信息；提取操作界面各类标签的图像截取模块，根据图像的位置特征获取操作界面类型的特征区域和当前时间标签区域，根据颜色特征与位置特征获取相连获取具体操作内容的图像区域获取具体操作内容区域，系统界面图像的特征分析模块与图像通识文字识别OCR模块相连并输出操作界面类型的特征区域、当前时间标签区域和具体操作内容区域以进行文字信息识别；确定操作鼠标的移动状态模块根据鼠标光标的颜色特征和形状特征获取光标中心位置的像素坐标，确定鼠标当前所在位置；逻辑化整合操作行为模块与图像通识文字识别OCR模块相连并传输，时间+操作界面类型+具体操作内容+鼠标位置+当前鼠标移动状态信息，并与自动生成操作日志文件模块相连生成持续完整的操作日志文件。

本实施例中，所述的实时操作视频帧获取模块在国家电网有限公司华东调度分中心反事故实际场景中，对调度员在整个反事故过程中进行连续实时的操作视频录制。所用电脑环境为win10系统，该实时操作视频帧获取模块中的采用Python3.6编程语言环境和OpenCV3.1图像处理模块，通过设置cap＝cv2.VideoCapture(0)利用电脑自带的摄像头端捕获操作过程的实时视频帧图像。

所述的采样频率设置为20，即1秒采样一次。

所述的特征分析模块是根据采样所获得的视频帧图像，确定当前操作人员当前时间所在的系统界面的类型和具体操作内容，分析各个操作界面的特征标签在整个界面图像上的特点，从而精准的提取出各个操作行为标签，该特征分析模块将所有操作界面类型的特征分为颜色特征、位置特征和形状特征等三大类，为后续的ROI区域提取提供方法和实现基础。

所述的系统界面的类型包括操作票流程、开票向导、运行日志和主控台，其由一级标签直接表示的四类操作界面类型。同时，将表示操作界面类型的标签称为一级标签，将表示具体操作行为内容的标签称为二级标签，将表示当前时间的标签称为时间标签，而对于各类标签的特征分析包括颜色特征和位置分布特征两大类，对于鼠标光标位置的确定包括颜色特征和形状特征。

所述的图像截取模块根据各类标签在当前操作界面的特征进行相应的标签截取，该图像截取模块中的新技术为将RGB2HSV颜色空间转换方法+Canny边缘检测+HoughLineP概率直线检测的方法结合使用进行特征区域ROI的截取，使得特征区域的截取准确度大幅度提高，同时，提高了图像文字识别OCR模块的识别效率和准确率，保证了该系统所生成的日志文件内容的真实性和有效性，是本发明中将图像处理的方法应用到日志文件生成系统中的突出重要的研究方法。

由于一级标签和时间标签的位置在各个操作类型界面的分布比较固定，因此采用位置分布特征截取，确定其在图像中的像素分布位置范围，进而进行标签区域的图像截取，其中：一级标签所在的图像区域为roi＝frame[0:20，20:850]，如图4所示。时间标签所在的图像区域为time＝frame[1010:1044，1575:1667]，如图3所示；其中frame代表每一帧的视频图像，其像素大小为1920*1080，如图2所示。

对于二级标签的截取采用位置分布特征和颜色特征相结合的方法截取标签区域的图片，由于各个一级标签系统界面下的二级标签位置和颜色特征不同，因此需要通过图像通识文字识别OCR模块进行文字内容识别，匹配出相应的一级标签的类型再进行具体的二级标签的处理。例如：在操作票操作类型界面图像上确定二级标签的大致图像的分布范围为rect＝fream[50:75，0:850]，如图5所示，并分析其颜色特征为蓝色，采用HSV2RGB的方法识别蓝色区域，结果如图6所示，设置参数为：lower_blue＝numpy.array([78，43，46])；

upper_blue＝numpy.array([124，255，255])

Hsv＝cv2.cvtColor(img，cv2.COLOR_BGR2HSV)

mask＝cv2.inRange(hsv，lower_blue，upper_blue)

并采用Canny边缘检测蓝色区域的边缘线段，设置cv2.Canny()函数的参数为50，120；在上述的基础上进行进一步的处理，为：Res＝cv2.bitwise_and(rect，rect，mask＝mask)

Gary＝cv2.cvtColor(res，cv2.COLOR_BGR2GRAY)

Edges＝cv2.Canny(gray，50，120)，其中：edges是Canny()函数需要处理的原图像，该图像必须为单通道的灰度图；第二个参数是阈值1也称为低阈值，如果某一个像素位置的幅值小于该阈值，则该像素被排除；第三个参数是阈值2也称为高阈值，如果某一像素位置的幅值高于高阈值，该像素被保留为边缘像素；如果某一像素位置的幅值在两个阈值之间，该像素仅仅在连接到一个高于高阈值的像素时被保留。

以上步骤得到特征区域的边缘检测二值图像，如图7所示，为后续直线检测提供条件与基础。

进而，利用Hough变换直线算法中的HoughLinesP()概率直线检测的方法返回直线端点的像素坐标，结果如图8所示，具体设置为：Lines＝cv2.HoughLinesP(edges，1.0，numpy.pi/180，100，minLineLength＝10，maxLineGap＝2)，其中：Lines是函数返回值，表示一个vector<x1，y1，x2，y2>的包含4个int数据类型的结构体，[x1，y1，x2，y2]可以表示一个线段，即表示所检测的线段的端点坐标；edges表示输入的二值图像；rho表示线段以像素为单位的距离精度，double型，此处设置rho＝1.0；theta表示线段以弧度为单位的角度精度，此处设置为theta＝numpy.pi/180；threshod表示累加平面的阈值参数超出设定阈值才被检测出线段，值越大意味着检测出的线段越长，反之同理，此处设置threshod＝100；minLineLength表示线段以像素为单位的最小长度，此处设置为minLineLength＝10；maxLineGap表示在同一方向上两条线段判定为一条线段的最大允许间隔(断裂)，超过了限定值，则把两条线段当成一条线段，值越大，所允许的线段上的断裂越大，检测出潜在的直线段的可能性也就越大，此处设置maxLineGap＝2，保证检测出的直线段较少，尽量排除干扰性。

通过以上方法将二级标签框识别截取出来，结果如图9所示。

所述的移动状态模块根据鼠标的移动或静止来确定当前操作人员是否处于工作状态，移动状态模块中基于颜色提取和轮廓检测技术实现鼠标光标的具体位置的获取，该方法将颜色提取与轮廓检测技术结合，相比于仅使用轮廓检测技术来说，更好的实现了对具体形状的检测与提取，提高了对于特征形状识别的准确率。

本实施例中首先分析鼠标的光标颜色为黄色，形状为半径5像素的圆形，则根据鼠标的颜色特征通过BGR2HSV的方法识别出界面上相应的黄色区域。因为在有些操作界面中也会有黄色区域的分布，则需要通过颜色+形状特征来确定鼠标在当前界面的位置，本设计采用黄色区域的颜色范围为：Lower_yellow＝numpy.array([11，43，46])，Upper_yellow＝numpy.array([34，255，255])。

首先需要对原图像进行颜色处理，将RGB图像转换为hsv图像，并获取颜色特征区域，如图10所示，具体操作为：hsv＝cv2.cvtColor(frame，cv2.COLOR_BGR2HSV)，mask＝cv2.inRange(hsv，lower_yellow，upper_yellow)，res＝cv2.bitwise_and((frame，frame，mask＝mask)，利用cv2.findContours()函数方法和cv2.drawContours()函数方法方法将圆形鼠标光标区识别定位，设置参数为：Image，contours，hierarchy＝cv2.findContours(res，cv2.RETR_EXTERNAL，cv2.CHAIN_APPROX_NONE)，其中：第一个参数表示要寻找轮廓的图像，为二值图，设置图像为res图像；第二个参数表示轮廓的检索模式，包括：cv2.RETR_EXTERNAL表示只检测外轮廓；cv2.RETR_LIST检测的轮廓不建立等级关系；cv2.RETR_CCOMP建立两个等级的轮廓，上面的一层为外边界，里面的一层为内孔的边界信息，如果内孔内还有一个连通物体，这个物体的边界也在顶层；cv2.RETR_TREE建立一个等级树结构的轮廓；第二个参数设置为cv2.RETR_EXTERNAL；第三个参数method为轮廓的近似办法，包括：cv2.CHAIN_APPROX_NONE存储所有的轮廓点，相邻的两个点的像素位置差不超过1，即max(abs(x1-x2)，abs(y2-y1))＝＝1；cv2.CHAIN_APPROX_SIMPLE压缩水平方向，垂直方向，对角线方向的元素，只保留该方向的终点坐标，例如一个矩形轮廓只需4个点来保存轮廓信息；cv2.CHAIN_APPROX_TC89_L1，CV_CHAIN_APPROX_TC89_KCOS使用teh-Chinl chain近似算法；第三个参数设置为cv2.CHAIN_APPROX_NONE；返回值包括image，contours，hierarchy，其中：image表示原图像；contours表示返回的一个list，list中每个元素都是图像中的一个轮廓，用numpy中的ndarray表示；hierarchy是一个ndarray，其中的元素个数和轮廓个数相同，每个轮廓contours[i]对应4个hierarchy元素hierarchy[i][0]～hierarchy[i][3]，分别表示后一个轮廓、前一个轮廓、父轮廓、内嵌轮廓的索引编号，如果没有对应项，则该值为负数；

通过cv2.findContours()函数获得图像中的轮廓的数量和每个轮廓所包含的像素点的list数组，为后面的cv2.drowContours()提供所需的contours参数内容。

iamge＝cv2.drowContours(image，contours，-1，(0，0，255)，3)为绘制轮廓函数，其中：参数image指明在哪幅图上进行绘制轮廓；参数contours是轮廓本身，在python中是一个list，即为上述得到的contours数组；第三个参数指定绘制轮廓list中的哪条轮廓，如果是-1，则绘制其中的所有轮廓。后面的参数很简单。其中thickness表明轮廓线的宽度，如果是-1(cv2.FILLED)，则为填充模式。在此函数中设置第三个参数为-1，填充模式；颜色设置为(0，0，255)红色，thickness＝3。

通过以上两个函数，能够将鼠标光标的黄色圆形区域准确的提取出来，并且能够获得鼠标光标轮廓的所有像素值，通过计算，得到鼠标光标的中心位置的像素坐标，从而确定当前鼠标所在的位置，实验结果如图11所示。

最后，通过比较前后视频帧中鼠标光标圆心的位置，来判断鼠标的移动或静止情况，决定当前的工作状态。

所述的图像通识文字识别OCR模块将截取的一级标签图像，二级标签图像和时间标签的图像中的通识文字识别成纯文字形式，进而能够用文字描述调度员的操作行为，该图像通识文字识别OCR模块中的技术为采用百度AI平台识别方法，通过与Tesseract-OCR、捷速等图像文字识别方法比较，其中Tesseract-OCR的识别准确率为30％，捷速的识别准确率为10％，均不能满足实际对于准确度的要求。

本实施例采取调用百度AIOCR平台通识文字SDK的方法进行图像的通识文字识别，识别结果如图12所示，其准确率高达90％以上，保证了操作日志信息的真实性和可靠性。

所述的逻辑化整合操作行为模块将根据图像文字识别方法所得到的内容按照[时间标签内容，一级标签内容，二级标签内容，鼠标移动情况，当前工作状态]的逻辑进行整合，写入程序的数组里实现日志内容的逻辑化和规范化。

所述的自动生成操作日志文件模块首先为文件设置列名，从第一列到第四列的列名分别为：“操作时间，系统界面类型，具体操作内容，鼠标移动状态情况，当前的工作状态”。随后利用自主编写的程序实时自动的将每秒的操作行为数组内容记录在日志文件中，该自动生成操作日志文件模块通过将日志内容写入csv文件中，执行速度为0.1s，实现了操作日志内容的快速录入与保存，同时也达到了实时生成的效果，生成的部分日志文件如表一所示：

表1

本发明通过与调度员实际演习场景系统操作行为进行对比分析，进一步验证了本发明算法进行系统操作行为日志文件实时自动生成的正确性和完整性。其一，详细记录了调度员在执行任务时的操作行为，弥补了电力系统中人因可靠性分析数据的缺乏，为今后的电网系统人因失误和可靠性研究提供了有力的数据支撑。其二，能够通过分析调度员在操作过程中的系统界面工作内容记录和鼠标的移动情况，从而容易分析出相应的执行任务的工作效率和工作状态。整个系统结构清晰明了，思路严谨，充分考虑了日志文件的实时性和内容丰富性的双重重要因素，从而达到实时自动生成日志文件的效果。结果表明，本系统执行效率高，运行结果准确可靠。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (5)

1.一种实时自动生成记录系统操作行为的日志文件的方法，其特征在于，通过分帧处理电网调度大厅中调度员反事故中操作视频，获得每秒操作界面图像，并利用基于位置特征、颜色特征和形状特征的处理方法截取能够表征当前时间所在的系统界面的类型和具体操作内容以及鼠标光标位置的特征标签图像，经图像文字识别其中内容并通过逻辑化整合操作行为文字内容生成操作日志文件；

所述的位置特征、颜色特征和形状特征的处理方法是指：采用win10系统环境和Python3.6编程语言的方法进行实验环境的搭建，将图像处理OpenCV3的技术手段应用到逻辑生成操作日志的方法上；根据颜色特征和位置特征检测并获得表征界面类型和具体操作内容的区域标签，实现准确截取特征标签图像的目的；

所述的系统界面的类型是指由一级标签直接表示的操作界面类型；具体操作内容是指由二级标签表示的具体操作行为内容，当前时间由时间标签表示；鼠标光标位置通过颜色特征和形状特征确定。

2.根据权利要求1所述的方法，其特征是，所述的颜色特征的处理方法，即分析系统界面的图像特征，确定ROI区域的颜色类型，提取特征标签的颜色特征，根据HSV空间颜色模型与RGB颜色空间之间的转换关系，通过函数设定标签特征颜色的HSV范围，提取RGB图像中的设定颜色，获取初步的颜色特征图。

3.根据权利要求1所述的方法，其特征是，所述的位置特征的处理方法，即基于OpenCV3将所提取的颜色特征图像区域，利用Canny边缘检测算法将特征标签图像的边缘直线检测出来，得到边缘检测的二值图；然后基于OpenCV3采用Hough线变换算法中的HoughLinesP()概率直线函数获得所检测到的直线的端点像素坐标，从而可以得到特征标签区域的矩形区域范围。

4.根据权利要求1所述的方法，其特征是，所述的形状特征用于对鼠标光标的处理，其处理方法为：根据鼠标光标圆形的形状特征，基于OpenCV3中的cv2.findContours()函数来查找圆形光标的轮廓，通过优化参数进行查找，返回圆形轮廓的所有像素坐标值，通过比较前后两帧图像中的鼠标光标中心的位置坐标来判断鼠标的移动情况，从而反映当前工作状态。

5.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：实时操作视频帧获取模块、系统界面图像的特征分析模块、操作界面各类标签的图像截取模块、确定操作鼠标的移动状态模块、图像通识文字识别OCR模块、逻辑化整合操作行为模块和自动生成操作日志文件模块，其中：实时操作视频帧获取模块利用图像处理OpenCV模块进行实时摄像头下的视频帧图像的实时获取，为日志文件的生成获取图像信息资源，同时也为后续操作提供原图；系统界面图像的特征分析模块与视频帧图像模块相连，综合分析整个图像界面的各个操作界面的特征，获取特征区域ROI依据颜色特征，位置特征和形状特征信息；提取操作界面各类标签的图像截取模块，根据图像的位置特征获取操作界面类型的特征区域和当前时间标签区域，根据颜色特征与位置特征获取相连获取具体操作内容的图像区域获取具体操作内容区域，系统界面图像的特征分析模块与图像通识文字识别OCR模块相连并输出操作界面类型的特征区域、当前时间标签区域和具体操作内容区域以进行文字信息识别；确定操作鼠标的移动状态模块根据鼠标光标的颜色特征和形状特征获取光标中心位置的像素坐标，确定鼠标当前所在位置；逻辑化整合操作行为模块与图像通识文字识别OCR模块相连并传输，时间+操作界面类型+具体操作内容+鼠标位置+当前鼠标移动状态信息，并与自动生成操作日志文件模块相连生成持续完整的操作日志文件。