CN114491146A - 一种适用于视频监控设备的视频图像处理方法 - Google Patents

一种适用于视频监控设备的视频图像处理方法 Download PDF

Info

Publication number
CN114491146A
CN114491146A CN202210335230.8A CN202210335230A CN114491146A CN 114491146 A CN114491146 A CN 114491146A CN 202210335230 A CN202210335230 A CN 202210335230A CN 114491146 A CN114491146 A CN 114491146A
Authority
CN
China
Prior art keywords
value
image frame
pixel
ord
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210335230.8A
Other languages
English (en)
Other versions
CN114491146B (zh
Inventor
林丽专
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Development Research Institute Of Guangzhou Smart City
Original Assignee
Development Research Institute Of Guangzhou Smart City
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Development Research Institute Of Guangzhou Smart City filed Critical Development Research Institute Of Guangzhou Smart City
Priority to CN202210335230.8A priority Critical patent/CN114491146B/zh
Publication of CN114491146A publication Critical patent/CN114491146A/zh
Application granted granted Critical
Publication of CN114491146B publication Critical patent/CN114491146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

本发明公开了一种适用于视频监控设备的视频图像处理方法，使用通过获取图像帧序列；将图像帧序列拆分为训练集和测试集，通过训练集对神经网络模型进行训练获得训练好的神经网络；提取前景图像提取各个图像帧的前景图像依次生成各个图像帧的前景图像的模糊序列，根据对应模糊序列依次判断各个图像帧是否存在模糊区域，若是，则删除存在模糊区域的图像帧，否则，保存没有模糊区域的图像帧，能够压缩视频或者多张图像构成的图像序列的体积，使得在视频监控设备上，能够极大地压缩服务器端所需要的存储空间，提高有效数据的占比，清理掉无效的模糊数据，提高使用的用户的体验。

Description

一种适用于视频监控设备的视频图像处理方法
技术领域
本发明属于图像处理技术领域、移动视频处理技术领域，具体涉及一种适用于视频监控设备的视频图像处理方法。
背景技术
在视频监控设备采集高速运动目标的视频时，获取到的大部分图像都是非常模糊的，或者是在光线昏暗的环境的图像，或者强光之下的曝光图像，在长时间的连续视频数据采集以后，累积了大量的这些无效数据，视频监控设备在服务器端的所耗费的存储空间是海量的，如果能去除掉这些相对模糊的图像，则能够压缩视频或者多张图像构成的图像序列的体积，使得在视频监控设备上，能够极大地压缩服务器端所需要的存储空间，提高有效数据的占比，清理掉无效的模糊数据，提高使用的用户的体验，然而现有的图像处理方法中并没有同类技术解决以上问题，单纯的靠人工清理不需要的图像或者剪辑视频帧无法辨识的图像很操作起来很是费时费力。
发明内容
本发明的目的在于提出一种适用于视频监控设备的视频图像处理方法，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为了实现上述目的，根据本发明的一方面，提供一种适用于视频监控设备的视频图像处理方法，所述方法包括以下步骤：
S100，获取图像帧序列；
S200，将图像帧序列拆分为训练集和测试集，通过训练集对神经网络模型进行训练获得训练好的神经网络；
S300，通过训练好的神经网络提取图像帧序列中的各个图像帧的前景图像，或者，通过差分法提取前景图像提取各个图像帧的前景图像；
S400，依次生成各个图像帧的前景图像的模糊序列；
S500，根据对应模糊序列依次判断各个图像帧是否存在模糊区域，若是，则删除存在模糊区域的图像帧，否则，保存没有模糊区域的图像帧。
进一步地,在S100中，获取图像帧序列的方法具体为：通过视频监控设备的摄像头获取视频或连续的图像帧，将视频的各个视频帧或图像帧作为图像帧序列, 图像帧为图像格式。
进一步地,在S200中，将图像帧序列拆分为训练集和测试集，通过训练集对神经网络模型进行训练获得训练好的神经网络的方法具体为：将图像帧序列拆分为训练集和测试集的方法为留出法、交叉验证法或者自助法中任意一种；所述神经网络模型包括LSTM网络，GAN网络、ResNet网络、VGG网络或者DenseNet网络中任意一种。
进一步地,在S400中，依次生成各个图像帧的前景图像的模糊序列的方法包括以下步骤：
S301，以当前的前景图像对应的图像帧为当前图像帧，令当前的前景图像对应的图像帧的采集时刻为tA0，令当前的图像帧之前连续的两个采集图像帧的时刻为tA1、tA2，其中tA1时刻为tA0-T时刻，tA2时刻为tA0-2T时刻，T为图像帧的采集间隔，分别获取图像帧序列中tA2、tA1、tA0对应的 3张图像帧m0、m1和m2，将图像帧m0与图像帧m2标记为对比图像帧mc；
S302，为图像帧m1各个像素设置一个初始值为0的亮度漂移积极因子标记数，每个像素的亮度漂移积极因子标记数最大为2；
计算图像帧m1各个像素的亮度漂移积极因子标记数的具体方法为：依次遍历图像帧m1各个像素，在图像帧m1的像素(x,y)的两个对比图像帧mc对应(x,y)坐标位置的像素的灰度值中，如果没有灰度值大于图像帧m1的像素(x,y)的灰度值则将图像帧m1的像素(x,y)的亮度漂移积极因子标记数设置为0，如果有1个灰度值大于或等于图像帧m1的像素(x,y)的灰度值则将图像帧m1的像素(x,y)的亮度漂移积极因子标记数设置为1，如果有2个灰度值大于或等于图像帧m1的像素(x,y)的灰度值则将图像帧m1的像素(x,y)的亮度漂移积极因子标记数设置为2；
或者，计算图像帧m1各个像素的亮度漂移积极因子标记数的具体方法为：
a1，以图像帧左下角为原点建立坐标系，横坐标为x轴，纵坐标为y轴，记图像帧mc在坐标为(x,y)的像素点的灰度值为Grey_mc(x,y)， 图像帧m1在坐标为(x,y)的像素点灰度值为Grey_m1(x,y)；从图像帧在x轴方向的上每行的像素个数为xm，图像帧上y轴方向上每列的像素个数为ym，设置变量xk、变量yk，令xk、yk的初始值均为1，以xk表示待计算亮度差值的像素的x轴坐标值，xk∈[1,xm]，以yk表示待计算亮度差值的像素的y轴坐标值，yk∈[1,ym]；设置变量Grey_mcm1_std，令Grey_mcm1_std＝0，以Grey_mcm1_std表示亮度漂移基准值；
a2，计算图像帧m1中(xk,yk)位置的像素与对比图像帧mc中(xk,yk) 位置的像素的亮度差值 Grey_mcm1(xk,yk）＝|Grey_m1(xk,yk)- Grey_mc(xk,yk)|；如果任意一个对比图像帧mc的亮度差值满足条件Grey_mcm1(xk,yk)＞Grey_mcm1_std，更新Grey_mcm1_std的数值为满足条件的对比图像帧mc的亮度差值Grey_mcm1(xk,yk)，如果对比图像帧mc的亮度差值Grey_mcm1(xk,yk)都小于Grey_mcm1_std，则不更改Grey_mcm1_std的数值；
a3，如果xk+1≤xm，令xk的值增加1，跳转到步骤a2；如果xk+1＞xm跳转到步骤a4；
a4，如果yk+1≤ym，设置xk的值为1并令yk的值增加1，跳转到步骤a2；如果yk+1＞ym，跳转到步骤a5；
a5，设置xk、yk的值均为1，建立一个顺序表作为亮度漂移水平顺序表table，所述亮度漂移水平顺序表table是一个关于元素pn的集合，元素pn由像素的坐标（xk,yk）和像素的亮度漂移水平degree组成，所述亮度漂移水平degree通过结合图像帧m1中坐标为（xk,yk）的像素和Grey_mcm1_std获得；table的初始长度len为0，长度len表示table中元素的个数；设置变量ord，以ord代表元素pn在table中的位置；以table(ord)表示亮度漂移水平顺序表table中的第ord个元素；以table(ord)(degree)表示亮度漂移水平顺序表table中的第ord个元素的亮度漂移水平degree；
a6，计算获得图像帧m1中坐标为(xk,yk)的像素与对比图像帧mc中坐标为(xk,yk)的像素的亮度漂移水平degree＝Grey_mcm1(xk,yk)/Grey_mcm1_std，构建元素pn＝[degree,(xk,yk)]，设置ord的值为1，更新len的数值为len+1的数值；设置对比元素temp，将所得元素pn复制到对比元素temp，对比元素为用于存储用于后续对比运算的元素；以temp(degree)表示temp元素的亮度漂移水平degree；
a7，当ord＝len时，在table中插入元素temp作为table的元素table(ord)，跳转到a8；当ord≠len时，跳转到a10；
a8，如果xk+1≤xm，更新xk的数值为xk+1的数值，跳转到步骤a6；如果xk+1＞xm跳转到步骤a9；
a9，如果yk+1≤ym，更新xk的数值为数值1，同时更新yk的数值为yk+1的数值，跳转到步骤a6；如果yk+1＞ym，则跳转到步骤a11；
a10，如果temp(degree)≥table(ord)(degree)， 更新ord的数值为ord+1的数值，跳转到步骤a7，如果temp(degree)＜table(ord)(degree)，temp与table(ord)交换元素，更新ord的数值为ord+1的数值，跳转到步骤a7；
a11，设置计算亮度漂移水平骤变程度的跨度num＝[xm*ym*nump]，或者num＝INT(xm*ym*nump)，其中nump为在[0.01,0.05]内的实数，INT为取整函数，所述跨度num用于限定计算所述骤变程度的范围；
令ord＝num+1，计算亮度漂移水平骤变程度D(ord)，亮度漂移水平骤变程度D(ord)＝table(ord+num)(degree)-table(ord-num)(degree)，其中亮度漂移水平骤变程度反映[table(ord-num),table(ord+num)]范围间的元素的degree数值的变化程度；初始化亮度漂移水平骤变程度最大值max_D＝D(ord)，所述亮度漂移水平骤变程度最大值max_D用于记录所获得的各个亮度漂移水平骤变程度D(ord)数值的最大值；令亮度漂移水平骤变程度最大值序号为max_D_ord＝ord，所述亮度漂移水平骤变程度最大值序号为亮度漂移水平骤变程度最大值max_D_ord的ord序号，更新max_D_ord的数值为ord；更新ord的数值为ord+1的数值；
a12，如果ord≤xm*ym-num，计算亮度漂移水平骤变程度D(ord)＝table(ord+num)(degree)-table(ord-num)(degree)，跳转到a13；如果ord＞xm*ym-num，跳转到a14；
a13，如果D(ord)≥max_D，更新max_D的数值为D(ord)的数值，更新max_D_ord的数值为ord的数值，更新ord的数值为ord+1的数值，跳转到步骤a12，如果D(ord)＜max_D，更新ord的数值为ord+1的数值，跳转到步骤a12；
a14，设定亮度漂移积极因子标记阈值degree_lim，所述亮度漂移积极因子标记阈值degree_lim＝table(ord)(degree)；遍历亮度漂移水平顺序表table中的元素，如果一个元素的亮度漂移水平大于亮度漂移积极因子标记阈值degree_lim，则为图像帧m1坐标在该元素对应坐标的像素的亮度漂移积极因子标记数增加1；
（以上步骤的好处是，能够根据明亮度的像素漂移来识别出图像之间的水平骤变程度，以快速的筛选出相对模糊的图像帧）。
S303，如果在图像帧m1中像素的亮度漂移积极因子标记数大于或等于2，则认为该像素为模糊像素，根据图像帧m1中各个像素是否为模糊像素将图像二值化获得模糊特征图，具体为：如果像素是模糊像素，则为该像素的像素值赋值255，否则赋值0；
S3041，将模糊特征图纵向平均分成AJ片纵向现象观测域，AJ为[5,10]范围内的正整数，依次从AJ片纵向现象观测域中选取纵向现象观测域Jareaj，将Jareaj作为待测纵向现象观测域，以Jareaj代表第j块纵向现象观测域，j在[1,AJ]范围内取值；计算待测纵向现象观测域Jareaj的模糊像素总量n_G以及可识别模糊总量Ln_flag；其中所述模糊像素总量n_G为待测纵向现象观测域内像素值为255的像素的数量；所述可识别模糊是指一系列紧密相连的模糊像素的集合，用模糊标记Ln区分不同的可识别模糊，可识别模糊总量Ln_flag为待测纵向现象观测域内像素值为0的像素的数量，或者，可识别模糊总量Ln_flag的计算方法包括以下步骤：
b1，为待测纵向现象观测域Jareaj中所有像素设置模糊标记Ln＝0；设置变量Ln_flag＝0，Ln_flag用于寄存可识别模糊总量；建立模糊像素集合T_G，用模糊像素集合T_G存储待测纵向现象观测域Jareaj中所有模糊像素的坐标，模糊像素集合T_G的数学形式为T_G＝{(x1,y1),(x2,y2),…(xn,yn)}，其中xn、yn分别是Jareaj中的第n_G个模糊像素的像素的横、纵坐标；设置变量G等于1，以T_G（G）代表T_G中的第G个坐标；
b2，当G≤n_G， 如果T_G(G)对应像素的模糊标记为Ln≠0，更新G的值为G+1，跳转到步骤b2; 如果T_G(G)对应像素的模糊标记为Ln＝0，更新Ln_flag的数值为Ln_flag+1，更新T_G(G)对应像素的模糊标记值Ln 为Ln_flag的数值，更新G的值为G+1，将T_G(G)对应像素的坐标（xg,yg）和Ln_flag的数值作为步骤b3的输入对象跳转到步骤b3；当G＞n_G，获得可识别模糊总量Ln_flag，跳转到步骤b4；
b3，获得输入对象的坐标(xg,yg)和Ln_flag，根据输入对象的坐标(xg,yg)建立临近因子集合T_n，用临近因子集合T_n存储像素（xg,yg）的相邻像素的坐标，其中T_n＝{(xg+1,yg),(xg-1,yg),(xg+1,yg+1),(xg+1,yg-1),(xg,yg+1),(xg,yg-1),(xg-1,yg+1),(xg -1,yg-1)}，以T_n(q)代表T_n中的第q个坐标，q∈[1,8]；对T_n中的坐标点逐个进行连环标记，连环标记的步骤如下：如果T_n(q)对应像素的模糊标记为Ln＝0而且T_n(q)对应像素为模糊像素，更新T_n(q)对应像素的模糊标记Ln为输入对象的Ln_flag的数值，将T_n(q)对应像素的坐标和输入对象的Ln_flag的数值作为步骤b3的新的输入对象重新执行跳转到步骤b3；否则更新q的值为q+1,继续对T_n(q)进行连环标记；如果当前输入对象的连环标记结束，则返回上一个输入对象，更新上一个输入对象的q的值为q+1继续进行的连环标记，当步骤b3从步骤b2获得的输入对象的连环标记结束，则返回步骤b2；
b4, 获得可识别模糊总量Ln_flag；
（以上步骤的好处是，能够在相对模糊的图像帧中快速的定位出具有连环模糊的像素位置，从而提高模糊像素总量的精确度，避免一些能够识别的相对清晰的连贯性的图像的像素被筛选出来）。
S3042，获取从S3041获得的各个待测纵向现象观测域的模糊像素总量n_G1, n_G2,…n_Gj，以及可识别模糊总量Ln_flag1, Ln_flag2,…Ln_flagj，其中n_Gj以及Ln_flagj分别表示第j个待测纵向现象观测域的模糊像素总量以及可识别模糊总量，计算纵向因子特征值Tn_G：
Figure 22664DEST_PATH_IMAGE001
；
计算纵向可识别模糊特征值TLn_flag：
Figure 155836DEST_PATH_IMAGE002
；
S305，将模糊特征图横向平均分成AK片待测横向现象观测域，AK为[5,10]范围内的正整数，依次从AK片横向现象观测域中选取一块横向现象观测域Kareak，以Kareak作为待测横向现象观测域，以Kareak代表第k块块横向现象观测域，k在[1,AK]范围内取值；分别采集各个待测横向现象观测域的模糊像素的左顶点xMink、右顶点xMaxk、跨度Dk和水平向重心Ck；其中所述左顶xMink点为该待测横向现象观测域内最左侧的模糊像素的x轴坐标，所述右顶点xMaxk为该待测横向现象观测域内最右侧的模糊像素的x轴坐标；所述跨度为Dk＝xMaxk-xMink；所述水平向重心Ck为该横向现象观测域Kareak内所有模糊像素的x坐标的平均值；
S306，采集模糊特征图中的上边界值y_max，所述上边界值y_max为模糊特征图中最上侧的模糊像素的y坐标；
S307， 生成F维的模糊序列Fea＝(Tn_G,TLn_flag,xMin1,xMin2,…,xMink,xMax1,xMax2,…, xMaxk,D1,D2,…,Dk,C1,C2,…,Ck,y_max) ，或者，生成F维的模糊序列Fea＝(Tn_G,TLn_flag)，其中F为模糊序列中包含的元素的个数。
进一步地,在S500中，根据对应模糊序列依次判断各个图像帧是否存在模糊区域方法为以下步骤：
令待判断的当前的图像帧为m1，令m1的采集时刻为t1，获取图像帧序列内采集时刻为t1+T到t1+N×T内的各个图像帧对应的模糊序列Feat2,Feat3,Feat4…Feat1+N×T作为模糊序列的集合FE，其中，以Feat1+N×T代表t1+N×T时刻对应图像帧的模糊序列，T为图像帧的采集间隔，tq为间隔T的时刻变量,q∈[2,1+N×T], t2=t1+T，N为[5,10]范围内的正整数；
如果当前图像帧m1的模糊序列Feat1中纵向因子特征值Tn_G小于集合FE中所有元素的纵向因子特征值Tn_G的平均值，和/或，当前图像帧m1的模糊序列Feat1中纵向可识别模糊特征值Tn_G小于集合FE中所有元素的纵向可识别模糊特征值Tn_G的平均值，则标记图像帧m1存在模糊区域，否则标记图像帧m1不存在模糊区域。
优选地,在S500中，根据对应模糊序列依次判断各个图像帧是否存在模糊区域方法为以下步骤：
令待判断的当前的图像帧为m1，令m1的采集时刻为t1，获取图像帧序列内采集时刻为t1+T到t1+N×T内的各个图像帧对应的模糊序列Feat2,Feat3,Feat4…Feat1+N×T构建长度为r的F维工作数据表A，其中，其中r为t1+T到t1+N×T时刻对应图像帧的模糊序列的个数，以Feat1+N×T代表t1+N×T时刻对应图像帧的模糊序列，T为图像帧的采集间隔，tq为间隔T的时刻变量,q∈[2,1+N×T], t2=t1+T，N为[5,10]范围内的正整数；
获取上位机或服务器中预先储存的各个异常图像帧的模糊序列Feaw1,Feaw2,Feaw3,Feaw4…Feaws构建长度为s的F维异常数据表B；（上位机或服务器中预先储存的各个异常图像帧的模糊序列为通过筛选出来的模糊的异常图像），其中，其中s为上位机或服务器中预先储存的各个异常图像帧的模糊序列的个数，Feaws代表上位机或服务器中储存的第s个异常图像帧的模糊序列通过图像帧m1的模糊序列Feat1、工作数据表A和异常数据表B构建可疑状态探测模型，再结合通过图像帧m1的模糊序列Feat1和可疑状态探测模型计算得出当前状态测量值，其中构建可疑状态探测模型的具体步骤如下：将通过图像帧m1的模糊序列Feat1、工作数据表A和异常数据表B合并成总数据表AB，将总数据表AB中来自工作数据表A的数据写成工作矩阵WA，把总数据表AB中来自异常数据表B的数据写成工作矩阵WB；
WA ＝
Figure 585680DEST_PATH_IMAGE003
，WB ＝
Figure 296147DEST_PATH_IMAGE004
，
其中
Figure 836850DEST_PATH_IMAGE005
代表总数据表AB中来自工作数据表A的第r个模糊序列的第F个元素的数 值，
Figure 214742DEST_PATH_IMAGE006
代表总数据表AB中来自异常数据表B的第s个模糊序列的第F个元素的数值；为WA计 算各个特征的象征值
Figure 549908DEST_PATH_IMAGE007
：
Figure 13251DEST_PATH_IMAGE008
， h＝1,2,…,F，
其中h代表F个特征中的第h个特征；为WB计算各个特征的象征值
Figure 92065DEST_PATH_IMAGE009
：
Figure 449097DEST_PATH_IMAGE010
， g＝1,2,…,F，
其中g代表F个特征中的第g个特征；通过WA和WB构建距离矩阵DWA和DWB：
DWA ＝
Figure 955165DEST_PATH_IMAGE011
，
DWB ＝
Figure 905803DEST_PATH_IMAGE012
，
计算偏离矩阵BW＝DWA+DWB；通过BW计算权重值c1,c2…cF：
Figure 788309DEST_PATH_IMAGE013
＝BW-1
Figure 875213DEST_PATH_IMAGE014
；
计算工作数据表A的状态测量值MarkA和异常数据表B的状态测量值MarkB：
MarkA ＝
Figure 817762DEST_PATH_IMAGE015
；
MarkB ＝
Figure 990117DEST_PATH_IMAGE016
；
通过MarkA和MarkB求得状态测量阈值为
Figure 410734DEST_PATH_IMAGE018
；
通过总数据表AB中来自Feat1的元素计算得到的状态测量值作为当前状态测量值Markt1，如果MarkA＞Mark0且Markt1≤Mark0，或者，MarkB＞Mark0且Markt1≥Mark0，则标记图像帧m1存在模糊区域，否则标记图像帧m1不存在模糊区域。
其中，更新的意义为设置。
本发明的有益效果为：本发明提供一种适用于视频监控设备的视频图像处理方法，能够压缩视频或者多张图像构成的图像序列的体积，使得在视频监控设备上，能够极大地压缩服务器端所需要的存储空间，提高有效数据的占比，清理掉无效的模糊数据，提高使用的用户的体验。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种适用于视频监控设备的视频图像处理方法流程图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为一种适用于视频监控设备的视频图像处理方法的方法流程图，下面结合图1来阐述根据本发明的实施方式的一种适用于视频监控设备的视频图像处理方法，所述方法具体描述如下：
S100，获取图像帧序列；
S200，将图像帧序列拆分为训练集和测试集，通过训练集对神经网络模型进行训练获得训练好的神经网络；
S300，通过训练好的神经网络提取图像帧序列中的各个图像帧的前景图像，或者，通过差分法提取前景图像提取各个图像帧的前景图像；
S400，依次生成各个图像帧的前景图像的模糊序列；
S500，根据对应模糊序列依次判断各个图像帧是否存在模糊区域，若是，则删除存在模糊区域的图像帧，否则，保存没有模糊区域的图像帧。
进一步地,在S100中，获取图像帧序列的方法具体为：通过视频监控设备的摄像头获取视频或连续的图像帧，将视频的各个视频帧或图像帧作为图像帧序列, 图像帧为图像格式。
进一步地,在S200中，将图像帧序列拆分为训练集和测试集，通过训练集对神经网络模型进行训练获得训练好的神经网络的方法具体为：将图像帧序列拆分为训练集和测试集的方法为留出法、交叉验证法或者自助法中任意一种；所述神经网络模型包括LSTM网络，GAN网络、ResNet网络、VGG网络或者DenseNet网络中任意一种。
进一步地,在S400中，依次生成各个图像帧的前景图像的模糊序列的方法包括以下步骤：
S301，以当前的前景图像对应的图像帧为当前图像帧，令当前的前景图像对应的图像帧的采集时刻为tA0，令当前的图像帧之前连续的两个采集图像帧的时刻为tA1、tA2，其中tA1时刻为tA0-T时刻，tA2时刻为tA0-2T时刻，T为图像帧的采集间隔，分别获取图像帧序列中tA2、tA1、tA0对应的 3张图像帧m0、m1和m2，将图像帧m0与图像帧m2标记为对比图像帧mc；
S302，为图像帧m1各个像素设置一个初始值为0的亮度漂移积极因子标记数，每个像素的亮度漂移积极因子标记数最大为2；
计算图像帧m1各个像素的亮度漂移积极因子标记数的具体方法为：依次遍历图像帧m1各个像素，在图像帧m1的像素(x,y)的两个对比图像帧mc对应(x,y)坐标位置的像素的灰度值中，如果没有灰度值大于图像帧m1的像素(x,y)的灰度值则将图像帧m1的像素(x,y)的亮度漂移积极因子标记数设置为0，如果有1个灰度值大于或等于图像帧m1的像素(x,y)的灰度值则将图像帧m1的像素(x,y)的亮度漂移积极因子标记数设置为1，如果有2个灰度值大于或等于图像帧m1的像素(x,y)的灰度值则将图像帧m1的像素(x,y)的亮度漂移积极因子标记数设置为2；
或者，计算图像帧m1各个像素的亮度漂移积极因子标记数的具体方法为：
a1，以图像帧左下角为原点建立坐标系，横坐标为x轴，纵坐标为y轴，记图像帧mc在坐标为（x,y）的像素点的灰度值为Grey_mc（x,y）， 图像帧m1在坐标为（x,y）的像素点灰度值为Grey_m1（x,y）；从图像帧在x轴方向的上每行的像素个数为xm，图像帧上y轴方向上每列的像素个数为ym，设置变量xk、变量yk，令xk、yk的初始值均为1，以xk表示待计算亮度差值的像素的x轴坐标值，xk∈[1,xm]，以yk表示待计算亮度差值的像素的y轴坐标值，yk∈[1,ym]；设置变量Grey_mcm1_std，令Grey_mcm1_std＝0，以Grey_mcm1_std表示亮度漂移基准值；
a2，计算图像帧m1中（xk,yk）像素与对比图像帧mc中（xk,yk）像素的亮度差值Grey_mcm1(xk,yk）＝|Grey_m1(xk,yk)- Grey_mc(xk,yk)|；如果任意一个对比图像帧mc的亮度差值满足条件Grey_mcm1(xk,yk)＞Grey_mcm1_std，更新Grey_mcm1_std的数值为满足条件的对比图像帧mc的亮度差值Grey_mcm1(xk,yk)，如果对比图像帧mc的亮度差值Grey_mcm1(xk,yk)都小于Grey_mcm1_std，则不更改Grey_mcm1_std的数值；
a3，如果xk+1≤xm，令xk的值增加1，跳转到步骤a2；如果xk+1＞xm跳转到步骤a4；
a4，如果yk+1≤ym，设置xk的值为1并令yk的值增加1，跳转到步骤a2；如果yk+1＞ym，跳转到步骤a5；
a5，设置xk、yk的值均为1，建立一个顺序表作为亮度漂移水平顺序表table，所述亮度漂移水平顺序表table是一个关于元素pn的集合，元素pn由像素的坐标（xk,yk）和像素的亮度漂移水平degree组成，所述亮度漂移水平degree通过结合图像帧m1中坐标为（xk,yk）的像素和Grey_mcm1_std获得；table的初始长度len为0，长度len表示table中元素的个数；设置变量ord，以ord代表元素pn在table中的位置；以table(ord)表示亮度漂移水平顺序表table中的第ord个元素；以table(ord)(degree)表示亮度漂移水平顺序表table中的第ord个元素的亮度漂移水平degree；
a6，计算获得图像帧m1中坐标为(xk,yk)的像素与对比图像帧mc中坐标为(xk,yk)的像素的亮度漂移水平degree＝Grey_mcm1(xk,yk)/Grey_mcm1_std，构建元素pn＝[degree,(xk,yk)]，设置ord的值为1，更新len的数值为len+1的数值；设置对比元素temp，将所得元素pn复制到对比元素temp，对比元素为用于存储用于后续对比运算的元素；以temp(degree)表示temp元素的亮度漂移水平degree；
a7，当ord＝len时，在table中插入元素temp作为table的元素table(ord)，跳转到a8；当ord≠len时，跳转到a10；
a8，如果xk+1≤xm，更新xk的数值为xk+1的数值，跳转到步骤a6；如果xk+1＞xm跳转到步骤a9；
a9，如果yk+1≤ym，更新xk的数值为数值1，同时更新yk的数值为yk+1的数值，跳转到步骤a6；如果yk+1＞ym，则跳转到步骤a11；
a10，如果temp(degree)≥table(ord)(degree)， 更新ord的数值为ord+1的数值，跳转到步骤a7，如果temp(degree)＜table(ord)(degree)，temp与table(ord)交换元素，更新ord的数值为ord+1的数值，跳转到步骤a7；
a11，设置计算亮度漂移水平骤变程度的跨度num＝[xm*ym*nump]，或者num＝INT(xm*ym*nump)，其中nump为在[0.01,0.05]内的实数，INT为取整函数，所述跨度num用于限定计算所述骤变程度的范围；
令ord＝num+1，计算亮度漂移水平骤变程度D(ord)，亮度漂移水平骤变程度D(ord)＝table(ord+num)(degree)-table(ord-num)(degree)，其中亮度漂移水平骤变程度反映[table(ord-num),table(ord+num)]范围间的元素的degree数值的变化程度；初始化亮度漂移水平骤变程度最大值max_D＝D(ord)，所述亮度漂移水平骤变程度最大值max_D用于记录所获得的各个亮度漂移水平骤变程度D(ord)数值的最大值；令亮度漂移水平骤变程度最大值序号为max_D_ord＝ord，所述亮度漂移水平骤变程度最大值序号为亮度漂移水平骤变程度最大值max_D_ord的ord序号，更新max_D_ord的数值为ord；更新ord的数值为ord+1的数值；
a12，如果ord≤xm*ym-num，计算亮度漂移水平骤变程度D(ord)＝table(ord+num)(degree)-table(ord-num)(degree)，跳转到a13；如果ord＞xm*ym-num，跳转到a14；
a13，如果D(ord)≥max_D，更新max_D的数值为D(ord)的数值，更新max_D_ord的数值为ord的数值，更新ord的数值为ord+1的数值，跳转到步骤a12，如果D(ord)＜max_D，更新ord的数值为ord+1的数值，跳转到步骤a12；
a14，设定亮度漂移积极因子标记阈值degree_lim，所述亮度漂移积极因子标记阈值degree_lim＝table(ord)(degree)；遍历亮度漂移水平顺序表table中的元素，如果一个元素的亮度漂移水平大于亮度漂移积极因子标记阈值degree_lim，则为图像帧m1坐标在该元素对应坐标的像素的亮度漂移积极因子标记数增加1；
S303，如果在图像帧m1中像素的亮度漂移积极因子标记数大于或等于2，则认为该像素为模糊像素，根据图像帧m1中各个像素是否为模糊像素将图像二值化获得模糊特征图，具体为：如果像素是模糊像素，则为该像素的像素值赋值255，否则赋值0；
S3041，将模糊特征图纵向平均分成AJ片纵向现象观测域，AJ为[5,10]范围内的正整数，依次从AJ片纵向现象观测域中选取纵向现象观测域Jareaj，将Jareaj作为待测纵向现象观测域，以Jareaj代表第j块纵向现象观测域，j在[1,AJ]范围内取值；计算待测纵向现象观测域Jareaj的模糊像素总量n_G以及可识别模糊总量Ln_flag；其中所述模糊像素总量n_G为待测纵向现象观测域内像素值为255的像素的数量；所述可识别模糊是指一系列紧密相连的模糊像素的集合，用模糊标记Ln区分不同的可识别模糊，可识别模糊总量Ln_flag为待测纵向现象观测域内像素值为0的像素的数量，或者，可识别模糊总量Ln_flag的计算方法包括以下步骤：
b1，为待测纵向现象观测域Jareaj中所有像素设置模糊标记Ln＝0；设置变量Ln_flag＝0，Ln_flag用于寄存可识别模糊总量；建立模糊像素集合T_G，用模糊像素集合T_G存储待测纵向现象观测域Jareaj中所有模糊像素的坐标，模糊像素集合T_G的数学形式为T_G＝{(x1,y1),(x2,y2),…(xn,yn)}，其中xn、yn分别是Jareaj中的第n_G个模糊像素的像素的横、纵坐标；设置变量G等于1，以T_G（G）代表T_G中的第G个坐标；
b2，当G≤n_G， 如果T_G(G)对应像素的模糊标记为Ln≠0，更新G的值为G+1，跳转到步骤b2; 如果T_G(G)对应像素的模糊标记为Ln＝0，更新Ln_flag的数值为Ln_flag+1，更新T_G(G)对应像素的模糊标记值Ln 为Ln_flag的数值，更新G的值为G+1，将T_G(G)对应像素的坐标（xg,yg）和Ln_flag的数值作为步骤b3的输入对象跳转到步骤b3；当G＞n_G，获得可识别模糊总量Ln_flag，跳转到步骤b4；
b3，获得输入对象的坐标(xg,yg)和Ln_flag，根据输入对象的坐标(xg,yg)建立临近因子集合T_n，用临近因子集合T_n存储像素（xg,yg）的相邻像素的坐标，其中T_n＝{(xg+1,yg),(xg-1,yg),(xg+1,yg+1),(xg+1,yg-1),(xg,yg+1),(xg,yg-1),(xg-1,yg+1),(xg -1,yg-1)}，以T_n(q)代表T_n中的第q个坐标，q∈[1,8]；对T_n中的坐标点逐个进行连环标记，连环标记的步骤如下：如果T_n(q)对应像素的模糊标记为Ln＝0而且T_n(q)对应像素为模糊像素，更新T_n(q)对应像素的模糊标记Ln为输入对象的Ln_flag的数值，将T_n(q)对应像素的坐标和输入对象的Ln_flag的数值作为步骤b3的新的输入对象重新执行跳转到步骤b3；否则更新q的值为q+1,继续对T_n(q)进行连环标记；如果当前输入对象的连环标记结束，则返回上一个输入对象，更新上一个输入对象的q的值为q+1继续进行的连环标记，当步骤b3从步骤b2获得的输入对象的连环标记结束，则返回步骤b2；
b4, 获得可识别模糊总量Ln_flag；
S3042，获取从S3041获得的各个待测纵向现象观测域的模糊像素总量n_G1, n_G2,…n_Gj，以及可识别模糊总量Ln_flag1, Ln_flag2,…Ln_flagj，其中n_Gj以及Ln_flagj分别表示第j个待测纵向现象观测域的模糊像素总量以及可识别模糊总量，计算纵向因子特征值Tn_G：
Figure 991626DEST_PATH_IMAGE001
；
计算纵向可识别模糊特征值TLn_flag：
Figure 839496DEST_PATH_IMAGE002
；
S305，将模糊特征图横向平均分成AK片待测横向现象观测域，AK为[5,10]范围内的正整数，依次从AK片横向现象观测域中选取一块横向现象观测域Kareak，以Kareak作为待测横向现象观测域，以Kareak代表第k块块横向现象观测域，k在[1,AK]范围内取值；分别采集各个待测横向现象观测域的模糊像素的左顶点xMink、右顶点xMaxk、跨度Dk和水平向重心Ck；其中所述左顶xMink点为该待测横向现象观测域内最左侧的模糊像素的x轴坐标，所述右顶点xMaxk为该待测横向现象观测域内最右侧的模糊像素的x轴坐标；所述跨度为Dk＝xMaxk-xMink；所述水平向重心Ck为该横向现象观测域Kareak内所有模糊像素的x坐标的平均值；
S306，采集模糊特征图中的上边界值y_max，所述上边界值y_max为模糊特征图中最上侧的模糊像素的y坐标；
S307，生成模糊序列Fea＝(Tn_G,TLn_flag,xMin1,xMin2,…,xMink,xMax1,xMax2,…, xMaxk,D1,D2,…,Dk,C1,C2,…,Ck,y_max) ，或者，生成模糊序列Fea＝(Tn_G,TLn_flag)。
进一步地,在S500中，根据对应模糊序列依次判断各个图像帧是否存在模糊区域方法为以下步骤：
令待判断的当前的图像帧为m1，令m1的采集时刻为t1，获取图像帧序列内采集时刻为t1+T到t1+N×T内的各个图像帧对应的模糊序列Feat2,Feat3,Feat4…Feat1+N×T作为模糊序列的集合FE，其中，以Feat1+N×T代表t1+N×T时刻对应图像帧的模糊序列，T为图像帧的采集间隔，tq为间隔T的时刻变量,q∈[2,1+N×T], t2=t1+T，N为[5,10]范围内的正整数；
如果当前图像帧m1的模糊序列Feat1中纵向因子特征值Tn_G小于集合FE中所有元素的纵向因子特征值Tn_G的平均值，和/或，当前图像帧m1的模糊序列Feat1中纵向可识别模糊特征值Tn_G小于集合FE中所有元素的纵向可识别模糊特征值Tn_G的平均值，则标记图像帧m1存在模糊区域，否则标记图像帧m1不存在模糊区域。
优选地,在S500中，根据对应模糊序列依次判断各个图像帧是否存在模糊区域方法为以下步骤：
令待判断的当前的图像帧为m1，令m1的采集时刻为t1，获取图像帧序列内采集时刻为t1+T到t1+N×T内的各个图像帧对应的模糊序列Feat2,Feat3,Feat4…Feat1+N×T构建长度为r的F维工作数据表A，其中，其中r为t1+T到t1+N×T时刻对应图像帧的模糊序列的个数，以Feat1+N×T代表t1+N×T时刻对应图像帧的模糊序列，T为图像帧的采集间隔，tq为间隔T的时刻变量,q∈[2,1+N×T], t2=t1+T，N为[5,10]范围内的正整数；
获取上位机或服务器中预先储存的各个异常图像帧的模糊序列Feaw1,Feaw2,Feaw3,Feaw4…Feaws构建长度为s的F维异常数据表B；（上位机或服务器中预先储存的各个异常图像帧的模糊序列为通过筛选出来的模糊的异常图像），其中，其中s为上位机或服务器中预先储存的各个异常图像帧的模糊序列的个数，Feaws代表上位机或服务器中储存的第s个异常图像帧的模糊序列通过图像帧m1的模糊序列Feat1、工作数据表A和异常数据表B构建可疑状态探测模型，再结合通过图像帧m1的模糊序列Feat1和可疑状态探测模型计算得出当前状态测量值，其中构建可疑状态探测模型的具体步骤如下：将通过图像帧m1的模糊序列Feat1、工作数据表A和异常数据表B合并成总数据表AB，将总数据表AB中来自工作数据表A的数据写成工作矩阵WA，把总数据表AB中来自异常数据表B的数据写成工作矩阵WB；
WA ＝
Figure 499147DEST_PATH_IMAGE003
，WB ＝
Figure 723455DEST_PATH_IMAGE004
，
其中
Figure 784952DEST_PATH_IMAGE005
代表总数据表AB中来自工作数据表A的第r个模糊序列的第F个元素的数 值，
Figure 69303DEST_PATH_IMAGE006
代表总数据表AB中来自异常数据表B的第s个模糊序列的第F个元素的数值，其中F为 模糊序列中包含的元素的个数；为WA计算各个特征的象征值
Figure 216251DEST_PATH_IMAGE007
：
Figure 978670DEST_PATH_IMAGE008
， h＝1,2,…,F，
其中h代表F个特征中的第h个特征；为WB计算各个特征的象征值
Figure 19308DEST_PATH_IMAGE009
：
Figure 474560DEST_PATH_IMAGE010
， g＝1,2,…,F，
其中g代表F个特征中的第g个特征；通过WA和WB构建距离矩阵DWA和DWB：
DWA ＝
Figure 108803DEST_PATH_IMAGE011
，
DWB ＝
Figure 674914DEST_PATH_IMAGE012
，
计算偏离矩阵BW＝DWA+DWB；通过BW计算权重值c1,c2…cF：
Figure 445424DEST_PATH_IMAGE013
＝BW-1
Figure 71577DEST_PATH_IMAGE014
；
计算工作数据表A的状态测量值MarkA和异常数据表B的状态测量值MarkB：
MarkA ＝
Figure 193117DEST_PATH_IMAGE015
；
MarkB ＝
Figure 297339DEST_PATH_IMAGE016
；
通过MarkA和MarkB求得状态测量阈值为Mark0＝
Figure DEST_PATH_IMAGE019
；
通过总数据表AB中来自Feat1的元素计算得到的状态测量值作为当前状态测量值Markt1，如果MarkA＞Mark0且Markt1≤Mark0，或者，MarkB＞Mark0且Markt1≥Mark0，则标记图像帧m1存在模糊区域，否则标记图像帧m1不存在模糊区域。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (7)

1.一种适用于视频监控设备的视频图像处理方法，其特征在于，所述方法包括以下步骤：
S100，获取图像帧序列；
S200，将图像帧序列拆分为训练集和测试集，通过训练集对神经网络模型进行训练获得训练好的神经网络；
S300，通过训练好的神经网络提取图像帧序列中的各个图像帧的前景图像，或者，通过差分法提取前景图像提取各个图像帧的前景图像；
S400，依次生成各个图像帧的前景图像的模糊序列；
S500，根据对应模糊序列依次判断各个图像帧是否存在模糊区域，若是，则删除存在模糊区域的图像帧，否则，保存没有模糊区域的图像帧。
2.根据权利要求1所述的一种适用于视频监控设备的视频图像处理方法，其特征在于，在S100中，获取图像帧序列的方法具体为：通过视频监控设备的摄像头获取视频或连续的图像帧，将视频的各个视频帧或图像帧作为图像帧序列, 图像帧为图像格式。
3.根据权利要求1所述的一种适用于视频监控设备的视频图像处理方法，其特征在于，在S200中，将图像帧序列拆分为训练集和测试集，通过训练集对神经网络模型进行训练获得训练好的神经网络的方法具体为：将图像帧序列拆分为训练集和测试集的方法为留出法、交叉验证法或者自助法中任意一种；所述神经网络模型包括LSTM网络，GAN网络、ResNet网络、VGG网络或者DenseNet网络中任意一种。
4.根据权利要求1所述的一种适用于视频监控设备的视频图像处理方法，其特征在于，在S400中，依次生成各个图像帧的前景图像的模糊序列的方法包括以下步骤：
S301，以当前的前景图像对应的图像帧为当前图像帧，令当前的前景图像对应的图像帧的采集时刻为tA0，令当前的图像帧之前连续的两个采集图像帧的时刻为tA1、tA2，其中tA1时刻为tA0-T时刻，tA2时刻为tA0-2T时刻，T为图像帧的采集间隔，分别获取图像帧序列中tA2、tA1、tA0对应的 3张图像帧m0、m1和m2，将图像帧m0与图像帧m2标记为对比图像帧mc；
S302，为图像帧m1各个像素设置一个初始值为0的亮度漂移积极因子标记数，每个像素的亮度漂移积极因子标记数最大为2；
计算图像帧m1各个像素的亮度漂移积极因子标记数的具体方法为：依次遍历图像帧m1各个像素，在图像帧m1的像素(x,y)的两个对比图像帧mc对应(x,y)坐标位置的像素的灰度值中，如果没有灰度值大于图像帧m1的像素(x,y)的灰度值则将图像帧m1的像素(x,y)的亮度漂移积极因子标记数设置为0，如果有1个灰度值大于或等于图像帧m1的像素(x,y)的灰度值则将图像帧m1的像素(x,y)的亮度漂移积极因子标记数设置为1，如果有2个灰度值大于或等于图像帧m1的像素(x,y)的灰度值则将图像帧m1的像素(x,y)的亮度漂移积极因子标记数设置为2；
S303，如果在图像帧m1中像素的亮度漂移积极因子标记数大于或等于2，则认为该像素为模糊像素，根据图像帧m1中各个像素是否为模糊像素将图像二值化获得模糊特征图，具体为：如果像素是模糊像素，则为该像素的像素值赋值255，否则赋值0；
S3041，将模糊特征图纵向平均分成AJ片纵向现象观测域，AJ为[5,10]范围内的正整数，依次从AJ片纵向现象观测域中选取纵向现象观测域Jareaj，将Jareaj作为待测纵向现象观测域，以Jareaj代表第j块纵向现象观测域，j在[1,AJ]范围内取值；计算待测纵向现象观测域Jareaj的模糊像素总量n_G以及可识别模糊总量Ln_flag；其中所述模糊像素总量n_G为待测纵向现象观测域内像素值为255的像素的数量；所述可识别模糊是指一系列紧密相连的模糊像素的集合，用模糊标记Ln区分不同的可识别模糊，可识别模糊总量Ln_flag为待测纵向现象观测域内像素值为0的像素的数量，
S3042，获取从S3041获得的各个待测纵向现象观测域的模糊像素总量n_G1, n_G2,…n_Gj，以及可识别模糊总量Ln_flag1, Ln_flag2,…Ln_flagj，其中n_Gj以及Ln_flagj分别表示第j个待测纵向现象观测域的模糊像素总量以及可识别模糊总量，计算纵向因子特征值Tn_G：
Figure 809761DEST_PATH_IMAGE001
；
计算纵向可识别模糊特征值TLn_flag：
Figure 606816DEST_PATH_IMAGE002
；
S305，生成模糊序列Fea=(Tn_G,TLn_flag)。
5.根据权利要求4所述的一种适用于视频监控设备的视频图像处理方法，其特征在于，在S302中，计算图像帧m1各个像素的亮度漂移积极因子标记数的方法替换为以下步骤：
a1，以图像帧左下角为原点建立坐标系，横坐标为x轴，纵坐标为y轴，记图像帧mc在坐标为（x,y）的像素点的灰度值为Grey_mc（x,y）， 图像帧m1在坐标为（x,y）的像素点灰度值为Grey_m1（x,y）；从图像帧在x轴方向的上每行的像素个数为xm，图像帧上y轴方向上每列的像素个数为ym，设置变量xk、变量yk，令xk、yk的初始值均为1，以xk表示待计算亮度差值的像素的x轴坐标值，xk∈[1,xm]，以yk表示待计算亮度差值的像素的y轴坐标值，yk∈[1,ym]；设置变量Grey_mcm1_std，令Grey_mcm1_std＝0，以Grey_mcm1_std表示亮度漂移基准值；
a2，计算图像帧m1中（xk,yk）像素与对比图像帧mc中（xk,yk）像素的亮度差值 Grey_mcm1(xk,yk）＝|Grey_m1(xk,yk)- Grey_mc(xk,yk)|；如果任意一个对比图像帧mc的亮度差值满足条件Grey_mcm1(xk,yk)＞Grey_mcm1_std，更新Grey_mcm1_std的数值为满足条件的对比图像帧mc的亮度差值Grey_mcm1(xk,yk)，如果对比图像帧mc的亮度差值Grey_mcm1(xk,yk)都小于Grey_mcm1_std，则不更改Grey_mcm1_std的数值；
a3，如果xk+1≤xm，令xk的值增加1，跳转到步骤a2；如果xk+1＞xm跳转到步骤a4；
a4，如果yk+1≤ym，设置xk的值为1并令yk的值增加1，跳转到步骤a2；如果yk+1＞ym，跳转到步骤a5；
a5，设置xk、yk的值均为1，建立一个顺序表作为亮度漂移水平顺序表table，所述亮度漂移水平顺序表table是一个关于元素pn的集合，元素pn由像素的坐标（xk,yk）和像素的亮度漂移水平degree组成，所述亮度漂移水平degree通过结合图像帧m1中坐标为（xk,yk）的像素和Grey_mcm1_std获得；table的初始长度len为0，长度len表示table中元素的个数；设置变量ord，以ord代表元素pn在table中的位置；以table(ord)表示亮度漂移水平顺序表table中的第ord个元素；以table(ord)(degree)表示亮度漂移水平顺序表table中的第ord个元素的亮度漂移水平degree；
a6，计算获得图像帧m1中坐标为(xk,yk)的像素与对比图像帧mc中坐标为(xk,yk)的像素的亮度漂移水平degree＝Grey_mcm1(xk,yk)/Grey_mcm1_std，构建元素pn＝[degree,(xk,yk)]，设置ord的值为1，更新len的数值为len+1的数值；设置对比元素temp，将所得元素pn复制到对比元素temp，对比元素为用于存储用于后续对比运算的元素；以temp(degree)表示temp元素的亮度漂移水平degree；
a7，当ord＝len时，在table中插入元素temp作为table的元素table(ord)，跳转到a8；当ord≠len时，跳转到a10；
a8，如果xk+1≤xm，更新xk的数值为xk+1的数值，跳转到步骤a6；如果xk+1＞xm跳转到步骤a9；
a9，如果yk+1≤ym，更新xk的数值为数值1，同时更新yk的数值为yk+1的数值，跳转到步骤a6；如果yk+1＞ym，则跳转到步骤a11；
a10，如果temp(degree)≥table(ord)(degree)， 更新ord的数值为ord+1的数值，跳转到步骤a7，如果temp(degree)＜table(ord)(degree)，temp与table(ord)交换元素，更新ord的数值为ord+1的数值，跳转到步骤a7；
a11，设置计算亮度漂移水平骤变程度的跨度num＝[xm*ym*nump]，或者num＝INT(xm*ym*nump)，其中nump为在[0.01,0.05]内的实数，INT为取整函数，所述跨度num用于限定计算所述骤变程度的范围；
令ord＝num+1，计算亮度漂移水平骤变程度D(ord)，亮度漂移水平骤变程度D(ord)＝table(ord+num)(degree)-table(ord-num)(degree)，其中亮度漂移水平骤变程度反映[table(ord-num),table(ord+num)]范围间的元素的degree数值的变化程度；初始化亮度漂移水平骤变程度最大值max_D＝D(ord)，所述亮度漂移水平骤变程度最大值max_D用于记录所获得的各个亮度漂移水平骤变程度D(ord)数值的最大值；令亮度漂移水平骤变程度最大值序号为max_D_ord＝ord，所述亮度漂移水平骤变程度最大值序号为亮度漂移水平骤变程度最大值max_D_ord的ord序号，更新max_D_ord的数值为ord；更新ord的数值为ord+1的数值；
a12，如果ord≤xm*ym-num，计算亮度漂移水平骤变程度D(ord)＝table(ord+num)(degree)-table(ord-num)(degree)，跳转到a13；如果ord＞xm*ym-num，跳转到a14；
a13，如果D(ord)≥max_D，更新max_D的数值为D(ord)的数值，更新max_D_ord的数值为ord的数值，更新ord的数值为ord+1的数值，跳转到步骤a12，如果D(ord)＜max_D，更新ord的数值为ord+1的数值，跳转到步骤a12；
a14，设定亮度漂移积极因子标记阈值degree_lim，所述亮度漂移积极因子标记阈值degree_lim＝table(ord)(degree)；遍历亮度漂移水平顺序表table中的元素，如果一个元素的亮度漂移水平大于亮度漂移积极因子标记阈值degree_lim，则为图像帧m1坐标在该元素对应坐标的像素的亮度漂移积极因子标记数增加1。
6.根据权利要求4所述的一种适用于视频监控设备的视频图像处理方法，其特征在于，在S302中，可识别模糊总量Ln_flag的计算方法替换为以下步骤：
b1，为待测纵向现象观测域Jareaj中所有像素设置模糊标记Ln＝0；设置变量Ln_flag＝0，Ln_flag用于寄存可识别模糊总量；建立模糊像素集合T_G，用模糊像素集合T_G存储待测纵向现象观测域Jareaj中所有模糊像素的坐标，模糊像素集合T_G的数学形式为T_G＝{(x1,y1),(x2,y2),…(xn,yn)}，其中xn、yn分别是Jareaj中的第n_G个模糊像素的像素的横、纵坐标；设置变量G等于1，以T_G（G）代表T_G中的第G个坐标；
b2，当G≤n_G， 如果T_G(G)对应像素的模糊标记为Ln≠0，更新G的值为G+1，跳转到步骤b2; 如果T_G(G)对应像素的模糊标记为Ln＝0，更新Ln_flag的数值为Ln_flag+1，更新T_G(G)对应像素的模糊标记值Ln 为Ln_flag的数值，更新G的值为G+1，将T_G(G)对应像素的坐标（xg,yg）和Ln_flag的数值作为步骤b3的输入对象跳转到步骤b3；当G＞n_G，获得可识别模糊总量Ln_flag，跳转到步骤b4；
b3，获得输入对象的坐标(xg,yg)和Ln_flag，根据输入对象的坐标(xg,yg)建立临近因子集合T_n，用临近因子集合T_n存储像素（xg,yg）的相邻像素的坐标，其中T_n＝{(xg+1,yg),(xg-1,yg),(xg+1,yg+1),(xg+1,yg-1),(xg,yg+1),(xg,yg-1),(xg-1,yg+1),(xg -1,yg-1)}，以T_n(q)代表T_n中的第q个坐标，q∈[1,8]；对T_n中的坐标点逐个进行连环标记，连环标记的步骤如下：如果T_n(q)对应像素的模糊标记为Ln＝0而且T_n(q)对应像素为模糊像素，更新T_n(q)对应像素的模糊标记Ln为输入对象的Ln_flag的数值，将T_n(q)对应像素的坐标和输入对象的Ln_flag的数值作为步骤b3的新的输入对象重新执行跳转到步骤b3；否则更新q的值为q+1,继续对T_n(q)进行连环标记；如果当前输入对象的连环标记结束，则返回上一个输入对象，更新上一个输入对象的q的值为q+1继续进行的连环标记，当步骤b3从步骤b2获得的输入对象的连环标记结束，则返回步骤b2；
b4, 获得可识别模糊总量Ln_flag。
7.根据权利要求4所述的一种适用于视频监控设备的视频图像处理方法，其特征在于，在S500中，根据对应模糊序列依次判断各个图像帧是否存在模糊区域方法为以下步骤：
令待判断的当前的图像帧为m1，令m1的采集时刻为t1，获取图像帧序列内采集时刻为t1+T到t1+N×T内的各个图像帧对应的模糊序列Feat2,Feat3,Feat4…Feat1+N×T作为模糊序列的集合FE，其中，以Feat1+N×T代表t1+N×T时刻对应图像帧的模糊序列，T为图像帧的采集间隔，tq为间隔T的时刻变量,q∈[2,1+N×T], t2=t1+T，N为[5,10]范围内的正整数；
如果当前图像帧m1的模糊序列Feat1中纵向因子特征值Tn_G小于集合FE中所有元素的纵向因子特征值Tn_G的平均值，和/或，如果当前图像帧m1的模糊序列Feat1中纵向可识别模糊特征值Tn_G小于集合FE中所有元素的纵向可识别模糊特征值Tn_G的平均值，则标记图像帧m1存在模糊区域，否则标记图像帧m1不存在模糊区域。
CN202210335230.8A 2022-04-01 2022-04-01 一种适用于视频监控设备的视频图像处理方法 Active CN114491146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210335230.8A CN114491146B (zh) 2022-04-01 2022-04-01 一种适用于视频监控设备的视频图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210335230.8A CN114491146B (zh) 2022-04-01 2022-04-01 一种适用于视频监控设备的视频图像处理方法

Publications (2)

Publication Number Publication Date
CN114491146A true CN114491146A (zh) 2022-05-13
CN114491146B CN114491146B (zh) 2022-07-12

Family

ID=81489155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210335230.8A Active CN114491146B (zh) 2022-04-01 2022-04-01 一种适用于视频监控设备的视频图像处理方法

Country Status (1)

Country Link
CN (1) CN114491146B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565114A (zh) * 2022-11-17 2023-01-03 中央广播电视总台 视频画面漂移识别方法、装置及计算机设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091341A (zh) * 2014-07-18 2014-10-08 厦门美图之家科技有限公司 一种基于显著性检测的图像模糊检测方法
CN105635791A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种模糊视频图像的检测方法和装置
CN111432206A (zh) * 2020-04-24 2020-07-17 腾讯科技（北京）有限公司 基于人工智能的视频清晰度处理方法、装置及电子设备
CN114240764A (zh) * 2021-11-12 2022-03-25 清华大学 去模糊卷积神经网络训练方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091341A (zh) * 2014-07-18 2014-10-08 厦门美图之家科技有限公司 一种基于显著性检测的图像模糊检测方法
CN105635791A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种模糊视频图像的检测方法和装置
CN111432206A (zh) * 2020-04-24 2020-07-17 腾讯科技（北京）有限公司 基于人工智能的视频清晰度处理方法、装置及电子设备
CN114240764A (zh) * 2021-11-12 2022-03-25 清华大学 去模糊卷积神经网络训练方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汤永清等: "多维彩色图像局部模糊特征自动滤波系统设计", 《现代电子技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565114A (zh) * 2022-11-17 2023-01-03 中央广播电视总台 视频画面漂移识别方法、装置及计算机设备、存储介质
CN115565114B (zh) * 2022-11-17 2023-03-21 中央广播电视总台 视频画面漂移识别方法、装置及计算机设备、存储介质

Also Published As

Publication number Publication date
CN114491146B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN114937055B (zh) 基于人工智能的图像自适应分割方法与系统
JP4160258B2 (ja) 勾配ベースの局部輪郭線検出のための新しい知覚的しきい値決定
CN103198467B (zh) 图像处理装置以及图像处理方法
CN107784651B (zh) 一种基于模糊检测加权的模糊图像质量评价方法
CN109410192B (zh) 一种多纹理分级融合的织物缺陷检测方法及其装置
CN110032989B (zh) 一种基于框线特征和像素分布的表格文档图像分类方法
JP2011521521A (ja) 最適映像選択
CN101996406A (zh) 无参考结构清晰度图像质量评价方法
JP4689518B2 (ja) 火災検出装置
CN114491146B (zh) 一种适用于视频监控设备的视频图像处理方法
CN110910347B (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
CN111179242B (zh) 图像处理方法及其装置
CN111179173B (zh) 一种基于离散小波变换和坡度融合算法的图像拼接方法
Zhong et al. A semantic no-reference image sharpness metric based on top-down and bottom-up saliency map modeling
JP4496595B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
CN110047029A (zh) 一种结合多层差扩展具有对比度增强的可逆信息隐藏方法及装置
CN1323545C (zh) 医学影像坏点自动检测门限确定方法
JP7156527B2 (ja) 路面検査装置、路面検査方法、およびプログラム
JP2021165909A (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
CN111445435A (zh) 一种基于多区块小波变换的无参考图像质量评价方法
CN109685757B (zh) 一种基于灰度差分统计的无参考图像质量评价方法及系统
Qureshi et al. An information based framework for performance evaluation of image enhancement methods
CN114359183A (zh) 图像质量评估方法及设备、镜头遮挡的确定方法
CN114339203A (zh) 相机性能检测方法、设备和存储介质
CN114862762A (zh) 人体扫描图像的质量评估方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant