CN111277729B - 视频图像的处理方法、装置及电子设备 - Google Patents

视频图像的处理方法、装置及电子设备 Download PDF

Info

Publication number
CN111277729B
CN111277729B CN202010119187.2A CN202010119187A CN111277729B CN 111277729 B CN111277729 B CN 111277729B CN 202010119187 A CN202010119187 A CN 202010119187A CN 111277729 B CN111277729 B CN 111277729B
Authority
CN
China
Prior art keywords
image
frame
video
video image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010119187.2A
Other languages
English (en)
Other versions
CN111277729A (zh
Inventor
贾振红
杨斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang University
Original Assignee
Xinjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang University filed Critical Xinjiang University
Priority to CN202010119187.2A priority Critical patent/CN111277729B/zh
Publication of CN111277729A publication Critical patent/CN111277729A/zh
Application granted granted Critical
Publication of CN111277729B publication Critical patent/CN111277729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region

Abstract

本发明公开了一种视频图像的处理方法,包括:在接收到对视频图像的处理指令的情况下,扭曲视频图像中每一帧图像的像素点为相邻帧的图像中的像素点,以确定与视频图像中每一帧图像相似的目标帧图像,其中,目标帧图像为与每一帧图像相邻帧的图像;根据每一帧图像与对应的目标帧图像的像素差值,确定视频图像中的第一对象;去除第一对象,得到处理后的视频图像。本发明还公开了一种视频图像的处理装置及电子设备。

Description

视频图像的处理方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种视频图像的处理方法、装置及电子设备。
背景技术
随着计算机视觉技术的快速发展,户外视觉系统越来越广泛地应用于军事、交通及安全等领域。然而,由于各类恶劣天气的影响,容易对视频图像信息覆盖,从而导致视频图像模糊,直接降低户外视觉系统的性能,对目标检测、识别、追踪、分割和监控造成严重的影响。
为此,相关技术中在消除恶劣天气对视频图像影响进行了大量的研究,其中包括对视频图像中雾、雨和雪花等的去除;通常利用待去除对象的尺寸或亮度等特性,使用帧差法对视频中的待处理对象进行检测;然后利用相邻帧中像素的中值或均值代替前帧检测到的待处理对象的目标像素,以达到去除待处理对象的目的。
但是,相关技术中在天气较为恶劣的情况下,在去除视频图像中的待处理对象时,容易产生误判,导致对待处理对象的去除不彻底的情况发生。
发明内容
有鉴于此,本发明提供了一种视频图像的处理方法、装置及电子设备,以解决相关技术中在天气较为恶劣的情况下,在去除视频图像中的待处理对象时,容易产生误判,导致对待处理对象的去除不彻底的情况发生。
为实现上述发明目的,根据本发明的一个方面,提供了一种视频图像的处理方法,包括:
在接收到对视频图像的处理指令的情况下,扭曲所述视频图像中每一帧图像的像素点为相邻帧的图像中的像素点,以确定与所述视频图像中每一帧图像相似的目标帧图像,其中,所述目标帧图像为与所述每一帧图像相邻帧的图像;
根据所述每一帧图像与对应的所述目标帧图像的像素差值,确定所述视频图像中的第一对象;
去除所述第一对象,得到处理后的视频图像。
在一种可选方式中,在所述去除所述第一对象,得到处理后的视频图像之后,所述方法还包括:
从预设数量帧的视频图像中识别静态图像;
根据所述静态图像在时间域内的一致性,统计所述视频图像的像素样本信息;
根据所述像素样本信息,建模得到第一图像;
根据所述第一图像和所述静态图像,确定所述视频图像中的第二图像,所述第二图像包括所述第一对象和所述运动对象;
根据预设特征信息,确定所述第二图像中的所述第一对象;
去除所述第二图像中的所述第一对象。
在一种可选方式中,所述根据预设特征信息,确定所述第二图像中的所述第一对象,包括:
根据所述视频图像中至少三帧连续的图像中所述第二图像的像素变化信息,确定所述第二图像中的所述第一对象。
在一种可选方式中,所述根据预设特征信息,确定所述第二图像中的所述第一对象,包括:
在所述第二图像中特征点包含的像素点的数量小于或等于第一预设阈值和/或所述特征点的亮度大于或等于第二预设阈值的情况下,确定所述特征点为所述第一对象。
在一种可选方式中,所述根据所述第一图像和所述静态图像,确定所述视频图像中的第二图像,包括:
对所述第一图像的像素点添加第一标签,所述静态图像的像素点添加第二标签;
根据每一帧视频图像中添加第一标签和第二标签的像素点,得到所述第二图像。
根据本发明第二个方面,提供了一种视频图像的处理装置,包括:
扭曲模块,用于在接收到对视频图像的处理指令的情况下,扭曲所述视频图像中每一帧图像的像素点为相邻帧的图像中的像素点,以确定与所述视频图像中每一帧图像相似的目标帧图像,其中,所述目标帧图像为与所述每一帧图像相邻帧的图像;
确定模块,用于根据所述每一帧图像与对应的所述目标帧图像的像素差值,确定所述视频图像中的第一对象;
去除模块,用于去除所述第一对象,得到处理后的视频图像。
在一种可选方式中,所述装置还包括:
识别模块,用于在所述去除所述第一对象,得到处理后的视频图像之后,从预设数量帧的视频图像中识别静态图像;
统计模块,用于根据所述静态图像在时间域内的一致性,统计所述视频图像的像素样本信息;
建模模块,用于根据所述像素样本信息,建模得到第一图像;
所述确定模块,还用于根据所述第一图像和所述静态图像,确定所述视频图像中的第二图像,所述第二图像包括所述第一对象和所述运动对象;
所述确定模块,还用于根据预设特征信息,确定所述第二图像中的所述第一对象;
所述去除模块,还用于去除所述第二图像中的所述第一对象。
在一种可选方式中,所述确定模块,还用于根据所述视频图像中至少三帧连续的图像中所述第二图像的像素变化信息,确定所述第二图像中的所述第一对象。
在一种可选方式中,所述确定模块,还用于在所述第二图像中特征点包含的像素点的数量小于或等于第一预设阈值和/或所述特征点的亮度大于或等于第二预设阈值的情况下,确定所述特征点为所述第一对象。
在一种可选方式中,所述装置还包括:
添加模块,用于对所述第一图像的像素点添加第一标签,所述静态图像的像素点添加第二标签;
所述确定模块,还用于根据每一帧视频图像中添加第一标签和第二标签的像素点,得到所述第二图像。
根据本发明第三个方面,提供了一种电子设备,包括:
存储器、处理器和通讯总线,所述存储器通过所述通讯总线与所述处理器通信连接;
所述存储器中存储有计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实现本发明第一个方面提供视频图像的处理方法。
根据本发明第四个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被执行时,用于实现本发明第一个方面提供视频图像的处理方法。
本发明提供的一种视频图像的处理方法、装置及电子设备,其中,视频图像的处理方法,包括:在接收到对视频图像的处理指令的情况下,扭曲视频图像中每一帧图像的像素点为相邻帧的图像中的像素点,以确定与视频图像中每一帧图像相似的目标帧图像,其中,目标帧图像为与每一帧图像相邻帧的图像;根据每一帧图像与对应的目标帧图像的像素差值,确定视频图像中的第一对象;去除第一对象,得到处理后的视频图像。如此,通过将视频图像的每一帧图像的像素点扭曲为相邻帧图像中的像素点,在两个连续的图像帧之间找到一个密集的运动场,对于相邻帧图像中的每个像素,确定一个运动矢量,从而确定出在保持相邻帧像素之间的运动矢量相似的同时,确定出目标帧图像;并通过计算每一帧图像与对应的目标帧图像的像素差值,确定得到视频图像中第一对象的图像。解决了相关技术中,在天气较为恶劣的情况下,去除视频中的待处理对象时容易产生误判,导致对待处理对象的去除不彻底的问题,通过视频图像的每一帧图像与对应的目标帧图像来确定待处理对象,提高了待处理对象的准确性,避免了背景图像失真,提高了恢复的视频图像的清晰度。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。
图1是本申请实施例提供的视频图像的处理方法的实现流程图;
图2是本申请另一实施例提供的视频图像的处理方法的实现流程图;
图3是本申请实施例提供的视频图像的处理装置的结构框图;
图4是本申请实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
在本发明实施例的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
图1是本申请实施例提供的视频图像的处理方法的实现流程图。
参照图1所示,本申请实施例提供的视频图像的处理方法,应用于对监控得到的录像视频的处理;具体的,本申请实施例提供是视频图像处理方法可以在笔记本电脑、个人数字助理、台式电脑、移动终端、pad等电子设备上实现。本申请实施例提供的视频图像的处理方法,包括以下步骤:
步骤101,在接收到对视频图像的处理指令的情况下,扭曲视频图像中每一帧图像的像素点为相邻帧的图像中的像素点,以确定与视频图像中每一帧图像相似的目标帧图像。
其中,目标帧图像为与每一帧图像相邻帧的图像。
具体的,本申请实施例中,在接收到对视频图像的处理指令的情况下,采用光流法对视频图像进行处理;具体的,将视频图像中的任意一帧图像作为当前帧,并与当前帧图像相邻帧的图像的像素点扭曲为当前帧的像素点,这里,相邻帧可以是指当前帧延时序的前后帧;使用光流法在两个连续的图像帧之间确定一个密集的运动场,对于相邻帧中的每个像素,确定一个运动矢量,在保持两个连续的相邻帧图像的像素之间运动矢量相似的同时,确定与视频图像中每一帧图像相似的目标帧图像;具体的,由于视频图像中除第一帧和最后一帧图像外的其他帧图像均具有前后两个相邻帧,因此,本申请实施例中,通过前后相邻帧与当前帧的像素差值,确定与每一帧图像相似的目标帧图像;具体的,像素差值较小的相邻帧为与当前帧图像相似的目标帧图像。
步骤102,根据每一帧图像与对应的目标帧图像的像素差值,确定视频图像中的第一对象。
具体的,本申请实施例中,由于每一帧图像均确定有对应的目标帧图像,在每一帧图形与对应的目标帧图像之间发生变化的像素值则可以确定为视频图像中的第一对象,即待处理对象。在需要确定任何一帧图像中的第一对象时,则计算出这一帧图像与对应的目标帧图像之间的像素差值即可;从而可以确定出视频图像所有帧中的第一对象。
步骤103,去除第一对象,得到处理后的视频图像。
具体的,对于确定出的第一对象,可以直接去除,得到处理后的视频图像。
本申请实施例中,通过将视频图像的每一帧图像的像素点扭曲为相邻帧图像中的像素点,在两个连续的图像帧之间找到一个密集的运动场,对于相邻帧图像中的每个像素,确定一个运动矢量,从而确定出在保持相邻帧像素之间的运动矢量相似的同时,确定出目标帧图像;并通过计算每一帧图像与对应的目标帧图像的像素差值,确定得到视频图像中第一对象的图像。解决了相关技术中,在天气较为恶劣的情况下,去除视频中的待处理对象时容易产生误判,导致对待处理对象的去除不彻底的问题,通过视频图像的每一帧图像与对应的目标帧图像来确定待处理对象,提高了待处理对象的准确性,避免了背景图像失真,提高了恢复的视频图像的清晰度。
图2是本申请另一实施例提供的视频图像的处理方法的实现流程图。基于前述实施例,参照图2所示,本实施例中提供的视屏图像的处理方法,包括以下步骤:
步骤201,在接收到对视频图像的处理指令的情况下,扭曲视频图像中每一帧图像的像素点为相邻帧的图像中的像素点,以确定与视频图像中每一帧图像相似的目标帧图像。
其中,目标帧图像为与每一帧图像相邻帧的图像。
具体的,本申请实施例中,在接收到对视频图像的处理指令的情况下,采用光流法对视频图像进行处理;具体的,将视频图像中的任意一帧图像作为当前帧,并与当前帧图像相邻帧的图像的像素点扭曲为当前帧的像素点,这里,相邻帧可以是指当前帧延时序的前后帧;使用光流法在两个连续的图像帧之间确定一个密集的运动场,对于相邻帧中的每个像素,确定一个运动矢量,在保持两个连续的相邻帧图像的像素之间运动矢量相似的同时,确定与视频图像中每一帧图像相似的目标帧图像;具体的,由于视频图像中除第一帧和最后一帧图像外的其他帧图像均具有前后两个相邻帧,因此,本申请实施例中,通过前后相邻帧与当前帧的像素差值,确定与每一帧图像相似的目标帧图像;具体的,像素差值较小的相邻帧为与当前帧图像相似的目标帧图像。
具体的,本申请实施例中,输入的视频图像可以定义为L=B+M+S;其中,B表示视频图像的背景信息,M表示视频图像中的运动对象,S表示视频图像中的待处理对象。即本申请实施例输入的静态摄像头拍摄的视频可以分为背景图像、运动对象和待处理对象三层结构。
步骤202,根据每一帧图像与对应的目标帧图像的像素差值,确定视频图像中的第一对象。
具体的,第一对象的检测定义为
Figure BDA0002392437120000071
其中Jk(x)为当前帧中的像素,
Figure BDA0002392437120000072
为相邻帧扭曲成的目标帧中的像素。从而有效确定出视频图像中的待处理对象。
步骤203,去除第一对象,得到处理后的视频图像。
该步骤与前述实施例步骤103类似,本实施例中不再赘述。
步骤204,从预设数量帧的视频图像中识别静态图像。
具体的,本申请实施例中,根据视频图像的背景像素在短时间内保持一致性的先验知识,从预设数量帧的视频图像中识别静态图像,即识别视频图像的背景图像。在一些具体示例中,预设数量帧的视频图像可以是从视频图像的所有帧中选择一定数量帧的图像,具体的,可以选择40-50帧;可选的,在一些视频图像中,可能存在移动非常缓慢的运动对象,此时,可以适当增加选择的图像的帧数;例如,选择120帧以上;通过预设帧数的图像构建统一的低秩背景,将背景图像看做低秩矩阵。需要说明的是,选择的图像的帧数可以根据视频图像的具体情况设定,本申请实施例中对选择的帧数不做具体限定。
步骤205,根据静态图像在时间域内的一致性,统计视频图像的像素样本信息。
具体的,本申请实施例中,对视频图像所有帧中图像的像素点的像素值进行统计;利用像素在较长时间内大量样本值的概率密度统计信息表示背景。
步骤206,根据像素样本信息,建模得到第一图像。
具体的,本申请实施例中,背景模型定义为B=UVT,其中U、V为二维矩阵,VT为V的转置。
具体的,本申请实施例中,使用块混合高斯模型进行低秩背景建模和运动物体建模,其中,前景运动对象D的检测可以有马尔科夫随机场和三维总变分惩罚项得到:
Figure BDA0002392437120000081
即,本申请实施例中运动对象的建模是在对背景建模的过程中,发现与先验知识得到的背景不匹配的像素信息;因此,本申请实施例中,建模得到的第一图像包括背景图像和运动对象以及覆盖于运动对象的第一对象。
步骤207,根据第一图像和静态图像,确定视频图像中的第二图像,第二图像包括第一对象和运动对象。
具体的,本申请实施例中,由于第一图像包括背景图像,即静态图像和运动对象以及覆盖于运动对象的第一对象;因此,通过对比第一图像和根据先验知识识别的静态图像,确定每一帧视频图像中的第二图像,第二图像包括第一对象和运动对象。
具体的,对第一图像的像素点添加第一标签,静态图像的像素点添加第二标签。
具体的,本申请实施例中,利用马尔科夫随机场在计算机视觉中的应用,将每一帧视频图像中的像素分为多个标签。可选的,本申请实施例中,划分为运动对象和背景图像两个标签;运动对象在相邻帧的图像中的位置是连续的,而背景图像是静态的。
根据每一帧视频图像中添加第一标签和第二标签的像素点,得到第二图像。
具体的,本申请实施例中,由于第一图像包括静态图像和运动对象,在对第一图像的像素点添加第一标签后,对静态图像添加第二标签;则静态图像添加有第一标签和第二标签;去除静态图像,则得到第二图像。
步骤208,根据预设特征信息,确定第二图像中的第一对象。
在一些可能的实施方式中,根据视频图像中至少三帧连续的图像中第二图像的像素变化信息,确定第二图像中的第一对象。
具体的,本申请实施例中,利用三维总变分作为约束,分离近景处的第一对象和运动对象;具体的,由于近景处的第一对象在相邻两帧中位置会发生很大的变化,难以出现在连续的三帧图像内;因此,通过检测至少三帧连续的图像中第二图像的像素变化信息,确定第二图形中的第一对象。
在另一些可能的实施方式中,在第二图像中特征点包含的像素点的数量小于或等于第一预设阈值和/或特征点的亮度大于或等于第二预设阈值的情况下,确定特征点为第一对象。
具体的,本申请实施例中,进一步添加第一对象的尺寸特性作为约束,帮助分离第一对象和运动物体,表示为:
Figure BDA0002392437120000101
其中,ci,j,k表示第k帧中以像素(i,j)为中心的运动对象的尺寸,th表示第一对象尺寸的阈值。ci,j,k大于第一对象尺寸的阈值,则判别为运动对象。
本申请实施例中,增加第一对象的尺寸或亮度作为约束条件,提高了第一对象的识别准确度,提高了去除第一对象的彻底性。
步骤209,去除第二图像中的第一对象。
具体的,本申请实施例中,在确定出第二图像中的第一对象后,以第二图像作为输入,使用引导滤波器对第二图像进行保持边缘的平滑操作,将运动对象前覆盖的第一对象的像素平滑为运动对象的像素。
本实施例提供的视频图像的处理方法,通过块混合高斯模型对背景图像进行建模和运动对象建模,充分利用运动对象在时空域的连续性,以及利用三维总变分对第一对象和运动对象的初步分离,进一步利用第一对象的特征作为约束条件,使第一对象和运动对象分离,彻底去除被误判为运动对象的第一对象,保证了第一对象去除的彻底性,提高了视频图像恢复的清晰度。
图3是本申请实施例提供的视频图像的处理装置的结构框图。
基于前述实施例,参照图3所示,本申请实施例提供的视频图像处理装置30,包括:
扭曲模块31,用于在接收到对视频图像的处理指令的情况下,扭曲视频图像中每一帧图像的像素点为相邻帧的图像中的像素点,以确定与视频图像中每一帧图像相似的目标帧图像,其中,目标帧图像为与每一帧图像相邻帧的图像;
确定模块32,用于根据每一帧图像与对应的目标帧图像的像素差值,确定视频图像中的第一对象;
去除模块33,用于去除第一对象,得到处理后的视频图像。
在一种可选实施方式中,本申请实施例提供的视频图像处理装置30,还包括:识别模块34,用于在去除第一对象,得到处理后的视频图像之后,从预设数量帧的视频图像中识别静态图像;
统计模块35,用于根据静态图像在时间域内的一致性,统计视频图像的像素样本信息;
建模模块36,用于根据像素样本信息,建模得到第一图像;
确定模块32,还用于根据第一图像和静态图像,确定视频图像中的第二图像,第二图像包括第一对象和运动对象;
确定模块32,还用于根据预设特征信息,确定第二图像中的第一对象;
去除模块33,还用于去除第二图像中的第一对象。
在一种可选实施方式中,确定模块32,还用于根据视频图像中至少三帧连续的图像中第二图像的像素变化信息,确定第二图像中的第一对象。
在一种可选实施方式中,确定模块32,还用于在第二图像中特征点包含的像素点的数量小于或等于第一预设阈值和/或特征点的亮度大于或等于第二预设阈值的情况下,确定特征点为第一对象。
在一种可选实施方式中,本申请实施例提供的视频图像处理装置30,还包括:
添加模块37,用于对第一图像的像素点添加第一标签,静态图像的像素点添加第二标签;
确定模块32,还用于根据同时添加第一标签和第二标签的像素点,确定第二图像。
需要说明的是,本申请装置实施例与方法实施例具有相同或相应的技术效果,本实施例中不在赘述。
图4是本申请实施例提供的电子设备的结构框图。
基于前述实施例,参照图4所示,本申请实施例提供的电子设备40,包括:
存储器41、处理器42和通讯总线43,存储器41通过通讯总线43与处理器42通信连接;
存储器41中存储有计算机可执行指令,处理器42用于执行计算机可执行指令,以实现本申请任一可选实施例提供的视频图像的处理方法。
需要说明的是,本申请设备实施例与方法实施例具有相同或相应的技术效果,本实施例中不在赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,设备和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一种视频图像的处理方法、装置及电子设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者设备程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干设备的单元权利要求中,这些设备中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (7)

1.一种视频图像的处理方法,其特征在于,包括:
在接收到对视频图像的处理指令的情况下,扭曲所述视频图像中每一帧图像的像素点为相邻帧的图像中的像素点,以确定与所述视频图像中每一帧图像相似的目标帧图像,其中,所述目标帧图像为与所述每一帧图像相邻帧的图像;
根据所述每一帧图像与对应的所述目标帧图像的像素差值,确定所述视频图像中的第一对象;
去除所述第一对象,得到处理后的视频图像;
在所述去除所述第一对象,得到处理后的视频图像之后,所述方法还包括:
从预设数量帧的所述处理后的视频图像中识别静态图像;
根据所述静态图像在时间域内的一致性,统计所述视频图像的像素样本信息;
根据所述像素样本信息,建模得到第一图像;
根据所述第一图像和所述静态图像,确定所述视频图像中的第二图像,所述第二图像包括第一对象和运动对象;
根据预设特征信息,确定所述第二图像中的所述第一对象,具体为,在所述第二图像中特征点包含的像素点的数量小于或等于第一预设阈值和/或所述特征点的亮度大于或等于第二预设阈值的情况下,确定所述特征点为所述第一对象;
去除所述第二图像中的所述第一对象。
2.根据权利要求1所述的方法,其特征在于,所述根据预设特征信息,确定所述第二图像中的所述第一对象,包括:
根据所述视频图像中至少三帧连续的图像中所述第二图像的像素变化信息,确定所述第二图像中的所述第一对象。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像和所述静态图像,确定所述视频图像中的第二图像,包括:
对所述第一图像的像素点添加第一标签,所述静态图像的像素点添加第二标签;
根据每一帧视频图像中添加第一标签和第二标签的像素点,得到所述第二图像。
4.一种视频图像的处理装置,其特征在于,包括:
扭曲模块,用于在接收到对视频图像的处理指令的情况下,扭曲所述视频图像中每一帧图像的像素点为相邻帧的图像中的像素点,以确定与所述视频图像中每一帧图像相似的目标帧图像,其中,所述目标帧图像为与所述每一帧图像相邻帧的图像;
确定模块,用于根据所述每一帧图像与对应的所述目标帧图像的像素差值,确定所述视频图像中的第一对象;
去除模块,用于去除所述第一对象,得到处理后的视频图像;
所述装置还包括:
识别模块,用于在所述去除所述第一对象,得到处理后的视频图像之后,从预设数量帧的所述处理后的视频图像中识别静态图像;
统计模块,用于根据所述静态图像在时间域内的一致性,统计所述视频图像的像素样本信息;
建模模块,用于根据所述像素样本信息,建模得到第一图像;
所述确定模块,还用于根据所述第一图像和所述静态图像,确定所述视频图像中的第二图像,所述第二图像包括第一对象和运动对象;
所述确定模块,还用于根据预设特征信息,确定所述第二图像中的所述第一对象,具体为,在所述第二图像中特征点包含的像素点的数量小于或等于第一预设阈值和/或所述特征点的亮度大于或等于第二预设阈值的情况下,确定所述特征点为所述第一对象;
所述去除模块,还用于去除所述第二图像中的所述第一对象。
5.根据权利要求4所述的装置,其特征在于,
所述确定模块,还用于根据所述视频图像中至少三帧连续的图像中所述第二图像的像素变化信息,确定所述第二图像中的所述第一对象。
6.一种电子设备,其特征在于,包括:
存储器、处理器和通讯总线,所述存储器通过所述通讯总线与所述处理器通信连接;
所述存储器中存储有计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实现权利要求1-3任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被执行时,用于实现权利要求1-3任一项所述的方法。
CN202010119187.2A 2020-02-26 2020-02-26 视频图像的处理方法、装置及电子设备 Active CN111277729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010119187.2A CN111277729B (zh) 2020-02-26 2020-02-26 视频图像的处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010119187.2A CN111277729B (zh) 2020-02-26 2020-02-26 视频图像的处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111277729A CN111277729A (zh) 2020-06-12
CN111277729B true CN111277729B (zh) 2022-09-23

Family

ID=71003687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010119187.2A Active CN111277729B (zh) 2020-02-26 2020-02-26 视频图像的处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111277729B (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09319869A (ja) * 1996-05-28 1997-12-12 Nippon Hoso Kyokai <Nhk> 画像エンハンサ
CN101799928B (zh) * 2010-03-30 2013-07-03 深圳市融创天下科技股份有限公司 一种应用于图像处理的高效低复杂度运动侦测方法
CN102307274B (zh) * 2011-08-31 2013-01-02 南京南自信息技术有限公司 基于边缘检测和帧差法的运动检测方法
CN102572223B (zh) * 2011-12-06 2013-12-11 上海富瀚微电子有限公司 一种用于视频降噪的相似块搜索方法
CN104021527B (zh) * 2014-06-10 2017-04-19 北京邮电大学 一种图像中雨雪的去除方法
CN104318537B (zh) * 2014-09-30 2017-07-28 中国科学院深圳先进技术研究院 大雨场景视频数据中雨滴的检测和去除方法及系统
CN105046670A (zh) * 2015-08-28 2015-11-11 中国科学院深圳先进技术研究院 一种图像去雨方法及系统
CN105857180B (zh) * 2016-05-09 2018-06-01 广西大学 雾霾天车辆驾驶辅助系统及其方法
CN106056545A (zh) * 2016-05-24 2016-10-26 中国科学院深圳先进技术研究院 一种图像去雨方法及系统
CN106408563B (zh) * 2016-09-30 2019-06-11 杭州电子科技大学 一种基于变异系数的雪花噪声检测方法
CN107454284B (zh) * 2017-09-13 2020-05-15 厦门美图之家科技有限公司 一种视频去噪方法及计算设备
CN107680095A (zh) * 2017-10-25 2018-02-09 哈尔滨理工大学 基于模板匹配与光流法的无人机图像的输电线路异物检测

Also Published As

Publication number Publication date
CN111277729A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
Li et al. Single image rain streak decomposition using layer priors
Chen et al. Robust video content alignment and compensation for rain removal in a cnn framework
US10600158B2 (en) Method of video stabilization using background subtraction
US10614736B2 (en) Foreground and background detection method
KR101436369B1 (ko) 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
CN110598558A (zh) 人群密度估计方法、装置、电子设备及介质
Shen et al. A fast algorithm for rain detection and removal from videos
CN112215773B (zh) 基于视觉显著性的局部运动去模糊方法、装置及存储介质
CN104599256A (zh) 基于单幅图像的去除图像雨线的方法和系统
CN112926531A (zh) 特征信息提取方法、模型训练方法、装置及电子设备
CN114049499A (zh) 用于连续轮廓的目标对象检测方法、设备及存储介质
CN108234826B (zh) 图像处理方法及装置
Chen et al. Visual depth guided image rain streaks removal via sparse coding
Kryjak et al. Real-time implementation of foreground object detection from a moving camera using the vibe algorithm
CN108509876B (zh) 针对视频的物体检测方法、装置、设备、存储介质及程序
CN111353954A (zh) 视频图像的处理方法、装置及电子设备
US20200394802A1 (en) Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool
CN108780576B (zh) 使用对象边界框的视频片段中的重影去除的系统和方法
Anantrasirichai et al. Mitigating the effects of atmospheric distortion using DT-CWT fusion
CN111277729B (zh) 视频图像的处理方法、装置及电子设备
Chang et al. A single image deblurring algorithm for nonuniform motion blur using uniform defocus map estimation
US20190251695A1 (en) Foreground and background detection method
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN114550062A (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
Chen et al. Robust video content alignment and compensation for clear vision through the rain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant