CN110062164A - 视频图像处理方法及装置 - Google Patents

视频图像处理方法及装置 Download PDF

Info

Publication number
CN110062164A
CN110062164A CN201910325282.5A CN201910325282A CN110062164A CN 110062164 A CN110062164 A CN 110062164A CN 201910325282 A CN201910325282 A CN 201910325282A CN 110062164 A CN110062164 A CN 110062164A
Authority
CN
China
Prior art keywords
image
deblurring
pixel
convolution
convolution kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910325282.5A
Other languages
English (en)
Other versions
CN110062164B (zh
Inventor
周尚辰
张佳维
任思捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202111217908.4A priority Critical patent/CN113992848A/zh
Priority to CN202111217907.XA priority patent/CN113992847A/zh
Priority to CN201910325282.5A priority patent/CN110062164B/zh
Publication of CN110062164A publication Critical patent/CN110062164A/zh
Priority to KR1020217009399A priority patent/KR20210048544A/ko
Priority to SG11202108197SA priority patent/SG11202108197SA/en
Priority to PCT/CN2019/114139 priority patent/WO2020215644A1/zh
Priority to JP2021520271A priority patent/JP7123256B2/ja
Priority to TW108145856A priority patent/TWI759668B/zh
Priority to US17/384,910 priority patent/US20210352212A1/en
Application granted granted Critical
Publication of CN110062164B publication Critical patent/CN110062164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种视频图像处理方法及装置。该方法包括：获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N‑1帧图像以及第N‑1帧去模糊后的图像，所述N为正整数；基于所述第N帧图像、所述第N‑1帧图像以及所述第N‑1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核；通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。还公开了相应的装置。实施该方法能够高效地去除视频图像中的模糊，得到更为清晰的图像。

Description

视频图像处理方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种视频图像处理方法及装置。
背景技术
随着手持相机和机载相机应用的日益普及，越来越多的人们通过相机拍摄视频，并可基于拍摄的视频进行处理，如无人机和自动驾驶汽车可基于拍摄的视频实现追踪、避障等功能。
由于相机晃动、失焦、拍摄对象高速运动等原因，拍摄的视频易产生模糊，如机器人行动时，由于相机抖动或拍摄对象的运动产生的模糊，这往往将导致拍摄失败或者无法基于视频进行进下一步处理。传统方法通过光流或神经网络可去除视频图像中的模糊，但去模糊效果均较差。
发明内容
本申请提供一种视频图像处理方法，以去除视频图像中的模糊。
第一方面，提供了一种视频图像处理方法，包括：获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像，所述N为正整数；基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核；通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。
通过第一方面提供的技术方案，可得到视频图像中第N帧图像的去模糊卷积核，再通过第N帧图像的去模糊卷积核对第N帧图像进行卷积处理，可有效地去除第N帧图像中的模糊，得到第N帧去模糊后的图像。
在一种可能实现的方式中，所述基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核，包括：对待处理图像的像素点进行卷积处理，得到去模糊卷积核，其中，所述待处理图像由所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像在通道维度上进行叠加得到。
在该种可能实现的方式中，基于第N-1帧图像的像素点以及第N-1帧去模糊后的图像的像素点之间的去模糊信息，得到像素点的去模糊卷积核，并用该去模糊卷积核对第N帧图像中对应的像素点进行去卷积处理，以去除第N帧图像中像素点的模糊；通过为第N帧图像中的每个像素点分别生成一个去模糊卷积核，可去除对第N帧图像(非均匀模糊图像)中的模糊，去模糊后的图像清晰、自然。
在另一种可能实现的方式中，所述对待处理图像的像素点进行卷积处理，得到去模糊卷积核，包括：对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核，其中，所述运动信息包括速度和方向；对所述对齐卷积核进行编码处理，得到所述去模糊卷积核。
在该种可能实现的方式中，基于第N-1帧图像的像素点以及第N帧图像的像素点之间的运动信息，得到像素点的对齐卷积核，后续可通过该对齐核进行对齐处理。再通过对对齐核进行卷积处理，提取出第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，得到去模糊核，可使去模糊核既包含第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，又包含了第N-1帧图像的像素点与第N帧图像的像素点之间的运动信息，有利于提升去除第N帧图像的模糊的效果。
在又一种可能实现的方式中，所述通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像，包括：通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像；对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像。
在该种可能实现的方式中，通过去模糊卷积核对第N帧图像的特征图像进行去模糊处理，可减小去模糊过程的数据处理量，提高处理速度快。
在又一种可能实现的方式中，所述通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像，包括：调整所述去模糊卷积核的维度，使所述去模糊卷积核的通道数与所述第N帧图像的特征图像的通道数相同；通过调整维度后的所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到所述第一特征图像。
在该种可能实现的方式中，通过调整去模糊卷积核的维度，使去模糊卷积核的维度与第N帧图像的特征图像的维度相同，进而实现通过调整维度去模糊卷积核对第N帧图像的特征图像进行卷积处理。
在又一种可能实现的方式中，所述对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核之后，还包括：通过所述对齐卷积核对所述第N-1帧图像的特征图像的像素点进行卷积处理，得到第二特征图像。
在该种可能实现的方式中，通过对齐卷积核对第N-1帧图像的特征图像的像素点进行卷积处理，实现将第N-1帧图像的特征图像向第N帧时刻对齐。
在又一种可能实现的方式中，所述通过所述对齐卷积核对所述第N-1帧图像的特征图像的像素点进行卷积处理，得到第二特征图像，包括：调整所述对齐卷积核的维度，使所述对齐卷积核的通道数与所述第N-1帧图像的特征图像的通道数相同；通过调整维度后的所述对齐卷积核对所述第N-1帧去模糊后的图像的特征图像的像素点进行卷积处理，得到所述第二特征图像。
在该种可能实现的方式中，通过调整去对齐卷积核的维度，使去对齐卷积核的维度与第N-1帧图像的特征图像的维度相同，进而实现通过调整维度对齐卷积核对第N-1帧图像的特征图像进行卷积处理。
在又一种可能实现的方式中，所述对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像，包括：对所述第一特征图像和所述第二特征图像进行融合处理，得到第三特征图像；对所述第三特征图像进行解码处理，得到所述第N帧去模糊后的图像。
在该种可能实现的方式中，通过将第一特征图像和第二特征图像进行融合，提升对第N帧图像的去模糊的效果，再对融合后的第三特征图像进行解码处理得到第N帧去模糊后的图像。
在又一种可能实现的方式中，所述对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核，包括：对所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像在通道维度上进行叠加处理，得到所述待处理图像；对所述待处理图像进行编码处理，得到第四特征图像；对所述第四特征图像进行卷积处理，得到第五特征图像；通过卷积处理将所述第五特征图像的通道数调整至第一预设值，得到所述对齐卷积核。
在该种可能实现的方式中，通过对待处理图像进行卷积处理，提取第N-1帧图像的像素点相对于第N帧图像的像素点的运动信息，为方便后续处理再通过卷积处理将第五特征图像的通道数调整至第一预设值。
在又一种可能实现的方式中，所述对齐卷积核进行编码处理，得到所述去模糊卷积核，包括：通过卷积处理将所述对齐卷积核的通道数调整至第二预设值，得到第六特征图像；对所述第四特征图像和所述第六特征图像进行融合处理，得到第七特征图像；对所述第七特征图像进行卷积处理，以提取所述第N-1帧去模糊后的图像的像素点相对于所述第N-1帧图像的像素点的去模糊信息，得到所述去模糊卷积核。
在该种可能实现的方式中，通过对对齐卷积核进行卷积处理得到去模糊卷积核，可使去模糊卷积核不仅包含第N-1帧图像的像素点相对于第N帧图像的像素点的运动信息，还包含第N-1帧去模糊后的图像的像素点相对于第N-1帧图像的像素点的去模糊信息，提高后续通过去模糊卷积核去除第N帧图像的模糊的效果。
在又一种可能实现的方式中，所述对所述第七特征图像进行卷积处理，以提取所述第N-1帧去模糊后的图像相对于所述第N-1帧图像的像素点的去模糊信息，得到所述去模糊卷积核，包括：对所述第七特征图像进行卷积处理，得到第八特征图像；通过卷积处理将所述第八特征图像的通道数调整至所述第一预设值，得到所述去模糊卷积核。
在该种可能实现的方式中，通过对七特征图像进行卷积处理，提取第N-1帧图像的像素点相对于第N-1帧去模糊后的图像的像素点的运动信息，为方便后续处理再通过卷积处理将第八特征图像的通道数调整至第一预设值
在又一种可能实现的方式中，所述对所述第三特征图像进行解码处理，得到所述第N帧去模糊后的图像，包括：对所述第三特征图像进行解卷积处理，得到第九特征图像；对所述第九特征图像进行卷积处理，得到第N帧解码处理后的图像；将所述第N帧图像的第一像素点的像素值与所述第N帧解码处理后的图像的第二像素点的像素值相加，得到所述第N帧去模糊后的图像，其中，所述第一像素点在所述第N帧图像中的位置与所述第二像素点在所述第N帧解码处理后的图像中的位置相同。
在该种可能实现的方式中，通过解卷积处理和卷积处理实现对第三特征图像的解码处理，得到第N帧解码处理后的图像，再通过将第N帧图像与第N帧解码处理后的图像中对应的像素点的像素值相加，得到所述第N帧去模糊后的图像，进一步提高去模糊的效果。
第二方面，提供了一种视频图像处理装置，包括：获取单元，用于获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像，所述N为正整数；第一处理单元，用于基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核；第二处理单元，用于通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。
在一种可能实现的方式中，所述第一处理单元包括：第一卷积处理子单元，用于对待处理图像的像素点进行卷积处理，得到去模糊卷积核，其中，所述待处理图像由所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像在通道维度上进行叠加得到。
在另一种可能实现的方式中，所述第一卷积处理子单元具体用于：对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核，其中，所述运动信息包括速度和方向；以及对所述对齐卷积核进行编码处理，得到所述去模糊卷积核。
在又一种可能实现的方式中，所述第二处理单元包括：第二卷积处理子单元，用于通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像；解码处理子单元，用于对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像。
在又一种可能实现的方式中，所述第二卷积处理子单元具体用于：调整所述去模糊卷积核的维度，使所述去模糊卷积核的通道数与所述第N帧图像的特征图像的通道数相同；以及通过调整维度后的所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到所述第一特征图像。
在又一种可能实现的方式中，所述第一卷积处理子单元具体还用于：在所述对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核之后，通过所述对齐卷积核对所述第N-1帧图像的特征图像的像素点进行卷积处理，得到第二特征图像。
在又一种可能实现的方式中，所述第一卷积处理子单元具体还用于：调整所述对齐卷积核的维度，使所述对齐卷积核的通道数与所述第N-1帧图像的特征图像的通道数相同；以及通过调整维度后的所述对齐卷积核对所述第N-1帧去模糊后的图像的特征图像的像素点进行卷积处理，得到所述第二特征图像。
在又一种可能实现的方式中，所述第二处理单元具体用于：对所述第一特征图像和所述第二特征图像进行融合处理，得到第三特征图像；以及对所述第三特征图像进行解码处理，得到所述第N帧去模糊后的图像。
在又一种可能实现的方式中，所述第一卷积处理子单元具体还用于：对所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像在通道维度上进行叠加处理，得到所述待处理图像；以及对所述待处理图像进行编码处理，得到第四特征图像；以及对所述第四特征图像进行卷积处理，得到第五特征图像；以及通过卷积处理将所述第五特征图像的通道数调整至第一预设值，得到所述对齐卷积核。
在又一种可能实现的方式中，所述第一卷积处理子单元具体还用于：通过卷积处理将所述对齐卷积核的通道数调整至第二预设值，得到第六特征图像；以及对所述第四特征图像和所述第六特征图像进行融合处理，得到第七特征图像；以及对所述第七特征图像进行卷积处理，以提取所述第N-1帧去模糊后的图像的像素点相对于所述第N-1帧图像的像素点的去模糊信息，得到所述去模糊卷积核。
在又一种可能实现的方式中，所述第一卷积处理子单元具体还用于：对所述第七特征图像进行卷积处理，得到第八特征图像；以及通过卷积处理将所述第八特征图像的通道数调整至所述第一预设值，得到所述去模糊卷积核。
在又一种可能实现的方式中，所述第二处理单元具体还用于：对所述第三特征图像进行解卷积处理，得到第九特征图像；以及对所述第九特征图像进行卷积处理，得到第N帧解码处理后的图像；以及将所述第N帧图像的第一像素点的像素值与所述第N帧解码处理后的图像的第二像素点的像素值相加，得到所述第N帧去模糊后的图像，其中，所述第一像素点在所述第N帧图像中的位置与所述第二像素点在所述第N帧解码处理后的图像中的位置相同。
第三方面，提供了一种处理器，所述处理器用于执行上述第一方面及其任一种可能的实现方式的方法。
第四方面，提供了一种电子设备，包括：处理器、输入装置、输出装置和存储器，所述处理器、输入装置、输出装置和存储器相互连接，所述存储器中存储有程序指令；所述程序指令被所述处理器执行时，使所述处理器执行上述第一方面及其任一种可能的实现方式的方法。
第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本申请实施例提供的不同图像中对应的像素点的示意图；
图2为本申请实施例提供的一张非均匀模糊图像；
图3为本申请实施例提供的一种视频图像处理方法的流程示意图；
图4为本申请实施例提供的另一种视频图像处理方法的流程示意图；
图5为本申请实施例提供的一种获得去模糊卷积核以及对齐卷积核的流程示意图；
图6为本申请实施例提供的一种编码模块示意图；
图7为本申请实施例提供的一种对齐卷积核生成模块示意图；
图8为本申请实施例提供的一种去模糊卷积核生成模块示意图；
图9为本申请实施例提供的另一种视频图像处理方法的流程示意图；
图10为本申请实施例提供的一种自适应卷积处理模块示意图；
图11为本申请实施例提供的一种解码模块示意图；
图12为本申请实施例提供的一种视频图像去模糊神经网络的结构示意图；
图13为本申请实施例提供的一种对齐卷积核以及去模糊卷积核生成模块的结构示意图；
图14为本申请实施例提供的一种视频图像处理装置的结构示意图；
图15为本申请实施例提供的一种视频图像处理装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例中，将大量出现“对应”这个词，其中，两张图像中对应的像素点指两张图像中相同位置的两个像素点。举例来说，如图1所示，图像A中的像素点a与图像B中的像素点d对应，图像A中的像素点b与图像B中的像素点c对应。需要理解的是，多张图像中对应的像素点与两张图像中对应的像素点的意义相同。
下文中出现的非均匀模糊图像指图像内不同像素点的模糊程度不一样，即不同像素点的运动轨迹不同。例如：如图2所示，左上角区域的指示牌上的字体的模糊程度要比右下角的汽车的模糊程度大，即这两个区域的模糊程度不一致。应用本申请实施例可去除非均匀模糊图像中的模糊，下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图3，图3是本申请实施例(一)提供的一种视频图像处理的方法的流程示意图。
301、获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像，所述N为正整数。
本申请实施例中，可通过摄像头拍摄视频获得多帧连续视频图像。上述第N帧图像、第N-1帧图像为视频中相邻的两帧图像，且第N帧图像为第N-1帧图像的前一帧图像，第N帧图像为当前准备处理(即应用本申请提供的实施方式进行去模糊处理)的一帧图像。
第N-1帧去模糊后的图像即为对第N-1帧图像进行去模糊处理后得到的图像。
需要理解的是，本申请实施例对视频图像去模糊是一个递归的过程，即第N帧去模糊后的图像将作为第N+1帧图像去模糊处理过程的输入。
可选地，若N为1，即当前去模糊的对象为视频中的第一帧。此时，第N-1帧图像以及第N-1帧去模糊后的图像均为第N帧，即获取3张第1帧图像。
本申请实施例中，将视频中的每一帧图像按拍摄时的顺序排列得到的序列称为视频帧序列。将去模糊处理后得到的图像称为去模糊后的图像。
本申请实施例按视频中帧序列对视频图像进行去模糊处理，即每一次只对一帧图像进行去模糊处理。
可选地，视频以及去模糊后的图像可存储于电子设备的储存器中，其中，视频指视频流，即按视频帧序列的顺序将视频图像存储于电子设备的存储器中。因此，电子设备可直接从存储器中获取第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像。
需要理解的是，本申请实施例中提到的视频可以是经电子设备的摄像头实时拍摄得到的视频，也可以是存储于电子设备的存储器内的视频。
302、基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核。
将第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像在通道维度上进行叠加，得到待处理图像。举例来说(例1)，假设第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像的尺寸均为100*100*3，叠加后得到的待处理图像的尺寸为100*100*9，也就是说，将三张图像(第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像)叠加后得到的待处理图像中的像素点的数量相较于三张图像中的任意一张图像中像素点数量不变，但每个像素点的通道数将变成三张图像中的任意一张图像的3倍。
本申请实施例中，对待处理图像的像素点所做的卷积处理可以由多个任意堆叠的卷积层实现，本申请对卷积层的数量以及卷积层中卷积核的大小不做限定。
通过对待处理图像的像素点进行卷积处理，可提取出待处理图像中的像素点的特征信息，得到去模糊卷积核。其中，特征信息包括第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，以及第N-1帧图像的像素点相对于所述第N-1帧去模糊后的图像的像素点的去模糊信息。上述运动信息包括第N-1帧图像中的像素点相对第N帧图像中对应的像素点的运动速度和运动方向。
需要理解的是，本申请实施例中的去模糊卷积核即为对待处理图像进行卷积处理得到的结果，在本申请的后续处理中将其作为卷积处理的卷积核。
还需理解的是，对待处理图像的像素点进行卷积处理指对待处理图像的每个像素点进行卷积处理，分别得到每个像素点的去模糊卷积核。接着例1继续举例(例2)，待处理图像的尺寸为100*100*9，也就是说待处理图像中包含100*100个像素点，那么在对待处理图像的像素点进行卷积处理后，可得到一张100*100的特征图像，其中，上述100*100的特征图像中的每个像素点均可作为后续对第N帧图像中的像素点进行去模糊处理的去模糊卷积核。
303、通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。
3031，通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像。
上述第N帧图像的特征图像可通过对第N帧图像进行特征提取处理得到，其中，特征提取处理可以是卷积处理，也可以是池化处理，本申请对此不做限定。
通过302的处理得到待处理图像中每个像素点的去模糊卷积核，其中，待处理图像的像素点的数量与第N帧图像的像素点的数量相同，且在待处理图像中的像素点与第N帧图像中的像素点一一对应。本申请实施例中，一一对应的含义可参见下例：待处理图像中像素点A与第N帧图像中的像素点B一一对应，即A在待处理图像中的位置与B在第N帧图像中的位置相同。
3032，对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像。
上述解码处理可以通过解卷积处理实现，也可以通过解卷积处理与卷积处理组合得到，本申请对此不做限定。
可选地，为提升对第N帧图像的去模糊效果，将对第一特征图像进行解码处理得到的图像中的像素点的像素值与第N帧图像的像素点的像素值相加，并将“相加”后得到的图像作为第N帧去模糊后的图像。通过上述“相加”可利用第N帧图像的信息得到第N帧去模糊后的图像。
举例来说，假设解码处理后得到的图像中的像素点C的像素值为200，第N帧图像中的像素点D的像素值为150，则“相加”后得到的第N帧去模糊后的图像中的像素点E的像素值为350，其中，C在待处理图像中的位置、D在第N帧图像中的位置以及E在第N帧去模糊后的图像中的位置相同。
如上所述，非均匀模糊图像中不同的像素点的运动轨迹不同，且像素点的运动轨迹越复杂其模糊程度越高，本申请实施例通过为待处理图像中的每个像素点分别预测一个去模糊核，并通过预测得到的去模糊核对第N帧特征中的特征点进行卷积处理，以去除第N帧特征中的像素点的模糊。由于，非均匀模糊图像中不同的像素点的模糊程度不同，显然，为不同的像素点生成相应地去模糊核，可更好的去除每个像素点的模糊，进而实现去除非均匀模糊图像中的模糊。
本申请实施例基于第N-1帧图像的像素点以及第N-1帧去模糊后的图像的像素点之间的去模糊信息，得到像素点的去模糊卷积核，并用该去模糊卷积核对第N帧图像中对应的像素点进行去卷积处理，以去除第N帧图像中像素点的模糊；通过为第N帧图像中的每个像素点分别生成一个去模糊卷积核，可去除对第N帧图像(非均匀模糊图像)中的模糊，去模糊后的图像清晰、自然，且整个去模糊处理过程耗时短，处理速度快。
请参阅图4，图4是本申请实施例(二)提供的3031的一种可能实现的方式的流程示意图。
401、对待处理图像进行卷积处理，以提取第N-1帧图像的像素点相对于第N帧图像的像素点的运动信息，得到对齐卷积核，其中，所述运动信息包括速度和方向。
本申请实施例中，运动信息包括速度和方向，可以理解为像素点的运动信息指该像素点从第N-1帧时刻(拍摄第N-1帧图像的时刻)至第N帧的时刻(拍摄第N帧图像的时刻)内的运动轨迹。
由于被拍摄物体在单次曝光时间内的是运动的，且运动轨迹是曲线，进而导致拍摄得到的图像中产生模糊，也就是说，第N-1帧图像的像素点相对于第N帧图像的像素点的运动信息有助于去除第N帧图像的模糊。
本申请实施例中，对待处理图像的像素点所做的卷积处理可以由多个任意堆叠的卷积层实现，本申请对卷积层的数量以及卷积层中卷积核的大小不做限定。
通过对待处理图像的像素点进行卷积处理，可提取出待处理图像中的像素点的特征信息，得到对齐卷积核。其中，此处的特征信息包括第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息。
需要理解的是，本申请实施例中的对齐卷积核即为对待处理图像进行上述卷积处理得到的结果，在本申请的后续处理中将其作为卷积处理的卷积核。具体地，由于对齐卷积核通过对待处理图像进行卷积处理提取出第N-1帧图像的像素点相对于第N帧图像的像素点的运动信息得到，因此，后续可通过对齐卷积核对第N帧图像的像素点进行对齐处理。
需要指出的是，本实施例中获得的对齐卷积核也是实时得到的，即通过上述处理，得到第N帧图像中的每一个像素点的对齐卷积核。
402、对所述对齐卷积核进行编码处理，得到所述去模糊卷积核。
此处的编码处理可以是卷积处理，也可以是池化处理。
在一种可能实现的方式中，上述编码处理为卷积处理，卷积处理可由多个任意堆叠的卷积层实现，本申请对卷积层的数量以及卷积层中卷积核的大小不做限定。
需要理解的是，402中的卷积处理与401中的卷积处理不同。举例来说，假设401中的卷积处理由3个通道数是32的卷积层(卷积核的大小为3*3)实现,402中的卷积处理由5个通道数是64的卷积层(卷积核的大小为3*3)实现，两者(3个卷积层和5个卷积层)本质都是卷积处理，但两者的具体实现过程并不一样。
由于待处理图像是由第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像在通道维度上进行叠加得到，因此，待处理图像中包含了第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像的信息。而401中的卷积处理更侧重于提取第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，也就是说，经过401的处理，待处理图像中第N-1帧图像与第N-1帧去模糊后的图像之间的去模糊信息并没有被提取出来。
可选地，在对对齐卷积核进行编码处理之前，可对待处理图像与对齐卷积核进行融合处理，使融合后得到的对齐卷积核包含第N-1帧图像与第N-1帧去模糊后的图像之间的去模糊信息。
通过对对齐卷积核进行卷积处理，提取出第N-1帧去模糊后的图像相对于所述第N-1帧图像的像素点的去模糊信息，得到去模糊卷积核。其中，去模糊信息可以理解为第N-1帧图像的像素点与第N-1帧去模糊图像的像素点之间的映射关系，即去模糊前的像素点与去模糊后的像素点之间的映射关系。
这样，通过对对齐卷积核进行卷积处理得到的去模糊卷积核既包含第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，又包含了第N-1帧图像的像素点与第N帧图像的像素点之间的运动信息。后续通过去模糊核对第N帧图像的像素点进行卷积处理，可提升去模糊的效果。
本申请实施例基于第N-1帧图像的像素点以及第N帧图像的像素点之间的运动信息，得到像素点的对齐卷积核，后续可通过该对齐卷积核进行对齐处理。再通过对对齐卷积核进行卷积处理，提取出第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，得到去模糊卷积核，可使去模糊卷积核既包含第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，又包含了第N-1帧图像的像素点与第N帧图像的像素点之间的运动信息，有利于提升去除第N帧图像的模糊的效果。
实施例(一)以及实施例(二)均通过对图像进行卷积处理得到去模糊卷积核以及对齐卷积核。由于图像中所包含的像素点的数量大，若直接对图像进行处理，所需处理的数据量大，且处理速度慢，因此，实施例(三)将提供一种根据特征图像得到去模糊卷积核以及对齐卷积核的实现方式。
请参阅图5，图5是本申请实施例(三)提供的一种获得去模糊卷积核以及对齐卷积核的流程示意图。
501、对第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像在通道维度上进行叠加处理，得到待处理图像。
请参见步骤302得到待处理图像的实现方式，此处将不再赘述。
502、对所述待处理图像进行编码处理，得到第四特征图像。
上述编码处理可以通过多种方式实现，例如卷积、池化等，本申请实施例对此不做具体限定。
在一些可能的实现方式中，请参阅图6，图6所示模块可用于对待处理图像进行编码处理，该模块依次由一个通道数为32的卷积层(卷积核大小为3*3)、两个通道数为32的残差块(每个残差块包含两个卷积层，卷积层的卷积核的大小为3*3)、一个通道数为64的卷积层(卷积核大小为3*3)、两个通道数为64的残差块(每个残差块包含两个卷积层，卷积层的卷积核的大小为3*3)、一个通道数为128的卷积层(卷积核大小为3*3)、两个通道数为128的残差块(每个残差块包含两个卷积层，卷积层的卷积核的大小为3*3)组成。
通过该模块对待处理图像逐层进行卷积处理完成对待处理图像的编码，得到第四特征图像，其中，每个卷积层提取出的特征内容及语义信息均不一样，具体表现为，编码处理一步步地将待处理图像的特征抽象出来，同时也将逐步去除相对次要的特征，因此，越到后面提取出的特征图像的尺寸越小，且语义信息就越浓缩。通过多层卷积层逐级对待处理图像进行卷积处理，并提取相应的特征，最终得到固定大小的第四特征图像，这样，可在获得待处理图像主要内容信息(即第四特征图像)的同时，将图像尺寸缩小，减小数据处理量，提高处理速度。
举例来说(例3)，假设待处理图像的尺寸为100*100*3，则经过图6所示的模块进行编码处理得到的第四特征图像的尺寸为25*25*128。
在一种可能实现的方式中，上述卷积处理的实现过程如下：卷积层对待处理图像做卷积处理，即利用卷积核在待处理图像上滑动，并将待处理图像上的像素与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素值，最终滑动处理完待处理图像中所有的像素，并得到第四特征图像。可选地，在该种可能实现的方式中，卷积层的步长可取为2。
请参见图7，图7为本申请实施例提供的一种用于生成对齐卷积核的模块，根据图7所示的模块生成对齐卷积核的具体过程可参见503～504。
503、对所述第四特征图像进行卷积处理，得到第五特征图像。
如图7所示，将第四特征图像输入至图7所示的模块，第四特征图像依次经过1个通道数为128的卷积层(卷积核大小为3*3)、两个通道数为64的残差块(每个残差块包含两个卷积层，卷积层的卷积核的大小为3*3)的处理，实现对第四特征图像的卷积处理，提取第四特征图像中的第N-1帧图像的像素点与第N帧图像的像素点之间的运动信息，得到第五特征图像。
需要理解的是，通过上述对第四特征图像进行处理，图像的尺寸并没有改变，即得到的第五特征图像的尺寸与第四特征图像尺寸相同。
接着例3继续举例(例4)，第四特征图像的尺寸为25*25*128，经过303的处理得到的第五特征图像的尺寸也为25*25*128。
504、通过卷积处理将所述第五特征图像的通道数调整至第一预设值，得到所述对齐卷积核。
为进一步提取第五特征图像中第N-1帧图像的像素点与第N帧图像的像素点之间的运动信息，图7中的第四层对第五特征图像进行卷积处理，得到的对齐卷积核的尺寸为25*25*c*k*k(需要理解的是，此处通过第四层的卷积处理调整第五特征图像的通道数)，其中，c为第五特征图像的通道数，k为正整数，可选地，k的取值为5。为方便处理，将25*25*c*k*k调整为25*25*ck2，其中，ck2即为第一预设值。
需要理解的是，对齐卷积核的高和宽均为25。对齐卷积核包含25*25个元素，每个元素包含c个像素点，且不同的元素在对齐卷积核中的位置不同，如：假设将对齐卷积核的宽和高所在的平面定义为xoy平面，则对齐卷积核中的每个元素均可由坐标(x，y)确定，其中，o为原点。对齐卷积核的元素为后续处理中对像素点进行对齐处理的卷积核，每个元素的尺寸为1*1*ck2。
接着例4继续举例(例5)，第五特征图像的尺寸为25*25*128，通过304的处理得到的对齐卷积核的尺寸为25*25*128*k*k，即25*25*128k2。对齐卷积核包含25*25个元素，每个元素包含128个像素点，且不同的元素在第对齐卷积核中的位置不同。每个元素的尺寸为1*1*128*k2。
由于第四层为卷积层，而卷积层的卷积核越大，带来的数据处理量就越大。可选地，图7中的第四层是一个通道数为128、卷积核大小为1*1的卷积层。通过卷积核大小为1*1的卷积层调整第五特征图像的通道数，可减小数据处理量，提高处理速度。
505、通过卷积处理将所述对齐卷积核的通道数调整至第二预设值，得到第六特征图像。
由于504中通过卷积处理(即图7中的第四层)调整了第五特征图像的通道数，因此在对对齐卷积核进行卷积处理得到去模糊卷积核之前，需要将对齐卷积核的通道数调整至第二预设值(即第五特征图像的通道数)。
在一种可能实现的方式中，通过卷积处理将对齐卷积核的通道数调整至第二预设值，得到第六特征图像。可选地，该卷积处理可通过一个通道数为128、卷积核大小为1*1的卷积层实现。
506、对所述第四特征图像和所述第六特征图像在通道维度上进行叠加处理，得到第七特征图像。
502～504更侧重于提取待处理图像中第N-1帧图像的像素点与第N帧图像的像素点之间的运动信息。由于后续处理需要提取出待处理图像中第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，因此在进行后续处理之前，通过将第四特征图像与第六特征图像进行融合，以在特征图像中增加第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息。
在一种可能实现的方式中，对第四特征图像和第六特征图像进行融合处理(concatenate)，即将第四特征图像和第六特征图像在通道维度上进行叠加处理，得到第七特征图像。
507、对所述第七特征图像进行卷积处理，以提取所述第N-1帧去模糊后的图像的像素点相对于所述第N-1帧图像的像素点的去模糊信息，得到所述去模糊卷积核。
第七特征图像中包含已提取出的第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，而通过对七特征图像进行卷积处理，可进一步提取出第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，得到去模糊卷积核，该过程包括以下步骤：
对第七特征图像进行卷积处理，得到第八特征图像；
通过卷积处理将第八特征图像的通道数调整至第一预设值，得到去模糊卷积核。
在一些可能实现的方式中，如图8所示，将第七特征图像输入至图8所示的模块，第七特征图像依次经过1个通道数为128的卷积层(卷积核大小为3*3)、两个通道数为64的残差块(每个残差块包含两个卷积层，卷积层的卷积核的大小为3*3)的处理，实现对第七特征图像的卷积处理，提取第七特征图像中的第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，得到第八特征图像。
图8所示的模块对第七特征图像的处理过程可参见图7所示的模块对第五特征图像的处理过程，此处将不再赘述。
需要理解的是，图7所示的模块(用于生成对齐卷积核)和图8所示的模块(用于生成去模糊卷积核)相比，图7所示模块比图8所示模块多一个卷积层(即图7所示模块的第四层)，其余组成虽然相同，但两者的的权重并不一样，这也直接决定了两者的用途是不一样的。
可选地，图7所示的模块和图8所示的模块的权重可通过对图7和图8所示的模块进行训练获得。
需要理解的是，507得到的去模糊卷积核为包含第七特征图像中每个像素点的去模糊卷积核，且每个像素点的卷积核的尺寸为1*1*ck2。
接着例5继续举例(例6)，第七特征图像的尺寸为25*25*128*k*k，也就是说，第七特征图像中包含25*25个像素点，相应地，得到的去模糊卷积核(尺寸为25*25*128k2)中包含25*25个去模糊卷积核(即每个像素点对应一个去模糊卷积核，且每个像素点的去模糊卷积核的尺寸为1*1*128k2)。
通过将第七特征图像中每个像素点的3个维度的信息合成为一个维度的信息，将第七特征图像中的每个像素点的信息合成为一个卷积核，即每个像素点的去模糊卷积核。
本实施例通过对待处理图像的特征图像进行卷积处理，提取出第N-1帧图像的像素点与第N帧图像的像素点之间的运动信息，得到每个像素点的对齐卷积核。再通过对第七特征图像进行卷积处理，提取出第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，得到每个像素点的去模糊卷积核。以便于后续通过对齐卷积核以及去模糊卷积核对第N帧图像进行去模糊处理。
实施例(三)详细阐述了如何得到去模糊卷积核以及对齐卷积核，实施例(四)将详细阐述如何通过去模糊卷积核以及对齐卷积核去除第N帧图像中的模糊，并得到第N帧去模糊后的图像。
请参阅图9，图9是本申请实施例(四)提供的另一种视频图像处理方法的流程示意图。
901、通过去模糊卷积核对第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像。
上述第N帧图像的特征图像可通过对第N帧图像进行特征提取处理得到，其中，特征提取处理可以是卷积处理，也可以是池化处理，本申请对此不做限定。
在一种可能实现的方式中，可通过图6所示的编码模块对第N帧图像进行特征提取处理，得到第N帧图像的特征图像。其中，图6的具体组成，以及图6对第N帧图像的处理过程可参见502，此处将不再赘述。
通过图6所示的编码模块对第N帧图像进行特征提取处理，得到的第N帧图像的特征图像的尺寸比第N帧图像的尺寸小，且第N帧图像的特征图像包含第N帧图像的信息(在本申请中，此处的信息可理解为第N帧图像中模糊区域的信息)，因此后续对第N帧图像的特征图像进行处理可减小数据处理量，提高处理速度。
如上所述，对待处理图像中的每个像素点进行卷积处理，分别得到每个像素点的去模糊卷积核，通过去模糊卷积核对第N帧图像的特征图像的像素点进行卷积处理指：将实施例(三)得到的去模糊卷积核中每个像素点的去模糊卷积核分别作为第N帧图像的特征图像中对应的像素点的卷积核，对第N帧图像的特征图像的每个像素点进行卷积处理。
如507所述，去模糊卷积核中的每个像素点的去模糊卷积核包含了第七特征图像中每个像素点的信息，且该信息在去模糊卷积核中是一维信息。而第N帧图像的特征图像的像素点是三维，因此，为将第七特征图像中每个像素点的信息分别作为第N帧图像的特征图像中每个像素点的卷积核进行卷积处理，需要调整去模糊卷积核的维度。基于上述考虑，901的实现过程包括以下步骤：
调整去模糊卷积核的维度，使去模糊卷积核的通道数与第N帧图像的特征图像的通道数相同；
通过调整维度后的去模糊卷积核对第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像。
请参见图10，通过图10所示模块(自适应卷积处理模块)可将实施例(三)得到的去模糊卷积核中每个像素点的去模糊卷积核作为第N帧图像的特征图像中对应的像素点的卷积核，并对该像素点进行卷积处理。
图10中的调整维度(reshape)指对去模糊卷积核中每个像素点的去模糊卷积核的维度，即将每个像素点的去模糊核的维度由1*1*ck2调整为c*k*k。
接着例6继续举例(例7)，每个像素点的去模糊卷积核的尺寸为1*1*128k2，对每个像素点的去模糊卷积核进行reshape后，得到的卷积核的尺寸为128*k*k。
通过reshape得到第N帧图像的特征图像的每个像素点的去模糊卷积核，并通过每个像素点的去模糊卷积核分别对每个像素点进行卷积处理，以去除第N帧图像的特征图像的每个像素点的模糊，最终得到第一特征图像。
902、通过所述对齐卷积核对所述第N-1帧去模糊后的图像的特征图像的像素点进行卷积处理，得到第二特征图像。
与901通过图10所示的模块实现将实施例(三)得到的去模糊卷积核作为第N帧图像的特征图像每个像素点的去模糊核，对第N帧图像的特征图像进行去模糊处理相同，通过图10所示的模块中的reshape将实施例(三)得到的对齐卷积核中每个像素点的对齐卷积核的维度调整为128*k*k，并通过调整维度后的对齐卷积核对第N-1帧去模糊后的图像的特征图像中对应的像素点进行卷积处理。实现以当前帧为基准，对第N-1帧去模糊后的图像的特征图像进行对齐处理，即根据每个像素点的对齐核中包含的运动信息，分别调整第N-1帧去模糊后的图像的特征图像中每个像素点的位置，得到第二特征图像。
第N-1帧去模糊后的图像的特征图像中包含大量清晰(即不存在模糊)的像素点，但第N-1帧去模糊后的图像的特征图像中的像素点与当前帧的像素点之间存在位移。因此，通过902的处理调整第N-1帧去模糊后的图像的特征图像的像素点的位置，使调整位置后的像素点更接近于第N帧时刻的位置(此处的位置指被拍摄对象在第N帧图像中的位置)。这样，后续处理就可利用第二特征图像的信息去除第N帧图像中的模糊。
需要理解的是，901与902之间并无先后顺序，即可以先执行901，再执行902，也可以先执行902，再执行901，还可以同时执行901和902。进一步地，在通过504得到对齐卷积核之后，可以先执行901，再执行505～507，也可以先执行505～507，再执行901或902。本申请实施例对此不作限定。
903、对所述第一特征图像和所述第二特征图像进行融合处理，得到第三特征图像。
通过将第一特征图像与第二特征图像进行融合处理，可在基于第N-1帧图像的像素点与第N帧图像的像素点之间的运动信息以及第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息去模糊的基础上，利用(对齐后的)第N-1帧图像的特征图像的信息提升去模糊的效果。
在一种可能实现的方式中，对第一特征图像和第二特征图像在通道维度上进行叠加处理(concatenate)，得到第三特征图像。
904、对所述第三特征图像进行解码处理，得到所述第N帧去模糊后的图像。
本申请实施例中，解码处理可以是解卷积处理、反卷积处理、双线性插值处理、反池化处理中的任意一种，也可以是解卷积处理、反卷积处理、双线性插值处理、反池化处理中的任意一种与卷积处理的结合，本申请对此不作限定。
在一种可能实现的方式中，请参见图11，图11所示为解码模块，依次包括一个通道数为64的解卷积层(卷积核的大小为3*3)、两个通道数为64的残差块(每个残差块包含两个卷积层，卷积层的卷积核的大小为3*3)，一个通道数为32的解卷积层(卷积核的大小为3*3)、两个通道数为32的残差块(每个残差块包含两个卷积层，卷积层的卷积核的大小为3*3)。通过图11所示的解码模块对第三特征图像进行解码处理，得到第N帧去模糊后的图像包括以下步骤：
对第三特征图像进行解卷积处理，得到第九特征图像；
对第九特征图像进行卷积处理，得到第N帧解码处理后的图像。
可选地，在得到第N帧解码处理后的图像后，还可将第N帧图像的第一像素点的像素值与第N帧解码处理后的图像的第二像素点的像素值相加，得到第N帧去模糊后的图像，其中，第一像素点在第N帧图像中的位置与第二像素点在第N帧解码处理后的图像中的位置相同。使第N帧去模糊后的图像更自然。
通过本实施例可通过实施例(三)得到的去模糊卷积核对第N帧图像的特征图像进行去模糊处理，以及通过实施例(三)得到的对齐卷积核对第N-1帧图像的特征图像进行对齐处理。通过对去模糊处理得到的第一特征图像和对齐处理得到的第二特征图像融合后得到的第三特征图像进行解码处理，可提升对第N帧图像的去模糊效果，使第N帧去模糊后的图像更自然。且本实施例的去模糊处理和对齐处理均的作用对象均是特征图像，因此，数据处理量小，处理速度快，可实现对视频图像的实时去模糊。
本申请还提供了一种视频图像去模糊神经网络，用于实现实施例(一)至实施例(四)中的方法。
请参阅图12，图12是本申请实施例(五)提供的一种视频图像去模糊神经网络的结构示意图。
如图12所示，视频图像去模糊神经网络包括：特征提取模块、去模糊卷积核以及对齐卷积核生成模块、解码模块。其中，图12中的特征提取模块与图6所示的编码模块相同，图12中的解码模块与图11所示的解码模块相同，此处将不再赘述。
请参见图13，图13所示的对齐卷积核以及去模糊卷积核生成模块包括：编码模块、对齐卷积核生成模块、去模糊卷积核生成模块，且对齐卷积核生成模块与去模糊卷积核生成模块之间包含一个通道数为128、卷积核的大小为1*1的卷积层，该卷积层后连接一个融合(concatenate)层。
需要指出的是，图12所示的自适应卷积层即为图10所示的模块。图13所示模块生成的对齐卷积核和去模糊卷积核通过自适应卷积层分别对第N-1帧图像的特征图像的像素点以及第N帧图像的特征图像的像素点进行卷积处理(即对齐处理和去模糊处理)，得到第N-1帧图像的特征图像对齐后的特征图像以及第N帧图像的特征图像去模糊后的特征图像。
通过concatenate将上述对齐后的特征图像和去模糊后的特征图像在通道维度上进行串联，得到第N帧融合后的特征图像，并将第N帧融合后的特征图像输入至解码模块，以及作为视频图像去模糊神经网络对第N+1帧图像进行处理的输入。
通过解码模块对第N帧融合后的特征图像的解码处理，得到第N帧解码处理后的图像，并将第N帧图像的第一像素点的像素值与第N帧解码处理后的图像的第二像素点的像素值相加，得到第N帧去模糊后的图像，其中，第一像素点在第N帧图像中的位置与第二像素点在第N帧解码处理后的图像中的位置相同。并将第N帧图像以及第N帧去模糊后的图像作为视频图像去模糊神经网络对第N+1帧图像进行处理的输入。
从上述过程中不难看出，视频图像去模糊神经网络对视频中的每一帧图像进行去模糊处理需要4个输入，以去模糊对象为第N帧图像为例，这4个输入分别为：第N-1帧图像、第N-1帧去模糊后的图像、第N帧图像以及第N-1帧去模糊后的图像的特征图像(即上述第N帧融合后的特征图像)。
通过本实施例提供的视频图像去模糊神经网络可对视频图像进行去模糊处理，且整个处理过程只需4个输入，即可直接得到去模糊后的图像，处理速度快。通过去模糊卷积核生成模块和对齐卷积核生成模块为图像中的每个像素点生成一个去模糊卷积核以及对齐卷积核，可提高视频图像去模糊神经网络对视频中不同帧的非均匀模糊图像的去模糊效果。
基于实施例(五)提供的视频图像去模糊神经网络，本申请实施例(六)提供了一种视频图像去模糊神经网络的训练方法。
本实施例根据均方误差损失函数确定视频图像去模糊神经网络输出的第N帧去模糊后的图像与第N帧图像的清晰图像(即第N帧图像的监督数据(ground truth))之间的误差。均方差损失函数的具体表达式如下：
其中，C，H，W分别是第N帧图像(假设视频图像去模糊神经网络对第N帧图像进行去模糊处理)通道数、高、宽，R是视频图像去模糊神经网络输入的第N帧去模糊后的图像，S是第N帧图像的监督数据。
并通过感知损失函数(perceptual loss function)确定VGG-19网络输出的第N帧去模糊后的图像的特征与第N帧图像的监督数据的特征之间的欧氏距离。感知损失函数的具体表达式如下：
其中，Φj(·)为预先训练好的VGG-19网络中第j层输出的特征图像，分别为该特征图像的通道数、高、宽，R是视频图像去模糊神经网络输入的第N帧去模糊后的图像，S是第N帧图像的监督数据(ground truth)。
最后，本实施例通过对公式(1)以及公式(2)进行加权求和，得到视频图像去模糊神经网络的损失函数，具体表达式如下：
其中，λ为权重，λ为自然数。
可选地，上述j的取值为15，λ的取值为0.01。
基于本实施例提供的损失函数，可完成对实施例(五)提供的视频图像去模糊神经网络的训练。
根据实施例(一)至实施例(四)提供的视频图像处理方法，以及实施例(五)提供的一种视频图像去模糊神经网络，本申请实施例(七)提供了几种可能实现应用场景。
将实施例(一)至实施例(四)提供的视频图像处理方法，或实施例(五)提供的一种视频图像去模糊神经网络应用于无人机中，可实时去除无人机拍摄到的视频图像的模糊，为用户提供更清晰的视频。同时，无人机的飞行控制系统基于去模糊后的视频图像进行处理，控制无人机的姿态和运动，可提高控制精度，为无人机完成各种空中作业提供有力的支持。
还可将实施例(一)至实施例(四)提供的视频图像处理方法，或实施例(五)提供的一种视频图像去模糊神经网络应用于移动终端(如：手机、运动相机等等)，用户通过终端对运动剧烈的对象进行视频采集，终端通过运行本申请实施例提供的方法，可对用户拍摄的视频进行实时处理，减小因被拍摄对象的剧烈运动产生的模糊，提高用户体验。其中，被拍摄对象的剧烈运动指终端与被拍摄对象之间的相对运动。
本申请实施例提供的视频图像处理方法处理速度快，实时性好。实施例(五)提供的神经网络的权重少，运行该神经网络所需的处理资源少，因此，可应用于移动终端。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
请参阅图14，图14为本申请实施例提供的一种视频图像处理装置的结构示意图，该装置1包括：获取单元11、第一处理单元12以及第二处理单元13，其中：
获取单元11，用于获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像，所述N为正整数；
第一处理单元12，用于基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核；
第二处理单元13，用于通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。
在一种可能实现的方式中，所述第一处理单元12包括：第一卷积处理子单元121，用于对待处理图像的像素点进行卷积处理，得到去模糊卷积核，其中，所述待处理图像由所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像在通道维度上进行叠加得到。
在另一种可能实现的方式中，所述第一卷积处理子121单元具体用于：对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核，其中，所述运动信息包括速度和方向；以及对所述对齐卷积核进行编码处理，得到所述去模糊卷积核。
在又一种可能实现的方式中，所述第二处理单元13包括：第二卷积处理子单元131，用于通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像；解码处理子单元132，用于对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像。
在又一种可能实现的方式中，所述第二卷积处理子单元131具体用于：调整所述去模糊卷积核的维度，使所述去模糊卷积核的通道数与所述第N帧图像的特征图像的通道数相同；以及通过调整维度后的所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到所述第一特征图像。
在又一种可能实现的方式中，所述第一卷积处理子单元121具体还用于：在所述对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核之后，通过所述对齐卷积核对所述第N-1帧图像的特征图像的像素点进行卷积处理，得到第二特征图像。
在又一种可能实现的方式中，所述第一卷积处理子单元121具体还用于：调整所述对齐卷积核的维度，使所述对齐卷积核的通道数与所述第N-1帧图像的特征图像的通道数相同；以及通过调整维度后的所述对齐卷积核对所述第N-1帧去模糊后的图像的特征图像的像素点进行卷积处理，得到所述第二特征图像。
在又一种可能实现的方式中，所述第二处理单元13具体用于：对所述第一特征图像和所述第二特征图像进行融合处理，得到第三特征图像；以及对所述第三特征图像进行解码处理，得到所述第N帧去模糊后的图像。
在又一种可能实现的方式中，所述第一卷积处理子单元121具体还用于：对所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像在通道维度上进行叠加处理，得到所述待处理图像；以及对所述待处理图像进行编码处理，得到第四特征图像；以及对所述第四特征图像进行卷积处理，得到第五特征图像；以及通过卷积处理将所述第五特征图像的通道数调整至第一预设值，得到所述对齐卷积核。
在又一种可能实现的方式中，所述第一卷积处理子单元121具体还用于：通过卷积处理将所述对齐卷积核的通道数调整至所述第二预设值，得到第六特征图像；以及对所述第四特征图像和所述第六特征图像进行融合处理，得到第七特征图像；以及对所述第七特征图像进行卷积处理，以提取所述第N-1帧去模糊后的图像的像素点相对于所述第N-1帧图像的像素点的去模糊信息，得到所述去模糊卷积核。
在又一种可能实现的方式中，所述第一卷积处理子单元121具体还用于：对所述第七特征图像进行卷积处理，得到第八特征图像；以及通过卷积处理将所述第八特征图像的通道数调整至所述第一预设值，得到所述去模糊卷积核。
在又一种可能实现的方式中，所述第二处理单元13具体还用于：对所述第三特征图像进行解卷积处理，得到第九特征图像；以及对所述第九特征图像进行卷积处理，得到第N帧解码处理后的图像；以及将所述第N帧图像的第一像素点的像素值与所述第N帧解码处理后的图像的第二像素点的像素值相加，得到所述第N帧去模糊后的图像，其中，所述第一像素点在所述第N帧图像中的位置与所述第二像素点在所述第N帧解码处理后的图像中的位置相同。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的单元可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
图15为本申请实施例提供的一种视频图像处理装置的硬件结构示意图。该视频图像处理装置2包括处理器21，存储器22，摄像头23。该处理器21、存储器22和摄像头23通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器21是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。
存储器22可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
摄像头23，可用于获取相关视频或图像等等。
可理解，本申请实施例中，存储器不仅可用于存储相关指令，还可用于存储相关图像以及视频，如该存储器可用于存储通过摄像头23获取的视频，又或者该存储器还可用于存储通过处理器21而生成的去模糊后的图像等等，本申请实施例对于该存储器中具体所存储的视频或图像不作限定。
可以理解的是，图15仅仅示出了视频图像处理装置的简化设计。在实际应用中，视频图像处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的…装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种视频图像处理方法，其特征在于，包括：
获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像，所述N为正整数；
基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核；
通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核，包括：
对待处理图像的像素点进行卷积处理，得到去模糊卷积核，其中，所述待处理图像由所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像在通道维度上进行叠加得到。
3.根据权利要求2所述的方法，其特征在于，所述对待处理图像的像素点进行卷积处理，得到去模糊卷积核，包括：
对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核，其中，所述运动信息包括速度和方向；
对所述对齐卷积核进行编码处理，得到所述去模糊卷积核。
4.根据权利要求2或3所述的方法，其特征在于，所述通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像，包括：
通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像；
对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像。
5.根据权利要求4所述的方法，其特征在于，所述通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像，包括：
调整所述去模糊卷积核的维度，使所述去模糊卷积核的通道数与所述第N帧图像的特征图像的通道数相同；
通过调整维度后的所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到所述第一特征图像。
6.根据权利要求3所述的方法，其特征在于，所述对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核之后，还包括：
通过所述对齐卷积核对所述第N-1帧图像的特征图像的像素点进行卷积处理，得到第二特征图像。
7.一种视频图像处理装置，其特征在于，包括：
获取单元，用于获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像，所述N为正整数；
第一处理单元，用于基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核；
第二处理单元，用于通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。
8.一种处理器，其特征在于，所述处理器用于执行如权利要求1至6任意一项所述的方法。
9.一种电子设备，其特征在于，包括：处理器、输入装置、输出装置和存储器，所述处理器、输入装置、输出装置和存储器相互连接，所述存储器中存储有程序指令；所述程序指令被所述处理器执行时，使所述处理器执行如权利要求1至6任一项权利要求所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行权利要求1至6任意一项所述的方法。
CN201910325282.5A 2019-04-22 2019-04-22 视频图像处理方法及装置 Active CN110062164B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN202111217908.4A CN113992848A (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置
CN202111217907.XA CN113992847A (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置
CN201910325282.5A CN110062164B (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置
SG11202108197SA SG11202108197SA (en) 2019-04-22 2019-10-29 Video image processing method and apparatus
KR1020217009399A KR20210048544A (ko) 2019-04-22 2019-10-29 비디오 이미지 처리 방법 및 장치
PCT/CN2019/114139 WO2020215644A1 (zh) 2019-04-22 2019-10-29 视频图像处理方法及装置
JP2021520271A JP7123256B2 (ja) 2019-04-22 2019-10-29 ビデオ画像処理方法及び装置
TW108145856A TWI759668B (zh) 2019-04-22 2019-12-13 視頻圖像處理方法、電子設備和電腦可讀儲存介質
US17/384,910 US20210352212A1 (en) 2019-04-22 2021-07-26 Video image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910325282.5A CN110062164B (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202111217907.XA Division CN113992847A (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置
CN202111217908.4A Division CN113992848A (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN110062164A true CN110062164A (zh) 2019-07-26
CN110062164B CN110062164B (zh) 2021-10-26

Family

ID=67319990

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910325282.5A Active CN110062164B (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置
CN202111217908.4A Withdrawn CN113992848A (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置
CN202111217907.XA Withdrawn CN113992847A (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202111217908.4A Withdrawn CN113992848A (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置
CN202111217907.XA Withdrawn CN113992847A (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置

Country Status (7)

Country Link
US (1) US20210352212A1 (zh)
JP (1) JP7123256B2 (zh)
KR (1) KR20210048544A (zh)
CN (3) CN110062164B (zh)
SG (1) SG11202108197SA (zh)
TW (1) TWI759668B (zh)
WO (1) WO2020215644A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241985A (zh) * 2020-01-08 2020-06-05 腾讯科技（深圳）有限公司 一种视频内容识别方法、装置、存储介质、以及电子设备
WO2020215644A1 (zh) * 2019-04-22 2020-10-29 深圳市商汤科技有限公司 视频图像处理方法及装置
CN112200732A (zh) * 2020-04-30 2021-01-08 南京理工大学 一种清晰特征融合的视频去模糊方法
CN112465698A (zh) * 2019-09-06 2021-03-09 华为技术有限公司 一种图像处理方法和装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7403673B2 (ja) 2021-04-07 2023-12-22 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド モデルトレーニング方法、歩行者再識別方法、装置および電子機器
US20230034727A1 (en) * 2021-07-29 2023-02-02 Rakuten Group, Inc. Blur-robust image segmentation
CN116362976A (zh) * 2021-12-22 2023-06-30 北京字跳网络技术有限公司 一种模糊视频修复方法及装置
CN116132798B (zh) * 2023-02-02 2023-06-30 深圳市泰迅数码有限公司 一种智能摄像头的自动跟拍方法
CN116128769B (zh) * 2023-04-18 2023-06-23 聊城市金邦机械设备有限公司 摇摆运动机构的轨迹视觉记录系统

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187308A1 (en) * 2005-02-23 2006-08-24 Lim Suk H Method for deblurring an image
CN101742123A (zh) * 2008-11-19 2010-06-16 三星电子株式会社 图像处理设备和方法
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
CN102158730A (zh) * 2011-05-26 2011-08-17 威盛电子股份有限公司 影像处理系统及方法
CN102576454A (zh) * 2009-10-16 2012-07-11 伊斯曼柯达公司 利用空间图像先验的图像去模糊法
US20120195520A1 (en) * 2010-08-05 2012-08-02 Yasunori Ishii Image restoration apparatus and image restoration method
CN103049891A (zh) * 2013-01-25 2013-04-17 西安电子科技大学 基于自适应窗口选择的视频图像去模糊方法
CN103310430A (zh) * 2012-03-13 2013-09-18 三星电子株式会社 对非均匀运动模糊进行去模糊的方法和设备
CN104103050A (zh) * 2014-08-07 2014-10-15 重庆大学 一种基于局部策略的真实视频复原方法
CN104135598A (zh) * 2014-07-09 2014-11-05 清华大学深圳研究生院 一种视频图像稳定方法及装置
CN104932868A (zh) * 2014-03-17 2015-09-23 联想(北京)有限公司 一种数据处理方法及电子设备
CN105405099A (zh) * 2015-10-30 2016-03-16 北京理工大学 一种基于点扩散函数的水下图像超分辨率重建方法
CN106033595A (zh) * 2015-03-13 2016-10-19 中国科学院西安光学精密机械研究所 一种基于局部约束的图像盲去模糊方法
CN106251297A (zh) * 2016-07-19 2016-12-21 四川大学 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法
CN106791273A (zh) * 2016-12-07 2017-05-31 重庆大学 一种结合帧间信息的视频盲复原方法
CN107944416A (zh) * 2017-12-06 2018-04-20 成都睿码科技有限责任公司 一种通过视频进行真人验证的方法
CN108256629A (zh) * 2018-01-17 2018-07-06 厦门大学 基于卷积网络和自编码的eeg信号无监督特征学习方法
CN108629743A (zh) * 2018-04-04 2018-10-09 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN108830221A (zh) * 2018-06-15 2018-11-16 北京市商汤科技开发有限公司 图像的目标对象分割及训练方法和装置、设备、介质、产品
CN108846861A (zh) * 2018-06-12 2018-11-20 广州视源电子科技股份有限公司 图像单应矩阵计算方法、装置、移动终端及存储介质
CN108875486A (zh) * 2017-09-28 2018-11-23 北京旷视科技有限公司 目标对象识别方法、装置、系统和计算机可读介质
CN109410130A (zh) * 2018-09-28 2019-03-01 华为技术有限公司 图像处理方法和图像处理装置
CN109472837A (zh) * 2018-10-24 2019-03-15 西安电子科技大学 基于条件生成对抗网络的光电图像转换方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2153407A1 (en) * 2007-05-02 2010-02-17 Agency for Science, Technology and Research Motion compensated image averaging
KR20100090961A (ko) * 2009-02-09 2010-08-18 삼성전자주식회사 가변 부호화 어퍼쳐 장치를 이용하는 이미징 방법 및 이를 적용하는 이미징 장치
US8620100B2 (en) * 2009-02-13 2013-12-31 National University Corporation Shizuoka University Motion blur device, method and program
US8379120B2 (en) * 2009-11-04 2013-02-19 Eastman Kodak Company Image deblurring using a combined differential image
US8860824B2 (en) * 2010-08-06 2014-10-14 Honeywell International Inc. Motion blur modeling for image formation
US9392173B2 (en) * 2013-12-13 2016-07-12 Adobe Systems Incorporated Image deblurring based on light streaks
CN105957036B (zh) * 2016-05-06 2018-07-10 电子科技大学 一种加强字符先验的视频去运动模糊方法
CN107273894A (zh) * 2017-06-15 2017-10-20 珠海习悦信息技术有限公司 车牌的识别方法、装置、存储介质及处理器
CN108875900B (zh) * 2017-11-02 2022-05-24 北京旷视科技有限公司 视频图像处理方法和装置、神经网络训练方法、存储介质
CN108109121A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的人脸模糊快速消除方法
CN109345449B (zh) * 2018-07-17 2020-11-10 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109360171B (zh) * 2018-10-26 2021-08-06 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN110062164B (zh) * 2019-04-22 2021-10-26 深圳市商汤科技有限公司 视频图像处理方法及装置

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187308A1 (en) * 2005-02-23 2006-08-24 Lim Suk H Method for deblurring an image
CN101742123A (zh) * 2008-11-19 2010-06-16 三星电子株式会社 图像处理设备和方法
CN102576454A (zh) * 2009-10-16 2012-07-11 伊斯曼柯达公司 利用空间图像先验的图像去模糊法
US20120195520A1 (en) * 2010-08-05 2012-08-02 Yasunori Ishii Image restoration apparatus and image restoration method
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
CN102158730A (zh) * 2011-05-26 2011-08-17 威盛电子股份有限公司 影像处理系统及方法
CN103310430A (zh) * 2012-03-13 2013-09-18 三星电子株式会社 对非均匀运动模糊进行去模糊的方法和设备
CN103049891A (zh) * 2013-01-25 2013-04-17 西安电子科技大学 基于自适应窗口选择的视频图像去模糊方法
CN104932868A (zh) * 2014-03-17 2015-09-23 联想(北京)有限公司 一种数据处理方法及电子设备
CN104135598A (zh) * 2014-07-09 2014-11-05 清华大学深圳研究生院 一种视频图像稳定方法及装置
CN104103050A (zh) * 2014-08-07 2014-10-15 重庆大学 一种基于局部策略的真实视频复原方法
CN106033595A (zh) * 2015-03-13 2016-10-19 中国科学院西安光学精密机械研究所 一种基于局部约束的图像盲去模糊方法
CN105405099A (zh) * 2015-10-30 2016-03-16 北京理工大学 一种基于点扩散函数的水下图像超分辨率重建方法
CN106251297A (zh) * 2016-07-19 2016-12-21 四川大学 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法
CN106791273A (zh) * 2016-12-07 2017-05-31 重庆大学 一种结合帧间信息的视频盲复原方法
CN108875486A (zh) * 2017-09-28 2018-11-23 北京旷视科技有限公司 目标对象识别方法、装置、系统和计算机可读介质
CN107944416A (zh) * 2017-12-06 2018-04-20 成都睿码科技有限责任公司 一种通过视频进行真人验证的方法
CN108256629A (zh) * 2018-01-17 2018-07-06 厦门大学 基于卷积网络和自编码的eeg信号无监督特征学习方法
CN108629743A (zh) * 2018-04-04 2018-10-09 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN108846861A (zh) * 2018-06-12 2018-11-20 广州视源电子科技股份有限公司 图像单应矩阵计算方法、装置、移动终端及存储介质
CN108830221A (zh) * 2018-06-15 2018-11-16 北京市商汤科技开发有限公司 图像的目标对象分割及训练方法和装置、设备、介质、产品
CN109410130A (zh) * 2018-09-28 2019-03-01 华为技术有限公司 图像处理方法和图像处理装置
CN109472837A (zh) * 2018-10-24 2019-03-15 西安电子科技大学 基于条件生成对抗网络的光电图像转换方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215644A1 (zh) * 2019-04-22 2020-10-29 深圳市商汤科技有限公司 视频图像处理方法及装置
CN112465698A (zh) * 2019-09-06 2021-03-09 华为技术有限公司 一种图像处理方法和装置
WO2021042957A1 (zh) * 2019-09-06 2021-03-11 华为技术有限公司 一种图像处理方法和装置
CN111241985A (zh) * 2020-01-08 2020-06-05 腾讯科技（深圳）有限公司 一种视频内容识别方法、装置、存储介质、以及电子设备
CN111241985B (zh) * 2020-01-08 2022-09-09 腾讯科技（深圳）有限公司 一种视频内容识别方法、装置、存储介质、以及电子设备
CN112200732A (zh) * 2020-04-30 2021-01-08 南京理工大学 一种清晰特征融合的视频去模糊方法
CN112200732B (zh) * 2020-04-30 2022-10-21 南京理工大学 一种清晰特征融合的视频去模糊方法

Also Published As

Publication number Publication date
CN113992848A (zh) 2022-01-28
SG11202108197SA (en) 2021-08-30
CN110062164B (zh) 2021-10-26
TWI759668B (zh) 2022-04-01
JP7123256B2 (ja) 2022-08-22
WO2020215644A1 (zh) 2020-10-29
US20210352212A1 (en) 2021-11-11
KR20210048544A (ko) 2021-05-03
CN113992847A (zh) 2022-01-28
TW202040986A (zh) 2020-11-01
JP2021528795A (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
CN110062164A (zh) 视频图像处理方法及装置
Yang et al. Seeing deeply and bidirectionally: A deep learning approach for single image reflection removal
CN108701359A (zh) 跨越具有对应深度图的视频帧跟踪兴趣区域
Yu et al. Towards efficient and scale-robust ultra-high-definition image demoiréing
CN112233038A (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN109360156A (zh) 基于生成对抗网络的图像分块的单张图像去雨方法
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN108604369A (zh) 一种去除图像噪声的方法、装置、设备及卷积神经网络
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN108875900A (zh) 视频图像处理方法和装置、神经网络训练方法、存储介质
CN110223236B (zh) 用于增强图像序列的方法
CN111951195A (zh) 图像增强方法及装置
CN112991231B (zh) 单图像超分与感知图像增强联合任务学习系统
CN113065645A (zh) 孪生注意力网络、图像处理方法和装置
CN113949808A (zh) 视频生成方法、装置、可读介质及电子设备
CN110022430A (zh) 图像虚化方法、装置、移动终端及计算机可读存储介质
CN109949234A (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
CN110378250A (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN110121719A (zh) 用于深度学习的装置、方法和计算机程序产品
CN107133981B (zh) 图像处理方法和装置
CN110166759A (zh) 图像的处理方法和装置、存储介质、电子装置
CN113284055A (zh) 一种图像处理的方法以及装置
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN114973424A (zh) 特征提取模型训练、手部动作识别方法、装置及电子设备
CN110414593A (zh) 图像处理方法及装置、处理器、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40008362

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant