CN109190520A - 一种超分辨率重建人脸图像方法及装置 - Google Patents

一种超分辨率重建人脸图像方法及装置 Download PDF

Info

Publication number
CN109190520A
CN109190520A CN201810936440.6A CN201810936440A CN109190520A CN 109190520 A CN109190520 A CN 109190520A CN 201810936440 A CN201810936440 A CN 201810936440A CN 109190520 A CN109190520 A CN 109190520A
Authority
CN
China
Prior art keywords
image
super
resolution
sovereignty
face region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810936440.6A
Other languages
English (en)
Inventor
邹超洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201810936440.6A priority Critical patent/CN109190520A/zh
Publication of CN109190520A publication Critical patent/CN109190520A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution

Abstract

本发明实施例涉及一种超分辨率重建人脸图像的方法及装置，其中方法包括：对当前帧图像进行人脸检测，获取当前帧图像中主权重人脸所在区域的尺寸和当前帧图像的主权重人脸区域图像，其中，当前帧图像中主权重人脸所在区域的尺寸作为目标尺寸，当前帧图像的主权重人脸区域图像作为参考图像；根据参考图像，对多帧图像分别进行预处理，获取多帧图像的主权重人脸区域图像，其中，多帧图像中每帧图像的主权重人脸区域图像的尺寸与所述目标尺寸相同；将预处理后获取的多帧图像的主权重人脸区域图像，输入到超分辨率重建网络模型，获取超分辨率重建后的主权重人脸区域图像。本发明实施例提出的方法及装置能增强人脸特写区域画质，提升视频拍摄的质量。

Description

一种超分辨率重建人脸图像方法及装置
技术领域
本发明属于图像处理技术领域，具体涉及一种超分辨率重建人脸图像的方法及装置。
背景技术
现有的视频拍摄中，一般都是对拍摄的图像整体的质量进行优化或增强。由于观看者在观看拍摄的图像时，总是习惯性地将视线集中在图像中的人脸上，特别是集中在图像中占据较大比例的人脸上。如果采用前述对拍摄的图像进行整体优化或增强的处理方式，虽然可以在一定程度上提高拍摄图像的画质，但并未重点增强观看者视线集中部分的画质，导致占用大量的处理资源的同时，还未真正达到满足观看者需求的目的。
发明内容
为了解决所述未重点增强观看者视线集中部分的画质的技术问题，本发明实施例提出了一种超分辨率重建人脸图像的方法及装置。
一种超分辨率重建人脸图像的方法，包括以下步骤：
对当前帧图像进行人脸检测，获取当前帧图像中主权重人脸所在区域的尺寸和当前帧图像的主权重人脸区域图像，其中，所述当前帧图像中主权重人脸所在区域的尺寸作为目标尺寸，所述当前帧图像的主权重人脸区域图像作为参考图像；
根据所述参考图像，对多帧图像分别进行预处理，获取多帧图像的主权重人脸区域图像，其中，多帧图像中每帧图像的主权重人脸区域图像的尺寸与所述目标尺寸相同；
将预处理后获取的多帧图像的主权重人脸区域图像，输入到超分辨率重建网络模型，获取超分辨率重建后的主权重人脸区域图像。
进一步地，所述方法还包括：将超分辨率重建后的主权重人脸区域图像填充到当前帧图像中主权重人脸所在区域。
进一步地，所述方法还包括：将填充后的当前帧图像替换原当前帧图像输出到显示端进行显示，并保存填充后的当前帧图像。
进一步地，所述对当前帧图像进行人脸检测，获取当前帧图像中主权重人脸所在区域的尺寸和当前帧图像的主权重人脸区域图像，包括：
对当前帧图像进行人脸检测，获取当前帧图像中所有人脸的坐标和尺寸；
根据获取的当前帧图像中所有人脸的坐标和尺寸，确定当前帧图像中的主权重人脸；
根据确定的主权重人脸的坐标和尺寸，获取主权重人脸所在区域的尺寸，其中，所述主权重人脸所在区域的尺寸作为目标尺寸；
根据所述主权重人脸所在区域的尺寸，获取主权重人脸区域图像，其中，所述主权重人脸区域图像作为参考图像。
进一步地，所述根据所述参考图像，对多帧图像分别进行预处理，获取多帧图像的主权重人脸区域图像，包括：
对多帧图像中的每帧图像进行人脸检测，获取每帧图像中主权重人脸所在区域的尺寸和主权重人脸区域图像；
对获取的每帧图像的主权重人脸区域图像采用光流网络，逐帧与所述参考图像对齐；
将对齐后的每帧图像的主权重人脸区域图像重采样到所述目标尺寸，获得多帧处理后的主权重人脸区域图像。
进一步地，所述超分辨率重建网络模型的建立方法包括：
制作用来训练超分辨率重建网络模型的超分辨率样本；
设计超分辨率重建网络模型；
根据超分辨率样本训练超分辨率重建网络模型。
进一步地，所述超分辨率样本包括高分辨率HR样本图像集和低分辨率LR样本图像集。
进一步地，所述制作超分辨率样本包括以下步骤：
制作超分辨率图像样本集；
设置标签图像块的尺寸；
按照预设的滑动步长，将超分辨率图像样本集中的每幅超分辨率图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像经裁剪后得到的所有图像块构成HR样本图像集；
对超分辨率图像样本集中的每幅超分辨率图像进行高斯滤波，并且下采样目标倍数，得到每幅超分辨率图像的LR图像，其中，所述目标倍数即是超分辨率重建网络模型的放大倍数；将所述预设的滑动步长除以所述目标倍数，得到结果步长；按照结果步长，将超分辨率图像样本集中每幅超分辨率图像的LR图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像的LR图像经裁剪后得到的所有图像块构成LR样本图像集。
进一步地，所述超分辨率重建网络模型采用超分辨率卷积网络模型，超分辨率卷积网络模型用f(.)表示；
所述超分辨率卷积网络模型f(.)的特征包括：
超分辨率卷积网络模型f(.)的输入为连续多帧图像的人脸区域图像，并且采用光流网络实现多帧图像的人脸区域图像与参考图像的对齐；
超分辨率卷积网络模型f(.)的第一层为特征提取层，采用特征重标定卷积对所提取的特征进行加权处理；
超分辨率卷积网络模型f(.)在输出端采用与另一个或多个超分辨率卷积网络模型f(.)级联的方式。
进一步地，所述根据超分辨率样本训练超分辨率重建网络模型，包括以下步骤：
对所述HR样本图像集和LR样本图像集进行归一化处理，其中，经归一化处理后的LR样本图像集作为超分辨率卷积网络模型f(.)的输入，经归一化处理后的HR样本图像集作为超分辨率卷积网络模型f(.)的输出；
根据经归一化处理后的HR样本图像集和LR样本图像集，训练超分辨率卷积网络模型f(.)。
进一步地，超分辨率卷积网络模型f(.)对应的代价函数定义如下：
其中，y_HR表示HR样本图像集中的图像块,w和h分别表示该图像块的宽和高为；x_LR表示LR样本图像集中的图像。
进一步地，所述将预处理后获取的多帧图像的主权重人脸区域图像，输入到超分辨率重建网络模型，获取超分辨率重建后的主权重人脸区域图像，包括：将预处理后获取的多帧图像的主权重人脸区域图像串联成多通道图像，输入到训练后的超分辨率卷积网络模型f(.)，将超分辨率卷积网络模型f(.)输出的图像作为超分辨率重建后的主权重人脸区域图像。
一种超分辨率重建人脸图像的装置，包括：
第一获取模块：用于对当前帧图像进行人脸检测，获取当前帧图像中主权重人脸所在区域的尺寸和当前帧图像的主权重人脸区域图像，其中，所述当前帧图像中主权重人脸所在区域的尺寸作为目标尺寸，所述当前帧图像的主权重人脸区域图像作为参考图像；
第二获取模块：用于根据所述参考图像，对多帧图像分别进行预处理，获取多帧图像的主权重人脸区域图像，其中，多帧图像中每帧图像的主权重人脸区域图像的尺寸与所述目标尺寸相同；
第三获取模块：用于将预处理后获取的多帧图像的主权重人脸区域图像，输入到超分辨率重建网络模型，获取超分辨率重建后的主权重人脸区域图像。
进一步地，所述装置还包括填充模块，填充模块用于将超分辨率重建后的主权重人脸区域图像填充到当前帧图像中主权重人脸所在区域。
进一步地，所述装置还包括替换模块，替换模块用于将填充后的当前帧图像替换原当前帧图像输出到显示端进行显示，并保存填充后的当前帧图像。
进一步地，所述第一获取模块包括：
对当前帧图像进行人脸检测，获取当前帧图像中所有人脸的坐标和尺寸的模块；
根据获取的当前帧图像中所有人脸的坐标和尺寸，确定当前帧图像中的主权重人脸的模块；
根据确定的主权重人脸的坐标和尺寸，获取主权重人脸所在区域的尺寸的模块，其中，所述主权重人脸所在区域的尺寸作为目标尺寸；
根据所述主权重人脸所在区域的尺寸，获取主权重人脸区域图像的模块，其中，所述主权重人脸区域图像作为参考图像。
进一步地，所述第二获取模块包括：
对多帧图像中的每帧图像进行人脸检测，获取每帧图像中主权重人脸所在区域的尺寸和主权重人脸区域图像的模块；
对获取的每帧图像的主权重人脸区域图像采用光流网络，逐帧与所述参考图像对齐的模块；
将对齐后的每帧图像的主权重人脸区域图像重采样到所述目标尺寸，获得多帧处理后的主权重人脸区域图像的模块。
进一步地，所述第三获取模块中超分辨率重建网络模型的建立方法包括：
制作用来训练超分辨率重建网络模型的超分辨率样本；
设计超分辨率重建网络模型；
根据超分辨率样本训练超分辨率重建网络模型。
进一步地，所述超分辨率样本包括高分辨率HR样本图像集和低分辨率LR样本图像集。
进一步地，所述制作超分辨率样本包括以下步骤：
制作超分辨率图像样本集；
设置标签图像块的尺寸；
按照预设的滑动步长，将超分辨率图像样本集中的每幅超分辨率图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像经裁剪后得到的所有图像块构成HR样本图像集；
对超分辨率图像样本集中的每幅超分辨率图像进行高斯滤波，并且下采样目标倍数，得到每幅超分辨率图像的LR图像，其中，所述目标倍数即是超分辨率重建网络模型的放大倍数；将所述预设的滑动步长除以所述目标倍数，得到结果步长；按照结果步长，将超分辨率图像样本集中每幅超分辨率图像的LR图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像的LR图像经裁剪后得到的所有图像块构成LR样本图像集。
进一步地，所述超分辨率重建网络模型采用超分辨率卷积网络模型，超分辨率卷积网络模型用f(.)表示；
所述超分辨率卷积网络模型f(.)的特征包括：
超分辨率卷积网络模型f(.)的输入为连续多帧图像的人脸区域图像，并且采用光流网络实现多帧图像的人脸区域图像与参考图像的对齐；
超分辨率卷积网络模型f(.)的第一层为特征提取层，采用特征重标定卷积对所提取的特征进行加权处理；
超分辨率卷积网络模型f(.)在输出端采用与另一个或多个超分辨率卷积网络模型f(.)级联的方式。
进一步地，所述据超分辨率样本训练超分辨率重建网络模型，包括以下步骤：
对所述HR样本图像集和LR样本图像集进行归一化处理，其中，经归一化处理后的LR样本图像集作为超分辨率卷积网络模型f(.)的输入，经归一化处理后的HR样本图像集作为超分辨率卷积网络模型f(.)的输出；
根据经归一化处理后的HR样本图像集和LR样本图像集，训练超分辨率卷积网络模型f(.)。
进一步地，超分辨率卷积网络模型f(.)对应的代价函数定义如下：
其中，y_HR表示HR样本图像集中的图像块,w和h分别表示该图像块的宽和高为；x_LR表示LR样本图像集中的图像。
进一步地，所述第三获取模块将预处理后获取的多帧图像的主权重人脸区域图像串联成多通道图像，输入到经所述训练后的超分辨率卷积网络模型f(.)，将超分辨率卷积网络模型f(.)输出的图像作为超分辨率重建后的主权重人脸区域图像。
本发明的有益效果：本发明实施例提出的超分辨率重建人脸图像的方法及装置，能够增强人脸特写区域画质，提升视频拍摄的质量。本发明实施例提出超分辨率重建人脸图像的方法及装置可以用于人脸特写视频录播系统。
附图说明
图1是本发明实施例提出的超分辨率重建人脸图像的方法的流程图；
图2是本发明实施例提出的超分辨率卷积网络模型的示例图；
图3是本发明实施例提出的超分辨率重建人脸图像的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。
本发明实施例提出的超分辨率重建人脸图像的方法，如图1所示，包括以下步骤：
步骤S11：对输入视频的当前帧图像进行人脸检测，获取当前帧图像中主权重人脸所在区域的尺寸和当前帧图像的主权重人脸区域图像，其中，所述当前帧图像中主权重人脸所在区域的尺寸作为目标尺寸，所述当前帧图像的主权重人脸区域图像作为参考图像；
步骤S12：根据所述参考图像，对输入视频的多帧图像分别进行预处理，获取多帧图像的主权重人脸区域图像，其中，每帧图像的主权重人脸区域图像的尺寸与所述目标尺寸相同；
步骤S13：将预处理后获取的多帧图像的主权重人脸区域图像串联成多通道图像，输入到超分辨率重建网络模型，获取超分辨率重建后的主权重人脸区域图像；
步骤S14：将超分辨率重建后的主权重人脸区域图像填充到当前帧图像中主权重人脸所在区域。
所述方法还包括步骤S15：将填充后的当前帧图像替换原当前帧图像输出到显示端进行显示，并保存填充后的当前帧图像。
进一步地，所述步骤S11中，可以从视频源获取输入视频。
所述视频源可以为摄像机。
所述超分辨率重建人脸图像的方法可以用在视频录制中。
进一步地，所述步骤S11包括：
步骤S111：对输入视频的当前帧图像进行人脸检测，获取当前帧图像中所有人脸的坐标和尺寸；
步骤S112：根据获取的当前帧图像中所有人脸的坐标和尺寸，确定当前帧图像中的主权重人脸；
步骤S113：根据确定的主权重人脸的坐标和尺寸，获取主权重人脸所在区域的尺寸，其中，所述主权重人脸所在区域的尺寸作为目标尺寸；
步骤S114：根据所述主权重人脸所在区域的尺寸，获取主权重人脸区域图像，其中，所述主权重人脸区域图像作为参考图像。
进一步地，所述步骤S12包括：
步骤S121：对输入视频的多帧图像中的每帧图像进行人脸检测，获取每帧图像中主权重人脸所在区域的尺寸和主权重人脸区域图像；
步骤S122：对获取的每帧图像的主权重人脸区域图像采用光流网络，逐帧与所述参考图像对齐；
步骤S123：将对齐后的每帧图像的主权重人脸区域图像重采样到所述目标尺寸，获得多帧处理后的主权重人脸区域图像。
优选地，所述多帧图像为连续的多帧图像。
所述多帧图像为两帧图像或三帧图像。
进一步地，所述步骤S13中超分辨率重建网络模型的建立方法包括：
步骤S131：制作用来训练超分辨率重建网络模型的超分辨率样本；
步骤S132：设计超分辨率重建网络模型；
步骤S133：根据超分辨率样本训练超分辨率重建网络模型。
其中步骤S131和步骤S132的执行顺序可根据需要选择，例如，步骤S131和步骤S132可以同时进行，也可以按顺序先后进行。
进一步地，所述步骤S131中的所述超分辨率样本包括HR(High Resolution，高分辨率)样本图像集和LR(Low Resolution，低分辨率)样本图像集。
所述步骤S131中制作超分辨率样本包括以下步骤：
步骤S1311：制作超分辨率图像样本集；
步骤S1312：设置标签图像块的尺寸；
步骤S1313：按照预设的滑动步长，将超分辨率图像样本集中的每幅超分辨率图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像经裁剪后得到的所有图像块构成HR样本图像集；
对超分辨率图像样本集中的每幅超分辨率图像进行高斯滤波，并且下采样目标倍数，得到每幅超分辨率图像的LR图像，其中，所述目标倍数即是超分辨率重建网络模型的放大倍数；将所述预设的滑动步长除以所述目标倍数，得到结果步长；按照结果步长，将超分辨率图像样本集中每幅超分辨率图像的LR图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像的LR图像经裁剪后得到的所有图像块构成LR样本图像集。
进一步地，所述步骤S132中，所述超分辨率重建网络模型可以采用超分辨率卷积网络模型，超分辨率卷积网络模型用f(.)表示。
所述超分辨率卷积网络模型f(.)的特征包括：
A、超分辨率卷积网络模型f(.)的输入为连续多帧图像的人脸区域图像，并且采用光流网络实现多帧图像的人脸区域图像与参考图像的对齐；
B、超分辨率卷积网络模型f(.)的第一层为特征提取层，采用特征重标定卷积对所提取的特征进行加权处理；
C、超分辨率卷积网络模型f(.)在输出端采用与另一个或多个超分辨率卷积网络模型f(.)级联的方式，对超分辨率重建后的结果图像进行进一步优化，提升超分辨率重建效果。
图2给出了所述超分辨率卷积网络模型的示例性描述。如图2所示，所述超分辨率卷积网络模型包括Srnet网络(即超分辨率卷积网络)和RefineNet网络(即精细化网络)。其中，Srnet网络包括：
A、多帧输入层：多帧输入图像串联作为网络的输入，多帧输入层对多帧输入通过光流进行对齐；
B、特征提取卷积层：对多帧输入层的所述多帧输入图像，进行特征提取卷积处理；
C、特征标定层：对特征提取卷积层输出的特征，通过一个特征重标定网络进行特征图排序；
D、特征映射卷积层：特征标定层输出的特征重标定后的特征图，输入到特征映射卷积层进行特征映射；
E、特征重建层：特征映射卷积层输出的结果特征图，输入到特征重建层经过反卷积进行特征重建。
RefineNet网络包括：
A、精细化特征提取卷积层：低分辨率(LR)尺度特征图与高分辨率(HR)的缩小图串联，输入精细化特征提取卷积层，得到精细化特征提取的特征图；
B、精细化特征重建层：精细化特征提取的特征图通过重采样卷积放大到HR尺度，并与Srnet网络的输出图进行串联，输入精细化特征重建层，得到经过超分辨率卷积网络模型处理后的高分辨率图像。
进一步地，所述步骤S133根据超分辨率样本训练超分辨率重建网络模型，包括以下步骤：
步骤S1331：对所述HR样本图像集和LR样本图像集进行归一化处理，使经归一化处理后的HR样本图像集和LR样本图像集分别满足超分辨率卷积网络模型f(.)的输入和输出要求，其中，经归一化处理后的LR样本图像集作为超分辨率卷积网络模型f(.)的输入，经归一化处理后的HR样本图像集作为超分辨率卷积网络模型f(.)的输出；
步骤S1332：根据经归一化处理后的HR样本图像集和LR样本图像集，训练超分辨率卷积网络模型f(.)。
其中，假设HR样本图像集中的图像块为y_HR,该图像块的宽和高为w和h；LR样本图像集中的图像为x_LR，超分辨率卷积网络模型f(.)对应的代价函数可以定义如下：
进一步地，所述步骤S13中所述将预处理后获取的多帧图像的主权重人脸区域图像串联成多通道图像，输入到超分辨率重建网络模型，获取超分辨率重建后的主权重人脸区域图像，包括：将预处理后获取的多帧图像的主权重人脸区域图像串联成多通道图像，输入到经所述步骤S133训练后的超分辨率卷积网络模型f(.)，将超分辨率卷积网络模型f(.)输出的图像作为超分辨率重建后的主权重人脸区域图像。
本发明实施例还提出了一种超分辨率重建人脸图像的装置，如图3所示，包括：
第一获取模块：用于对输入视频的当前帧图像进行人脸检测，获取当前帧图像中主权重人脸所在区域的尺寸和当前帧图像的主权重人脸区域图像，其中，所述当前帧图像中主权重人脸所在区域的尺寸作为目标尺寸，所述当前帧图像的主权重人脸区域图像作为参考图像；
第二获取模块：用于根据所述参考图像，对输入视频的多帧图像分别进行预处理，获取多帧图像的主权重人脸区域图像，其中，每帧图像的主权重人脸区域图像的尺寸与所述目标尺寸相同；
第三获取模块：用于将预处理后获取的多帧图像的主权重人脸区域图像串联成多通道图像，输入到超分辨率重建网络模型，获取超分辨率重建后的主权重人脸区域图像；
填充模块：用于将超分辨率重建后的主权重人脸区域图像填充到当前帧图像中主权重人脸所在区域。
所述装置还可以包括替换模块，替换模块用于将填充后的当前帧图像替换原当前帧图像输出到显示端进行显示，并保存填充后的当前帧图像。
进一步地，所述第一获取模块可以从视频源获取输入视频。
所述视频源可以为摄像机。
所述超分辨率重建人脸图像的装置可以用在视频录制系统中。
进一步地，所述第一获取模块包括：
对输入视频的当前帧图像进行人脸检测，获取当前帧图像中所有人脸的坐标和尺寸的模块；
根据获取的当前帧图像中所有人脸的坐标和尺寸，确定当前帧图像中的主权重人脸的模块；
根据确定的主权重人脸的坐标和尺寸，获取主权重人脸所在区域的尺寸的模块，其中，所述主权重人脸所在区域的尺寸作为目标尺寸；
根据所述主权重人脸所在区域的尺寸，获取主权重人脸区域图像的模块，其中，所述主权重人脸区域图像作为参考图像。
进一步地，所述第二获取模块包括：
对输入视频的多帧图像中的每帧图像进行人脸检测，获取每帧图像中主权重人脸所在区域的尺寸和主权重人脸区域图像的模块；
对获取的每帧图像的主权重人脸区域图像采用光流网络，逐帧与所述参考图像对齐的模块；
将对齐后的每帧图像的主权重人脸区域图像重采样到所述目标尺寸，获得多帧处理后的主权重人脸区域图像的模块。
优选地，所述多帧图像为连续的多帧图像。
所述多帧图像为两帧图像或三帧图像。
进一步地，所述第三获取模块中超分辨率重建网络模型的建立方法包括：
制作用来训练超分辨率重建网络模型的超分辨率样本；
设计超分辨率重建网络模型；
根据超分辨率样本训练超分辨率重建网络模型。
进一步地，所述超分辨率样本包括HR(High Resolution，高分辨率)样本图像集和LR(Low Resolution，低分辨率)样本图像集。
所述制作超分辨率样本的方法包括以下步骤：
制作超分辨率图像样本集；
设置标签图像块的尺寸；
按照预设的滑动步长，将超分辨率图像样本集中的每幅超分辨率图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像经裁剪后得到的所有图像块构成HR样本图像集；
对超分辨率图像样本集中的每幅超分辨率图像进行高斯滤波，并且下采样目标倍数，得到每幅超分辨率图像的LR图像，其中，所述目标倍数即是超分辨率重建网络模型的放大倍数；将所述预设的滑动步长除以所述目标倍数，得到结果步长；按照结果步长，将超分辨率图像样本集中每幅超分辨率图像的LR图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像的LR图像经裁剪后得到的所有图像块构成LR样本图像集。
进一步地，所述超分辨率重建网络模型可以采用超分辨率卷积网络模型，超分辨率卷积网络模型用f(.)表示。
所述超分辨率卷积网络模型f(.)的特征包括：
A、超分辨率卷积网络模型f(.)的输入为连续多帧图像的人脸区域图像，并且采用光流网络实现多帧图像的人脸区域图像与参考图像的对齐；
B、超分辨率卷积网络模型f(.)的第一层为特征提取层，采用特征重标定卷积对所提取的特征进行加权处理；
C、超分辨率卷积网络模型f(.)在输出端采用与另一个或多个超分辨率卷积网络模型f(.)级联的方式，对超分辨率重建后的结果图像进行进一步优化，提升超分辨率重建效果。
图2给出了所述超分辨率卷积网络模型的示例性描述。如图2所示，所述超分辨率卷积网络模型包括Srnet网络(即超分辨率卷积网络)和RefineNet网络(即精细化网络)。其中，Srnet网络包括：
A、多帧输入层：多帧输入图像串联作为网络的输入，多帧输入层对多帧输入通过光流进行对齐；
B、特征提取卷积层：对多帧输入层的所述多帧输入图像，进行特征提取卷积处理；
C、特征标定层：对特征提取卷积层输出的特征，通过一个特征重标定网络进行特征图排序；
D、特征映射卷积层：特征标定层输出的特征重标定后的特征图，输入到特征映射卷积层进行特征映射；
E、特征重建层：特征映射卷积层输出的结果特征图，输入到特征重建层经过反卷积进行特征重建。
RefineNet网络包括：
C、精细化特征提取卷积层：低分辨率(LR)尺度特征图与高分辨率(HR)的缩小图串联，输入精细化特征提取卷积层，得到精细化特征提取的特征图；
D、精细化特征重建层：精细化特征提取的特征图通过重采样卷积放大到HR尺度，并与Srnet网络的输出图进行串联，输入精细化特征重建层，得到经过超分辨率卷积网络模型处理后的高分辨率图像。
进一步地，所述据超分辨率样本训练超分辨率重建网络模型，包括以下步骤：
对所述HR样本图像集和LR样本图像集进行归一化处理，使经归一化处理后的HR样本图像集和LR样本图像集分别满足超分辨率卷积网络模型f(.)的输入和输出要求，其中，经归一化处理后的LR样本图像集作为超分辨率卷积网络模型f(.)的输入，经归一化处理后的HR样本图像集作为超分辨率卷积网络模型f(.)的输出；
根据经归一化处理后的HR样本图像集和LR样本图像集，训练超分辨率卷积网络模型f(.)。
其中，假设HR样本图像集中的图像块为y_HR,该图像块的宽和高为w和h；LR样本图像集中的图像为x_LR，超分辨率卷积网络模型f(.)对应的代价函数可以定义如下：
进一步地，所述第三获取模块将预处理后获取的多帧图像的主权重人脸区域图像串联成多通道图像，输入到经所述训练后的超分辨率卷积网络模型f(.)，将超分辨率卷积网络模型f(.)输出的图像作为超分辨率重建后的主权重人脸区域图像。
本发明实施例还提出一种计算机可读存储介质，存储有执行前述方法的计算机程序。
本发明实施例还提出一种计算机设备，包括处理器和操作上与所述处理器连接的所述计算机可读存储介质，所述处理器运行执行计算机可读介质中的计算机程序。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在所述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上，对本发明的实施方式进行了说明。但是，本发明不限定于所述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (24)

1.一种超分辨率重建人脸图像的方法，其特征在于，包括以下步骤：
对当前帧图像进行人脸检测，获取当前帧图像中主权重人脸所在区域的尺寸和当前帧图像的主权重人脸区域图像，其中，所述当前帧图像中主权重人脸所在区域的尺寸作为目标尺寸，所述当前帧图像的主权重人脸区域图像作为参考图像；
根据所述参考图像，对多帧图像分别进行预处理，获取多帧图像的主权重人脸区域图像，其中，多帧图像中每帧图像的主权重人脸区域图像的尺寸与所述目标尺寸相同；
将预处理后获取的多帧图像的主权重人脸区域图像，输入到超分辨率重建网络模型，获取超分辨率重建后的主权重人脸区域图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将超分辨率重建后的主权重人脸区域图像填充到当前帧图像中主权重人脸所在区域。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：将填充后的当前帧图像替换原当前帧图像输出到显示端进行显示，并保存填充后的当前帧图像。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述对当前帧图像进行人脸检测，获取当前帧图像中主权重人脸所在区域的尺寸和当前帧图像的主权重人脸区域图像，包括：
对当前帧图像进行人脸检测，获取当前帧图像中所有人脸的坐标和尺寸；
根据获取的当前帧图像中所有人脸的坐标和尺寸，确定当前帧图像中的主权重人脸；
根据确定的主权重人脸的坐标和尺寸，获取主权重人脸所在区域的尺寸，其中，所述主权重人脸所在区域的尺寸作为目标尺寸；
根据所述主权重人脸所在区域的尺寸，获取主权重人脸区域图像，其中，所述主权重人脸区域图像作为参考图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述参考图像，对多帧图像分别进行预处理，获取多帧图像的主权重人脸区域图像，包括：
对多帧图像中的每帧图像进行人脸检测，获取每帧图像中主权重人脸所在区域的尺寸和主权重人脸区域图像；
对获取的每帧图像的主权重人脸区域图像采用光流网络，逐帧与所述参考图像对齐；
将对齐后的每帧图像的主权重人脸区域图像重采样到所述目标尺寸，获得多帧处理后的主权重人脸区域图像。
6.根据权利要求5所述的方法，其特征在于，所述超分辨率重建网络模型的建立方法包括：
制作用来训练超分辨率重建网络模型的超分辨率样本；
设计超分辨率重建网络模型；
根据超分辨率样本训练超分辨率重建网络模型。
7.根据权利要求6所述的方法，其特征在于，所述超分辨率样本包括高分辨率HR样本图像集和低分辨率LR样本图像集。
8.根据权利要求7所述的方法，其特征在于，所述制作超分辨率样本包括以下步骤：
制作超分辨率图像样本集；
设置标签图像块的尺寸；
按照预设的滑动步长，将超分辨率图像样本集中的每幅超分辨率图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像经裁剪后得到的所有图像块构成HR样本图像集；
对超分辨率图像样本集中的每幅超分辨率图像进行高斯滤波，并且下采样目标倍数，得到每幅超分辨率图像的LR图像，其中，所述目标倍数即是超分辨率重建网络模型的放大倍数；将所述预设的滑动步长除以所述目标倍数，得到结果步长；按照结果步长，将超分辨率图像样本集中每幅超分辨率图像的LR图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像的LR图像经裁剪后得到的所有图像块构成LR样本图像集。
9.根据权利要求8所述的方法，其特征在于，所述超分辨率重建网络模型采用超分辨率卷积网络模型，超分辨率卷积网络模型用f(.)表示；
所述超分辨率卷积网络模型f(.)的特征包括：
超分辨率卷积网络模型f(.)的输入为连续多帧图像的人脸区域图像，并且采用光流网络实现多帧图像的人脸区域图像与参考图像的对齐；
超分辨率卷积网络模型f(.)的第一层为特征提取层，采用特征重标定卷积对所提取的特征进行加权处理；
超分辨率卷积网络模型f(.)在输出端采用与另一个或多个超分辨率卷积网络模型f(.)级联的方式。
10.根据权利要求9所述的方法，其特征在于，所述根据超分辨率样本训练超分辨率重建网络模型，包括以下步骤：
对所述HR样本图像集和LR样本图像集进行归一化处理，其中，经归一化处理后的LR样本图像集作为超分辨率卷积网络模型f(.)的输入，经归一化处理后的HR样本图像集作为超分辨率卷积网络模型f(.)的输出；
根据经归一化处理后的HR样本图像集和LR样本图像集，训练超分辨率卷积网络模型f(.)。
11.根据权利要求10所述的方法，其特征在于，超分辨率卷积网络模型f(.)对应的代价函数定义如下：
其中，y_HR表示HR样本图像集中的图像块,w和h分别表示该图像块的宽和高为；x_LR表示LR样本图像集中的图像。
12.根据权利要求10所述的方法，其特征在于，所述将预处理后获取的多帧图像的主权重人脸区域图像，输入到超分辨率重建网络模型，获取超分辨率重建后的主权重人脸区域图像，包括：将预处理后获取的多帧图像的主权重人脸区域图像串联成多通道图像，输入到训练后的超分辨率卷积网络模型f(.)，将超分辨率卷积网络模型f(.)输出的图像作为超分辨率重建后的主权重人脸区域图像。
13.一种超分辨率重建人脸图像的装置，其特征在于，包括：
第一获取模块：用于对当前帧图像进行人脸检测，获取当前帧图像中主权重人脸所在区域的尺寸和当前帧图像的主权重人脸区域图像，其中，所述当前帧图像中主权重人脸所在区域的尺寸作为目标尺寸，所述当前帧图像的主权重人脸区域图像作为参考图像；
第二获取模块：用于根据所述参考图像，对多帧图像分别进行预处理，获取多帧图像的主权重人脸区域图像，其中，多帧图像中每帧图像的主权重人脸区域图像的尺寸与所述目标尺寸相同；
第三获取模块：用于将预处理后获取的多帧图像的主权重人脸区域图像，输入到超分辨率重建网络模型，获取超分辨率重建后的主权重人脸区域图像。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括填充模块，填充模块用于将超分辨率重建后的主权重人脸区域图像填充到当前帧图像中主权重人脸所在区域。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括替换模块，替换模块用于将填充后的当前帧图像替换原当前帧图像输出到显示端进行显示，并保存填充后的当前帧图像。
16.根据权利要求13至15中任一项所述的装置，其特征在于，所述第一获取模块包括：
对当前帧图像进行人脸检测，获取当前帧图像中所有人脸的坐标和尺寸的模块；
根据获取的当前帧图像中所有人脸的坐标和尺寸，确定当前帧图像中的主权重人脸的模块；
根据确定的主权重人脸的坐标和尺寸，获取主权重人脸所在区域的尺寸的模块，其中，所述主权重人脸所在区域的尺寸作为目标尺寸；
根据所述主权重人脸所在区域的尺寸，获取主权重人脸区域图像的模块，其中，所述主权重人脸区域图像作为参考图像。
17.根据权利要求16所述的装置，其特征在于，所述第二获取模块包括：
对多帧图像中的每帧图像进行人脸检测，获取每帧图像中主权重人脸所在区域的尺寸和主权重人脸区域图像的模块；
对获取的每帧图像的主权重人脸区域图像采用光流网络，逐帧与所述参考图像对齐的模块；
将对齐后的每帧图像的主权重人脸区域图像重采样到所述目标尺寸，获得多帧处理后的主权重人脸区域图像的模块。
18.根据权利要求17所述的装置，其特征在于，所述第三获取模块中超分辨率重建网络模型的建立方法包括：
制作用来训练超分辨率重建网络模型的超分辨率样本；
设计超分辨率重建网络模型；
根据超分辨率样本训练超分辨率重建网络模型。
19.根据权利要求18所述的装置，其特征在于，所述超分辨率样本包括高分辨率HR样本图像集和低分辨率LR样本图像集。
20.根据权利要求19所述的装置，其特征在于，所述制作超分辨率样本包括以下步骤：
制作超分辨率图像样本集；
设置标签图像块的尺寸；
按照预设的滑动步长，将超分辨率图像样本集中的每幅超分辨率图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像经裁剪后得到的所有图像块构成HR样本图像集；
对超分辨率图像样本集中的每幅超分辨率图像进行高斯滤波，并且下采样目标倍数，得到每幅超分辨率图像的LR图像，其中，所述目标倍数即是超分辨率重建网络模型的放大倍数；将所述预设的滑动步长除以所述目标倍数，得到结果步长；按照结果步长，将超分辨率图像样本集中每幅超分辨率图像的LR图像裁剪成多个图像块，每个图像块的尺寸与设置的标签图像块的尺寸相同，超分辨率图像样本集中所有超分辨率图像的LR图像经裁剪后得到的所有图像块构成LR样本图像集。
21.根据权利要求20所述的装置，其特征在于，所述超分辨率重建网络模型采用超分辨率卷积网络模型，超分辨率卷积网络模型用f(.)表示；
所述超分辨率卷积网络模型f(.)的特征包括：
超分辨率卷积网络模型f(.)的输入为连续多帧图像的人脸区域图像，并且采用光流网络实现多帧图像的人脸区域图像与参考图像的对齐；
超分辨率卷积网络模型f(.)的第一层为特征提取层，采用特征重标定卷积对所提取的特征进行加权处理；
超分辨率卷积网络模型f(.)在输出端采用与另一个或多个超分辨率卷积网络模型f(.)级联的方式。
22.根据权利要求21所述的装置，其特征在于，所述据超分辨率样本训练超分辨率重建网络模型，包括以下步骤：
对所述HR样本图像集和LR样本图像集进行归一化处理，其中，经归一化处理后的LR样本图像集作为超分辨率卷积网络模型f(.)的输入，经归一化处理后的HR样本图像集作为超分辨率卷积网络模型f(.)的输出；
根据经归一化处理后的HR样本图像集和LR样本图像集，训练超分辨率卷积网络模型f(.)。
23.根据权利要求22所述的装置，其特征在于，超分辨率卷积网络模型f(.)对应的代价函数定义如下：
其中，y_HR表示HR样本图像集中的图像块,w和h分别表示该图像块的宽和高为；x_LR表示LR样本图像集中的图像。
24.根据权利要求22所述的装置，其特征在于，所述第三获取模块将预处理后获取的多帧图像的主权重人脸区域图像串联成多通道图像，输入到经所述训练后的超分辨率卷积网络模型f(.)，将超分辨率卷积网络模型f(.)输出的图像作为超分辨率重建后的主权重人脸区域图像。
CN201810936440.6A 2018-08-16 2018-08-16 一种超分辨率重建人脸图像方法及装置 Pending CN109190520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810936440.6A CN109190520A (zh) 2018-08-16 2018-08-16 一种超分辨率重建人脸图像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810936440.6A CN109190520A (zh) 2018-08-16 2018-08-16 一种超分辨率重建人脸图像方法及装置

Publications (1)

Publication Number Publication Date
CN109190520A true CN109190520A (zh) 2019-01-11

Family

ID=64918505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810936440.6A Pending CN109190520A (zh) 2018-08-16 2018-08-16 一种超分辨率重建人脸图像方法及装置

Country Status (1)

Country Link
CN (1) CN109190520A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949240A (zh) * 2019-03-11 2019-06-28 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN110278415A (zh) * 2019-07-02 2019-09-24 浙江大学 一种网络摄像机视频质量提升方法
CN111127345A (zh) * 2019-12-06 2020-05-08 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN111163265A (zh) * 2019-12-31 2020-05-15 成都旷视金智科技有限公司 图像处理方法、装置、移动终端及计算机存储介质
CN111242087A (zh) * 2020-01-21 2020-06-05 华为技术有限公司 物体识别方法及装置
CN111932462A (zh) * 2020-08-18 2020-11-13 Oppo（重庆）智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
CN112529825A (zh) * 2020-12-11 2021-03-19 平安科技（深圳）有限公司 人脸图像分辨率重建方法、装置、设备及存储介质
CN113011366A (zh) * 2021-03-31 2021-06-22 北京京东乾石科技有限公司 用于提高人脸识别精度的方法、装置、电子设备和介质
WO2021184207A1 (zh) * 2020-03-17 2021-09-23 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218603A (zh) * 2013-04-03 2013-07-24 哈尔滨工业大学深圳研究生院 一种人脸自动标注方法及系统
CN103514432A (zh) * 2012-06-25 2014-01-15 诺基亚公司 人脸特征提取方法、设备和计算机程序产品
CN106125932A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
US20170347110A1 (en) * 2015-02-19 2017-11-30 Magic Pony Technology Limited Online Training of Hierarchical Algorithms
CN107958246A (zh) * 2018-01-17 2018-04-24 深圳市唯特视科技有限公司 一种基于新型端到端人脸超分辨率网络的图像对齐方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514432A (zh) * 2012-06-25 2014-01-15 诺基亚公司 人脸特征提取方法、设备和计算机程序产品
CN103218603A (zh) * 2013-04-03 2013-07-24 哈尔滨工业大学深圳研究生院 一种人脸自动标注方法及系统
US20170347110A1 (en) * 2015-02-19 2017-11-30 Magic Pony Technology Limited Online Training of Hierarchical Algorithms
CN106125932A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
CN107958246A (zh) * 2018-01-17 2018-04-24 深圳市唯特视科技有限公司 一种基于新型端到端人脸超分辨率网络的图像对齐方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUOSHENG LIN等: "RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation", 《ARXIV:1611.06612》 *
JOSE CABALLERO等: "Real-time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation", 《ARXIV:1611.05250V2》 *
呼延康等: "图神经网络回归的人脸超分辨率重建", 《软件学报》 *
贾洁: "基于生成对抗网络的人脸超分辨率重建及识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949240A (zh) * 2019-03-11 2019-06-28 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN110278415A (zh) * 2019-07-02 2019-09-24 浙江大学 一种网络摄像机视频质量提升方法
CN110278415B (zh) * 2019-07-02 2020-04-28 浙江大学 一种网络摄像机视频质量提升方法
CN111127345A (zh) * 2019-12-06 2020-05-08 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN111127345B (zh) * 2019-12-06 2024-02-02 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN111163265A (zh) * 2019-12-31 2020-05-15 成都旷视金智科技有限公司 图像处理方法、装置、移动终端及计算机存储介质
CN111242087A (zh) * 2020-01-21 2020-06-05 华为技术有限公司 物体识别方法及装置
WO2021184207A1 (zh) * 2020-03-17 2021-09-23 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质
CN114128247A (zh) * 2020-03-17 2022-03-01 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质
CN111932462B (zh) * 2020-08-18 2023-01-03 Oppo（重庆）智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
CN111932462A (zh) * 2020-08-18 2020-11-13 Oppo（重庆）智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
CN112529825A (zh) * 2020-12-11 2021-03-19 平安科技（深圳）有限公司 人脸图像分辨率重建方法、装置、设备及存储介质
CN113011366A (zh) * 2021-03-31 2021-06-22 北京京东乾石科技有限公司 用于提高人脸识别精度的方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
CN109190520A (zh) 一种超分辨率重建人脸图像方法及装置
CN105654471B (zh) 应用于互联网视频直播的增强现实ar系统及方法
TWI451358B (zh) 香蕉編碼解碼器
CN111161356B (zh) 一种基于双层优化的红外和可见光融合方法
CN112543317B (zh) 高分辨率单目2d视频到双目3d视频的转制方法
WO2012086120A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
DE112017002119T5 (de) Augenkontaktkorrektur in Echtzeit unter Verwendung von auf neuronalen Netzwerken basierendem maschinellem Lernen
CN104469179A (zh) 一种将动态图片结合到手机视频中的方法
DE112013004778T5 (de) Kodierung von Bildern unter Verwendung eines 3D-Netzes von Polygonen und entsprechenden Strukturen
CN109716769A (zh) 在多媒体信息中提供面向对象的缩放的系统和方法
US9197877B2 (en) Smart pseudoscopic-to-orthoscopic conversion (SPOC) protocol for three-dimensional (3D) display
CN104010124A (zh) 一种显示滤镜效果的方法、装置和移动终端
CN107833186A (zh) 一种基于Encoder‑Decoder深度学习模型的单透镜空间变化图像复原方法
CN112770042B (zh) 图像处理方法及装置、计算机可读介质、无线通信终端
CN106713942A (zh) 视频处理方法和装置
CN102333234B (zh) 一种双目立体视频状态信息的监测方法及装置
US10127714B1 (en) Spherical three-dimensional video rendering for virtual reality
EP3830796A1 (de) Verfahren und datenverarbeitungssystem zur synthese von bildern
CN107833193A (zh) 一种基于refinement‑network深度学习模型的单透镜全局图像复原方法
CN111612722A (zh) 基于简化Unet全卷积神经网络的低照度图像处理方法
US8817013B2 (en) Method for processing a spatial image
US10650488B2 (en) Apparatus, method, and computer program code for producing composite image
DE112021003347T5 (de) Bildverarbeitungsvorrichtung, bildanzeigesystem, -verfahren und -programm
CN202721763U (zh) 一种全景视频采集装置
CN111818298A (zh) 一种基于光场的高清视频监控系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111