CN108648163A - 一种人脸图像的增强方法及计算设备 - Google Patents
一种人脸图像的增强方法及计算设备 Download PDFInfo
- Publication number
- CN108648163A CN108648163A CN201810474595.2A CN201810474595A CN108648163A CN 108648163 A CN108648163 A CN 108648163A CN 201810474595 A CN201810474595 A CN 201810474595A CN 108648163 A CN108648163 A CN 108648163A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- convolution
- facial image
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 121
- 230000001815 facial effect Effects 0.000 title claims abstract description 113
- 238000012549 training Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000005070 sampling Methods 0.000 claims abstract description 59
- 230000002708 enhancing effect Effects 0.000 claims abstract description 31
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 6
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000006837 decompression Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 15
- 230000002087 whitening effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000002874 Acne Vulgaris Diseases 0.000 description 2
- 229930003448 Vitamin K Natural products 0.000 description 2
- 206010000496 acne Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- SHUZOJHMOBOZST-UHFFFAOYSA-N phylloquinone Natural products CC(C)CCCCC(C)CCC(C)CCCC(=CCC1=C(C)C(=O)c2ccccc2C1=O)C SHUZOJHMOBOZST-UHFFFAOYSA-N 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 235000019168 vitamin K Nutrition 0.000 description 2
- 239000011712 vitamin K Substances 0.000 description 2
- 150000003721 vitamin K derivatives Chemical class 0.000 description 2
- 229940046010 vitamin k Drugs 0.000 description 2
- 241001396014 Priacanthus arenatus Species 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸图像的增强方法及相应的计算设备。人脸图像的增强方法通过训练好的图像增强模型进行增强图像画质的处理。其中，生成该图像增强模型的方法包括步骤：采集多帧人脸图像生成训练集合，其中每帧人脸图像作为一个训练图像；将训练集合中的训练图像输入预训练的图像增强模型，经至少一次卷积‑下采样处理和至少一次卷积‑上采样处理后生成与训练图像相同尺寸的输出图像；以及通过计算输出图像与目标图像的损失对该图像增强模型进行优化，直到满足预定条件，得到训练后的图像增强模型。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种人脸图像的增强方法及计算设备。
背景技术
图像增强技术是一种有目的地强调图像的整体或局部特性的图像处理技术。通过图像增强，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，以改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。
图像增强传统算法可以分为两大类，频率域增强方法和空间域增强方法。前者将图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。后者采用各种各样的滤波器对图像进行增强。与此同时，采用直方图、HDR、PCA、Laplacian、Wavelet等方法对图像的亮度、细节、颜色等进行增强的算法也得到了广泛的应用。总之，传统的图像增强算法是一种相对通用的算法，优点是有较强的通用性，缺点是有时需要人工调整相应参数，才能得到比较好的增强效果。
在日常对拍摄图片或视频进行处理的过程中，常需要对被拍摄的客体进行人像画质增强的处理，例如磨皮美颜、五官变形、去噪声、提亮等。因此，需要一种有效的人脸图像的增强方案。
发明内容
为此，本发明提供了一种人脸图像的增强方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面，提供了一种生成图像增强模型的方法，该图像增强模型适于增强图像画质，包括步骤：采集多帧人脸图像生成训练集合，其中每帧人脸图像作为一个训练图像；将训练集合中的训练图像输入预训练的图像增强模型，经至少一次卷积-下采样处理和至少一次卷积-上采样处理后生成与训练图像相同尺寸的输出图像；以及通过计算输出图像与目标图像的损失对该图像增强模型进行优化，直到满足预定条件，得到训练后的图像增强模型。
可选地，在根据本发明的生成方法中，目标图像为对应的输入该模型的训练图像。
可选地，在根据本发明的生成方法中，输出图像与目标图像的损失S通过如下损失函数计算：
式中，n表示训练集合中训练图像的个数，xi表示第i个训练图像，f(xi)为xi对应的输出图像，yi表示第i个目标图像。
可选地，在根据本发明的生成方法中，通过计算输出图像与目标图像的损失对该图像增强模型进行优化、直到满足预定条件的步骤包括：通过损失函数计算输出图像与目标图像的损失；通过算得的损失调整图像增强模型的参数来得到新图像增强模型；通过将训练集合中的训练图像输入新图像增强模型进行卷积处理来生成与训练图像相同尺寸的输出图像；依次重复执行第一数量次上述计算、调整、卷积处理步骤，得到训练后的图像增强模型。
可选地，在根据本发明的生成方法中，第一数量为50万。
可选地，在根据本发明的生成方法中，图像增强模型包括：依次连接的第二数量个卷积-下采样处理单元、第二数量个卷积-上采样处理单元和一个卷积处理单元，其中，卷积-下采样处理单元包含依次相连的两个卷积层和一个池化层，卷积-上采样处理单元包含依次相连的两个卷积层和一个上采样层，卷积处理单元包含依次相连的两个卷积层。
可选地，在根据本发明的生成方法中，在图像增强网络中，所有卷积层的卷积核大小为3×3，池化层的池化窗口大小为2×2，上采样层的采样窗口大小为2×2。
可选地，在根据本发明的生成方法中，第二数量为4。
可选地，在根据本发明的生成方法中，采集多帧人脸图像生成训练集合的步骤还包括：采集多帧包含目标图像特征的人脸图像；对采集的多帧人脸图像分别进行缩放处理以得到满足预定尺寸的多帧训练图像，生成训练集合。
可选地，在根据本发明的生成方法中，包含目标图像特征的人脸图像包括具有高图像质量的人脸图像。
可选地，在根据本发明的生成方法中，预定尺寸为512×512。
根据本发明的另一方面，提供了一种人脸图像的增强方法，该方法适于对人脸图像进行增强处理，以得到符合目标图像特征的人脸图像，方法包括步骤：选取测试图像中的人脸区域；对人脸区域进行缩放处理以生成人脸图像；以及通过图像增强模型对人脸图像进行至少一次卷积-下采样处理和至少一次卷积-上采样处理，生成增强图像，其中增强图像与该人脸图像具有相同尺寸，其中图像增强模型利用如上所述的方法来生成。
可选地，在根据本发明的增强方法中，通过图像增强模型对人脸图像进行至少一次卷积-下采样处理和至少一次卷积-上采样处理、生成增强图像的步骤包括：将人脸图像输入图像增强模型，经第二数量次卷积-下采样处理后，生成压缩的人脸图像；对压缩的人脸图像进行第二数量次卷积-上采样处理，生成解压的人脸图像；以及对解压的人脸图像进行卷积处理，生成增强图像。
可选地，在根据本发明的增强方法中，符合目标图像特征的人脸图像包括具有高图像质量的人脸图像。
可选地，在根据本发明的增强方法中，选取测试图像中的人脸区域的步骤包括：通过人脸检测算法检测出测试图像中的人脸区域；以及从测试图像中裁取出该人脸区域。
可选地，在根据本发明的增强方法中，人脸图像的尺寸为512×512。
根据本发明的另一方面，提供了一种计算设备，包括：一个或多个处理器；和存储器；一个或多个程序，其中一个或多个程序存储在该存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上所述生成方法中的任一方法的指令、和如上所述增强方法中的任一方法的指令。
根据本发明的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，该指令当计算设备执行时，使得计算设备执行如上所述生成方法中的任一方法、和如上所述增强方法中的任一方法的指令。
根据本发明的方案，通过采集具有目标图像特征的人脸图像(即，包含了去噪、自动磨皮、五官变形、美白等一系列效果的人脸图像)来生成训练集合，进而训练生成图像增强模型。然后，对于任一张用于测试的人脸图像，经该图像增强模型处理后，均可以生成符合目标图像特征的人脸图像，也就是说，通过该图像增强模型能够自适应地对测试图像进行调整，以得到人脸美化和画质提升的人脸图像。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的计算设备100的构造示意图；
图2示出了根据本发明一个实施例的生成图像增强模型的方法200的流程图；
图3示出了根据本发明一个实施例的图像增强模型300的构造示意图；以及
图4示出了根据本发明一个实施例的人脸图像的增强方法400的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置，处理器104可以是任何类型的处理器，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上利用程序数据124进行操作。在一些实施例中，计算设备100被配置为执行生成图像增强模型的方法200和/或人脸图像的增强方法400，程序数据124中就包含了用于执行上述方法的指令。
计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、图像输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中以编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。在一些实施例中，计算机可读介质中存储一个或多个程序，这一个或多个程序中包括执行某些方法的指令。
计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。
在日常对拍摄图像或视频进行处理的过程中，常需要对被拍摄的客体进行人像画质增强的处理，例如通过去噪处理来提高图像质量，得到高清图像。或者，对人脸图像进行磨皮美颜、五官变形、局部提亮等。这类处理效果通常需要设定好各类算法参数，如磨皮程度、美白程度、去噪程度等，并将所有的图像按预设的算法参数进行统一处理，然而，受被拍摄客体的多样性、拍摄光照环境等的影响，预设的算法参数很难适配所有的图像。
以对人脸图像进行磨皮处理(即，对皮肤区域进行平滑处理)为例，首先，预设表征磨皮程度的参数，然后检测图像中的人脸位置，再以传统的磨皮算法根据预设的参数对检测到的人脸进行磨皮处理。但有的人脸图像中被拍摄者的皮肤质量很好，有的人脸图像中被拍摄者的皮肤质量很差，对他们执行同样程度的磨皮处理，势必无法得到满意的磨皮效果。同时，人脸图像的画质增强不仅由磨皮决定，还会受噪声等各种影响，这些参数又相互关联，很难预设出一套通用参数来同时满足各种情况。
针对上述情况，根据本发明的实施方式提出了一种人脸图像的增强方法，通过训练生成一种图像增强模型，利用该图像增强模型实现对各类人脸图像的增强处理，以达到增强图像画质的目的。
首先，图2示出了根据本发明一个实施例的生成图像增强模型的方法200的流程图。以下将结合图2，详细阐述训练生成图像增强模型的方法200的实现步骤。
方法200始于步骤S210，采集多帧人脸图像生成训练集合，其中每帧人脸图像作为一个训练图像。
根据本发明的一种实施方式，先采集多帧包含目标图像特征的人脸图像，其中，目标图像特征为高分辨率或高图像质量，即，包含目标图像特征的人脸图像为具有高图像质量的人脸图像(如，经去噪处理后的人脸图像)。这样，根据本发明的方法200生成的图像增强模型就可以对任意低分辨率或有损失的图像进行增强处理，以得到高质量的图像。
当然，本发明的实施例不限于此。在根据本发明的另一种实施方式中，目标图像也可以是经各种“美化”处理后的图像，包含目标图像特征的人脸图像具体可以包括局部平滑后的人脸图像(如，磨皮后的人脸图像、祛斑祛痘后的人脸图像)、调整人脸五官后的人脸图像(如，放大眼睛、缩小鼻翼、或增强五官立体程度的人脸图像)、调整肤色后的人脸图像(如，美白的人脸图像、淡化黑眼圈的人脸图像)，除此之外，所采集的人脸图像还可以是瘦脸处理后的人脸图像、美白牙齿后的人脸图像、局部柔焦后的人脸图像等等。这样，根据本发明的方法200生成的图像增强模型就可以对任意的人脸图像进行增强处理，以得到美颜后的图像。
在另一些实施例中，也可以将上述两种方案相结合，采集大量的高画质的、“美化”后的人脸图像，以训练生成图像增强模型，来对任意的人脸图像进行增强处理，得到高画质的、精修的图像。
另外，在根据本发明的一些实施例中，采集大量不同年龄、不同肤质的人脸图像经上述各种处理后，最终得到高质量的人脸图像，以使得训练得到的图像增强模型具有很好的泛化能力。
需要说明的是，本发明的实施方式仅示例性的列举了符合现代审美标准的目标图像特征(如小脸、大眼、皮肤白皙等)，但本发明对此并不作限制。在实施根据本发明的画质增强方案时，取决于对人脸图像的期望增强效果，选取符合相应特征的图像生成训练集合，以训练生成符合期望效果的图像增强模型。
然后，对采集的多帧人脸图像分别进行缩放处理以得到满足预定尺寸的多帧训练图像，生成训练集合。在根据本发明的一个实施例中，预定尺寸为512×512。
当然，在根据本发明的实施例中，还可以通过人脸检测算法裁剪出上述包含目标图像特征的人脸图像中的人脸区域，再将人脸区域缩放到预定尺寸作为训练图像。人脸检测算法属于本领域技术人员已知的技术，故本发明的实施例对此不予赘述，任何已知的或未来可知的人脸检测算法均可以与本发明的实施例相结合，以实现本发明的方法。
随后在步骤S220中，将训练集合中的训练图像输入预训练的图像增强模型，经至少一次卷积-下采样处理和至少一次卷积-上采样处理后生成与训练图像相同尺寸的输出图像。也就是说，根据本发明实施例的图像增强模型是一个端到端的神经网络。
图3示出了根据本发明一个实施例的图像增强模型300的构造示意图。如图3所示，图像增强模型300至少包括：依次连接的第二数量个卷积-下采样处理单元310、第二数量个卷积-上采样处理单元320和一个卷积处理单元330。篇幅所限，图3仅示例性地示出了两个完整的卷积-下采样处理单元310和两个完整的卷积-上采样处理单元320，其它的卷积-下采样处理单元310和卷积-上采样处理单元320通过省略号来替代。本领域技术人员应当了解，根据本发明实施例的描述及图3所示，图像增强模型300中可以依次连接多个卷积-下采样处理单元310和多个卷积-上采样处理单元320，只要卷积-下采样处理单元310和卷积-上采样处理单元320的数量保持一致即可。在根据本发明的一个实施例中，第二数量取4，即，图像增强模型300中包括依次连接的4个卷积-下采样处理单元310和依次连接的4个卷积-上采样处理单元320。
如图3，在图像增强模型300中，每个卷积-下采样处理单元310中包含依次相连的两个卷积层和一个池化层，每个卷积-上采样处理单元320中包含依次相连的两个卷积层和一个上采样层，卷积处理单元330中包含依次相连的两个卷积层。当然，每个卷积层中还可以包含激活函数(如ReLu)，激活函数可以通过设置单独的激活层实现，也可以在构造层对象时通过传递activation参数实现，本发明的实施例对此不做限制。关于神经网络的基本构成属于本领域技术人员已知内容，此处不予赘述。在根据本发明的一个实施例中，池化层采用最大值池化的方式。在另一些说明中，池化层也被称作下采样层，其本质是一样的，且，在根据本发明的实施例中，卷积-下采样处理单元310中的池化层与卷积-上采样处理单元320中的上采样层相对应，采样窗口均采用2×2大小。
结合图3的描述可以看出，根据本发明的图像增强模型300是一个自编码器网络，输入为一帧512×512大小的图像，输出也是一帧512×512大小的图像。
随后在步骤S230中，通过计算输出图像与目标图像的损失对该图像增强模型300进行优化，直到满足预定条件，得到训练后的图像增强模型。在根据本发明的训练过程中，目标图像为对应的输入该模型的训练图像。
具体地，训练过程可以分为如下四个步骤。
第一步，根据损失函数计算输出图像与目标图像的损失。可选地，输出图像与目标图像的损失S通过如下损失函数计算：
上式中，n表示训练集合中训练图像的个数，xi表示第i个训练图像，f(xi)为xi对应的输出图像，yi表示第i个目标图像，在本发明的实施例中，yi＝xi。
第二步，通过第一步算得的损失调整图像增强模型的参数，来得到新图像增强模型。
第三步，通过将训练集合中的训练图像输入新图像增强模型再次进行卷积处理，来生成与训练图像相同尺寸的输出图像。
第四步，依次重复执行上述计算、调整、卷积处理步骤(即，重复执行“第一步→第二步→第三步”的过程)，当经第一步计算出的损失S最小时，达到预定条件，对应的图像增强模型就是训练后的图像增强模型。
在根据本发明的一个实施例中，训练该图像增强模型的约束条件是：重复执行第一数量次“第一步→第二步→第三步”的过程，或者是，重复迭代第一数量次“使用全部训练图像训练生成新图像增强模型”的过程，训练结束。可选地，第一数量取50万。根据本发明的实现方式，通过keras(keras是本领域技术人员已知的深度学习框架)生成该图像增强模型，训练过程中约束条件设置为：迭代执行50万个epoch(1个epoch表示使用训练集合中的全部训练图像训练一次图像增强模型)。也就是说，在迭代50万个epoch后，通过损失函数计算得到的损失最小，认为满足预定条件，训练结束。
根据本发明的实施方式生成的图像增强模型300中，所有卷积层的卷积核大小为3×3，池化层的池化窗口大小为2×2，上采样层的采样窗口大小为2×2。
至此，根据本发明实施方式的图像增强模型300就训练完成。根据该图像增强模型300，可以对输入的人脸图像进行画质增强处理。接下来，将进一步阐述如何利用图像增强模型300进行人脸图像的画质增强，以得到符合目标图像特征的人脸图像。如前文所述，符合目标图像特征的人脸图像包括高图像质量的人脸图像(如，经去噪处理后的人脸图像)。当然，还可以包括局部平滑后的人脸图像(如，磨皮后的人脸图像、祛斑祛痘后的人脸图像)、调整人脸五官后的人脸图像(如，放大眼睛、缩小鼻翼、或增强五官立体程度的人脸图像)、调整肤色后的人脸图像(如，美白的人脸图像、淡化黑眼圈的人脸图像)，除此之外，还可以包括瘦脸处理后的图像、美白牙齿后的人脸图像、局部柔焦后的人脸图像等等。一般地，目标图像特征包括以下特征中的一种或多种：高质量、人脸皮肤白皙光滑、五官立体、脸型和五官布局符合审美标准等。
图4示出了根据本发明实施例的人脸图像的增强方法400的流程示意图。方法400始于步骤S410，选取测试图像中的人脸区域。根据本发明的实施方式，针对测试图像，通过人脸检测算法检测出测试图像中的人脸区域，然后从测试图像中裁取出该人脸区域。在根据本发明的实施例中，可以通过任一种人脸检测算法检测出其中的人脸区域，简单来讲，人脸检测(Face detection)就是判断一帧图像中是否包含人脸区域，若包含人脸则返回人脸的大小、位置等信息。人脸检测算法有很多，此处不再展开描述。在本方案中，对人脸检测的具体算法不作限制，可以采用基于几何特征的方法、基于模板或者模型的方法，诸如模板匹配模型、肤色模型、ANN模型、SVM模型、Adaboost模型等等，任何人脸检测算法都可以与本方案的实施例相结合，以实现本发明的人脸图像的增强方案。
随后在步骤S420中，对截取出的人脸区域进行缩放处理以生成人脸图像。在根据本发明的实施例中，人脸图像的尺寸设为512×512。
随后在步骤S430中，通过方法200所生成的图像增强模型对人脸图像进行至少一次卷积-下采样处理和至少一次卷积-上采样处理，生成增强图像。关于图像增强模型300的具体结构可参考前文图3的相关描述，此处不再赘述。如前文所述，图像增强模型300是一个端到端的神经网络，故生成的增强图像与输入的人脸图像具有相同尺寸(即，512×512)。
在根据本发明的一个实施例中，第二数量为4，即，图像增强模型300包括依次相连的4个卷积-下采样处理单元310、4个卷积-上采样处理单元320和1个卷积处理单元330。将人脸图像输入该图像增强模型，经4个卷积-下采样处理单元310的卷积-下采样处理后，生成压缩的人脸图像。然后，该压缩的人脸图像再依次经过4个卷积-上采样处理单元320的卷积-上采样处理，生成解压的人脸图像。最后，将该解压的人脸图像输入卷积处理单元330，将其进行卷积处理，得到最终的增强图像。
根据本发明的方案，通过采集包含目标图像特征的人脸图像来生成训练集合，目标图像特征可以是高质量(或高分辨率)、自动磨皮、五官变形、美白等一系列效果中的一种或多种，进而训练生成图像增强模型。这样，对于任一张用于测试的人脸图像，经该图像增强模型处理后，均可以生成符合目标图像特征的人脸图像，即通过该图像增强模型能够自适应地对测试图像进行调整，以得到人脸美化和/或画质提升的人脸图像。相较于传统算法，根据本发明的方案不关注测试图像中被拍摄客体的人脸图像，也不用预先设定算法参数，就可以得到符合预期效果的增强图像。针对大多数的人脸“美化”场景，根据本发明的方案能够很好地满足不同用户的需求。
另外，只执行一次图像增强模型就可以实现所有的增强处理，一次性满足用户的各种需求，相较于传统的多种算法组合的方式，根据本发明的人脸图像增强方案的处理速度得到大幅提升。
应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明一并公开了：
A6、如A1-5中任一项所述的方法，其中，图像增强模型包括：依次连接的第二数量个卷积-下采样处理单元、第二数量个卷积-上采样处理单元和一个卷积处理单元，其中，卷积-下采样处理单元包含依次相连的两个卷积层和一个池化层，卷积-上采样处理单元包含依次相连的两个卷积层和一个上采样层，卷积处理单元包含依次相连的两个卷积层。
A7、如A6所述的方法，在图像增强网络中，所有卷积层的卷积核大小为3×3，池化层的池化窗口大小为2×2，上采样层的采样窗口大小为2×2。
A8、如A6所述的方法，其中，第二数量为4。
A9、如A1-8中任一项所述的方法，其中，采集多帧人脸图像生成训练集合的步骤还包括：采集多帧包含目标图像特征的人脸图像；对采集的多帧人脸图像分别进行缩放处理以得到满足预定尺寸的多帧训练图像，生成训练集合。
A10、如A9所述的方法，其中，包含目标图像特征的人脸图像包括具有高图像质量的人脸图像。
A11、如A10所述的方法，其中，预定尺寸为512×512。
B15、如B12-14中任一项所述的方法，其中，选取测试图像中的人脸区域的步骤包括：通过人脸检测算法检测出测试图像中的人脸区域；以及从测试图像中裁取出该人脸区域。
B16、如B12-15中任一项所述的方法，其中，人脸图像的尺寸为512×512。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明所述的方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (10)
1.一种生成图像增强模型的方法，所述图像增强模型适于增强图像画质，所述方法包括步骤：
采集多帧人脸图像生成训练集合，其中每帧人脸图像作为一个训练图像；
将训练集合中的训练图像输入预训练的图像增强模型，经至少一次卷积-下采样处理和至少一次卷积-上采样处理后生成与训练图像相同尺寸的输出图像；以及
通过计算输出图像与目标图像的损失对该图像增强模型进行优化，直到满足预定条件，得到训练后的图像增强模型。
2.如权利要求1所述的方法，其中，所述目标图像为对应的输入该模型的训练图像。
3.如权利要求1或2所述的方法，其中，输出图像与目标图像的损失S通过如下损失函数计算：
式中，n表示训练集合中训练图像的个数，xi表示第i个训练图像，f(xi)为xi对应的输出图像，yi表示第i个目标图像。
4.如权利要求3中任一项所述的方法，其中，所述通过计算输出图像与目标图像的损失对该图像增强模型进行优化、直到满足预定条件的步骤包括：
通过损失函数计算输出图像与目标图像的损失；
通过算得的损失调整图像增强模型的参数来得到新图像增强模型；
通过将训练集合中的训练图像输入新图像增强模型进行卷积处理来生成与训练图像相同尺寸的输出图像；以及
依次重复执行第一数量次上述计算、调整、卷积处理步骤，得到训练后的图像增强模型。
5.如权利要求4上述的方法，其中，所述第一数量为50万。
6.一种人脸图像的增强方法，所述方法适于对人脸图像进行增强处理，以得到符合目标图像特征的人脸图像，所述方法适于在计算设备中执行，所述方法包括步骤：
选取测试图像中的人脸区域；
对所述人脸区域进行缩放处理以生成人脸图像；以及
通过图像增强模型对所述人脸图像进行至少一次卷积-下采样处理和至少一次卷积-上采样处理，生成增强图像，其中所述增强图像与该人脸图像具有相同尺寸，
其中所述图像增强模型利用如权利要求1-5中任一项所述的方法来生成。
7.如权利要求6所述的方法，其中，所述通过图像增强模型对人脸图像进行至少一次卷积-下采样处理和至少一次卷积-上采样处理、生成增强图像的步骤包括：
将所述人脸图像输入图像增强模型，经第二数量次卷积-下采样处理后，生成压缩的人脸图像；
对所述压缩的人脸图像进行第二数量次卷积-上采样处理，生成解压的人脸图像；以及
对所述解压的人脸图像进行卷积处理，生成增强图像。
8.如权利要求6或7所述的方法，其中，所述符合目标图像特征的人脸图像包括具有高图像质量的人脸图像。
9.一种计算设备，包括：
一个或多个处理器；和
存储器；
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-5所述方法中的任一方法的指令、和根据权利要求6-8所述方法中的任一方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-5所述的方法中的任一方法、和根据权利要求6-8所述方法中的任一方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810474595.2A CN108648163A (zh) | 2018-05-17 | 2018-05-17 | 一种人脸图像的增强方法及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810474595.2A CN108648163A (zh) | 2018-05-17 | 2018-05-17 | 一种人脸图像的增强方法及计算设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108648163A true CN108648163A (zh) | 2018-10-12 |
Family
ID=63756530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810474595.2A Pending CN108648163A (zh) | 2018-05-17 | 2018-05-17 | 一种人脸图像的增强方法及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108648163A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345485A (zh) * | 2018-10-22 | 2019-02-15 | 北京达佳互联信息技术有限公司 | 一种图像增强方法、装置、电子设备及存储介质 |
| CN109345487A (zh) * | 2018-10-25 | 2019-02-15 | 厦门美图之家科技有限公司 | 一种图像增强方法及计算设备 |
| CN109493297A (zh) * | 2018-11-01 | 2019-03-19 | 重庆中科云丛科技有限公司 | 低质量人脸图像增强方法、系统、设备及存储介质 |
| CN109859152A (zh) * | 2018-12-25 | 2019-06-07 | 北京奇艺世纪科技有限公司 | 模型生成方法、图像增强方法、装置及计算机可读存储介质 |
| CN110796617A (zh) * | 2019-10-24 | 2020-02-14 | 北京小米智能科技有限公司 | 面部图像的增强方法及装置、电子设备 |
| CN111967876A (zh) * | 2020-08-18 | 2020-11-20 | 中国银行股份有限公司 | 身份验证处理方法、智能柜台、后台服务器及系统 |
| CN112509144A (zh) * | 2020-12-09 | 2021-03-16 | 深圳云天励飞技术股份有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
| CN112541878A (zh) * | 2020-12-24 | 2021-03-23 | 北京百度网讯科技有限公司 | 建立图像增强模型与图像增强的方法、装置 |
| WO2021082231A1 (zh) * | 2019-10-29 | 2021-05-06 | 北京市商汤科技开发有限公司 | 目标检测方法及装置、电子设备和存储介质 |
| CN113436081A (zh) * | 2020-03-23 | 2021-09-24 | 阿里巴巴集团控股有限公司 | 数据处理方法、图像增强方法及其模型训练方法 |
| CN113592723A (zh) * | 2020-04-30 | 2021-11-02 | 京东方科技集团股份有限公司 | 视频增强方法及装置、电子设备、存储介质 |
| CN113781320A (zh) * | 2021-08-02 | 2021-12-10 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、装置、终端设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855468A (zh) * | 2012-07-31 | 2013-01-02 | 东南大学 | 一种相片识别中的单样本人脸识别方法 |
| CN106548159A (zh) * | 2016-11-08 | 2017-03-29 | 中国科学院自动化研究所 | 基于全卷积神经网络的网纹人脸图像识别方法与装置 |
| WO2017155602A1 (en) * | 2016-03-11 | 2017-09-14 | Qualcomm Incorporated | Systems and methods for normalizing an image |
| CN107895358A (zh) * | 2017-12-25 | 2018-04-10 | 科大讯飞股份有限公司 | 人脸图像的增强方法及系统 |
| CN108010031A (zh) * | 2017-12-15 | 2018-05-08 | 厦门美图之家科技有限公司 | 一种人像分割方法及移动终端 |
-
2018
- 2018-05-17 CN CN201810474595.2A patent/CN108648163A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855468A (zh) * | 2012-07-31 | 2013-01-02 | 东南大学 | 一种相片识别中的单样本人脸识别方法 |
| WO2017155602A1 (en) * | 2016-03-11 | 2017-09-14 | Qualcomm Incorporated | Systems and methods for normalizing an image |
| CN106548159A (zh) * | 2016-11-08 | 2017-03-29 | 中国科学院自动化研究所 | 基于全卷积神经网络的网纹人脸图像识别方法与装置 |
| CN108010031A (zh) * | 2017-12-15 | 2018-05-08 | 厦门美图之家科技有限公司 | 一种人像分割方法及移动终端 |
| CN107895358A (zh) * | 2017-12-25 | 2018-04-10 | 科大讯飞股份有限公司 | 人脸图像的增强方法及系统 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345485A (zh) * | 2018-10-22 | 2019-02-15 | 北京达佳互联信息技术有限公司 | 一种图像增强方法、装置、电子设备及存储介质 |
| CN109345485B (zh) * | 2018-10-22 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 一种图像增强方法、装置、电子设备及存储介质 |
| CN109345487A (zh) * | 2018-10-25 | 2019-02-15 | 厦门美图之家科技有限公司 | 一种图像增强方法及计算设备 |
| CN109493297A (zh) * | 2018-11-01 | 2019-03-19 | 重庆中科云丛科技有限公司 | 低质量人脸图像增强方法、系统、设备及存储介质 |
| CN109493297B (zh) * | 2018-11-01 | 2020-08-18 | 重庆中科云从科技有限公司 | 低质量人脸图像增强方法、系统、设备及存储介质 |
| CN109859152A (zh) * | 2018-12-25 | 2019-06-07 | 北京奇艺世纪科技有限公司 | 模型生成方法、图像增强方法、装置及计算机可读存储介质 |
| CN109859152B (zh) * | 2018-12-25 | 2021-05-25 | 北京奇艺世纪科技有限公司 | 模型生成方法、图像增强方法、装置及计算机可读存储介质 |
| CN110796617A (zh) * | 2019-10-24 | 2020-02-14 | 北京小米智能科技有限公司 | 面部图像的增强方法及装置、电子设备 |
| CN110796617B (zh) * | 2019-10-24 | 2022-09-02 | 北京小米智能科技有限公司 | 面部图像的增强方法及装置、电子设备 |
| US11250547B2 (en) | 2019-10-24 | 2022-02-15 | Beijing Xiaomi Intelligent Technology Co., Ltd. | Facial image enhancement method, device and electronic device |
| WO2021082231A1 (zh) * | 2019-10-29 | 2021-05-06 | 北京市商汤科技开发有限公司 | 目标检测方法及装置、电子设备和存储介质 |
| CN113436081A (zh) * | 2020-03-23 | 2021-09-24 | 阿里巴巴集团控股有限公司 | 数据处理方法、图像增强方法及其模型训练方法 |
| CN113592723A (zh) * | 2020-04-30 | 2021-11-02 | 京东方科技集团股份有限公司 | 视频增强方法及装置、电子设备、存储介质 |
| WO2021218414A1 (zh) * | 2020-04-30 | 2021-11-04 | 京东方科技集团股份有限公司 | 视频增强方法及装置、电子设备、存储介质 |
| CN113592723B (zh) * | 2020-04-30 | 2024-04-02 | 京东方科技集团股份有限公司 | 视频增强方法及装置、电子设备、存储介质 |
| CN111967876A (zh) * | 2020-08-18 | 2020-11-20 | 中国银行股份有限公司 | 身份验证处理方法、智能柜台、后台服务器及系统 |
| CN112509144A (zh) * | 2020-12-09 | 2021-03-16 | 深圳云天励飞技术股份有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
| CN112541878A (zh) * | 2020-12-24 | 2021-03-23 | 北京百度网讯科技有限公司 | 建立图像增强模型与图像增强的方法、装置 |
| CN112541878B (zh) * | 2020-12-24 | 2024-08-16 | 上海兆言网络科技有限公司 | 建立图像增强模型与图像增强的方法、装置 |
| CN113781320A (zh) * | 2021-08-02 | 2021-12-10 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、装置、终端设备及存储介质 |
| WO2023010754A1 (zh) * | 2021-08-02 | 2023-02-09 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、装置、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648163A (zh) | 一种人脸图像的增强方法及计算设备 | |
| Li et al. | Low-light image enhancement via progressive-recursive network | |
| CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
| TWI749356B (zh) | 一種圖像風格轉換方法及設備、儲存介質 | |
| CN110163267A (zh) | 一种图像生成模型的训练方法和生成图像的方法 | |
| CN108205803B (zh) | 图像处理方法、神经网络模型的训练方法及装置 | |
| CN109816011A (zh) | 生成人像分割模型的方法和视频关键帧提取方法 | |
| CN104866868B (zh) | 基于深度神经网络的金属币识别方法和装置 | |
| Liu et al. | EFINet: Restoration for low-light images via enhancement-fusion iterative network | |
| CN104094312B (zh) | 对基于测得的知觉质量特性的视频处理算法的控制 | |
| CN104992421B (zh) | 一种基于OpenCL的图像去噪算法的并行优化方法 | |
| Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
| CN107454284A (zh) | 一种视频去噪方法及计算设备 | |
| Ma et al. | RetinexGAN: Unsupervised low-light enhancement with two-layer convolutional decomposition networks | |
| Hou et al. | Learning based image transformation using convolutional neural networks | |
| CN109859217A (zh) | 人脸图像中毛孔区域的分割方法及计算设备 | |
| CN113822830A (zh) | 基于深度感知增强的多曝光图像融合方法 | |
| Chouhan et al. | Enhancement of low-contrast images by internal noise-induced Fourier coefficient rooting | |
| Panetta et al. | Deep perceptual image enhancement network for exposure restoration | |
| Chen et al. | Semantic attention and relative scene depth-guided network for underwater image enhancement | |
| Gai et al. | Artistic low poly rendering for images | |
| CN116645305A (zh) | 基于多注意力机制与Retinex的低光照图像增强方法 | |
| Pu et al. | Fractional-order retinex for adaptive contrast enhancement of under-exposed traffic images | |
| Shen et al. | Detail-preserving exposure fusion using subband architecture | |
| CN107808404A (zh) | 图像处理方法、系统、可读存储介质及移动摄像设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181012 |
|
| RJ01 | Rejection of invention patent application after publication |