CN108257095B - 用于处理图像的系统 - Google Patents

用于处理图像的系统 Download PDF

Info

Publication number
CN108257095B
CN108257095B CN201711284807.2A CN201711284807A CN108257095B CN 108257095 B CN108257095 B CN 108257095B CN 201711284807 A CN201711284807 A CN 201711284807A CN 108257095 B CN108257095 B CN 108257095B
Authority
CN
China
Prior art keywords
neural network
image
processing
preprocessing
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711284807.2A
Other languages
English (en)
Other versions
CN108257095A (zh
Inventor
莎拉·拉奈斯
文森特·德斯皮格尔
扬·拉斐尔·里夫奇兹
史蒂芬·基恩特里克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
French Ademia Identity And Security Co
Original Assignee
French Ademia Identity And Security Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by French Ademia Identity And Security Co filed Critical French Ademia Identity And Security Co
Publication of CN108257095A publication Critical patent/CN108257095A/zh
Application granted granted Critical
Publication of CN108257095B publication Critical patent/CN108257095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Signal Processing (AREA)

Abstract

本发明公开了一种用于处理图像(4)的系统(1)，系统(1)包括主神经网络(2)、优选基于卷积的主神经网络(CNN)，和至少一个在主神经网络(2)的上游的预处理神经网络(6)、优选基于卷积的预处理神经网络，预处理神经网络(6)用于在通过主神经网络(2)进行处理之前进行至少一种关于其参数是可微分的参数变换f，所述变换被应用于所述图像的像素的至少一部分并且具有形式p′＝f(V(p)，Θ)，式中，p为原始图像的处理后的像素或所述图像的分解的处理后的像素，p'为变换后的图像的像素或变换后的图像的分解的像素，V(p)为像素p的邻域，Θ为参数的向量，预处理神经网络(6)使其学习的至少一部分与主神经网络(2)的学习同时地进行。

Description

用于处理图像的系统
技术领域
本发明涉及利用神经网络处理图像的系统，更特别地但不仅仅涉及用于生物计量学、尤其面部识别的系统。
背景技术
针对面部或其它目标的识别已提出使用所谓的卷积神经网络(convolutionneural networks，CNN)。Yann Le Cun等人的文章Deep Learning(436NATURE，第521卷，2015年5月28日)包括对这些神经网络的介绍。
另外，设法例如通过伽玛校正或局部对比度校正来进行图像的预处理以便纠正图像的缺陷(例如缺乏对比度)是司空见惯的。
面部的生物识别假定多种多样的图像采集和照明条件，这引起对待被进行的纠正的选择上的困难。而且，由于卷积神经网络的性能上的改进与完全学习到的隐藏层相关，故这引起在理解图像处理(在这种网络的上游应用该图像处理将是有用的)上的困难。
因此，受越来越强大的处理器的快速发展的支持，当前趋势是加强卷积神经网络的能力，并拓宽它们对多方面变化的图像的学习，以便独立于任何预处理来改进这些网络的性能。
然而，尽管这些系统是更加有效的，但这些系统对于伪影的存在以及对于图像质量的下降是不完全鲁棒的。而且，增加计算资源的计算能力是相当昂贵的不总是适合的解决方案。
因此，对于图像质量的问题的现有解决方案(与寻求学习的问题无关，该现有解决方案因此要么在于利用有问题的图像的示例来丰富学习库，要么在于在上游进行图像处理)不是完全令人满意的。
因此，仍需要进一步加强基于卷积神经网络的生物识别链，尤其以便使得生物识别链对于各种噪音更加鲁棒从而因此改进关于具有较低质量的图像的识别性能。
Peng Xi等人的文章“Learning face recognition from limited trainingdata using deep neural networks”(第23届图案识别国际会议，2016年12月4日，第1442-1447页)描述了利用对图像应用仿射变换的第一神经网络和用于识别由此变换的图像的第二神经网络来识别面部的方案。
Svoboda Pavel等人的文章“CNN for license plate motion deblurring”(图像处理国际会议，2016年9月25日，第3832-3836页)描述了利用CNN网络使号牌去燥的方法。
Chakrabarti Ayan的文章“A Neural Approach to Blind Motion Deblurring”(ECCV 2016，第9907卷，第221-235页)描述了在通过神经网络学习这些数据之前将图像变换到频域，以便出于去燥目的评估卷积参数。
文章Spatial Transformer Networks，Max Jaderberg,Karen Simonyan,AndrewZisserman,Koray Kavukcuoglu,NIPS2015，描述了设计用于字符识别的处理系统，其中，卷积的预处理神经网络被用于进行空间变换，例如旋转和缩放。与生物计量学相关的问题在该文章中未被解决。应用于像素的变换被应用于整个图像。
发明内容
根据本发明的一个方面，本发明通过用于处理图像的系统满足上文所述的需求，该系统包括主神经网络(优选基于卷积的主神经网络(CNN))和至少一个在主神经网络的上游的预处理神经网络(优选基于卷积的预处理神经网络)，所述预处理神经网络用于在通过主神经网络进行处理之前进行至少一种关于其参数是可微分的参数变换，该变换被应用于图像的像素的至少一部分，该预处理神经网络使其学习的至少一部分与主神经网络的学习同时地进行。
根据本发明的该第一方面的变换f具有下面的形式：
p′＝f(V(p),Θ)
式中，p为原始图像的像素或该图像的分解的像素，p'为变换后的图像的像素或变换后的图像的分解的像素，V(p)为像素p的邻域(在数学意义上)，Θ为一组参数。邻域V(p)不包含整个图像。
预处理网络因此可以通过应用变换f，利用Θ＝{Θ1,Θ2,…,Θn}，评估参数的至少一个向量Θ的一个或多个映射。
“映射”指的是其分辨率可以等于或可以不等于图像的分辨率的矩阵。
图像的分解被理解为例如借助通过分离相位和模数的傅立叶变换将图像分离成多个分量。
应用于一个像素的变换可不依赖应用于图像的其它像素的变换。因此，通过预处理网络进行的变换可仅仅应用于图像的像素的仅一部分。
所应用的变换不同于如在上文的文章Spatial Transformer Networks中的应用于整个图像的空间变换，因此不同于裁切、平移、旋转、相似扩大、在平面上的投影、或对称。
所应用的变换可以是空间上不变的，即该变换不会引起图像上的像素的任何位移。
与主神经网络一起训练预处理网络可以具有完美地适于诸如通过受训的主神经网络所确定的描述符的分析的需要的校正。
图像处理系统的性能因此被改进，同时与已知的基于学习数据的丰富的解决方案对比，可以维持用于描述符的学习的主网络的深层的能力，同时避免必须将其致力于补偿图像质量问题。
在其它示例中，预处理神经网络可被配置成对图像压缩伪影和/或图像的清晰度起作用。
神经网络还可被配置成向起始图像应用比色变换。
一般地说，所进行的图像预处理可以由下面的图像处理操作符中的一者或多者构成：
-逐像素的(或逐点的)修正操作符。这涉及例如色彩校正、色度校正或伽玛校正，或噪音阈值化操作；
-局部操作符，尤其是用于管理局部模糊或局部对比度的那些局部操作符、依赖于像素的邻域(即，多于一个像素但小于整个图像)的局部操作符；基于输入像素的邻域，局部操作符可以获得输出像素；
-频率空间中(在图像变换之后的)的操作符，和
-一般地说，对从原始图像中导出的多图像表示的任何操作。
通过包括频率空间中的一个或多个操作符，为用于降低模拟噪音或数字噪音(例如降低压缩伪影)、改善图像的清晰度、清楚度或对比度的各种可能性铺平了道路。
这些操作符也允许各种滤波，例如直方图均衡化、图像的动态摆动的校正、图案(例如数字水印或“水印”类型的图案)的删除、或频率校正和通过设置用于恢复图像中的相关信息的系统的图像的清洁。
例如，预处理神经网络包括一个或多个卷积层(CONV)和/或一个或多个完全连接层(FC)。
处理系统可包括输入操作符，该输入操作符使得可以向起始图像应用输入变换，以基于起始图像在预处理神经网络的上游生成在不同于起始图像的空间的空间中的数据，该预处理神经网络被配置成对这些数据起作用，该系统包括输出操作符，该输出操作符被设计成通过与输入变换相反的输出变换来恢复在起始图像的处理空间中由预处理神经网络处理的数据，从而生成通过主神经网络处理的校正的图像。
例如，该输入操作符被配置成应用小波变换，该输出操作符被配置成应用逆变换。
在本发明的实现方式的示例中，预处理神经网络被配置成生成对应于低分辨率映射的一组向量，系统包括被配置成通过插值、尤其双线性插值生成对应于较高分辨率映射(该较高分辨率映射优选具有与起始图像相同的分辨率)的一组向量的操作符。
主神经网络和预处理神经网络可被训练以进行尤其面部的识别、分类或检测。
根据本发明的另一方面，本发明的主题还为一种如上文所限定的根据本发明的系统的主神经网络和预处理神经网络的学习的方法，其中，与主神经网络的训练同时地进行预处理神经网络的学习的至少一部分。
可以尤其借助于改变的图像的库、尤其噪声图像的库进行该学习。可以对该学习以寻求最小化代表通过预处理神经网络进行的校正的成本函数的方式发展的方向施加约束。
根据本发明的另一方面，本发明的主题还为一种用于处理图像的方法，其中，通过如上文所限定的根据本发明的系统对图像进行处理。
根据本发明的另一方面，本发明的主题还为一种生物识别的方法，包括以下步骤：利用如上文所限定的根据本发明的系统的主神经网络，生成关于通过系统的个体识别的信息项。
独立地或与前述内容组合，本发明的主题还为一种用于处理图像的系统，该系统包括主神经网络(优选基于卷积的主神经网络(CNN))和至少一个在主神经网络的上游的预处理神经网络(优选基于卷积的预处理神经网络)，所述预处理神经网络用于在通过主神经网络进行处理之前进行至少一种关于其参数是可微分的参数变换，该变换被应用于图像的像素的至少一部分且使像素在空间上是不变的，该预处理神经网络使其学习的至少一部分与主神经网络的学习同时地进行。
附图说明
通过阅读以下的本发明的实现方式的非限制性示例的描述以及通过审阅附图，将能够更好地理解本发明，其中：
图1为根据本发明的示例性处理系统的框图，
图2示出进行伽马校正的示例性图像预处理，
图3示出在预处理神经网络的上游应用空间变化的处理，
图4示出用于图像的比色预处理的神经网络的示例性结构，和
图5表示在预处理网络的学习之后进行的比色预处理之前和之后的图像。
具体实施方式
图1中所示的是根据本发明的用于处理图像的示例性系统1。
在所考虑的示例中，该系统包括生物识别卷积神经网络2和图像预处理模块3，该图像预处理模块3还包括神经网络6、优选卷积神经网络并学习在生物识别网络2的上游对起始图像4应用处理。
根据本发明，这种在生物识别神经网络的上游进行的处理属于至少一种关于其参数可微分的参数变换。根据本发明，预处理神经网络6与生物识别神经网络2一起接受训练。因此，与生物识别网络2同时地学习预处理网络6的图像变换参数。在神经网络2的学习期间可进行预处理神经网络6的全部学习。作为变型，最初独立于网络2进行网络6的学习，然后通过网络2和网络6的同时学习来完成学习，从而可以使得就如同使网络“同步”一样。
质量变化的图像被用于该学习。优选地，借助于改变后的图像、尤其噪声图像的库进行该学习，并且可以对学习以寻求最小化代表通过预处理神经网络进行的校正的成本函数的方式发展的方向施加约束。
通过预处理网络6进行的一个变换或多个变换是可微分的，它们不会阻碍对于这些网络的学习而言必需的向后传播过程。
预处理神经网络可被配置成进行非线性变换，尤其是选自以下的非线性变换：像素的伽玛校正、局部对比度校正、色彩校正、图像的伽玛校正、局部对比度的改变、噪音的降低和/或压缩伪影的减少。
该变换可写成下面的形式：
p′＝f(V(p),Θ)
式中，p为原始图像的像素或该图像的分解的像素，p'为变换后的图像的像素或该变换后的图像的分解的像素，V(p)为像素p的邻域，Θ为一组参数。
神经网络2可以为任何类型。
现将参照图2描述根据本发明的用于处理图像的示例性系统，在该系统中，预处理模块3应用伽玛校正，即根据输入文件的像素的亮度提供输出文件的像素的亮度的曲线的校正。
在该示例中，预处理神经网络6具有应用于整个图像的单个输出，即伽玛校正参数。
因此，在根据本发明的处理系统的学习期间，学习用于图像的单个变换参数。
预处理神经网络6包括例如基于卷积的模块Conv1和完全连接的模块FC1。
网络6生成向量11，该向量11使得可以估计用于伽玛校正系数，该校正系数在12被应用于图像以变换图像，如图2所示。
在学习期间，预处理网络6将学习根据起始图像4进行伽玛校正，对于该伽玛校正，生物识别网络2证明是有效的；所进行的校正未必是操作员为了改善图像的质量而凭直觉对图像所做的校正。
可以相继地设置多个将学习图像变换参数的预处理网络。在每个预处理网络之后，根据学到的参数变换图像，所产生的图像可充当用于接下来的网络的输入，直到其作为用于主网络的输入为止。
预处理网络可应用于来源于图像变换(例如傅立叶变换或小波变换)的分量。于是在逆变换被应用以进入整个网络之前，其为这些充当子网络的输入的变换的产物。
图3示出处理系统的实例，在该处理系统中，通过从变换后的原始图像推断出的多图像表示进行通过网络6的预处理。这可以生成子图像281至子图像28n，这些子图像被变换成校正的子图像291至校正的子图像29n，该变换例如是小波变换。
乘积因子的系数和阈值的映射在22被应用于子图像281至子图像28n。
该处理对于任何图像分解是可适用的，对于该图像分解，重建步骤是可微分的(例如余弦变换、通过分离相位和模数的傅立叶变换、将输入图像表示为多个个图像的总和，等等)。
现将参照图4和图5描述适合于校正起始图像中的颜色以便校正色度的问题和对于该学习的剩余部分利用更加适合的颜色库的示例性处理系统。
预处理网络6的参数的向量在该示例中对应于3×3交换矩阵(P)和对于每个颜色通道R、G和B的恒定偏移(D)的添加(仿射变换)，即12个参数。
在图4中示出能用于进行这种处理的示例性网络6。该网络6包括两个卷积层，两个最大池化层、和完全连接层。
对于初始图像的每个像素我们具有：
其对于图像的所有像素给出：
示例
应用参照图4和图5描述的色彩校正处理。图5给出示例性结果。注意到，该结果并不是凭直觉预期的结果，这是因为网络6具有扩大颜色的饱和度的趋势，因此具有整套网络的组合学习、而非单独学习的好处。
在不特别具有任何色缺陷的面部的内在基础上，对于1％的误接受率，观察到3.21％的误拒绝的相对下降。
本发明不受限于图像分类应用，还适用于面部生物计量学上的鉴定和验证。
根据本发明的处理系统还可适用于利用不同于面部的生物计量学的生物计量学(例如虹膜的生物计量学)的检测，以及适用于行人和车辆的识别、图像的位置和合成上的应用，更一般地说适用于图像的检测、分类或自动分析上的所有应用。
因此，本发明可适用于例如语义切分、自动医疗诊断(例如乳房X线照相术或回波描记术中的自动医疗诊断)、场景的分析(例如无人驾驶汽车)、或视频的语义分析。
处理系统还可以增补有如在背景技术中提到的文章Spatial Transformer中描述的将空间变换应用于像素的卷积预处理神经网络。
本发明可以在任何类型的硬件(例如个人计算机、智能手机、专用卡、巨型计算机)上进行实施。
多个图像的处理可以通过并行的预处理网络而并行进行。

Claims (18)

1.一种用于处理图像(4)的系统(1)，所述系统(1)包括主神经网络(2)，和至少一个在所述主神经网络(2)的上游的预处理神经网络(6)，所述预处理神经网络(6)用于在通过所述主神经网络(2)进行处理之前进行至少一种非线性参数变换f，所述参数变换被应用于图像的像素的仅一部分并且具有形式p′=f(V(p),Θ)，式中，p为原始图像的像素，p'为变换后的图像的像素，或者，p为原始图像的分解的像素，p'为变换后的图像的分解的像素，V(p)为所述像素p的邻域，Θ为参数的向量，其中，f相对于所述参数是能够微分的，其中，所述预处理神经网络(6)的学习的至少一部分与所述主神经网络(2)的训练同时地进行。
2.根据权利要求1所述的系统，其中，所述变换f使所述像素在所述图像上是空间不变的。
3.根据权利要求1所述的系统，其中，所述预处理神经网络(6)被设计成进行逐像素的修正，进行色彩校正、色调补偿或伽玛校正，或噪音阈值化操作。
4.根据权利要求1所述的系统，其中，所述预处理神经网络(6)被配置成应用用于管理局部模糊或局部对比度的局部操作符。
5.根据权利要求1所述的系统，其中，所述预处理神经网络(6)被配置成在所述图像的变换之后应用频率空间中的操作符，被配置成降低模拟噪音或数字噪音，或者被配置成进行滤波。
6.根据权利要求1所述的系统，其中，所述预处理神经网络(6)包括一个或多个卷积层CONV和/或一个或多个完全连接层FC。
7.根据权利要求1所述的系统，其中，所述预处理神经网络(6)被配置成进行像素的伽玛校正和/或局部对比度校正。
8.根据权利要求1所述的系统，其中，所述预处理神经网络(6)被配置成应用比色变换。
9.根据权利要求1所述的系统，包括输入操作符，所述输入操作符使得能够向起始图像应用输入变换，以基于所述起始图像在所述预处理神经网络(6)的上游生成与所述起始图像的空间不同的空间中的数据，所述预处理神经网络被配置成对这些数据起作用，所述系统包括输出操作符，所述输出操作符被设计成通过与所述输入变换相反的输出变换来恢复在所述起始图像的处理空间中由所述预处理神经网络处理的数据，从而生成通过所述主神经网络处理的校正的图像。
10.根据权利要求9所述的系统，其中，所述输入操作符被配置成应用小波变换，所述输出操作符被配置成应用逆变换。
11.根据权利要求9所述的系统，其中，所述预处理神经网络被配置成对图像压缩伪影和/或图像的清晰度起作用。
12.根据权利要求1所述的系统，其中，所述预处理神经网络(6)被配置成生成对应于低分辨率映射(7)的一组向量(9)，所述系统包括被配置成通过插值生成对应于较高分辨率映射(8)的一组向量的操作符。
13.根据权利要求1所述的系统，其中，所述主神经网络和所述预处理神经网络被训练以进行面部的生物计量学的分类、识别或检测。
14.一种根据权利要求1所述的系统的学习的方法，其中，所述预处理神经网络的学习的至少一部分与所述主神经网络的训练同时地进行。
15.根据权利要求14所述的方法，其中，借助于改变的图像的库，并且通过对所述学习以寻求最小化成本函数的方式发展的方向施加约束，来进行所述学习，其中，所述成本函数代表通过所述预处理神经网络进行的校正。
16.根据权利要求15所述的方法，其中，借助于噪声图像的库，并且通过对所述学习以寻求最小化成本函数的方式发展的方向施加约束，来进行所述学习。
17.一种用于处理图像的方法，其中，通过根据权利要求1所述的系统处理所述图像。
18.一种生物识别的方法，包括以下步骤：利用如权利要求1中所限定的系统，生成与通过所述系统的个体识别相关的信息项。
CN201711284807.2A 2016-12-07 2017-12-07 用于处理图像的系统 Active CN108257095B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1662080A FR3059804B1 (fr) 2016-12-07 2016-12-07 Systeme de traitement d'images
FR1662080 2016-12-07

Publications (2)

Publication Number Publication Date
CN108257095A CN108257095A (zh) 2018-07-06
CN108257095B true CN108257095B (zh) 2023-11-28

Family

ID=58707626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711284807.2A Active CN108257095B (zh) 2016-12-07 2017-12-07 用于处理图像的系统

Country Status (8)

Country Link
US (1) US20180158177A1 (zh)
EP (1) EP3333765A1 (zh)
KR (1) KR20180065950A (zh)
CN (1) CN108257095B (zh)
AU (1) AU2017272164B2 (zh)
BR (1) BR102017026341A8 (zh)
CA (1) CA2987846A1 (zh)
FR (1) FR3059804B1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592776B2 (en) * 2017-02-08 2020-03-17 Adobe Inc. Generating multimodal image edits for a digital image
JP7242185B2 (ja) * 2018-01-10 2023-03-20 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体
US10991064B1 (en) 2018-03-07 2021-04-27 Adventure Soup Inc. System and method of applying watermark in a digital image
CN110675324B (zh) * 2018-07-02 2023-10-10 上海寰声智能科技有限公司 4k超高清图像清晰化处理方法
CN109101999B (zh) * 2018-07-16 2021-06-25 华东师范大学 基于支持向量机的协神经网络可信决策方法
CN109191386B (zh) * 2018-07-18 2020-11-06 武汉精测电子集团股份有限公司 一种基于BPNN的快速Gamma校正方法及装置
US11308592B2 (en) * 2018-10-04 2022-04-19 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network
US10931853B2 (en) 2018-10-18 2021-02-23 Sony Corporation Enhanced color reproduction for upscaling
CN109584206B (zh) * 2018-10-19 2021-07-06 中国科学院自动化研究所 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN109543763B (zh) * 2018-11-28 2022-10-21 重庆大学 一种基于卷积神经网络的拉曼光谱分析方法
CN109859372A (zh) * 2018-12-07 2019-06-07 保定钞票纸业有限公司 防伪纸张的水印识别方法、装置、云端服务器及系统
CN109684973B (zh) * 2018-12-18 2023-04-07 哈尔滨工业大学 基于对称一致性的卷积神经网络的人脸图像填充系统
US11853812B2 (en) * 2018-12-20 2023-12-26 Here Global B.V. Single component data processing system and method utilizing a trained neural network
KR102097905B1 (ko) * 2019-06-04 2020-04-06 주식회사 딥엑스 이미지 객체 인식 장치 및 방법
KR102319643B1 (ko) * 2019-04-30 2021-11-01 한국과학기술원 점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치
CN110246084B (zh) * 2019-05-16 2023-03-31 五邑大学 一种超分辨率图像重构方法及其系统、装置、存储介质
US11259770B2 (en) * 2019-11-14 2022-03-01 GE Precision Healthcare LLC Methods and systems for noise reduction in x-ray imaging
CN111062880B (zh) * 2019-11-15 2023-07-28 南京工程学院 一种基于条件生成对抗网络的水下图像实时增强方法
KR102239771B1 (ko) 2019-12-30 2021-04-13 경일대학교산학협력단 다종 콘텐츠 환경에서 딥러닝 기반의 워터마크를 실행하기 위한 장치 및 이를 위한 방법
KR102387061B1 (ko) 2019-12-30 2022-04-14 경일대학교산학협력단 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 장치 및 이를 위한 방법
KR102315605B1 (ko) 2019-12-30 2021-10-20 경일대학교산학협력단 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹 시스템 및 이를 위한 방법
CN111192190B (zh) * 2019-12-31 2023-05-12 北京金山云网络技术有限公司 消除图像水印的方法、装置及电子设备
CN112132760B (zh) * 2020-09-14 2024-02-27 北京大学 基于可学习可微分矩阵逆及矩阵分解的图像恢复方法
RU2764395C1 (ru) 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
CN112950497A (zh) * 2021-02-22 2021-06-11 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113822194A (zh) * 2021-09-22 2021-12-21 华能国际电力股份有限公司上海石洞口第二电厂 一种火电厂作业个人防护用品的智能监测方法及设备
CN115880125B (zh) * 2023-03-02 2023-05-26 宁波大学科学技术学院 基于Transformer的软融合鲁棒图像水印方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229930A (ja) * 2005-01-18 2006-08-31 Fuji Photo Film Co Ltd 画像補正装置および方法，ならびに画像補正プログラム
CN104346607A (zh) * 2014-11-06 2015-02-11 上海电机学院 基于卷积神经网络的人脸识别方法
CN105550658A (zh) * 2015-12-24 2016-05-04 蔡叶荷 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法
CN106096568A (zh) * 2016-06-21 2016-11-09 同济大学 一种基于cnn和卷积lstm网络的行人再识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229930A (ja) * 2005-01-18 2006-08-31 Fuji Photo Film Co Ltd 画像補正装置および方法，ならびに画像補正プログラム
CN104346607A (zh) * 2014-11-06 2015-02-11 上海电机学院 基于卷积神经网络的人脸识别方法
CN105550658A (zh) * 2015-12-24 2016-05-04 蔡叶荷 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法
CN106096568A (zh) * 2016-06-21 2016-11-09 同济大学 一种基于cnn和卷积lstm网络的行人再识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Xi Peng ; Nalini Ratha ; Sharathchandra Pankanti.Learning face recognition from limited training data using deep neural networks.《2016 23rd International Conference on Pattern Recognition (ICPR)》.2016, *

Also Published As

Publication number Publication date
KR20180065950A (ko) 2018-06-18
CA2987846A1 (fr) 2018-06-07
FR3059804B1 (fr) 2019-08-02
AU2017272164A1 (en) 2018-06-21
BR102017026341A8 (pt) 2023-04-11
EP3333765A1 (fr) 2018-06-13
BR102017026341A2 (pt) 2018-12-18
FR3059804A1 (fr) 2018-06-08
AU2017272164B2 (en) 2022-09-29
US20180158177A1 (en) 2018-06-07
CN108257095A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN108257095B (zh) 用于处理图像的系统
Liu et al. Multi-level wavelet convolutional neural networks
Bourlai et al. Restoring degraded face images: A case study in matching faxed, printed, and scanned photos
Tonazzini et al. Multichannel blind separation and deconvolution of images for document analysis
Mhala et al. A secure visual secret sharing (VSS) scheme with CNN-based image enhancement for underwater images
CN108171654B (zh) 带干扰抑制的汉字图像超分辨率重建方法
CN115034982A (zh) 一种基于多尺度注意机制融合的水下图像增强方法
Arulkumar et al. Super resolution and demosaicing based self learning adaptive dictionary image denoising framework
Jwaid et al. An efficient technique for image forgery detection using local binary pattern (hessian and center symmetric) and transformation method
CN114972036A (zh) 一种基于融合退化先验的盲图像超分辨率重建方法和系统
Jwaid et al. Study and analysis of copy-move & splicing image forgery detection techniques
CN111079689B (zh) 一种指纹图像增强方法
Tonazzini et al. Registration and enhancement of double-sided degraded manuscripts acquired in multispectral modality
CN116823662A (zh) 一种融合原生特征的图像去噪去模糊方法
Agarwal et al. Image forgery detection using Markov features in undecimated wavelet transform
Hingrajiya et al. Comparative study of digital image forgery detection techniques
CN111275620B (zh) 一种基于Stacking集成学习的图像超分辨方法
CN116958317A (zh) 一种结合边缘信息和外观流操作的图像修复方法及系统
Sridevi et al. A novel approach for detection of copy-move forgery detection using transform domain
Jang et al. Image processing-based validation of unrecognizable numbers in severely distorted license plate images
Kumar et al. A review of image features extraction techniques and their applications in image forensic
Shi et al. Fast super-resolution reconstruction for video-based pattern recognition
Mer et al. From traditional to deep: A survey of image forgery detection techniques
Sedeeq Image Splicing Detection Based on Discrete Wavelet Transform and co-occurrence Matrix
CN113744141B (zh) 图像的增强方法、装置和自动驾驶的控制方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant