CN108875513A - 图像对齐方法和装置、计算机可读存储介质 - Google Patents
图像对齐方法和装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN108875513A CN108875513A CN201711288090.9A CN201711288090A CN108875513A CN 108875513 A CN108875513 A CN 108875513A CN 201711288090 A CN201711288090 A CN 201711288090A CN 108875513 A CN108875513 A CN 108875513A
- Authority
- CN
- China
- Prior art keywords
- image
- aligned
- area
- alignment
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims description 59
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims 1
- 230000001815 facial effect Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 19
- 230000036544 posture Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000004218 nerve net Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种图像对齐方法和装置、以及计算机可读存储介质。所述图像对齐方法，包括：获取待对齐的图像；将所述待对齐的图像划分为多个第一区域，并分别对所述多个第一区域进行对齐处理，得到对齐后的图像。
Description
技术领域
本公开涉及图像处理领域，更具体地，本公开涉及一种图像对齐方法和装置、以及计算机可读存储介质。
背景技术
提升不同姿态下的人脸识别准确率一直是人脸识别领域的一个开放性问题。深度学习神经网络往往在不同人脸图像的不同区域分别提取特征进行比对，从而判别人脸的相似度。
在进行人脸识别之前所得到的人脸图像中的人脸可能是处于不同姿态，这样会影响人脸识别的准确率，例如，侧脸图像和正脸图像中的对应人脸特征位置相差太远，因此需要采用图像对齐方法在进行人脸识别之前，将不同姿态的人脸图像对齐为正脸图像。常见的图像对齐方法往往会改变人脸的几何信息，例如，现有的图像对齐方法通常是把各种人脸拉伸到平均脸，这样会改变人脸的几何信息，从而大大降低了人脸识别的准确率。
发明内容
鉴于上述问题而提出了本公开。本公开提供一种图像对齐方法和装置、以及计算机可读存储介质。
根据本公开的一个方面，提供了一种图像对齐方法，包括：获取待对齐的图像；将所述待对齐的图像划分为多个第一区域，并分别对所述多个第一区域进行对齐处理，得到对齐后的图像。其中，所述对齐后的图像包括多个第二区域，所述多个第二区域与所述多个第一区域一一对应，所述将所述待对齐的图像划分为多个第一区域，并分别对所述多个第一区域进行对齐处理，得到对齐后的图像，包括：确定所述多个第二区域各自对应的第一区域在所述待对齐的图像中的位置，将所述待对齐的图像划分为所述多个第一区域；分别将所述多个第一区域的图像映射到各自对应的第二区域的位置上，得到所述对齐后的图像；其中，分别利用射影变换矩阵确定所述多个第二区域各自对应的第一区域在所述待对齐的图像中的位置，将所述待对齐的图像划分为所述多个第一区域；所述分别利用射影变换矩阵确定所述多个第二区域各自对应的第一区域在所述待对齐的图像中的位置，包括：分别利用射影变换矩阵对所述多个第二区域中每个第二区域中的像素点的坐标执行射影变换，得到所述每个第二区域对应的第一区域中的像素点在所述待对齐的图像中的坐标；对于所述多个第二区域中的不同的区域，采用不同的射影变换矩阵。
根据本公开的一个方面，所提供的图像对齐方法，所述多个第二区域各自的射影变换矩阵是利用神经网络得到的，所述神经网络包括多个子神经网络，所述多个子神经网络对应于所述多个第二区域各自的射影变换矩阵。
将所述待对齐的图像输入神经网络中，所述神经网络包括多个子神经网络，所述多个子神经网络与所述待对齐图像的多个第一区域一一对应，所述多个子神经网络中的每个子神经网络用于对与其对应的区域进行对齐处理，得到所述对齐后的图像；其中，还包括：对所述对齐后的图像进行插值处理。
根据本公开的另一个方面，提供了种图像对齐装置，所述图像对齐装置包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述图像对齐装置执行图像对齐方法，所述图像对齐方法包括：获取待对齐的图像；将所述待对齐的图像划分为多个第一区域，并分别对所述多个第一区域进行对齐处理，得到对齐后的图像。
根据本公开的又一个方面，提供了一种图像对齐装置，包括：图像获取模块，用于获取待对齐的图像；图像对齐模块，用于将所述待对齐的图像划分为多个第一区域，并分别对所述多个第一区域进行对齐处理，得到对齐后的图像。
根据本公开的再一个方面，提供了一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述图像对齐的方法。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是图示根据本公开的实施例的图像对齐方法的流程图。
图2是图示根据本公开的实施例的用于图像对齐的神经网络的结构示意图。
图3是图示根据本公开的实施例的人脸图像对齐方法的示意图。
图4是图示根据本公开的实施例的人脸图像对齐结果的示意图。
图5是图示根据本公开的实施例的人脸图像对齐方法的流程图。
图6是图示根据本公开的实施例的图像对齐装置的硬件框图。
图7是图示根据本公开的实施例的图像对齐装置的框图。
图8是图示根据本公开的实施例的计算机可读存储介质的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。基于本公开中描述的本公开实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。
本公开涉及图像对齐方法和装置、以及计算机可读存储介质。以下，将参考附图详细描述本公开的各个实施例。
首先，参照图1和图2描述根据本公开的实施例的图像对齐方法。
图1是图示根据本公开的实施例的图像对齐方法的流程图。图2是图示根据本公开的实施例的用于图像对齐的神经网络的结构示意图。如图1所示，根据本公开的实施例的图像对齐方法包括以下步骤。
在步骤S101中，获取待对齐的图像。获取待对齐的图像包括但不限于，在由物理位置上分离配置的图像采集模块采集图像数据之后，经由有线或者无线方式，接收从所述图像采集模块发送的图像数据。可替代地，图像采集模块可以与图像对齐装置中的其他模块或组件物理上位于同一位置甚至位于同一机壳内部，例如，图像采集模块是作为图像对齐装置的电子设备上配置的摄像头。图像对齐装置中的其他模块或组件经由内部总线接收从图像采集模块发送的图像数据。待对齐的图像可以是图像采集模块采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。此后，处理进到步骤S102。
在步骤S102中，将所述待对齐的图像划分为多个第一区域，并分别对所述多个第一区域进行对齐处理，得到对齐后的图像。
在本公开的实施例中，对齐后的图像包括多个第二区域，该多个第二区域与所述多个第一区域一一对应，可以分别利用射影变换矩阵确定多个第二区域各自对应的第一区域在待对齐的图像中的位置，将待对齐的图像划分为多个第一区域，再分别将多个第一区域的图像映射到各自对应的第二区域的位置上，得到对齐后的图像。更为具体地，在本公开的另一实施例中，可以分别利用射影变换矩阵对多个第二区域中每个第二区域中的像素点的坐标执行射影变换，得到该每个第二区域对应的第一区域中的像素点在待对齐的图像中的坐标，通过上述射影变换，将待对齐的图像划分为多个第一区域；进一步地，将位于待对齐的图像中的该坐标处的像素点的取值赋予于第二区域中与其对应的坐标位置处的像素点，通过对每个第二区域中的每个像素点执行上述射影变换及赋值的过程，得到对齐后应位于每个第二区域中的图像，以得到对齐后的图像。其中，对于多个第二区域中的不同的区域，可以采用不同的射影变换矩阵。
在本公开的实施例中，在步骤102之后，还包括对齐后的图像进行插值处理。具体地，使用双线性插值对图像进行插值处理，在本公开的不同的实施例中，也可以使用其他的插值方法对图像进行插值处理。
上述图1示出了根据本公开的实施例的图像对齐方法，通过将待对齐的图像划分为多个区域，分别对该多个区域进行对齐处理，有利于避免改变人脸的几何信息，还能够实现对大姿态人脸图像的对齐，从而能够提高人脸识别的准确率。同时，还提升了图像对齐处理的速度，从而从整体上改善了图像处理的效率。
如图2所示，根据本公开的实施例的用于图像对齐的神经网络200包括输入层201、中间层202和输出层203。在神经网络200中包括多个子神经网络2001-200n。在本公开的实施例中，利用神经网络200得到上述不同的射影变换矩阵，该神经网络200包括多个子神经网络2001-200n，多个子神经网络2001-200n中的每一个分别对应于不同的射影变换矩阵。
图2所示神经网络200可以是预先训练好的。例如，训练方法如下：假设T(x；w)表示对齐后的图像，x表示输入的样本图像，w表示神经网络200的参数。令F(x)表示识别网络针对输入的样本图像x的分类结果。可以根据识别网络的识别结果并通过梯度下降法等来优化神经网络，得到训练好的神经网络200。例如，可以定义识别网络的损失函数为L(F(T(x；w)))，求解dL/dw得到L对w的导数，从而根据该导数优化神经网络200。直到损失函数最小化时，得到训练好的神经网络200。
在本公开的实施例中，上述步骤S102中的将所述待对齐的图像划分为多个区域，并分别对所述多个区域进行对齐处理，得到对齐后的图像的处理过程，是通过神经网络200自动执行而实现的。具体地，在输入层201接收待对齐的图像，其中，该待对齐的图像进入输入层之前，可以经过图像预处理，例如，裁剪、尺寸归一化等处理。在中间层202中包括多个子神经网络2001-200n，多个子神经网络2001-200n与待对齐图像的多个区域一一对应，即，子神经网络的数量n与所划分的区域数量相等，该多个子神经网络2001-200n中的每个子神经网络用于对与其对应的区域进行对齐处理，经过对齐处理的图像通过输出层203输出，经输出层203输出的对齐后的图像。
此外，需要理解的是，图2所示出的神经网络结构仅仅是示例性的，本公开不限于此。通过图1、2给出的图像对齐方法及用于图像对齐的神经网络结构，针对图像中不同的区域使用不同的对齐算法，无需人为指定对齐算法，并且通过神经网络自动优化得到对齐算法。
在本公开的一个实施例中，上述图像对齐方法用于人脸图像的对齐处理。下面将参照图3、图4、图5对人脸图像的对齐处理过程进行具体的说明。
图3是图示根据本公开的实施例的人脸图像对齐方法的示意图。图4是图示根据本公开的实施例的人脸图像对齐结果的示意图。通过人脸图像对齐方法将待对齐的图像中处于非正脸姿态的人脸(如图4中的第1、3行中所示出的人脸)，通过对齐处理统一为正脸姿态的人脸，即，对齐后的图像中处于正脸姿态的人脸(如图4中的第2、4行中所示出的人脸)，其中，待对齐图像中人脸的非正脸姿态包括，例如，上下翻转角度、左右翻转角度或平面内旋转角度等。
在本公开的实施例中，人脸图像对齐方法是根据对齐后的人脸图像中的每个区域应对应人脸的那一部分，预测该部分在待对齐的人脸图像中的位置，将待对齐的人脸图像中处于该位置处的人脸部分映射到对齐后的人脸的对应区域中，即得到对齐后的人脸图像。
具体地，当图像中的人脸处于正脸姿态时，人脸的不同部位出现在图像上的位置是相对固定的，也就是说，在对齐后的正脸图像中不同的区域中应该出现的人脸部分是相对固定的，例如，在对齐后的正脸图像的上部区域应出现的人脸部分是人的眼睛、在对齐后的正脸图像的中部区域应出现的人脸部分是人的鼻子、在对齐后的正脸图像的下部区域应出现的人脸部分是人的嘴巴、等等；因此，可以根据对齐后的图像中的每个区域对应的人脸部分而预测出该人脸部分在待对齐图像中的位置。在本公开的实施的人脸图像对齐处理中，将对齐后的图像应位于的图像区域划分为多个第二区域，根据不同的第二区域应对应的人脸部分，预测出该人脸部分在待对齐图像中的位置，并据此将待对齐的图像划分为多个第一区域，上述多个第二区域与多个第一区域一一对应，将对应的第一区域中的图像内容映射到中第二区域中即得到对齐后的图像。具体地，上述预测过程是利用射影变换矩阵对上述多个第二区域中每个区域执行射影变换而实现的，对于不同的第二区域可以采用不同的射影变换矩阵。
如图3所示的示例中，人脸图像以4*4的方式划分为16区域。参照图3所示的示例，以16个区域中的一个区域为例，来具体地说明如何利用射影变换矩阵执行射影变换，对待对齐的图像进行区域划分以进行图像对齐处理的过程。
具体地，如图3所示，对齐后的图像应位于的图像区域以4*4的方式划分为16区域，以该16个区域中的一个区域为例，如图3中所示的区域U，区域U中某个像素点的坐标位置为(x,y)，利用与该区域U对应的射影变换矩阵M从待对齐的图像中找到与坐标(x,y)对应的坐标位置由此，通过射影矩阵M对区域U中的像素点执行射影变换，可以得到在待对齐的图像中与区域U对应的区域V的划分；进一步地，从待对齐的图像中取出该坐标处的像素点的值，该像素点的值赋予坐标(x,y)处的像素点，通过对区域U中的每个像素点执行上述投影变换及赋值的操作，即得到应位于对齐后的图像中的区域U的图像内容。其中，得到坐标的过程可以表示为：
上述表达式(1)是示例性的，其中的3*3的射影变换矩阵M中的具体参数可以是利用神经网络通过训练自动得到的，无需人工干预。对于对齐后的图像中的多个不同的区域U，采用不同的射影变换矩阵M得到对应的区域V以及图像内容，对于多个不同的区域同时进行执行上述对齐处理，在处理结束后即得到完整的对齐后的图像。
具体地，上述不同的射影变换矩阵是通过如图2所示的神经网络200得到的，上述图像对齐处理的过程通过神经网络自动执行，其内部处理过程对用户透明。在本实施中，神经网络200包括16个子神经网络2001-20016，16个子神经网络2001-20016分别得到对应的射影变换矩阵，并且分别处理待对齐的图像中对应的区域，多个子神经网络同时对与其对应的区域进行执行对齐处理，得到对齐后的完整的人脸图像。可选地，对于对齐后的图像，使用双线性插值法对图像进行插值处理，使得对齐后的图像更为平滑，以增强对齐效果，在不同的实施例中，也可以使用其他的插值方法进行插值处理。
在本公开的实施例中，如图3所示，通过上述对齐处理得到的对齐后的人脸图像可以直接投入人脸识别训练系统，作为人脸识别训练系统的训练样本，该人脸识别训练系统是基于神经网络的人脸识别训练系统。在神经网络中，通过端到端的学习方式，直接优化人脸识别训练系统的训练误差，使得上述16个子神经网络自动学习出如何对齐人脸，即得到对应的射影变换矩阵，从而无需人为制定对齐算法。通过上述实施例中的人脸对齐方法将不同姿态的人脸统一对齐成正脸，提高了人脸识别的准确率。
图4是图示根据本公开的实施例的人脸图像对齐结果的示意图。参照图4所示的示例，图4中的第1、3行中所示出的为待对齐的图像，通过图3所示的图像对齐方法将待对齐的人脸图像划分为多个区域，分别对该多个区域进行对齐处理，得到图4中的第2、4行中所示出的为对齐后的人脸图像。应理解的是，图4中的第1、3行上出现的框线，可以是利用本公开实施例中所述的图像对齐方法，通过16个子神经网络分别根据对齐后的人脸图像中每个区域对应的人脸部位而预测出的该人脸部位在待对齐的人脸图像中的位置，该框线用于示例性的说明本公开实施例所述的图像对齐方法中的处理过程，该过程是不被用户感知的。
此外，在不同的实施例中，根据待处理图像的不同，或是图像内容的差异，可以采用不同的区域划分方式，例如，按照a*a或a*b的方式进行区域划分，其中，a、b为不相等的正整数。
图5是图示根据本公开的实施例的人脸图像对齐方法的流程图。如图5所示，根据本公开的实施例的图像对齐方法包括以下步骤。
在步骤S501中，获取待对齐的图像。根据本公开的实施例，所获取的图像可以是人脸图像。具体地，获取的待对齐的人脸图像包括但不限于，在由物理位置上分离配置的图像采集模块采集人脸图像数据之后，经由有线或者无线方式，接收从所述图像采集模块发送的人脸图像数据。可替代地，图像采集模块可以与人脸图像对齐装置中的其他模块或组件物理上位于同一位置甚至位于同一机壳内部，例如，图像采集模块是作为人脸图像对齐装置的电子设备上配置的摄像头。人脸图像对齐装置中的其他模块或组件经由内部总线接收从图像采集模块发送的图像数据。待对齐的人脸图像可以是图像采集模块采集到的原始图像，也可以是对原始图像进行，例如，裁剪、尺寸归一化等的预处理之后获得的图像。此后，处理进到步骤S502。
在步骤S502中，将待对齐的人脸图像划分为多个第一区域。在本公开的实施例中，对齐后的图像可以包括多个第二区域，对齐后的图像中第二区域的划分方式可以采用如图3所示的4*4的方式划分为16区域，也可以采用其他的划分方式，例如a*a或a*b的方式进行区域划分，其中，a、b为不相等的正整数。示例地，可以分别利用射影变换矩阵确定多个第二区域各自对应的第一区域在待对齐的图像中的位置，将待对齐的图像划分为所述多个第一区域，其中，多个第二区域与所述多个第一区域一一对应，对于不同的第二区域，采用不同的射影变换矩阵；具体地，分别利用射影变换矩阵对多个第二区域中每个第二区域中的像素点的坐标执行射影变换，得到每个第二区域对应的第一区域的像素点在所述待对齐的图像中的坐标。在如图3所示的示例中，对于对齐后的图像中的区域U中位置为(x,y)某个像素点，利用与该区域U对应的射影变换矩阵M从待对齐的图像中找到与坐标(x,y)对应的坐标位置由此，通过射影矩阵M对区域U中的像素点执行射影变换，可以得到在待对齐的图像中与区域U对应的区域V的划分。在本公开的实施例中，本步骤中的利用的射影变换矩阵是通过神经网络得到的，该神经网络包括多个子神经网络，多个子神经网络对应于上述不同的射影变换矩阵。此后，处理进到步骤S503。
在步骤S503中，分别将多个第一区域的图像映射到各自对应的第二区域的位置上，得到对齐后的图像。在如图3所示的示例中，从待对齐的图像中取出坐标处的像素点的值，该像素点的值赋予坐标(x,y)处的像素点，通过对区域U中的每个像素点执行上述投影变换及赋值的操作，即得到应位于对齐后的图像中的区域U的图像内容。具体地，上述步骤S502和S503执行的处理过程是通过如图2所示的神经网络200自动执行，其内部处理过程对用户透明。用于本实施中的神经网络200中的每个子神经网络分别对应处理待对齐的图像中的不同的区域，多个子神经网络同时对与其对应的区域进行执行对齐处理，得到对齐后的完整的人脸图像。此后，处理进到步骤S504。
在步骤S504中，对得到的对齐后的图像进行插值处理。对于步骤S503得到的对齐后的图像，可以使用双线性插值法对图像进行插值处理，使得对齐后的图像更为平滑，以增强对齐效果，在不同的实施例中，也可以使用其他的插值方法进行插值处理。
需要理解的是，参照图3、图4、图5示出的图像对齐方法仅仅是示例性的，本公开的内容不限于此。
以上，参照示意图及流程图描述了根据本公开的实施例的图像对齐方法和图像对齐处理的结果。以下，将进一步描述执行上述图像对齐方法的图像对齐装置。
图6是图示根据本公开的实施例的图像对齐装置的硬件框图。如图6所示，根据本公开实施例的图像对齐装置60包括存储器601和处理器602。图像对齐装置60中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。
所述存储器601用于存储非暂时性计算机可读指令。具体地，存储器601可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
所述处理器602可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制图像对齐装置60中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器602用于运行所述存储器601中存储的所述计算机可读指令，使得所述图像对齐装置60执行上述图像对齐方法。所述图像对齐方法与上述基于图像对齐方法描述的实施例相同，在此将省略其重复描述。
图7是图示根据本公开的实施例的图像对齐装置的框图。如图7所示的根据本公开的实施例的图像对齐装置70可以用于执行如图1所示的图像对齐方法。如图7所示，根据本公开的实施例的图像对齐装置70包括图像获取模块701以及图像对齐模块702。
具体地，图像获取模块701用于获取待对齐的图像。在本公开的一个实施例中，接收模块701可以通过图像采集模块获取待对齐的图像。
图像对齐模块702用于将所述待对齐的图像划分为多个区域，并分别对所述多个区域进行对齐处理，得到对齐后的图像。
此外，需要理解的是，图7所示的图像对齐装置70的组件和结构只是示例性的，而非限制性的，根据需要，图像对齐装置70也可以具有其他组件和结构。例如，图像采集装置和输出装置等(未示出)。图像采集装置可以用于采集图像，并且将所采集到的图像存储在存储器中以供其它组件使用。当然，也可以利用其他图像采集设备采集所述图像，并且将采集的图像发送给图像对齐装置70。输出装置可以向外部(例如用户)输出各种信息，例如对齐后的图像信息。输出装置可以包括显示器、扬声器、投影仪、网卡等中的一个或多个。
图8是图示根据本公开的实施例的计算机可读存储介质的示意图。如图8所示，根据本公开实施例的计算机可读存储介质800其上存储有非暂时性计算机可读指令801。当所述非暂时性计算机可读指令801由处理器运行时，执行参照上述描述的根据本公开实施例的图像对齐方法。
以上，根据本公开实施例的图像对齐方法和装置、以及计算机可读存储介质。通过根据本公开实施例的图像对齐方法对人脸的不同区域使用不同的对齐算法，无需人为指定对齐算法，通过神经网络自动优化得到的对齐算法，进而将不同姿态的人脸图像统一对齐成正脸，从而大大提高人脸识别的准确率。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (11)
1.一种图像对齐方法，包括：
获取待对齐的图像；
将所述待对齐的图像划分为多个第一区域，并分别对所述多个第一区域进行对齐处理，得到对齐后的图像。
2.如权利要求1所述的方法，其中，所述对齐后的图像包括多个第二区域，所述多个第二区域与所述多个第一区域一一对应，
所述将所述待对齐的图像划分为多个第一区域，并分别对所述多个第一区域进行对齐处理，得到对齐后的图像，包括：
确定所述多个第二区域各自对应的第一区域在所述待对齐的图像中的位置，将所述待对齐的图像划分为所述多个第一区域；
分别将所述多个第一区域的图像映射到各自对应的第二区域的位置上，得到所述对齐后的图像。
3.如权利要求2所述的方法，其中，所述确定所述多个第二区域各自对应的第一区域在所述待对齐的图像中的位置，将所述待对齐的图像划分为所述多个第一区域，包括：
分别利用射影变换矩阵确定所述多个第二区域各自对应的第一区域在所述待对齐的图像中的位置，将所述待对齐的图像划分为所述多个第一区域。
4.如权利要求3所述的方法，其中，所述分别利用射影变换矩阵确定所述多个第二区域各自对应的第一区域在所述待对齐的图像中的位置，包括：
分别利用射影变换矩阵对所述多个第二区域中每个第二区域中的像素点的坐标执行射影变换，得到所述每个第二区域对应的第一区域中的像素点在所述待对齐的图像中的坐标。
5.如权利要求3或4所述的方法，其中，对于所述多个第二区域中的不同的区域，采用不同的射影变换矩阵。
6.如权利要求3或4所述的方法，其中，
所述多个第二区域各自的射影变换矩阵是利用神经网络得到的，所述神经网络包括多个子神经网络，所述多个子神经网络对应于所述多个第二区域各自的射影变换矩阵。
7.如权利要求1所述的方法，其中，所述将所述待对齐的图像划分为多个第一区域，并分别对所述多个第一区域进行对齐处理，得到对齐后的图像，包括：
将所述待对齐的图像输入神经网络中，所述神经网络包括多个子神经网络，所述多个子神经网络与所述待对齐图像的多个第一区域一一对应，所述多个子神经网络中的每个子神经网络用于对与其对应的区域进行对齐处理，得到所述对齐后的图像。
8.如权利要求1至4中任一项所述的方法，其中，还包括：对所述对齐后的图像进行插值处理。
9.一种图像对齐装置，所述图像对齐装置包括：
存储器，用于存储非暂时性计算机可读指令；以及
处理器，用于运行所述计算机可读指令，使得所述图像对齐装置执行图像对齐方法，所述图像对齐方法包括：
获取待对齐的图像；
将所述待对齐的图像划分为多个第一区域，并分别对所述多个第一区域进行对齐处理，得到对齐后的图像。
10.一种图像对齐装置，包括：
图像获取模块，用于获取待对齐的图像；
图像对齐模块，用于将所述待对齐的图像划分为多个第一区域，并分别对所述多个第一区域进行对齐处理，得到对齐后的图像。
11.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711288090.9A CN108875513A (zh) | 2017-12-07 | 2017-12-07 | 图像对齐方法和装置、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711288090.9A CN108875513A (zh) | 2017-12-07 | 2017-12-07 | 图像对齐方法和装置、计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108875513A true CN108875513A (zh) | 2018-11-23 |
Family
ID=64325677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711288090.9A Pending CN108875513A (zh) | 2017-12-07 | 2017-12-07 | 图像对齐方法和装置、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108875513A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673308A (zh) * | 2021-07-05 | 2021-11-19 | 北京旷视科技有限公司 | 对象识别方法、装置和电子系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105590116A (zh) * | 2015-12-18 | 2016-05-18 | 华南理工大学 | 一种基于头部部件对齐的鸟类图像识别方法 |
| CN105631039A (zh) * | 2016-01-15 | 2016-06-01 | 北京邮电大学 | 一种图片浏览方法 |
| CN105874468A (zh) * | 2013-11-14 | 2016-08-17 | 锡克拜控股有限公司 | 用于验证产品的图像分析 |
| US20160283788A1 (en) * | 2015-03-27 | 2016-09-29 | Kyocera Document Solutions | Image processing apparatus |
| CN106845327A (zh) * | 2015-12-07 | 2017-06-13 | 展讯通信(天津)有限公司 | 人脸对齐模型的训练方法、人脸对齐方法和装置 |
-
2017
- 2017-12-07 CN CN201711288090.9A patent/CN108875513A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105874468A (zh) * | 2013-11-14 | 2016-08-17 | 锡克拜控股有限公司 | 用于验证产品的图像分析 |
| US20160283788A1 (en) * | 2015-03-27 | 2016-09-29 | Kyocera Document Solutions | Image processing apparatus |
| CN106845327A (zh) * | 2015-12-07 | 2017-06-13 | 展讯通信(天津)有限公司 | 人脸对齐模型的训练方法、人脸对齐方法和装置 |
| CN105590116A (zh) * | 2015-12-18 | 2016-05-18 | 华南理工大学 | 一种基于头部部件对齐的鸟类图像识别方法 |
| CN105631039A (zh) * | 2016-01-15 | 2016-06-01 | 北京邮电大学 | 一种图片浏览方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673308A (zh) * | 2021-07-05 | 2021-11-19 | 北京旷视科技有限公司 | 对象识别方法、装置和电子系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10970520B1 (en) | Apparatus and method for image analysis using virtual three-dimensional deep neural network | |
| US11967151B2 (en) | Video classification method and apparatus, model training method and apparatus, device, and storage medium | |
| CN105138993B (zh) | 建立人脸识别模型的方法及装置 | |
| KR102174595B1 (ko) | 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법 | |
| CN104834922B (zh) | 基于混合神经网络的手势识别方法 | |
| CN103914676B (zh) | 一种在人脸识别中使用的方法和装置 | |
| US11403874B2 (en) | Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium | |
| CN112766160A (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN109145717B (zh) | 一种在线学习的人脸识别方法 | |
| CN103279936B (zh) | 基于画像的人脸伪照片自动合成及修正方法 | |
| CN108573243A (zh) | 一种基于深度卷积神经网络的低质量人脸的比对方法 | |
| CN109712080A (zh) | 图像处理方法、图像处理装置及存储介质 | |
| CN105354248A (zh) | 基于灰度的分布式图像底层特征识别方法及系统 | |
| JP2018055470A (ja) | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム | |
| CN111091075A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN105069774B (zh) | 基于多示例学习与图割优化的目标分割方法 | |
| WO2020253304A1 (zh) | 人脸识别装置及图像处理方法、特征提取模型、存储介质 | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| CN111652974A (zh) | 三维人脸模型的构建方法、装置、设备及存储介质 | |
| CN106650691A (zh) | 图像处理方法和图像处理设备 | |
| CN110046574A (zh) | 基于深度学习的安全帽佩戴识别方法及设备 | |
| CN109271930A (zh) | 微表情识别方法、装置与存储介质 | |
| CN107832740A (zh) | 一种远程教学的教学质量评估方法及系统 | |
| CN110321892A (zh) | 一种图片筛选方法、装置及电子设备 | |
| CN110321908A (zh) | 图像识别方法、终端设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |
|
| RJ01 | Rejection of invention patent application after publication |