CN111860093B - 图像处理方法、装置、设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111860093B CN111860093B CN202010176670.4A CN202010176670A CN111860093B CN 111860093 B CN111860093 B CN 111860093B CN 202010176670 A CN202010176670 A CN 202010176670A CN 111860093 B CN111860093 B CN 111860093B
- Authority
- CN
- China
- Prior art keywords
- image
- angle
- trained
- preset
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 19
- 238000002372 labelling Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 13
- 238000013461 design Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种图像处理方法、装置、设备及计算机可读存储介质，方法包括：获取图像采集装置采集到的待校正图像，待校正图像为人脸旋转预设的第一角度的司机人脸图像，第一角度是根据图像采集装置与司机的之间的夹角确定的；将第一角度作为待校正图像的约束条件，将待校正图像以及第一角度，输入至预设的条件对抗网络，获得校正后的目标图像，其中，目标图像为司机的正脸图像；根据目标图像以及预设的人脸识别技术，对司机的身份信息进行识别操作。区别于现有的将图像中的人脸特征信息标注的技术方案，将第一角度作为约束条件，训练数据较为丰富。在基于该目标图像进行人脸识别的过程中，由于该目标图像为司机的正脸图像，从而识别精度角度。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。
背景技术
随着科技的发展，人脸识别技术的应用领域越来越广泛。例如，在网约车领域，为了提高司乘安全，可以通过人脸识别技术对司机的身份信息进行识别。具体地，可以在车辆内部安装图像采集装置，获取当前司机的图像信息，对该图像信息进行人脸识别操作，以确定当前司机的身份信息。但是，由于车内安装的图像采集装置与司机之间往往存在着夹角，相应地，获取到的图像信息往往存在扭转，不是司机的正脸信息，进而导致人脸识别的难度较大，且精度不高。
为了解决上述技术问题，现有技术中提供了一种网络模型，在获取到图像采集装置采集到的司机图像之后，通过该网络模型对司机图像进行校正操作。但是，现有技术中提供的网络模型往往校正精度不高，进而根据校正后的图像进行人脸识别的准确度较低，无法满足实际应用的需求。
发明内容
本发明提供一种图像处理方法、装置、设备及计算机可读存储介质，用于解决现有的图像处理方法训练过程中训练数据获取难度较高，进而导致模型精度不高的技术问题。
本发明的第一个方面是提供一种图像处理方法，包括：
获取图像采集装置采集到的待校正图像，所述待校正图像为人脸旋转预设的第一角度的司机人脸图像，所述第一角度是根据所述图像采集装置与司机的之间的夹角确定的；
将所述第一角度作为所述待校正图像的约束条件，将所述待校正图像以及所述第一角度，输入至预设的条件对抗网络，获得目标图像，其中，所述目标图像为所述司机的正脸图像；
根据所述目标图像以及预设的人脸识别技术，对所述司机的身份信息进行识别操作。
在一种可能的设计中，所述将所述待校正图像以及所述预设角度，输入至预设的条件对抗网络之前，还包括：
获取预设的待训练数据，所述待训练数据中包括至少一组图像对，所述图像对中包括两张旋转角度相同的同一用户的图像，所述旋转角度为第二角度；
根据所述待训练数据对预设的待训练模型进行训练，获得所述条件对抗网络。
在一种可能的设计中，所述根据所述待训练数据对预设的待训练模型进行训练，包括：
随机选取所述图像对中的一张图像作为待训练图像，将所述第二角度作为所述待训练图像的约束条件，将所述待训练图像以及所述第二角度输入至预设的生成器中，获得生成图像；
将所述图像对中的另一图像作为真实图像，将所述真实图像以及所述生成图像分别输入至预设的判别器，以使所述判别器对所述真实图像以及所述生成图像的真实性进行判别；
根据所述判别器输出的判别结果对所述生成器进行监督训练，获得所述条件对抗网络。
在一种可能的设计中，所述生成器包括编码器以及解码器；相应地，所述将所述待训练图像以及所述第二角度输入至预设的生成器中，获得生成器输出的生成图像，包括：
通过所述编码器学习所述待训练图像中的人脸特征向量；
通过所述解码器根据所述人脸特征向量生成所述生成图像；以及，
对所述第二角度进行编码操作，获得所述第二角度对应的限制条件向量；
对所述限制条件向量进行重塑操作，获得与所述人脸特征向量尺寸相同的目标限制条件向量；
将所述人脸特征向量以及目标限制条件向量输入至编码器，获得生成器输出的生成图像。
在一种可能的设计中，所述对所述限制条件向量进行重塑操作，包括：
通过预设的全连接层将所述限制条件向量重塑为预设尺寸的特征向量；
通过预设的转置卷积并级联至少一个卷积层将所述预设尺寸的特征向量重塑为与所述人脸特征向量尺寸相同的目标限制条件向量。
在一种可能的设计中，所述根据所述判别器输出的判别结果对所述生成器进行监督训练，包括：
当所述判别器的判别结果为假时，则控制所述生成器再次根据所述待训练图像以及所述第二角度生成图像，直至所述判别器输出的结果为真；以及，
计算所述生成图像以及所述真实图像之间的欧氏距离，当所述欧氏距离最小化时，获得所述条件对抗网络。
在一种可能的设计中，所述当所述欧氏距离小于预设的距离阈值时，包括：
当所述待训练模型的loss值趋于平稳时，判定所述欧式距离最小化。
在一种可能的设计中，所述将所述待训练图像以及所述第二角度输入至预设的生成器中，获得生成图像之后，还包括：
将预设的第三角度作为所述生成图像的约束条件，将所述生成图像以及所述第三角度对应的特征向量输入至所述生成器，对所述待训练模型进行训练，其中，所述第二角度与第三角度不一致。
在一种可能的设计中，所述根据所述目标图像以及预设的人脸识别技术，对所述司机的身份信息进行识别操作，包括：
通过所述人脸识别技术对所述目标图像进行识别，获得所述司机的身份信息；
所述根据所述目标图像以及预设的人脸识别技术，对所述司机的身份信息进行识别操作之后，还包括：
根据预存的真实司机信息判断所述司机的身份信息是否合法。
本发明的第二个方面是提供一种图像处理装置，包括：
获取模块，用于获取图像采集装置采集到的待校正图像，所述待校正图像为人脸旋转预设的第一角度的司机人脸图像，所述第一角度是根据所述图像采集装置与司机的之间的夹角确定的；
处理模块，用于将所述第一角度作为所述待校正图像的约束条件，将所述待校正图像以及所述第一角度，输入至预设的条件对抗网络，获得目标图像，其中，所述目标图像为所述司机的正脸图像；
识别模块，用于根据所述目标图像以及预设的人脸识别技术，对所述司机的身份信息进行识别操作。
本发明的第三个方面是提供一种图像处理设备，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如第一方面所述的图像处理方法。
本发明的第四个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的图像处理方法。
本发明提供的图像处理方法、装置、设备及计算机可读存储介质，通过获取图像采集装置采集到的待校正图像，根据司机与图像采集装置之间形成的夹角确定预设的第一角度。将该第一角度作为待校正图像的约束条件，将待校正图像以及第一角度，输入至预设的条件对抗网络中。通过条件对抗网络生成校正后的目标图像，该目标图像为校正后的司机的正脸图像。区别于现有技术中将图像中的人脸特征信息标注的技术方案，将第一角度作为约束条件，训练数据较为丰富。此外，可以根据该目标图像对司机的身份信息进行识别。由于该目标图像为司机的正脸图像，从而识别精度角度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明基于的系统架构示意图；
图2为本发明实施例一提供的图像处理方法的流程示意图；
图3为本发明所基于的场景示意图；
图4为本发明实施例二提供的图像处理方法的流程示意图；
图5为本发明实施例提供的条件对抗网络的网络结构图；
图6为本发明实施例提供的又一条件对抗网络的网络架构图；
图7为本发明实施例三提供的图像处理装置的结构示意图；
图8为本发明实施例四提供的图像处理装置的结构示意图；
图9为本发明实施例五提供的图像处理设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例所获得的所有其他实施例，都属于本发明保护的范围。
针对上述提及的在现有的图像处理方法训练过程中训练数据获取难度较高，进而导致模型精度不高的技术问题，本发明提供了一种图像处理方法、装置、设备及计算机可读存储介质。
需要说明的是，本申请提供图像处理方法、装置、设备及计算机可读存储介质可运用在对任意一种人脸识别过程中图像校正的场景中。
在网约车领域中，为了提高司乘的安全性，需要对司机的身份信息进行确定，以确保司机身份的合法性。为了实现对司机身份的确定，通常采用人脸识别模型对安装在车辆中的图像采集装置采集到的图像进行识别。但是，由于图像采集装置与司机之间存在夹角，此外，车辆移动过程中，司机与图像采集装置位置的移动也会导致图像采集装置采集到的图像的旋转，进而根据该图像进行人脸识别往往会精准度不高。因此，现有技术中往往对图像中人脸特征进行标注，通过标注后的图像对预设的条件对抗网络进行训练。训练后的条件对抗网络模型能够根据旋转后的图像生成包括司机正脸的图像。但是，采用上述方法往往需要大量的人脸特征点热图作为训练数据，标注成本较高。训练数据获取较难，训练数据的数据量较少，则导致模型精度不高。
面对现有技术中的问题，发明人通过研究发现，为了降低训练数据的获取难度，可以选择更换不同的约束条件，例如，可以将图像中人脸的旋转角度作为约束条件。获取到待校正图像之后，将旋转角度与待校正图像一同输入至条件对抗模型中进行校正操作。而通过人脸旋转角度标注后的训练数据较为丰富，训练数据获取难度较低。相应地，通过该训练数据训练后的模型精度较高。
图1为本发明基于的系统架构示意图，如图1所示，本发明基于的网络架构至少包括：图像采集装置1以及图像处理装置2。其中，图像处理装置2采用C/C++、Java、Shell或Python等语言编写；图像采集装置1则可为相机、录像机等能够实现图像采集的装置。图像采集装置1与图像处理装置2通信连接，从而二者能够进行信息交互。
图2为本发明实施例一提供的图像处理方法的流程示意图，如图2所示，所述方法包括：
步骤101、获取图像采集装置采集到的待校正图像，所述待校正图像为人脸旋转预设的第一角度的司机人脸图像，所述第一角度是根据所述图像采集装置与司机的之间的夹角确定的。
本实施例的执行主体为图像处理装置，该图像处理装置能够与安装在车辆中的图像采集装置通信连接，从而能够与该图像采集装置进行信息交互。具体地，为了实现对司机的身份信息的识别，可以在车辆内部设置图像采集装置，但是，由于图像采集装置与司机之间往往会存在夹角，且车辆移动过程中，司机与图像采集装置位置的移动也会导致图像采集装置采集到的图像的旋转，进而会导致人脸识别的精度不高。因此，需要对旋转后的图像进行校正。具体地，图像处理装置可以获取图像采集装置采集到的待校正图像，其中，待校正图像可以为人脸旋转了预设的第一角度的司机人脸图像。
具体地，由于司机与图像采集装置的位置已知，进而可以根据司机与图像采集装置之间的夹角实现该第一角度的计算。可以采用任意一种能够实现角度计算的算法实现对第一角度的计算，本发明对此不做限制。
图3为本发明所基于的场景示意图，如图3所示，图像采集装置可以设置在司机右上方的位置，从而能够实现对司机的图像的采集。相应地，由于图像采集装置与司机之间存在夹角，故采集到的图像并非司机的正脸图像，基于该图像采集装置采集的图像进行人脸识别精度不高。
步骤102、将所述第一角度作为所述待校正图像的约束条件，将所述待校正图像以及所述第一角度，输入至预设的条件对抗网络，获得校正后的目标图像，其中，所述目标图像为所述司机的正脸图像。
在本实施方式中，由于现有的图像处理方法往往需要大量的人脸特征点热图作为训练数据，标注成本较高。训练数据获取较难，训练数据的数据量较少，则导致模型精度不高。为了降低训练数据的获取难度，可以选择图像中人脸的旋转角度作为约束条件。因此，在获取到待校正图像之后，可以将待校正图像对应的第一角度作为约束条件，将待校正图像以及第一角度，输入至预设的条件对抗网络，获得校正后的目标图像，其中，目标图像为司机的正脸图像。该对抗网络在训练过程中，可以包括生成器与判别器，生成器用于生成尽量接近真实图像的正脸图像，判别器具体用于接收到生成器生成的图像之后，将生成器判别为假，并将输入的真实图像判别为真。生成器生成更为真实的图像，“骗”过判别器，判别器尽量将生成器输出的图像判别为假，以监督生成器生成更加真实的图像，生成器与判别器不断对抗，直至模型收敛，从而生成器生成的图像能够更加接近真实的图像。
103、根据所述目标图像以及预设的人脸识别技术，对所述司机的身份信息进行识别操作。
在本实施方式中，获取到条件对抗模型生成的目标图像之后，由于该目标图像中包括司机的正脸图像，既可以通过人脸识别技术对该目标图像进行识别操作，以确定司机的身份信息。由于人脸识别技术基于司机的正脸图像进行人脸识别，从而识别精度较高。
具体地，在上述实施例的基础上，步骤103具体包括：
通过所述人脸识别技术对所述目标图像进行识别，获得所述司机的身份信息；
步骤103之后，还包括：
根据预存的真实司机信息判断所述司机的身份信息是否合法。
在本实施例中，可以通过人脸识别技术对目标图像进行识别，获得司机的身份信息。举例来说，该人脸识别技术具体可以为人脸识别模型。获得司机的身份信息之后，可以根据该身份信息对司机的身份是否合法。以实际应用举例来说，网约车司机在网约车平台注册时，可以预先上传一个真实司机信息，进而在识别到司机的身份信息之后，可以将该身份信息与该真实司机信息进行比对，以实现对司机身份合法性的确定。
本实施例提供的图像处理方法，通过获取图像采集装置采集到的待校正图像，根据司机与图像采集装置之间形成的夹角确定预设的第一角度。将该第一角度作为待校正图像的约束条件，将待校正图像以及第一角度，输入至预设的条件对抗网络中。通过条件对抗网络生成校正后的目标图像，该目标图像为校正后的司机的正脸图像。区别于现有技术中将图像中的人脸特征信息标注的技术方案，将第一角度作为约束条件，训练数据较为丰富。此外，可以根据该目标图像对司机的身份信息进行识别。由于该目标图像为司机的正脸图像，从而识别精度角度。
图4为本发明实施例二提供的图像处理方法的流程示意图，在上述任一实施例的基础上，如图4所示，步骤102之前，还包括：
步骤201、获取预设的待训练数据，所述待训练数据中包括至少一组图像对，所述图像对中包括两张旋转角度相同的同一用户的图像，所述旋转角度为第二角度；
步骤202、根据所述待训练数据对预设的待训练模型进行训练，获得所述条件对抗网络。
在本实施例中，为了实现通过条件对抗模型对待校正图像的校正操作，首先需要训练获得该条件对抗模型。具体地，可以获取预设的待训练数据，其中，该待训练数据中包括至少一组图像对，每一个图像对中均未包括两张旋转角度相同的图像，该两张图像中均为同一用户，且，该角度可以为第二角度。针对每一不同的图像对，第二角度可以不相同。需要说明的是，该待训练数据可以为预先通过标注的开源数据等，本发明对此不做限制。获取到待训练数据之后，可以通过该待训练数据对预设的待训练模型进行训练，直至该待训练模型收敛，获得该条件对抗网络。
具体地，该待训练模型中可以包括生成器与判别器，其中，生成器用于生成尽量接近真实图像的正脸图像，判别器具体用于接收到生成器生成的图像之后，将生成器判别为假，并将输入的真实图像判别为真。基于该网络架构，步骤202具体包括：
随机选取所述图像对中的一张图像作为待训练图像，将所述第二角度作为所述待训练图像的约束条件，将所述待训练图像以及所述第二角度输入至预设的生成器中，获得生成图像；
将所述图像对中的另一图像作为真实图像，将所述真实图像以及所述生成图像分别输入至预设的判别器，以使所述判别器对所述真实图像以及所述生成图像的真实性进行判别；
根据所述判别器输出的判别结果对所述生成器进行监督训练，获得所述条件对抗网络。
在本实施例中，针对待训练数据中的每一个图像对，可以随机选取图像对中的一张图像作为待训练图像，将该图像对对应的第二图像作为该待训练图像的约束条件。将该待训练图像以及第二角度输入至预设的生成器中，获得生成图像。针对图像对中的另一图像，可以将该图像作为真实图像，与生成图像同时输入至判别器中。判别器具体用于尽量将生成器输出的图像判别为假，以监督生成器生成更加真实的图像，并将真实图像判别为真。生成器与判别器不断对抗，直至模型收敛，从而生成器生成的图像能够更加接近真实的图像。从而可以根据判别器输出的判别结果对生成器进行监督训练，从而能够促使生成器生成的图像真实度更高，直至模型的loss值趋于平稳，获得条件对抗网络。图5为本发明实施例提供的条件对抗网络的网络结构图，如图5所示，可以将待训练图像输入至生成器中，获得生成器生成的生成图像，将生成图像与真实图像输入至判别网络进行判别操作，得到判别结果。
具体地，在上述任一实施例的基础上，该生成器具体可以采用编码器(encoder)-解码器(decorder)的网络架构，基于该网络架构，所述将所述待训练图像以及所述第二角度输入至预设的生成器中，获得生成器输出的生成图像，包括：
通过所述编码器学习所述待训练图像中的人脸特征向量；
通过所述解码器根据所述人脸特征向量生成所述生成图像；以及，
对所述第二角度进行编码操作，获得所述第二角度对应的限制条件向量；
对所述限制条件向量进行重塑操作，获得与所述人脸特征向量尺寸相同的目标限制条件向量；
将所述人脸特征向量以及目标限制条件向量输入至编码器，获得生成器输出的生成图像。
在本实施例中，生成器中，编码器具体可以用于学习待训练图像中的人脸特征向量，相应地，解码器具体用于根据该人脸特征向量生成该生成图像。具体地，为了引入第二角度作为约束条件，可以将该第二角度转换为与人脸特征向量尺寸相同的向量。具体地，可以对第二角度进行编码操作，获得第二角度对应的限制条件向量。该限制条件向量可能与人脸特征向量的尺寸不同，因此，还需要对该限制条件向量进行尺寸重塑操作。将人脸特征向量与目标限制条件向量拼接后输入至编码器中，获得生成器输出的生成图像。
具体地，具体可以通过预设的全连接层将限制条件向量重塑为预设尺寸的特征向量，并通过预设的转置卷积并级联至少一个卷积层将该预设尺寸的特征向量重塑为与人脸特征向量尺寸相同的目标限制条件向量。
进一步地，在上述任一实施例的基础上，判别器具体可以采用多任务网络，同时执行多个任务。基于上述网络结构，所述根据所述判别器输出的判别结果对所述生成器进行监督训练，包括：
当所述判别器的判别结果为假时，则控制所述生成器再次根据所述待训练图像以及所述第二角度生成图像，直至所述判别器输出的结果为真；以及，
计算所述生成图像以及所述真实图像之间的欧氏距离，当所述欧氏距离最小化时，获得所述条件对抗网络。具体地，可以根据待训练模型的loss值确定欧式距离是否最小化。当待训练模型的loss值趋于平稳时，则判定欧式距离最小化。
在本实施例中，判别器执行的第一个任务具体可以为判别生成器输出的生成图像的真假。当接收到生成器输出的生成图像，则尽量将其判别为假，当接收到真实图像，则尽量将其判别为真。基于该任务的输出结果，当判别器的判别结果为“假”时，则根据该判别结果控制生成器再次根据待训练图像以及第二角度进行图像的生成，直至判别器的输出结果为“真”，表征生成器的准确度较高。
判别器执行的第二个任务具体可以为计算生成图像与真实图像之间的欧式距离，当欧式距离足够小的时候，则判定生成网络所输出的生成图像与真实图像足够相似，此时，可以判定该待训练网络已经训练完毕，获得该条件生成网络。
作为一种可以实施的方式，上述两个任务也可以单独实施，仅根据判别器的判别结果或欧氏距离实现对待训练模型的训练，本发明对此不做限制。
图6为本发明实施例提供的又一条件对抗网络的网络架构图，如图6所示，可以在生成器之后建立一个反馈支路，将生成器输出的生成图像以及预设的第三角度，再次输入至生成器中进行图像的生成。基于上述网络架构，在上述任一实施例的基础上，所述将所述待训练图像以及所述第二角度输入至预设的生成器中，获得生成图像之后，还包括：
将预设的第三角度作为所述生成图像的约束条件，将所述生成图像以及所述第三角度对应的特征向量输入至所述生成器，对所述待训练模型进行训练，其中，所述第二角度与第三角度不一致。
在本实施例中，可以将第三角度作为生成图像的约束条件，将生成图像以及第三角度对应的特征向量一同输入至生成器中，实现对模型的训练，其中，第二角度与第三角度不同。以实际应用举例来说，可以向待训练模型中输入待训练图像以及第二角度，其中，待训练图像为包括司机正脸旋转30°的图像，第二角度用于约束生成器生成司机的正脸图像。生成器根据该待训练图像以及第二角度输出包括司机正脸图像的生成图像。将该生成图像与第三角度再次输入至支路的生成器中，其中，该第三角度用于约束生成器生成司机正脸旋转15°的图像。生成器根据该生成图像以及第三角度输出包括司机正脸旋转15°的生成图像。由于待训练模型根据一组图像对，既能够生成两个角度的图像，从而待训练模型能够学习到更多的图像特征，进而生成的图像的准确度更高。
本实施例提供的图像处理方法，通过将旋转角度信息作为约束条件，对待训练模型进行训练，从而能够在较小训练数据获取难度的基础上，提高模型的精度。此外，通过在待训练模型中引入反馈支路，从而能够使待训练模型学习到更多的图像特征，进而生成的图像的准确度更高，进一步地提高模型的精度。
图7为本发明实施例三提供的图像处理装置的结构示意图，如图3所示，所述装置包括：获取模块31、处理模块32以及识别模块33，其中，获取模块31，用于获取图像采集装置采集到的待校正图像，所述待校正图像为人脸旋转预设的第一角度的司机人脸图像，所述第一角度是根据所述图像采集装置与司机的之间的夹角确定的；处理模块32，用于将所述第一角度作为所述待校正图像的约束条件，将所述待校正图像以及所述第一角度，输入至预设的条件对抗网络，获得目标图像，其中，所述目标图像为所述司机的正脸图像；识别模块33，用于根据所述目标图像以及预设的人脸识别技术，对所述司机的身份信息进行识别操作。
本实施例提供的图像处理装置，通过获取图像采集装置采集到的待校正图像，根据司机与图像采集装置之间形成的夹角确定预设的第一角度。将该第一角度作为待校正图像的约束条件，将待校正图像以及第一角度，输入至预设的条件对抗网络中。通过条件对抗网络生成校正后的目标图像，该目标图像为校正后的司机的正脸图像。区别于现有技术中将图像中的人脸特征信息标注的技术方案，将第一角度作为约束条件，训练数据较为丰富。此外，可以根据该目标图像对司机的身份信息进行识别。由于该目标图像为司机的正脸图像，从而识别精度角度。
图8为本发明实施例四提供的图像处理装置的结构示意图，在上述实施例三的基础上，如图8所示，所述装置还包括获取模块31以及训练模块41，其中，获取模块31，用于获取预设的待训练数据，所述待训练数据中包括至少一组图像对，所述图像对中包括两张旋转角度相同的同一用户的图像，所述旋转角度为第二角度；训练模块41，用于根据所述待训练数据对预设的待训练模型进行训练，获得所述条件对抗网络。
进一步地，在上述任一实施例的基础上，所述训练模块用于：
随机选取所述图像对中的一张图像作为待训练图像，将所述第二角度作为所述待训练图像的约束条件，将所述待训练图像以及所述第二角度输入至预设的生成器中，获得生成图像；
将所述图像对中的另一图像作为真实图像，将所述真实图像以及所述生成图像分别输入至预设的判别器，以使所述判别器对所述真实图像以及所述生成图像的真实性进行判别；
根据所述判别器输出的判别结果对所述生成器进行监督训练，获得所述条件对抗网络。
进一步地，在上述任一实施例的基础上，所述生成器包括编码器以及解码器；相应地，所述训练模块用于：
通过所述编码器学习所述待训练图像中的人脸特征向量；
通过所述解码器根据所述人脸特征向量生成所述生成图像；以及，
对所述第二角度进行编码操作，获得所述第二角度对应的限制条件向量；
对所述限制条件向量进行重塑操作，获得与所述人脸特征向量尺寸相同的目标限制条件向量；
将所述人脸特征向量以及目标限制条件向量输入至编码器，获得生成器输出的生成图像。
进一步地，在上述任一实施例的基础上，所述训练模块用于：
通过预设的全连接层将所述限制条件向量重塑为预设尺寸的特征向量；
通过预设的转置卷积并级联至少一个卷积层将所述预设尺寸的特征向量重塑为与所述人脸特征向量尺寸相同的目标限制条件向量。
进一步地，在上述任一实施例的基础上，所述训练模块用于：
当所述判别器的判别结果为假时，则控制所述生成器再次根据所述待训练图像以及所述第二角度生成图像，直至所述判别器输出的结果为真；以及，
计算所述生成图像以及所述真实图像之间的欧氏距离，当所述欧氏距离最小化时，获得所述条件对抗网络。
进一步地，在上述任一实施例的基础上，所述训练模块用于：
当所述待训练模型的loss值趋于平稳时，判定所述欧式距离最小化。
进一步地，在上述任一实施例的基础上，所述训练模块用于：
将预设的第三角度作为所述生成图像的约束条件，将所述生成图像以及所述第三角度对应的特征向量输入至所述生成器，对所述待训练模型进行训练，其中，所述第二角度与第三角度不一致。
进一步地，在上述任一实施例的基础上，所述识别模块，用于：
通过所述人脸识别技术对所述目标图像进行识别，获得所述司机的身份信息；
所述装置还包括：
判断模块，用于根据预存的真实司机信息判断所述司机的身份信息是否合法。
本实施例提供的图像处理装置，通过将旋转角度信息作为约束条件，对待训练模型进行训练，从而能够在较小训练数据获取难度的基础上，提高模型的精度。此外，通过在待训练模型中引入反馈支路，从而能够使待训练模型学习到更多的图像特征，进而生成的图像的准确度更高，进一步地提高模型的精度。
图9为本发明实施例五提供的图像处理设备的结构示意图，如图9所示，所述图像处理设备包括：存储器51，处理器52；
存储器51；用于存储所述处理器52可执行指令的存储器51；
其中，所述处理器52被配置为由所述处理器52执行如上述任一实施例所述的图像处理方法。
存储器51，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器51可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
其中，处理器52可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
可选的，在具体实现上，如果存储器51和处理器52独立实现，则存储器51和处理器52可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器51和处理器52集成在一块芯片上实现，则存储器51和处理器52可以通过内部接口完成相同间的通信。
本发明又一实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述任一实施例所述的图像处理方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
获取图像采集装置采集到的待校正图像，所述待校正图像为人脸旋转预设的第一角度的司机人脸图像，所述第一角度是根据所述图像采集装置与司机的之间的夹角确定的；
将所述第一角度作为所述待校正图像的约束条件，将所述待校正图像以及所述第一角度，输入至预设的条件对抗网络，获得校正后的目标图像，其中，所述目标图像为所述司机的正脸图像；
根据所述目标图像以及预设的人脸识别技术，对所述司机的身份信息进行识别操作；
其中，所述条件对抗网络由预设的待训练模型通过如下方式训练得到：
通过编码器学习待训练图像中的人脸特征向量，其中，所述待训练模型包括生成器和判别器，所述生成器包括所述编码器以及解码器，所述待训练图像的旋转角度为第二角度；
通过所述解码器根据所述人脸特征向量生成对应的生成图像；以及，
对所述第二角度进行编码操作，获得所述第二角度对应的限制条件向量；
对所述限制条件向量进行重塑操作，获得与所述人脸特征向量尺寸相同的目标限制条件向量；
将所述人脸特征向量以及目标限制条件向量输入至编码器，获得生成器输出的生成图像；
根据所述判别器确定的所述生成器输出的生成图像的判别结果对所述生成器进行监督训练，获得所述条件对抗网络。
2.根据权利要求1所述的方法，其特征在于，所述将所述待校正图像以及所述预设角度，输入至预设的条件对抗网络之前，还包括：
获取预设的待训练数据，所述待训练数据中包括至少一组图像对，所述图像对中包括两张旋转角度相同的同一用户的图像，所述旋转角度为第二角度；
根据所述待训练数据对预设的待训练模型进行训练，获得所述条件对抗网络。
3.根据权利要求2所述的方法，其特征在于，所述根据所述待训练数据对预设的待训练模型进行训练，包括：
随机选取所述图像对中的一张图像作为待训练图像，将所述第二角度作为所述待训练图像的约束条件，将所述待训练图像以及所述第二角度输入至预设的生成器中，获得生成图像；
将所述图像对中的另一图像作为真实图像，将所述真实图像以及所述生成图像分别输入至预设的判别器，以使所述判别器对所述真实图像以及所述生成图像的真实性进行判别；
根据所述判别器输出的判别结果对所述生成器进行监督训练，获得所述条件对抗网络。
4.根据权利要求1所述的方法，其特征在于，所述对所述限制条件向量进行重塑操作，包括：
通过预设的全连接层将所述限制条件向量重塑为预设尺寸的特征向量；
通过预设的转置卷积并级联至少一个卷积层将所述预设尺寸的特征向量重塑为与所述人脸特征向量尺寸相同的目标限制条件向量。
5.根据权利要求3所述的方法，其特征在于，所述根据所述判别器输出的判别结果对所述生成器进行监督训练，包括：
当所述判别器的判别结果为假时，则控制所述生成器再次根据所述待训练图像以及所述第二角度生成图像，直至所述判别器输出的结果为真；以及，
计算所述生成图像以及所述真实图像之间的欧氏距离，当所述欧氏距离最小化时，获得所述条件对抗网络。
6.根据权利要求5所述的方法，其特征在于，所述当所述欧氏距离最小化时，包括：
当所述待训练模型的loss值趋于平稳时，判定所述欧氏距离最小化。
7.根据权利要求3-6任一项所述的方法，其特征在于，所述将所述待训练图像以及所述第二角度输入至预设的生成器中，获得生成图像之后，还包括：
将预设的第三角度作为所述生成图像的约束条件，将所述生成图像以及所述第三角度对应的特征向量输入至所述生成器，对所述待训练模型进行训练，其中，所述第二角度与第三角度不一致。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述目标图像以及预设的人脸识别技术，对所述司机的身份信息进行识别操作，包括：
通过所述人脸识别技术对所述目标图像进行识别，获得所述司机的身份信息；
所述根据所述目标图像以及预设的人脸识别技术，对所述司机的身份信息进行识别操作之后，还包括：
根据预存的真实司机信息判断所述司机的身份信息是否合法。
9.一种图像处理装置，其特征在于，包括：
获取模块，用于获取图像采集装置采集到的待校正图像，所述待校正图像为人脸旋转预设的第一角度的司机人脸图像，所述第一角度是根据所述图像采集装置与司机的之间的夹角确定的；
处理模块，用于将所述第一角度作为所述待校正图像的约束条件，将所述待校正图像以及所述第一角度，输入至预设的条件对抗网络，获得目标图像，其中，所述目标图像为所述司机的正脸图像，所述条件对抗网络由预设的待训练模型训练得到；
识别模块，用于根据所述目标图像以及预设的人脸识别技术，对所述司机的身份信息进行识别操作；
训练模块，用于通过编码器学习待训练图像中的人脸特征向量，其中，所述待训练模型包括生成器和判别器，所述生成器包括所述编码器以及解码器，所述待训练图像的旋转角度为第二角度，通过所述解码器根据所述人脸特征向量生成对应的生成图像，对所述第二角度进行编码操作，获得所述第二角度对应的限制条件向量，对所述限制条件向量进行重塑操作，获得与所述人脸特征向量尺寸相同的目标限制条件向量，将所述人脸特征向量以及目标限制条件向量输入至编码器，获得生成器输出的生成图像，根据所述判别器确定的所述生成器输出的生成图像的判别结果对所述生成器进行监督训练，获得所述条件对抗网络。
10.一种图像处理设备，其特征在于，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如权利要求1-8任一项所述的图像处理方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8任一项所述的图像处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010176670.4A CN111860093B (zh) | 2020-03-13 | 2020-03-13 | 图像处理方法、装置、设备及计算机可读存储介质 |
| PCT/CN2021/073018 WO2021147938A1 (en) | 2020-01-22 | 2021-01-21 | Systems and methods for image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010176670.4A CN111860093B (zh) | 2020-03-13 | 2020-03-13 | 图像处理方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860093A CN111860093A (zh) | 2020-10-30 |
| CN111860093B true CN111860093B (zh) | 2024-05-14 |
Family
ID=72985541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010176670.4A Active CN111860093B (zh) | 2020-01-22 | 2020-03-13 | 图像处理方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860093B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021147938A1 (en) * | 2020-01-22 | 2021-07-29 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for image processing |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
| WO2019200749A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 识别人脸的方法、装置、计算机设备和存储介质 |
| CN110457994A (zh) * | 2019-06-26 | 2019-11-15 | 平安科技（深圳）有限公司 | 人脸图像生成方法及装置、存储介质、计算机设备 |
-
2020
- 2020-03-13 CN CN202010176670.4A patent/CN111860093B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
| WO2019200749A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 识别人脸的方法、装置、计算机设备和存储介质 |
| CN110457994A (zh) * | 2019-06-26 | 2019-11-15 | 平安科技（深圳）有限公司 | 人脸图像生成方法及装置、存储介质、计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于鱼眼摄像头的一种人脸识别技术;徐佳;杨鸿波;宋阳;贾文浩;;信息通信(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860093A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108124487B (zh) | 云端抄表方法及装置 | |
| EP3786835A1 (en) | Traffic image recognition method and apparatus, and computer device and medium | |
| CN110826370B (zh) | 车内人员的身份识别方法、装置、车辆及存储介质 | |
| CN111931731B (zh) | 判题方法、装置、电子设备及存储介质 | |
| CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
| CN109840883B (zh) | 一种训练物体识别神经网络的方法、装置及计算设备 | |
| JP2008130086A (ja) | 分類境界確定方法及び分類境界確定装置 | |
| CN110852310A (zh) | 三维人脸识别方法、装置、终端设备及计算机可读介质 | |
| KR102552968B1 (ko) | 다중 객체 추적 방법 및 이를 위한 장치 | |
| CN109902475B (zh) | 验证码图像生成方法、装置和电子设备 | |
| CN107025425B (zh) | 认证方法和设备以及用于训练识别器的方法和设备 | |
| CN113505682A (zh) | 活体检测方法及装置 | |
| CN111860093B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN109493611A (zh) | 一种车牌识别方法及装置 | |
| CN113723216A (zh) | 一种车道线检测方法、装置、车辆及存储介质 | |
| CN112277957A (zh) | 一种用于驾驶员分心纠正的预警方法及其系统、存储介质 | |
| CN115100614A (zh) | 车辆感知系统的评估方法、装置、车辆及存储介质 | |
| CN109934858B (zh) | 图像配准方法及装置 | |
| CN116129484A (zh) | 模型训练和活体检测的方法、装置、电子设备及存储介质 | |
| CN113111872B (zh) | 图像识别模型的训练方法、装置及电子设备、存储介质 | |
| CN109376585B (zh) | 一种人脸识别的辅助方法、人脸识别方法及终端设备 | |
| CN113033542A (zh) | 一种文本识别模型的生成方法以及装置 | |
| CN108921015B (zh) | 基于递归结构车载单目摄像头下行人目标校验算法及系统 | |
| CN115723777A (zh) | 一种自动驾驶控制方法和系统、存储介质 | |
| CN111681199B (zh) | 检测图像有效性的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |