CN108875510B - 图像处理的方法、装置、系统及计算机存储介质 - Google Patents

图像处理的方法、装置、系统及计算机存储介质 Download PDF

Info

Publication number
CN108875510B
CN108875510B CN201711217793.2A CN201711217793A CN108875510B CN 108875510 B CN108875510 B CN 108875510B CN 201711217793 A CN201711217793 A CN 201711217793A CN 108875510 B CN108875510 B CN 108875510B
Authority
CN
China
Prior art keywords
image
model
input image
loss function
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711217793.2A
Other languages
English (en)
Other versions
CN108875510A (zh
Inventor
张思朋
张弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201711217793.2A priority Critical patent/CN108875510B/zh
Publication of CN108875510A publication Critical patent/CN108875510A/zh
Application granted granted Critical
Publication of CN108875510B publication Critical patent/CN108875510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像处理的方法、装置、系统及计算机存储介质。该方法包括：通过如下方式训练得到生成对抗网络，该生成对抗网络包括生成模型和对抗模型：将输入图像和该输入图像中目标对象的N通道数据输入至生成模型，得到输出图像，其中该输出图像中的目标对象与该输入图像中的目标图像具有不同的姿态；将该输出图像和该输入图像输入至判别模型，得到两者之间的相似度；根据预定义的损失函数，对生成模型和判别模型进行训练，直到收敛。由此，本发明实施例能够通过训练得到用于生成具有不同姿态的图像的生成对抗网络，其生成模型可以进一步用于得到不同姿态的目标图像，进而用于扩充用于重识别检测的数据集，提高进行重识别的精度。

Description

图像处理的方法、装置、系统及计算机存储介质
技术领域
本发明涉及图像处理领域，更具体地涉及一种图像处理的方法、装置、系统及计算机存储介质。
背景技术
行人、车辆等的重识别(re-identification，ReID)，是安防、行人追踪、车辆追踪等众多领域的基础。行人及车辆追踪的效果的一个决定因素是重识别模型的性能，而重识别模型的训练依赖于大量的训练数据，即数据集。若数据集中的数据不足可能会导致模型过拟合，从而无法适应更广泛的应用场景和人群。
因此，在对象重识别的场景中，期望数据集中存在各种对象姿态的数据，因此，如何获取各种对象姿态的数据是急需解决的问题之一。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种图像处理的方法、装置、系统及计算机存储介质，能够通过训练得到用于生成具有不同姿态的图像的生成对抗网络。
根据本发明的一方面，提供了一种图像处理的方法，所述方法包括：
通过如下方式训练得到生成对抗网络，所述生成对抗网络包括生成模型和对抗模型：
将输入图像和所述输入图像中目标对象的N通道数据输入至所述生成模型，得到输出图像，其中，所述输出图像中的目标对象与所述输入图像中的目标图像具有不同的姿态，N为正整数；
将所述输出图像和所述输入图像输入至所述判别模型，得到所述输入图像与所述输出图像的相似度；
根据预定义的损失函数，对所述生成模型和所述判别模型进行训练，直到收敛。
在本发明的一个实施例中，所述训练好的所述生成模型根据输入图像生成与所述输入图像具有不同姿态的目标图像。
在本发明的一个实施例中，所述预定义的损失函数包括训练所述生成模型的第一损失函数和训练所述判别模型的第二损失函数，
所述根据预定义的损失函数，对所述生成模型和所述判别模型进行训练，直到收敛，包括：
对所述生成模型和所述判别模型交替训练，直至所述第一损失函数和所述第二损失函数都达到收敛；
其中，所述第一损失函数表示为：|D(I,I_g)-D(I,J)+α1|，所述第二损失函数表示为：|D(I,I’)-D(I,I_g)+α2|，I表示所述输入图像，I_g表示所述输出图像，I’表示与所述输入图像属于同一目标图像的第一图像，J表示与所述输入图像属于不同目标图像的第二图像，D(I,I_g)表示I与I_g之间的相似度，D(I,J)表示I与J之间的相似度，D(I,I’)表示I与I’之间的相似度，α1，α2>0且为预先定义的值。
在本发明的一个实施例中，所述目标对象的N通道数据包括：与所述目标对象的N个关键点的位置对应的N通道数据。
在本发明的一个实施例中，所述对象为行人，还包括：
将所述目标图像添加至已有数据集以生成新的数据集；
基于所述新的数据集进行行人重识别检测。
根据本发明的另一方面，提供了一种图像处理的装置，所述装置用于实现前述方面或各个实施例所述方法的步骤，所述装置包括训练模块，用于通过如下方式训练得到生成对抗网络，所述生成对抗网络包括生成模型和对抗模型：
将输入图像和所述输入图像中目标对象的N通道数据输入至所述生成模型，得到输出图像，其中，所述输出图像中的目标对象与所述输入图像中的目标图像具有不同的姿态，N为正整数；
将所述输出图像和所述输入图像输入至所述判别模型，得到所述输入图像与所述输出图像的相似度；
根据预定义的损失函数，对所述生成模型和所述判别模型进行训练，直到收敛。
根据本发明的又一方面，提供了一种图像处理的系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方面及各个示例所述的图像处理的方法的步骤。
根据本发明的再一方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机执行时实现前述方面及各个示例所述的图像处理的方法的步骤。
由此，本发明实施例能够通过训练得到用于生成具有不同姿态的图像的生成对抗网络，并基于该生成对抗网络的生成模型得到同一行人不同姿态的目标图像，能够用于扩充用于重识别检测的数据集，进而能够提高进行重识别的精度。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本发明实施例的电子设备的一个示意性框图；
图2是本发明实施例的图像处理的方法的一个示意性流程图；
图3是本发明实施例的图像处理的装置的一个示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例可以应用于电子设备，图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或更多个处理器102、一个或更多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或更多个非图像传感器114，这些组件通过总线系统112和/或其它形式互连。应当注意，图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以包括中央处理单元(Central Processing Unit，CPU)1021和图形处理单元(Graphics Processing Unit，GPU)1022或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，例如现场可编程门阵列(Field－Programmable GateArray，FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction SetComputer)Machine，ARM)等，并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或更多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory，ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或更多个计算机程序指令，处理器102可以运行所述程序指令，以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或更多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或更多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
当注意，图1所示的电子设备10的组件和结构只是示例性的，尽管图1示出的电子设备10包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。
生成对抗网络(Generative Adversarial Net，GAN)包括生成模型(generativemodel)和判别模型(discriminative model)。生成模型也可以称为生成器(Generator)或生成网络，可以表示为G；判别模型也可以称为判别器(Discriminator)或判别网络，可以表示为D。一般地，G可以接收一个随机的噪声向量z，通过这个噪声生成数据(如图像)，记为G(z)。D可以接收G(z)或接收真实图像，以判断所接收的图像为真实图像的概率，假设D所接收的图像表示为x，则D的输出可以表示为D(x)，D(x)的值可以位于0～1区间，D(x)＝1表示x为真实图像，D(x)＝0.5表示x有50％的概率为真实图像，D(x)＝0表示不可能为真实图像。G和D这两者可以同时训练，G的目标是尽量生成接近真实的图像试图欺骗D，而D的目标是尽量将G生成的图像区分开来。可见G和D是一个动态的博弈过程，在训练D时，最小化判别误差；在训练G时，最大化判别误差。两个目的均可以通过反向传播方法实现。经过交替优化训练，两种模型G和D都能得到提升，直到到达一个“G生成的图像与真实图像无法区分”的点，也就是使得D(G(z))＝0.5。
具体地，若以Pr和Pg分别表示真实图像的分布和G的生成图像的分布，那么可以将D的目标函数表示为：
Figure BDA0001485870260000051
结合G的目标，可以将整个的优化目标函数表示为：
Figure BDA0001485870260000052
一个直观的优化方法是分别对D和G进行交替迭代：固定G优化D，一段时间后固定D优化G，直到过程收敛。这样，经过交替优化训练，两种模型G和D都能得到提升，直到到达一个“G生成的图像与真实图像无法区分”的点，即使得D(G(z))＝0.5。此时生成图像的分布与真实图像的分布一致。
在该训练优化的过程中，可以使用卷积神经网络(Convolutional NeuralNetwork，CNN)，CNN是一种深度学习网络，可以使用CNN提取图像的特征。CNN可以是以图片作为输入，通过卷积层(convolutional layer)提取不同层级的信息，并以图片、类别抽象表达作为输出(如，纹理、形状等)，逐层深入。
图2是本发明实施例的图像处理的方法的一个示意性流程图。图2所示的方法可以通过如下方式训练得到生成对抗网络，所述生成对抗网络包括生成模型和对抗模型：
S101，将输入图像和所述输入图像中目标对象的N通道数据输入至所述生成模型，得到输出图像，其中，所述输出图像中的目标对象与所述输入图像中的目标图像具有不同的姿态，N为正整数。
S102，将所述输出图像和所述输入图像输入至所述判别模型，得到所述输入图像与所述输出图像的相似度。
S103，根据预定义的损失函数，对所述生成模型和所述判别模型进行训练，直到收敛。
进一步地，所述训练好的所述生成模型可以根据输入图像生成与所述输入图像具有不同姿态的目标图像。
示例性地，训练好的生成模型所生成的所述目标图像可以被添加至已有数据集以生成新的数据集。本发明实施例中的目标对象可以是行人、车辆等待识别的物体，以行人为例，本发明实施例中的数据集可以是用于行人重识别的数据集，例如可以是由图像采集装置(如摄像机)所采集的行人图像。该数据集中属于同一个人的不同行人图像具有相同的标注，例如标注信息为标识(Identity，ID)。应注意，本发明实施例中的数据集也可以是用于其他重识别场景的数据集，例如用于车辆重识别的场景等，为了描述的方便，本发明实施例以用于行人重识别检测的数据集为例进行阐述。
以行人为例，本发明实施例中的姿态即行人姿态。为了丰富数据集，期望数据集中的行人数据包括各种各样的行人姿态。这里的姿态可以包括：正面、侧身、半蹲、弯腰、跑步、跳跃等等。
示例性地，图2所示的方法训练得到的GAN可以被称为对象姿态的GAN。其中，输入图像可以是已有数据库中的对象图像，或者可以是从其他设备(如存储器或图像采集装置等)或获取的对象图像。
其中，目标对象的N通道数据可以为与所述目标对象的N个关键点的位置对应的N通道数据。
示例性地，以行人为例，输入图像可以为已有行人图像，输入图像中目标对象的N通道数据可以为行人的N个关键点的位置的数据。生成模型的输入可以包括已有行人图像以及行人的N个关键点的位置的数据。若N＝15，则行人的N个关键点的位置的数据可以为一个人的骨架15个关键点的位置的数据。作为一种实现方式，N个关键点可以包括：头部、两肩、两手、两胳膊肘、两脚、两膝等。
可理解，S101中的生成模型的输出图像中的目标对象与输入图像中的目标对象具有不同的姿态。例如，以行人为例，输入图像中的行人的姿态为正面，即输入图像是行人正面的图像；输出图像中的行人的姿态为侧身，即输出图像是行人侧身的图像。或者，输入图像中的行人的姿态为静止站立，即输入图像是行人静止站立时的图像；输出图像中的行人的姿态为弯腰或半蹲，即输出图像是行人弯腰或半蹲时的图像。等等。
其中，判别模型可以计算两张图像之间的相似度。假设对于图像A和图像B，可以使用卷积神经网络分别提取图像A的特征向量f(A)和图像B的特征向量f(B)，通过计算f(A)与f(B)之间的距离便可以得到图像A和图像B之间的相似度。示例性地，相似度可以为0至1之间的值，相似度越接近于1，表示图像A中的对象与图像B中的对象属于同一ID的概率越大。
作为一种实现方式，S102中判别模型的输出还可以包括所述输出图像与第一图像之间的相似度，其中，第一图像与所述输入图像属于同一目标对象。作为另一种实现方式，判别模型的输出还可以包括所述输出图像与第二图像之间的相似度，其中第二图像与所述输入图像不属于同一目标对象。也就是说，第一图像中的目标对象(行人)与输入图像中的目标对象(行人)属于同一人(同一ID)；第二图像中的目标对象(行人)与输入图像中的目标对象(行人)不属于同一人(不同的ID)。
示例性地，在S103中，可以通过损失函数判断是否收敛。损失函数可以包括两部分：训练生成模型的第一损失函数和训练判别模型的第二损失函数。那么可以对所述生成模型和所述判别模型交替训练，直至所述第一损失函数和所述第二损失函数都达到收敛。具体地，第一损失函数可以表示为：|D(I,I_g)-D(I,J)+α1|，第二损失函数可以表示为：|D(I,I’)-D(I,I_g)+α2|，I表示所述输入图像，I_g表示所述输出图像，I’表示所述输入图像属于同一目标对象的第一图像，J表示与所述输入图像属于不同目标对象的第二图像，D(I,I_g)表示I与I_g之间的相似度，D(I,J)表示I与J之间的相似度，D(I,I’)表示I与I’之间的相似度，α1，α2>0且为预先定义的值。|·|表示取模运算。作为一种实现方式，α1，α2可以为0～1之间的值，例如α1＝α2＝0.3。
可理解，在训练生成模型的过程中，期望第一损失函数(也称为第一目标函数)尽可能小；而在训练判别模型的过程中，期望第二损失函数(也称为第二目标函数)尽可能小。
具体地，可以通过交替训练生成模型和判别模型，得到收敛的GAN。示例性地，若第一损失函数在连续两次迭代中的结果之差小于第一预设误差值且第二损失函数在该连续两次迭代中的结果之差小于第二预设误差值，则确定达到收敛。也就是说，当第一损失函数和第二损失函数在连续两次迭代的计算结果基本不变时，可以确定达到收敛。例如，在连续两次迭代中，第一损失函数的结果分别为Loss1和Loss2，第二损失函数的结果分别为Loss3和Loss4，且|Loss1-Loss2|<ε1，|Loss3-Loss4|<ε2，则可以确定其已经收敛，其中，ε1和ε2为预先定义的很小的值，如ε1＝ε2＝10-6。
示例性地，在图1所示的训练方法之后，可以将所训练好的生成模型所生成的图像作为目标图像。具体地，可以将输入图像和N通道数据输入至训练好的生成模型，将该训练好的生成模型的输出图像作为目标图像。进一步地，可以将该目标图像添加至已有数据集以生成新的数据集，这样得到的新的数据集中包括更加丰富的姿态的图像，当其用于重识别时，能够提高重识别的效率。
作为一种实现方式，以行人为例，可以基于该新的数据集进行行人重识别检测。示例性地，可以根据该新的数据集训练用于行人重识别检测的网络模型；并使用所述网络模型进行行人重识别检测。具体地，该新的数据集可以用于训练行人重识别检测的网络模型，如卷积神经网络模型。随后，可以使用该训练好的网络模型对未知行人图像进行行人重识别检测。举例来说，可以将未知行人图像作为该训练好的网络模型的输入，输出为：该未知行人图像与该新的数据集中的哪一个属于同一ID的概率等。可理解，针对具有各种姿态的未知行人图像，均可以得到可靠性高的行人重识别检测的结果。
由此，本发明实施例能够通过训练得到用于生成具有不同姿态的图像的生成对抗网络，并基于该生成对抗网络的生成模型得到不同姿态的目标图像，能够用于扩充用于重识别检测的数据集，进而能够提高进行重识别的精度。
图3是本发明实施例的图像处理的装置的一个示意性框图。图3所示的装置30包括训练模块301。训练模块301，用于通过如下方式训练得到生成对抗网络，所述生成对抗网络包括生成模型和对抗模型：
将输入图像和所述输入图像中目标对象的N通道数据输入至所述生成模型，得到输出图像，其中，所述输出图像中的目标对象与所述输入图像中的目标图像具有不同的姿态，N为正整数；
将所述输出图像和所述输入图像输入至所述判别模型，得到所述输入图像与所述输出图像的相似度；
根据预定义的损失函数，对所述生成模型和所述判别模型进行训练，直到收敛。
作为一种实现方式，如图3所示，该装置30还可以包括生成模块302，用于由所述训练好的所述生成模型根据输入图像生成与所述输入图像具有不同姿态的目标图像。
在本发明的一个实施例中，所述预定义的损失函数包括训练所述生成模型的第一损失函数和训练所述判别模型的第二损失函数，训练模块301可以具体用于：对所述生成模型和所述判别模型交替训练，直至所述第一损失函数和所述第二损失函数都达到收敛；
其中，所述第一损失函数表示为：|D(I,I_g)-D(I,J)+α1|，所述第二损失函数表示为：|D(I,I’)-D(I,I_g)+α2|，I表示所述输入图像，I_g表示所述输出图像，I’表示与所述输入图像属于同一目标对象的第一图像，J表示与所述输入图像属于不同目标对象的第二图像，D(I,I_g)表示I与I_g之间的相似度，D(I,J)表示I与J之间的相似度，D(I,I’)表示I与I’之间的相似度，α1，α2>0且为预先定义的值。
在本发明的一个实施例中，所述目标对象的N通道数据包括：与所述目标对象的N个关键点的位置对应的N通道数据。
在本发明的一个实施例中，所述对象为行人，所述装置30还可以包括：生成模块和重识别模块。生成模块可以用于将所述目标图像添加至已有数据集以生成新的数据集。重识别模块可以用于基于所述新的数据集进行行人重识别检测。
图3所示的装置30能够实现前述图2所示的图像处理的方法，为避免重复，这里不再赘述。
另外，本发明实施例还提供了另一种图像处理的系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，处理器执行所述程序时实现前述图2所示方法的步骤。
另外，本发明实施例还提供了一种电子设备，该电子设备可以包括图3所示的装置30。该电子设备可以实现前述图2所示的方法。
另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由计算机执行时，可以实现前述图2所示方法的步骤。例如，该计算机存储介质为计算机可读存储介质。
由此，本发明实施例提供了一种图像处理的方法、装置、系统、电子设备及计算机存储介质，能够通过训练得到用于生成具有不同姿态的图像的生成对抗网络，并基于该生成对抗网络的生成模型得到不同姿态的目标图像，能够用于扩充用于重识别检测的数据集，进而能够提高进行重识别的精度。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(Digital Signal Processing，DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种图像处理方法，其特征在于，所述方法包括：
通过如下方式训练得到生成对抗网络，所述生成对抗网络包括生成模型和判别模型：
将输入图像和所述输入图像中目标对象的N通道数据输入至所述生成模型，得到输出图像，其中，所述输出图像中的目标对象与所述输入图像中的目标对象具有不同的姿态，N为正整数；
将所述输出图像和所述输入图像输入至所述判别模型，得到所述输入图像与所述输出图像的相似度；
根据预定义的损失函数，对所述生成模型和所述判别模型进行训练，直到收敛，其中，所述预定义的损失函数包括训练所述生成模型的第一损失函数和训练所述判别模型的第二损失函数，并且所述第一损失函数和所述第二损失函数都是基于所述输入图像与所述输出图像的所述相似度所定义的，
其中，所述第一损失函数表示为：|D(I,I_g)-D(I,J)+α1|，所述第二损失函数表示为：|D(I,I’)-D(I,I_g)+α2|，I表示所述输入图像，I_g表示所述输出图像，I’表示与所述输入图像属于同一目标对象的第一图像，J表示与所述输入图像属于不同目标对象的第二图像，D(I,I_g)表示I与I_g之间的相似度，D(I,J)表示I与J之间的相似度，D(I,I’)表示I与I’之间的相似度，α1，α2>0且为预先定义的值。
2.根据所述权利要求1所述的方法，其特征在于，
所述训练所得到的所述生成模型根据输入图像生成与所述输入图像具有不同姿态的目标图像。
3.根据权利要求1所述的方法，其特征在于，
所述根据预定义的损失函数，对所述生成模型和所述判别模型进行训练，直到收敛，包括：
对所述生成模型和所述判别模型交替训练，直至所述第一损失函数和所述第二损失函数都达到收敛。
4.根据权利要求1所述的方法，其特征在于，所述目标对象的N通道数据包括：与所述目标对象的N个关键点的位置对应的N通道数据。
5.根据权利要求2所述的方法，其特征在于，所述目标对象为行人，还包括：
将所述目标图像添加至已有数据集以生成新的数据集；
基于所述新的数据集进行行人重识别检测。
6.一种图像处理的装置，其特征在于，所述装置包括训练模块，用于通过如下方式训练得到生成对抗网络，所述生成对抗网络包括生成模型和判别模型：
将输入图像和所述输入图像中目标对象的N通道数据输入至所述生成模型，得到输出图像，其中，所述输出图像中的目标对象与所述输入图像中的目标对象具有不同的姿态，N为正整数；
将所述输出图像和所述输入图像输入至所述判别模型，得到所述输入图像与所述输出图像的相似度；
根据预定义的损失函数，对所述生成模型和所述判别模型进行训练，直到收敛，其中，所述预定义的损失函数包括训练所述生成模型的第一损失函数和训练所述判别模型的第二损失函数，并且所述第一损失函数和所述第二损失函数都是基于所述输入图像与所述输出图像的所述相似度所定义的，
其中，所述第一损失函数表示为：|D(I,I_g)-D(I,J)+α1|，所述第二损失函数表示为：|D(I,I’)-D(I,I_g)+α2|，I表示所述输入图像，I_g表示所述输出图像，I’表示与所述输入图像属于同一目标对象的第一图像，J表示与所述输入图像属于不同目标对象的第二图像，D(I,I_g)表示I与I_g之间的相似度，D(I,J)表示I与J之间的相似度，D(I,I’)表示I与I’之间的相似度，α1，α2>0且为预先定义的值。
7.一种图像处理的系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现权利要求1至5中任一项所述方法的步骤。
CN201711217793.2A 2017-11-28 2017-11-28 图像处理的方法、装置、系统及计算机存储介质 Active CN108875510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711217793.2A CN108875510B (zh) 2017-11-28 2017-11-28 图像处理的方法、装置、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711217793.2A CN108875510B (zh) 2017-11-28 2017-11-28 图像处理的方法、装置、系统及计算机存储介质

Publications (2)

Publication Number Publication Date
CN108875510A CN108875510A (zh) 2018-11-23
CN108875510B true CN108875510B (zh) 2020-12-01

Family

ID=64325673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711217793.2A Active CN108875510B (zh) 2017-11-28 2017-11-28 图像处理的方法、装置、系统及计算机存储介质

Country Status (1)

Country Link
CN (1) CN108875510B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382771B (zh) * 2018-12-29 2024-03-15 北京达佳互联信息技术有限公司 数据分类方法、装置、设备及存储介质
CN111488895B (zh) * 2019-01-28 2024-01-30 北京达佳互联信息技术有限公司 对抗数据生成方法、装置、设备及存储介质
CN110232312A (zh) * 2019-04-28 2019-09-13 南京工程学院 一种抗姿态变化的行人重识别方法
CN110135336B (zh) * 2019-05-14 2023-08-25 腾讯科技（深圳）有限公司 行人生成模型的训练方法、装置及存储介质
CN110288668B (zh) * 2019-05-20 2023-06-16 平安科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN110135366B (zh) * 2019-05-20 2021-04-13 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
WO2020242508A1 (en) * 2019-05-24 2020-12-03 Google Llc Image extension neural networks
CN110322432B (zh) * 2019-05-27 2021-11-23 上海联影医疗科技股份有限公司 医学图像处理方法、装置、计算机设备和可读存储介质
CN110188824B (zh) * 2019-05-31 2021-05-14 重庆大学 一种小样本植物病害识别方法及系统
CN110349240A (zh) * 2019-06-26 2019-10-18 华中科技大学 一种无监督下基于姿势转换的行人图片合成方法和系统
CN110390291B (zh) * 2019-07-18 2021-10-08 北京字节跳动网络技术有限公司 数据处理方法、装置及电子设备
CN110443752B (zh) * 2019-07-25 2023-05-05 维沃移动通信有限公司 一种图像处理方法和移动终端
CN110929679B (zh) * 2019-12-05 2023-06-16 杭州电子科技大学 一种基于gan的无监督自适应行人重识别方法
CN113392230A (zh) * 2020-03-13 2021-09-14 阿里巴巴集团控股有限公司 标注数据处理和操作方法以及标注平台和数据库
CN111553854A (zh) * 2020-04-21 2020-08-18 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111589156A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN113449774A (zh) * 2021-06-02 2021-09-28 北京鹰瞳科技发展股份有限公司 眼底图像质量控制方法、装置、电子设备及存储介质
CN113569627A (zh) * 2021-06-11 2021-10-29 北京旷视科技有限公司 人体姿态预测模型训练方法、人体姿态预测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273872B (zh) * 2017-07-13 2020-05-05 北京大学深圳研究生院 用于图像或视频中行人重识别的深度判别网络模型方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
In Defense of the Triplet Loss for Person Re-Identification;Alexander Hermans等;《arXiv》;20171121;全文 *
Maciej Zieba等.TRAINING TRIPLET NETWORKS WITH GAN.《arXiv》.2017,第1-6页. *
基于对抗生成网络的行人重识别方法研究;张思朋;《中国优秀硕士学位论文全文数据库（信息科技辑）》;20190815;第1-53页 *

Also Published As

Publication number Publication date
CN108875510A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108875510B (zh) 图像处理的方法、装置、系统及计算机存储介质
CN108875766B (zh) 图像处理的方法、装置、系统及计算机存储介质
CN108875511B (zh) 图像生成的方法、装置、系统及计算机存储介质
US11341738B2 (en) Using a probabtilistic model for detecting an object in visual data
CN108875493B (zh) 人脸识别中相似度阈值的确定方法以及确定装置
CN108875523B (zh) 人体关节点检测方法、装置、系统和存储介质
CN108961149B (zh) 图像处理方法、装置和系统及存储介质
CN108875533B (zh) 人脸识别的方法、装置、系统及计算机存储介质
CN108875534B (zh) 人脸识别的方法、装置、系统及计算机存储介质
CN113569868B (zh) 一种目标检测方法、装置及电子设备
CN104487915A (zh) 维持扩增的连续性
CN106385640B (zh) 视频标注方法及装置
CN109241888B (zh) 神经网络训练与对象识别方法、装置和系统及存储介质
CN113159006B (zh) 基于人脸识别的考勤方法、系统、电子设备和存储介质
US10417487B2 (en) Pattern recognition apparatus, pattern recognition method, and storage medium
CN108875549B (zh) 图像识别方法、装置、系统及计算机存储介质
JP2022521540A (ja) オンライン学習を利用した物体追跡のための方法およびシステム
Sun et al. Quadratic terms based point-to-surface 3D representation for deep learning of point cloud
Pantuwong et al. A novel template‐based automatic rigging algorithm for articulated‐character animation
WO2021042544A1 (zh) 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质
CN110728172B (zh) 基于点云的人脸关键点检测方法、装置、系统及存储介质
CN109214271B (zh) 用于重识别的损失函数确定的方法及装置
CN109829380B (zh) 一种狗脸特征点的检测方法、装置、系统及存储介质
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质
CN112581500A (zh) 用于在目标跟踪中匹配行人和人脸的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant