CN112750067A - 图像处理系统及其训练方法 - Google Patents

图像处理系统及其训练方法 Download PDF

Info

Publication number
CN112750067A
CN112750067A CN202011145264.8A CN202011145264A CN112750067A CN 112750067 A CN112750067 A CN 112750067A CN 202011145264 A CN202011145264 A CN 202011145264A CN 112750067 A CN112750067 A CN 112750067A
Authority
CN
China
Prior art keywords
image
neural network
post
processed
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011145264.8A
Other languages
English (en)
Other versions
CN112750067B (zh
Inventor
金泰贤
金镇寿
裵钟贤
洪性柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN112750067A publication Critical patent/CN112750067A/zh
Application granted granted Critical
Publication of CN112750067B publication Critical patent/CN112750067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

图像处理系统及其训练方法。一种图像处理系统包括：图像信号处理器，其包括第一神经网络，并且使用第一神经网络来处理输入图像以生成后处理图像；以及鉴别器，其包括第二神经网络，并且接收目标图像和后处理图像，并使用第二神经网络将目标图像和后处理图像鉴别为真实图像和伪图像，其中，第二神经网络被训练为将目标图像鉴别为真实图像并将后处理图像鉴别为伪图像，并且第一神经网络被训练为使得后处理图像被第二神经网络鉴别为真实图像。

Description

图像处理系统及其训练方法
技术领域
本发明的各种实施方式涉及一种用于处理图像的图像处理系统。
背景技术
图1是示出典型的图像处理系统的框图。
在图1中，图像传感器110生成图像，该图像可由图像信号处理器(ISP)120处理。图像信号处理器120可按照图像对于人眼美学上优化的方式处理图像。可提供由图像信号处理器120处理的图像以用于通过成像装置130(例如，监视器)观看。
近来，作为人工智能(AI)领域正在使用计算机视觉。计算机视觉分析图像以检测、识别和分割对象，并且基于分析结果来预测对象的位置。向计算机视觉组件提供由图像信号处理器120处理的图像。由于图像信号处理器120通常在所获得的图像要由人眼看到的前提下专用于美学功能，所以图像信号处理器120的输出不适合于计算机视觉处理。相反，图像信号处理器120的图像处理可能使得使用计算机视觉来分析图像更加困难。
因此，需要开发一种能够提供输出以用于计算机视觉处理的图像信号处理器。
发明内容
本发明的实施方式涉及一种专用于计算机视觉的图像信号处理器。
根据本发明的实施方式，一种图像处理系统包括：图像信号处理器，其包括第一神经网络，其被配置为使用第一神经网络来处理输入图像以生成后处理图像；以及鉴别器(discriminator)，其包括第二神经网络，其被配置为接收目标图像和后处理图像，并使用第二神经网络在目标图像与后处理图像之间进行鉴别，其中，第二神经网络被训练为将目标图像识别为真实图像并将后处理图像识别为伪图像(fake image)，并且第一神经网络被训练为使得后处理图像被第二神经网络识别为真实图像。
根据本发明的另一实施方式，一种图像处理系统包括：图像传感器，其被设置为生成输入图像；图像信号处理器，其被设置为处理输入图像以便由计算机视觉组件分析以生成后处理图像；以及所述计算机视觉组件，其被设置为分析后处理图像。
根据本发明的另一实施方式，一种训练图像处理系统的方法包括以下步骤：由第一神经网络通过处理输入图像来生成后处理图像；由第二神经网络鉴别目标图像和后处理图像以将目标图像识别为真实图像并将后处理图像识别为伪图像以生成鉴别结果；以及响应于鉴别结果来训练第一神经网络或第二神经网络。
根据本发明的另一实施方式，一种系统包括：图像传感器，其被设置为生成输入图像；图像信号处理器，其被设置为处理输入图像以生成后处理图像；计算机视觉组件，其被设置为分析后处理图像；目标图像生成器，其被设置为接收输入图像并更新输入图像以生成目标图像，使得损失值减小，在计算机视觉组件分析输入图像时获得所述损失值；以及鉴别器，其被设置为接收目标图像和后处理图像，并且将目标图像识别为真实图像并将后处理图像识别为伪图像。
附图说明
图1是示出典型的图像处理系统的框图。
图2是示出根据本发明的实施方式的图像处理系统的框图。
图3是示出根据本发明的另一实施方式的图像处理系统的框图。
具体实施方式
下面将参照附图更详细地描述本发明的各种实施方式。然而，本发明可按不同的形式具体实现，因此不应解释为限于本文所阐述的实施方式。相反，提供这些实施方式以使得本公开彻底和完整并且将本发明的范围充分传达给本领域技术人员。贯穿本公开，相似的标号贯穿本发明的各种附图和实施方式表示相似的部分。另外，贯穿说明书，对“实施方式”、“另一实施方式”等的引用未必仅指一个实施方式，对任何这种短语的不同引用未必指相同的实施方式。
图2是示出根据本发明的实施方式的图像处理系统200的框图。
参照图2，图像处理系统200可包括图像传感器210、经典图像信号处理器220、图像信号处理器230、鉴别器240、目标图像生成器250以及用于执行计算机视觉处理(计算机视觉)260的一个或更多个组件。
图像传感器210可通过将通过透镜(未示出)接收的光变换为数字信号来生成图像I。
经典图像信号处理器220可处理由图像传感器210生成的图像I。经典图像信号处理器220可处理图像I以生成为了人眼观看美学上优化的图像。本文中，添加术语“经典”，因为经典图像信号处理器220是执行与用于美学上处理图像I的典型图像信号处理器相同的功能的图像信号处理器。由于经典图像信号处理器220用于美学处理，所以对于计算机视觉260而言可能不是必需的。因此，可从图像处理系统200省略经典图像信号处理器220。
图像信号处理器230可处理要由计算机视觉260详细分析的图像X(或者如果省略经典图像信号处理器220，则图像I)以生成后处理图像Ycopy。图像信号处理器230可生成后处理图像以允许计算机视觉260进行详细分析，而非生成仅仅美学上使人眼愉悦的图像。例如，当计算机视觉260检测到对象时，可执行图像处理，使得图像Ycopy中的对象比图像X中更好地由计算机视觉260检测。当计算机视觉260识别出对象时，可执行图像处理，使得图像Ycopy中的对象比图像X中更好地由计算机视觉260识别。图像信号处理器230可形成为包括神经网络，该神经网络可被训练或学习以执行图像处理，以生成计算机视觉260能够执行详细处理的图像。
鉴别器240和目标图像生成器250可以是用于图像信号处理器230的训练(或学习)的构成元件。鉴别器240可形成为包括神经网络，并且鉴别器240可训练神经网络以在图像信号处理器230所生成的图像Ycopy与目标图像生成器250所生成的目标图像Yreal之间进行鉴别。即，鉴别器240被配置为将Ycopy识别为伪图像并将Yreal识别为真实图像。目标图像生成器250可生成与图像信号处理器230要生成的目标图像对应的目标图像Yreal。
计算机视觉260可接收由图像信号处理器230处理的图像并分析该图像。计算机视觉可执行诸如对象的检测、识别、分割和位置预测的各种功能中的一个或更多个分析操作。
下面详细描述使用图像信号处理器230、鉴别器240和目标图像生成器250的图像信号处理器230的训练操作。
目标图像生成器250可生成目标图像Yreal，其为要由图像信号处理器230生成的正确答案图像。换言之，图像信号处理器230生成与目标图像Yreal尽可能相同的图像Ycopy。目标图像生成器250可使用快速梯度标志方法来生成目标图像Yreal。在基于深度学习的计算机视觉中，存在表示使用输入图像的测试结果与实际正确答案有多不同的损失值。因此，当图像X被输入到计算机视觉260时，可从计算机视觉260获得表示处理图像X的结果与正确答案有多不同的损失值，并且当图像X在损失值减小的方向(梯度的反方向)上更新时，可获得目标图像Yreal。这可如下式1表示。
式1
Figure BDA0002739523820000041
这里，X可表示经典图像信号处理器220的输出图像X，ytrue可表示当图像X被输入到计算机视觉260时获得的正确答案。
Figure BDA0002739523820000042
可表示在基于深度学习的计算机视觉260中设定的损失值，
Figure BDA0002739523820000043
可表示正确答案ytrue与当输入X被输入到计算机视觉260时确定的结果x有多不同。
Figure BDA0002739523820000044
可表示获得损失值并且图像X在损失值减小的方向上更新，其中ε是表示更新多少的设定值。可通过基于设定值ε更新X值来生成比经典图像信号处理器220所生成的图像X更适合于计算机视觉的目标图像Ytrue。
由于图像信号处理器230和鉴别器240的训练需要目标图像Yreal，所以可在生成目标图像Yreal之后执行图像信号处理器230和鉴别器240的训练操作。
鉴别器240可接收目标图像Yreal和图像信号处理器230的输出图像Ycopy并在Yreal和Ycopy之间(即，真实图像和伪图像之间)进行鉴别。可训练鉴别器240以将目标图像Yreal识别为真实图像并将图像Ycopy识别为伪图像。
具体而言，可通过求解下式2来训练鉴别器240。
式2
Figure BDA0002739523820000045
这里，D(x)可表示鉴别器240的模型。当对应图像被确定为真实图像时，D(x)＝1，并且当对应图像被确定为伪图像时，D(x)＝0。在式2中，D(x)部分可表示目标图像Yreal的鉴别结果，D(G(z))部分可表示图像信号处理器230的输出图像Ycopy的鉴别结果。X～Pdata(x)可表示从目标图像Yreal的概率分布采样的数据，Z～Pz(z)可表示通常使用高斯分布从任意噪声采样的数据。由于鉴别器240必须被训练为将目标图像Yreal识别为真实图像并将图像Ycopy识别为伪图像(即，在二者之间进行鉴别)，所以式2可能必须被训练为log(1)+log(1-0)。这意味着执行训练以使得式2最终被最大化。
可训练图像信号处理器230以生成尽可能接近目标图像Yreal的图像Ycopy。换言之，可训练图像信号处理器230以生成要由鉴别器240识别为真实图像Yreal的图像Ycopy。具体而言，可通过求解下式3的方法来训练图像信号处理器230。
式3
Figure BDA0002739523820000051
如上所述，D(G(z))部分可表示鉴别器240针对图像信号处理器230的输出图像Ycopy的鉴别结果。由于必须训练图像信号处理器230以使得图像Ycopy可被鉴别器240识别为真实图像，所以可能必须执行训练，使得log(1-D(G(z)))＝log(1-1)＝log(0)。换言之，可训练图像信号处理器230，使得式3被最小化。
鉴别器240和图像信号处理器230可执行基本上彼此相反的训练操作。这是因为训练鉴别器240以将图像信号处理器230所处理的图像Ycopy识别为伪图像，并且训练图像信号处理器230以欺骗鉴别器240并将图像Ycopy识别为真实图像。鉴别器240和图像信号处理器230的训练可交替地执行多次。例如，可首先将鉴别器240训练100次，然后可将图像信号处理器230训练100次，可再次将鉴别器240训练100次，然后可将图像信号处理器230训练100次。可重复地执行训练操作。随着训练操作重复，鉴别器240可更好地在图像Ycopy和目标图像Yreal之间进行鉴别，并且图像信号处理器230可生成与目标图像Yreal更相似的图像Ycopy。换言之，随着训练操作重复，图像信号处理器230可能能够执行图像处理操作以生成与正确答案所对应的目标图像Yreal相似的图像Ycopy，并且与图像X相比，计算机视觉260可更好地分析图像Ycopy。
图3是示出根据本发明的另一实施方式的图像处理系统300的框图。
参照图3，图像处理系统300可包括图像传感器210、经典图像信号处理器220、图像信号处理器230和计算机视觉260。
在图3的实施方式中，省略了图2的实施方式中所示的鉴别器240和目标图像生成器250。这是因为鉴别器240和目标图像生成器250仅用于图像信号处理器230的训练(或学习)，并且它们不用于图像处理系统300的图像处理。即使如图3所示形成图像处理系统300，可能必须在制造工艺期间使用鉴别器240和目标图像生成器250来训练图像信号处理器230。
根据本发明的实施方式，图像信号处理器可改进计算机视觉的性能。
尽管针对特定实施方式示出并描述了本发明，但是对于本领域技术人员而言将显而易见的是，在不脱离以下权利要求中限定的本发明的精神和范围的情况下，可进行各种改变和修改。本发明涵盖落入权利要求的范围内的任何所公开的实施方式的所有改变和修改。
相关申请的交叉引用
本申请要求2019年10月29日提交的韩国专利申请No.10-2019-0135041的优先权，其整体通过引用并入本文。

Claims (20)

1.一种图像处理系统，该图像处理系统包括：
图像信号处理器，该图像信号处理器包括第一神经网络，该图像信号处理器被配置为使用所述第一神经网络来处理输入图像以生成后处理图像；以及
鉴别器，该鉴别器包括第二神经网络，该鉴别器被配置为接收目标图像和所述后处理图像，并且使用所述第二神经网络在所述目标图像与所述后处理图像之间进行鉴别，
其中，所述第二神经网络被训练为将所述目标图像识别为真实图像并将所述后处理图像识别为伪图像，并且
所述第一神经网络被训练为使得所述后处理图像被所述第二神经网络识别为所述真实图像。
2.根据权利要求1所述的图像处理系统，其中，所述第一神经网络和所述第二神经网络被交替地训练多次。
3.根据权利要求1所述的图像处理系统，其中，所述目标图像被专门构造用于使用计算机视觉组件进行分析。
4.根据权利要求3所述的图像处理系统，该图像处理系统还包括：
目标图像生成器，该目标图像生成器被设置为生成所述目标图像。
5.根据权利要求4所述的图像处理系统，其中，所述目标图像生成器在所述输入图像被输入到所述计算机视觉时获得的损失值减小的方向上更新和生成所述输入图像。
6.根据权利要求4所述的图像处理系统，
其中，所述计算机视觉组件被设置为接收所述后处理图像并分析所述后处理图像。
7.根据权利要求6所述的图像处理系统，该图像处理系统还包括：
图像传感器，该图像传感器被设置为生成所述输入图像。
8.根据权利要求7所述的图像处理系统，该图像处理系统还包括：
经典图像信号处理器，该经典图像信号处理器被设置为在所述输入图像被输入到所述图像信号处理器之前增强所述输入图像的图像质量。
9.一种图像处理系统，该图像处理系统包括：
图像传感器，该图像传感器被设置为生成输入图像；
图像信号处理器，该图像信号处理器被设置为处理所述输入图像以用于由计算机视觉组件进行分析以生成后处理图像；以及
所述计算机视觉组件，所述计算机视觉组件被设置为分析所述后处理图像。
10.根据权利要求9所述的图像处理系统，该图像处理系统还包括：
经典图像信号处理器，该经典图像信号处理器被设置为在所述输入图像被输入到所述图像信号处理器之前增强所述输入图像的图像质量。
11.根据权利要求9所述的图像处理系统，其中，所述图像信号处理器包括第一神经网络，并且
训练所述第一神经网络以在所述后处理图像被配置用于由所述计算机视觉组件进行分析的方向上处理所述后处理图像。
12.根据权利要求9所述的图像处理系统，其中，所述图像信号处理器包括第一神经网络，该第一神经网络被设置为生成所述后处理图像，并且
所述第一神经网络包括第二神经网络，并且使用鉴别器来训练所述第一神经网络，所述鉴别器接收目标图像和所述后处理图像并使用所述第二神经网络在所述目标图像和所述后处理图像之间进行鉴别以将所述目标图像识别为真实图像并将所述后处理图像识别为伪图像。
13.根据权利要求12所述的图像处理系统，其中，所述第二神经网络被训练为将所述目标图像识别为所述真实图像并将所述后处理图像识别为所述伪图像，并且
所述第一神经网络被训练为使得所述后处理图像被所述第二神经网络识别为所述真实图像。
14.根据权利要求13所述的图像处理系统，其中，所述第一神经网络和所述第二神经网络被交替地训练多次。
15.根据权利要求13所述的图像处理系统，其中，所述目标图像被专门构造为由所述计算机视觉组件分析。
16.一种训练图像处理系统的方法，该方法包括以下步骤：
由第一神经网络通过处理输入图像来生成后处理图像；
由第二神经网络鉴别目标图像和所述后处理图像以将所述目标图像识别为真实图像并将所述后处理图像识别为伪图像以生成鉴别结果；以及
响应于所述鉴别结果来训练所述第一神经网络或所述第二神经网络。
17.根据权利要求16所述的方法，其中，当在训练所述第一神经网络或所述第二神经网络的操作中训练所述第二神经网络时，
所述第二神经网络被训练为将所述目标图像识别为所述真实图像并将所述后处理图像识别为所述伪图像。
18.根据权利要求17所述的方法，其中，当在训练所述第一神经网络或所述第二神经网络的操作中训练所述第一神经网络时，
训练所述第一神经网络，使得所述后处理图像被所述第二神经网络识别为所述真实图像。
19.根据权利要求18所述的方法，其中，生成所述后处理图像的操作、鉴别所述目标图像和所述后处理图像的操作以及训练所述第一神经网络或所述第二神经网络的操作被重复地执行多次。
20.一种图像处理系统，该图像处理系统包括：
图像传感器，该图像传感器被设置为生成输入图像；
图像信号处理器，该图像信号处理器被设置为处理所述输入图像以生成后处理图像；
计算机视觉组件，该计算机视觉组件被设置为分析所述后处理图像；
目标图像生成器，该目标图像生成器被设置为接收所述输入图像并更新所述输入图像以生成目标图像，使得损失值减小，该损失值在所述计算机视觉组件分析所述输入图像时获得；以及
鉴别器，该鉴别器被设置为接收所述目标图像和所述后处理图像，并且该鉴别器将所述目标图像识别为真实图像并将所述后处理图像识别为伪图像。
CN202011145264.8A 2019-10-29 2020-10-23 图像处理系统及其训练方法 Active CN112750067B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0135041 2019-10-29
KR1020190135041A KR20210050684A (ko) 2019-10-29 2019-10-29 이미지 처리 시스템

Publications (2)

Publication Number Publication Date
CN112750067A true CN112750067A (zh) 2021-05-04
CN112750067B CN112750067B (zh) 2024-05-07

Family

ID=75378970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011145264.8A Active CN112750067B (zh) 2019-10-29 2020-10-23 图像处理系统及其训练方法

Country Status (5)

Country Link
US (1) US11599981B2 (zh)
JP (1) JP2021072106A (zh)
KR (1) KR20210050684A (zh)
CN (1) CN112750067B (zh)
DE (1) DE102020213289A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220161839A (ko) * 2021-05-31 2022-12-07 한국전자기술연구원 Gan 구조를 활용한 영상 영역 분할 방법 및 시스템

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN108257116A (zh) * 2017-12-30 2018-07-06 清华大学 一种生成对抗图像的方法
CN108830827A (zh) * 2017-05-02 2018-11-16 通用电气公司 神经网络训练图像生成系统
CN108932527A (zh) * 2018-06-06 2018-12-04 上海交通大学 使用交叉训练模型检测对抗样本的方法
CN109036389A (zh) * 2018-08-28 2018-12-18 出门问问信息科技有限公司 一种对抗样本的生成方法及装置
CN109685200A (zh) * 2018-11-19 2019-04-26 华东师范大学 基于生成对抗网络的雾计算工业协议构建方法及构建系统
US20190238568A1 (en) * 2018-02-01 2019-08-01 International Business Machines Corporation Identifying Artificial Artifacts in Input Data to Detect Adversarial Attacks
CN110222774A (zh) * 2019-06-10 2019-09-10 百度在线网络技术（北京）有限公司 非法图像鉴别方法、装置、内容安全防火墙及存储介质
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
CN110322396A (zh) * 2019-06-19 2019-10-11 怀光智能科技（武汉）有限公司 一种病理切片颜色归一化方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169662B2 (en) 2015-06-15 2019-01-01 Google Llc Remote biometric monitoring system
US10460231B2 (en) 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor
CN109152520B (zh) 2016-05-24 2021-11-05 奥林巴斯株式会社 图像信号处理装置、图像信号处理方法以及记录介质
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging
KR101961177B1 (ko) 2016-07-22 2019-03-22 한국과학기술원 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치
US11024009B2 (en) 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
KR101791573B1 (ko) 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법
US10803378B2 (en) 2017-03-15 2020-10-13 Samsung Electronics Co., Ltd System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
US11055989B2 (en) * 2017-08-31 2021-07-06 Nec Corporation Viewpoint invariant object recognition by synthesization and domain adaptation
US10430937B2 (en) * 2017-09-25 2019-10-01 United Technologies Corporation Automated material characterization system including conditional generative adversarial networks
US11188783B2 (en) * 2017-10-19 2021-11-30 Nokia Technologies Oy Reverse neural network for object re-identification
US10467501B2 (en) * 2017-10-30 2019-11-05 Sap Se Computer vision architecture with machine learned image recognition models
US10936863B2 (en) * 2017-11-13 2021-03-02 Way2Vat Ltd. Systems and methods for neuronal visual-linguistic data retrieval from an imaged document
US10748314B2 (en) * 2018-02-15 2020-08-18 Microsoft Technology Licensing, Llc Controllable conditional image generation
US10552714B2 (en) * 2018-03-16 2020-02-04 Ebay Inc. Generating a digital image using a generative adversarial network
US20190297326A1 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Video prediction using spatially displaced convolution
CN108764091B (zh) * 2018-05-18 2020-11-17 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
US11185249B2 (en) * 2019-03-14 2021-11-30 Hyperfine, Inc. Self ensembling techniques for generating magnetic resonance images from spatial frequency data
US11126891B2 (en) * 2019-09-11 2021-09-21 Toyota Research Institute, Inc. Systems and methods for simulating sensor data using a generative model

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830827A (zh) * 2017-05-02 2018-11-16 通用电气公司 神经网络训练图像生成系统
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN108257116A (zh) * 2017-12-30 2018-07-06 清华大学 一种生成对抗图像的方法
US20190238568A1 (en) * 2018-02-01 2019-08-01 International Business Machines Corporation Identifying Artificial Artifacts in Input Data to Detect Adversarial Attacks
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
CN108932527A (zh) * 2018-06-06 2018-12-04 上海交通大学 使用交叉训练模型检测对抗样本的方法
CN109036389A (zh) * 2018-08-28 2018-12-18 出门问问信息科技有限公司 一种对抗样本的生成方法及装置
CN109685200A (zh) * 2018-11-19 2019-04-26 华东师范大学 基于生成对抗网络的雾计算工业协议构建方法及构建系统
CN110222774A (zh) * 2019-06-10 2019-09-10 百度在线网络技术（北京）有限公司 非法图像鉴别方法、装置、内容安全防火墙及存储介质
CN110322396A (zh) * 2019-06-19 2019-10-11 怀光智能科技（武汉）有限公司 一种病理切片颜色归一化方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XUANQING: "Rob-GAN: Generator, Discriminator, and Adversarial Attacker", 《ARXIV:1807.10454V3》, pages 3 *
任奎: "深度学习中的对抗性攻击和防御", 《ENGINEERING》, vol. 06, no. 03 *
张加胜: "对抗样本生成在人脸识别中的研究与应用", 《计算机应用与软件》, vol. 36, no. 05, pages 158 - 164 *

Also Published As

Publication number Publication date
US20210125320A1 (en) 2021-04-29
US11599981B2 (en) 2023-03-07
JP2021072106A (ja) 2021-05-06
CN112750067B (zh) 2024-05-07
KR20210050684A (ko) 2021-05-10
DE102020213289A1 (de) 2021-04-29

Similar Documents

Publication Publication Date Title
CN111310802B (zh) 一种基于生成对抗网络的对抗攻击防御训练方法
CN111475797B (zh) 一种对抗图像生成方法、装置、设备以及可读存储介质
CN110348475B (zh) 一种基于空间变换的对抗样本增强方法和模型
CN109190470B (zh) 行人重识别方法及装置
KR101381455B1 (ko) 생체 정보 처리 장치
CN110516737B (zh) 用于生成图像识别模型的方法和装置
US9619753B2 (en) Data analysis system and method
CN111783853B (zh) 一种基于可解释性的检测并恢复神经网络对抗样本方法
CN112633221B (zh) 一种人脸方向的检测方法及相关装置
CN112884147B (zh) 神经网络训练方法、图像处理方法、装置及电子设备
CN115240280A (zh) 人脸活体检测分类模型的构建方法、检测分类方法及装置
CN112750067B (zh) 图像处理系统及其训练方法
CN110008987B (zh) 分类器鲁棒性的测试方法、装置、终端及存储介质
CN113420582A (zh) 用于掌静脉识别的防伪检测方法及其系统
CN115398425A (zh) 神经网络加水印
CN115953849A (zh) 活体检测模型的训练方法、活体检测方法及系统
CN116434287A (zh) 一种人脸图像检测方法、装置、电子设备及存储介质
CN110956098B (zh) 图像处理方法及相关设备
CN114169443A (zh) 词级文本对抗样本检测方法
US11599827B2 (en) Method and apparatus for improving the robustness of a machine learning system
CN114912568A (zh) 数据处理的方法、设备和计算机可读存储介质
CN112070022A (zh) 人脸图像识别方法、装置、电子设备和计算机可读介质
CN113506272B (zh) 一种虚假视频的检测方法及系统
CN115116147B (zh) 图像识别、模型训练、活体检测方法及相关装置
Karasek et al. Genetic programming based classifier in viola-jones rapidminer image mining extension

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant