CN111489298A - 用gan减少图像的畸变的学习方法及装置、测试方法及装置 - Google Patents

用gan减少图像的畸变的学习方法及装置、测试方法及装置 Download PDF

Info

Publication number
CN111489298A
CN111489298A CN202010017403.2A CN202010017403A CN111489298A CN 111489298 A CN111489298 A CN 111489298A CN 202010017403 A CN202010017403 A CN 202010017403A CN 111489298 A CN111489298 A CN 111489298A
Authority
CN
China
Prior art keywords
image
score
learning
network
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010017403.2A
Other languages
English (en)
Other versions
CN111489298B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111489298A publication Critical patent/CN111489298A/zh
Application granted granted Critical
Publication of CN111489298B publication Critical patent/CN111489298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

本发明涉及为了在极限状况提高容错及波动鲁棒性而提供的利用GAN减少变形的图像上发生的畸变的学习方法，其特征在于，包括：(a)获取到初始图像时，使包含于生成网络的调整层调整至少一部分的初始特征值以将初始图像变换成调整图像的步骤；以及(b)获取到(i)自然度评分、(ii)特性保持评分及(iii)类似度评分的至少一部分时，使包含于生成网络的损失层参照自然度评分、特性保持评分及类似度评分生成生成网络损失以学习生成网络的参数的步骤，本发明能够用于行动预测、超精密客体检测或追踪等。

Description

用GAN减少图像的畸变的学习方法及装置、测试方法及装置
技术领域
本发明涉及用于自动行驶车辆的学习方法及学习装置、以及利用其的测试方法及测试装置，更具体来讲涉及用于利用GAN(Generative Adversarial Network，生成对抗网络)减少变形的(Warped)图像上发生的畸变的学习方法及学习装置、以及利用其的测试方法及测试装置。
背景技术
CNN还广泛用于车辆的自动行驶领域，其主要执行分析通过附着于车辆的摄像头获取的影像以检测障碍物，检测自由空间(Free Space)等功能使得车辆能够安全行驶。
然而，这种利用CNN使车辆自动行驶的方法在特定状况下可能难以执行。即，CNN须使用通过摄像头得到的图像，但由于摄像头晃动等问题导致影像严重晃动的情况下，发生视频的各帧的图像大幅改变的抖动(Jittering)现象。发生这种抖动现象的情况下，CNN难以追踪影像上的客体的运动。尤其，这种抖动现象在常常越野行驶的军用车辆自动行驶的状况下经常发生，防止这种现象的方法非常重要。
用于去除这种抖动的现有技术有测定摄像头的运动并物理纠正发生抖动的图像的方法，但该情况下摄像头模块的重量增大、需要大量费用，由于使用多种装置，因此引起故障的危险性增大。有作为替代方案的软件技术，该方法是将图像分成网格，算出表示摄像头的晃动引起的各所述网格的各活动的各向量后，参照各所述向量对各网格进行变形(Warping)去除抖动的方法。
然而这种软件技术只考虑图像的客体的光流(Optical Flow)，调整发生抖动的图像的过程中导致图像发生很大畸变，因此具有无法识别到本应从图像上识别到的客体或过度非现实地改变相应图像的问题。
发明内容
技术问题
本发明的目的是解决上述问题。
本发明的目的是提供利用GAN(Generative Adversarial Network)减少在稳定发生抖动(Jittering)的图像的过程中生成的变形的(Warped)图像上发生的畸变的方法。
技术方案
根据本发明的一个方面的利用包括生成网络(Generating Network)与辨别网络(Discriminating Network)的GAN(Generative Adversarial Network)减少稳定发生抖动(Jittering)的图像的过程中生成的变形的(Warped)图像上发生的畸变(Distortion)的学习方法，其特征在于，包括：(a)获取到至少一个初始图像(Initial Image)时，学习装置使调整层(Adjusting Layer)调整与包含于所述初始图像的像素对应的至少一部分的初始特征值(Initial Feature Value)以将所述初始图像变换成至少一个调整图像(AdjustedImage)的步骤；以及(b)所述学习装置获取到(i)表示所述调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分(Naturality Score)、(ii)表示包含于所述初始图像的至少一个初始客体(Initial Object)是否以保持固有特性的状态包含于所述调整图像的至少一个特性保持评分(Maintenance Score)及(iii)表示所述初始图像及所述调整图像之间的类似程度的至少一个类似度评分(Similarity Score)的至少一部分时，使包含于所述生成网络的损失层(Loss Layer)参照所述自然度评分、所述特性保持评分及所述类似度评分生成生成网络损失(Generating Network Loss)，反向传播所述生成网络损失使得学习所述生成网络的参数的步骤。
根据一个实施例，其特征在于在所述(b)步骤中，所述辨别网络参照对应于所述调整图像的特征图判断关于所述调整图像相当于真实(Real)图像或虚假(Fake)图像的至少一个所述概率，并基于此生成所述自然度评分。
根据一个实施例，其特征在于所述辨别网络参照所述调整图像、附加获取的至少一个学习用实际图像(Real Image)及与其对应的GT生成辨别网络损失并将其反向传播学习辨别网络的参数，使得判断包括所述调整图像的至少一个输入的图像相当于真实图像或虚假图像的概率。
根据一个实施例，其特征在于在所述(b)步骤中，所述客体检测网络生成关于相当于包含在所述调整图像的至少一个调整客体(Adjusted Object)的至少一个ROI的至少一个类别评分(Class Score)，参照所述类别评分生成所述特性保持评分。
根据一个实施例，其特征在于在所述(b)步骤中，包含于所述生成网络的比较层(Comparing Layer)参照关于所述初始特征值和与其对应的包含于所述调整图像的调整特征值(Adjusted Feature Value)之间的差的信息生成所述类似度评分。
根据一个实施例，其特征在于还参照所述初始特征值生成所述类似度评分。
根据一个实施例，其特征在于在所述(b)步骤中，所述生成网络损失使得包含于所述生成网络的参数学习成参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分算出的综合评分(Integrated Score)增大。
根据一个实施例，其特征在于参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分的加权和(Weighted Sum)生成所述综合评分。
根据本发明的另一方面的利用包括生成网络(Generating Network)与辨别网络(Discriminating Network)的GAN(Generative Adversarial Network)减少稳定发生抖动(Jittering)的图像的过程中生成的变形的(Warped)图像上发生的畸变(Distortion)的测试方法，其特征在于，包括：在(1)学习装置使调整层(Adjusting Layer)调整与包含于至少一个学习用初始图像(Initial Image)的像素对应的至少一部分的学习用初始特征值(Initial Feature Value)以将所述学习用初始图像变换成至少一个学习用调整图像(Adjusted Image)，(2)所述学习装置参照(i)表示所述学习用调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分(Naturality Score)、(ii)表示包含于所述学习用初始图像的至少一个学习用初始客体(Initial Object)是否以保持固有特性的状态包含于所述学习用调整图像的至少一个特性保持评分(Maintenance Score)及(iii)表示所述学习用初始图像及所述学习用调整图像之间的类似程度的至少一个类似度评分(Similarity Score)的至少一部分，使包含于所述生成网络的损失层(Loss Layer)生成了生成网络损失(Generating Network Loss)的状态下，测试装置使包含于所述生成网络的所述调整层(Adjusting Layer)调整与包含于至少一个测试用初始图像的像素对应的至少一部分的测试用初始特征值(InitialFeature Value)以将所述测试用初始图像变换成至少一个测试用调整图像的步骤。
根据本发明的又一方面的利用包括生成网络(Generating Network)与辨别网络(Discriminating Network)的GAN(Generative Adversarial Network)减少稳定发生抖动(Jittering)的图像的过程中生成的变形的(Warped)图像上发生的畸变(Distortion)的学习装置，其特征在于，包括：至少一个存储器，其存储指令；以及至少一个处理器，其构成为运行用于执行(I)获取到至少一个初始图像(Initial Image)时，使调整层(AdjustingLayer)调整与包含于所述初始图像的像素对应的至少一部分的初始特征值(InitialFeature Value)以将所述初始图像变换成至少一个调整图像(Adjusted Image)的过程；以及(II)获取到(i)表示所述调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分(Naturality Score)、(ii)表示包含于所述初始图像的至少一个初始客体(Initial Object)是否以保持固有特性的状态包含于所述调整图像的至少一个特性保持评分(Maintenance Score)及(iii)表示所述初始图像及所述调整图像之间的类似程度的至少一个类似度评分(Similarity Score)的至少一部分时，使包含于所述生成网络的损失层(Loss Layer)参照所述自然度评分、所述特性保持评分及所述类似度评分生成生成网络损失(Generating Network Loss)，反向传播所述生成网络损失使得学习所述生成网络的参数的过程的所述指令。
根据一个实施例，其特征在于在所述(II)过程中，所述辨别网络参照对应于所述调整图像的特征图判断关于所述调整图像相当于真实(Real)图像或虚假(Fake)图像的至少一个所述概率，并基于此生成所述自然度评分。
根据一个实施例，其特征在于所述辨别网络参照所述调整图像、附加获取的至少一个学习用实际图像(Real Image)及与其对应的GT生成辨别网络损失并将其反向传播学习辨别网络的参数，使得判断包括所述调整图像的至少一个输入的图像相当于真实图像或虚假图像的概率。
根据一个实施例，其特征在于在所述(II)过程中，所述客体检测网络生成关于相当于包含在所述调整图像的至少一个调整客体(Adjusted Object)的至少一个ROI的至少一个类别评分(Class Score)，参照所述类别评分生成所述特性保持评分。
根据一个实施例，其特征在于在所述(II)过程中，包含于所述生成网络的比较层(Comparing Layer)参照关于所述初始特征值和与其对应的包含于所述调整图像的调整特征值(Adjusted Feature Value)之间的差的信息生成所述类似度评分。
根据一个实施例，其特征在于还参照所述初始特征值生成所述类似度评分。
根据一个实施例，其特征在于在所述(II)过程中，所述生成网络损失使得包含于所述生成网络的参数学习成参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分算出的综合评分(Integrated Score)增大。
根据一个实施例，其特征在于参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分的加权和(Weighted Sum)生成所述综合评分。
根据本发明的又一方面的利用包括生成网络(Generating Network)与辨别网络(Discriminating Network)的GAN(Generative Adversarial Network)减少稳定发生抖动(Jittering)的图像的过程中生成的变形的(Warped)图像上发生的畸变(Distortion)的测试装置，其特征在于，包括：至少一个存储器，其存储指令；以及至少一个处理器，其构成为在(1)学习装置使调整层(Adjusting Layer)调整与包含于至少一个学习用初始图像(Initial Image)的像素对应的至少一部分的学习用初始特征值(Initial FeatureValue)以将所述学习用初始图像变换成至少一个学习用调整图像(Adjusted Image)，(2)所述学习装置参照(i)表示所述学习用调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分(Naturality Score)、(ii)表示包含于所述学习用初始图像的至少一个学习用初始客体(Initial Object)是否以保持固有特性的状态包含于所述学习用调整图像的至少一个特性保持评分(Maintenance Score)及(iii)表示所述学习用初始图像及所述学习用调整图像之间的类似程度的至少一个类似度评分(SimilarityScore)的至少一部分，使包含于所述生成网络的损失层(Loss Layer)生成生成网络损失(Generating Network Loss)的状态下，运行用于执行使包含于所述生成网络的所述调整层(Adjusting Layer)调整与包含于至少一个测试用初始图像的像素对应的至少一部分的测试用初始特征值(Initial Feature Value)以将所述测试用初始图像变换成至少一个测试用调整图像的过程的所述指令。
技术效果
本发明具有利用循环GAN(Generative Adversarial Network)将RGB格式的训练图像的组转换成非RGB格式以缓解非RGB格式的训练图像组中发生的问题的效果。
附图说明
为了用于说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分而已，本发明所属技术领域的一般技术人员(以下“普通技术人员”)在未经过创造性劳动的情况下可基于这些附图得到其他附图。
图1是简要示出用于执行本发明的一个实施例的利用GAN(Generative Adversarial Network)减少在稳定发生抖动(Jittering)的图像的过程中变形的(Wa rped)图像上发生的畸变的方法的学习装置的构成的示意图；
图2是简要示出本发明的一个实施例的利用GAN减少稳定发生抖动的图像的过程中变形的图像上发生的畸变的过程的示意图；
图3是简要示出本发明的一个实施例的利用GAN减少稳定发生抖动的图像的过程中变形的图像上发生的畸变的过程的效果的示意图。
具体实施方式
以下参见例示能够实施本发明的特定实施例的附图对本发明进行详细说明。通过详细说明这些实施例使得本领域普通技术人员足以实施本发明。应理解虽然本发明的多种实施例彼此互异，但不必相互排他。例如，此处记载的特定形状、结构及特性在关于一个实施例不超出本发明的精神及范围的前提下可以以其他实施例实现。并且，应理解在不超出本发明的精神及范围的前提下公开的各实施例内的个别构成要素的位置或配置是可以变更的。因此以下具体说明并非以限定为目的，确切来讲，本发明的范围仅限于权利要求所记载的范围及与之等同的所有范围。在附图中类似的附图标记在各方面表示相同或类似的功能。
并且，在本发明的具体说明及权利要求中，“包括”这一术语及其变形并非将其他技术特征、附加物、构成要素或步骤除外。普通技术人员能够从本说明书获知本发明的其他目的、优点及特性中的一部分，并且一部分可从本发明的实施获知。以下例示及附图作为实例提供，目的并非限定本发明。
本发明所述的各种图像可包括铺装或非铺装道路相关图像，该情况下可想到道路环境中可能出现的物体(例如，汽车、人、动物、植物、物件、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此，本发明所述的各种图像还可以是与道路无关的图像(例如，非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内相关的图像)，该情况下，可想到非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内环境中可能出现的物体(例如，汽车、人、动物、植物、物件、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此。
以下，为了使得本发明所属技术领域的普通技术人员能够轻易地实施本发明，参见附图对本发明的优选实施例进行具体说明。
图1是简要示出用于执行本发明的一个实施例的利用GAN(Generative Adversarial Network)减少在稳定发生抖动(Jittering)的图像的过程中变形的(Wa rped)图像上发生的畸变的方法的学习装置的构成的示意图。
参见图1，学习装置100可以包括作为后续要具体说明的构成要素的生成网络130、辨别网络140及客体检测网络150。生成网络130、辨别网络140及客体检测网络150的输入输出及运算过程可分别通过通信部110及处理器120进行。但图1省略了通信部110及处理器120的具体连接关系。在此，存储器115可以是存储有下述多种指令的状态，处理器120能够运行存储于存储器115的指令，可通过执行以下要说明的过程执行本发明。尽管如上说明了学习装置100，但并不排除学习装置100具有包括用于实施本发明的处理器、存储器、介质或其他学习装置的所有组合的集成处理器(Integrated Pro cessor)的情况。
以上说明了执行用于利用GAN减少在稳定发生抖动的图像的过程中生成的变形的图像内发生的畸变的学习方法的学习装置100的构成。以下参见图2对所述学习方法进行说明。
图2是简要示出本发明的一个实施例的学习利用GAN减少稳定发生抖动的图像的过程中变形的图像上发生的畸变的方法的过程的示意图。
参见图2，至少一个初始图像输入到生成网络130时，能够通过包含于生成网络130的调整层131生成至少一个调整图像(Adjusted Image)。之后，包含于生成网络130的损失层133可以(i)获取由包含于生成网络130的比较层132、辨别网络140及客体检测网络150生成的关于调整图像的评分，(ii)参照所述评分生成生成网络损失后，(iii)将其反向传播以学习生成网络130的参数。
具体来讲，学习装置100可获取初始图像。初始图像可以是通过从发生抖动的图像去除抖动的过程生成的稳定化的图像之一。在此，所述抖动去除过程可包括将发生抖动的图分成多个网格的过程、算出表示由于摄像头晃动而发生的网格的运动的抖动向量的过程及向各抖动向量的各反方向移动各网格的变形抖动图像的过程。问题是变形过程能够导致向不同方向移动网格而稳定化的图像上发生部分畸变现象。因此经过这种过程生成的初始图像可能是其内部的客体的模样部分畸变的状态。
获取到至少一个初始图像时，学习装置100可以使生成网络130将初始图像变换成至少一个调整图像。具体来讲，学习装置100可以使包含于生成网络130的调整层131调整与包含于初始图像的像素对应的初始特征值的至少一部分以将初始图像变换成调整图像。
调整层131可对初始特征值适用至少一次卷积运算及去卷积运算将初始图像变换成调整图像。在此，初始图像以RGB格式表示的情况下，初始特征值可包括颜色值。初始图像不是RGB格式的情况下可包括相应格式的值。并且，若初始图像包括多个通道的值，初始值还可以包括这些。
之后，调整图像传递到包含于生成网络130的比较层132、辨别网络140及客体检测网络150后用于生成用来生成生成网络损失的各评分。以下对生成各评分的过程进行说明，在此首先说明由辨别网络140执行的过程。
第一，辨别网络140可生成表示调整图像被判断为真实(Real)图像的至少一个概率的至少一个自然度评分(Naturality Score)。具体来讲，辨别网络140对调整图像适用至少一次卷积运算生成对应于调整图像的特征图(Feature Ma p)，参照该特征图可通过判断表示调整图像为真实图像或虚假(Fake)图像的至少一个概率生成自然度评分。为了生成自然度评分，辨别网络140可以与生成网络130并列学习。
具体来讲，获取生成网络130生成的调整图像期间，辨别网络140还可以获取表示输入到自身的图像为调整图像还是学习用实际图像的学习用实际图像及与其对应的GT。在此，各GT表示与各自对应的图像为真实图像还是虚假图像。之后，辨别网络140可参照对包括调整图像与学习用实际图像在内的输入到自身的各图像适用至少一次卷积运算生成的各特征图判断输入到自身的图像为真实图像还是虚假图像。辨别网络140能够参照判断结果及与其对应的GT生成辨别网络损失后将其反向传播以学习辨别网络的参数。
通过这种学习过程，辨别网络140可以与生成网络130并列地学习。
而作为另一实施例，辨别网络140可确定表示调整图像的子区域(Sub-re gion)是真实图像或虚假图像的概率，可参照该概率生成自然度评分。在此，可通过叫做“滑动窗口(Sliding Window)”的方法选择子区域。具体来讲，第一子区域可选自调整图像内，可以一点点地移动着第一子区域等选择第二子区域。
第二，客体检测网络150可生成表示包含于初始图像的至少一个初始客体是否以保持固有特性的状态包含于调整图像的至少一个特性保持评分。具体来讲，客体检测网络150(i)可获取从RPN输入到自身的图像上的各ROI，(i i)对各ROI适用至少一次卷积运算生成各特征图后，(iii)对各特征图适用FC运算生成包括与包含于各ROI的各客体的类别对应的概率的各类别评分。在此，对关于类别评分的特定信息举例来讲，将客体检测网络150检测的客体分类为包括行人类别、车辆类别、背景类别的三个类别的情况下，对应于特定客体的特定类别评分可包括三个构成要素，即，第一、包含于特定ROI的特定客体为行人的概率、第二、特定客体为车辆的概率，以及第三、特定客体为背景的概率。类似地生成其余类别评分后，客体检测网络150可参照各类别评分生成特性保持评分。
作为一个例示，特性保持评分可以是算出的对应于各类别评分的各部分特性保持评分的和。在此，对应于所述特定客体的部分特性保持评分中特定部分特性保持评分可以通过相加(i)特定客体包含于客体类别而非背景类别的概率中最大值与(ii)特定客体包含于背景类别的概率与1之间的差算出。例如，特定类别评分为(0.7，0.2，0.1)的情况下，算出的特定部分特性保持评分将是0.7+(1–0.1)＝1.6。
不同于所述辨别网络140，客体检测网络150并非与生成网络130并列地学习，可以在执行生成网络130的学习过程之前已经学习。
最后，比较层132可生成表示初始图像及调整图像之间的类似程度的类似度评分。具体来讲，比较层132可以生成关于初始特征值和与其对应的包含于调整图像的调整特征值之间的差的信息后，利用该信息生成类似度评分。
作为例示，比较层132可算出各初始特征值及与其对应的各调整特征值之间的各欧几里得距离(Euclidean Distance)以生成关于差的信息，可相加从构成要素均为0的原来地点到各初始特征值的各欧几里得距离生成和信息(Sum Information)。之后，比较层132可以用所述和除以关于差的信息后用1减去以生成类似度评分。
以上对生成自然度评分、特性保持评分、类似度评分的方法进行了具体说明。以下说明损失层133的同时对如何使用这种评分进行具体说明。
学习装置100能够使损失层133参照自然度评分、特性保持评分、类似度评分生成生成网络损失。生成网络损失可使得包含于生成网络130的参数被学习成综合评分增大。在此，可参照至少一个自然度评分、特性保持评分及类似度评分算出综合评分。作为例示，可参照自然度评分、特性保持评分及类似度评分的至少一部分加权和(Weighted Sum)生成综合评分。损失层可根据以下数学式生成生成网络损失。
Figure BDA0002359425980000101
Figure BDA0002359425980000102
Figure BDA0002359425980000103
Figure BDA0002359425980000104
在所述数学式中E1(G)表示自然度评分，E2(G)表示特性保持评分，E3(G)可表示类似度评分。并且，α与β表示对应于各项(Term)的加权值。
第一，E1(G)如以上所述，在基本实施例中利用叫做“滑动窗口”的方法的情况下，可以是
Figure BDA0002359425980000105
或者单纯地由D(G(I))给出，其表示辨别网络140将调整图像判断为真实图像的概率。使用叫做“滑动窗口”的方法的情况下，
Figure BDA0002359425980000111
项用于相加包含于调整图像的各子区域为真实图像或虚假图像的各概率并对作为其结果生成的值规范化(Nomalizing)。Kw表示所述子区域的宽度，Kh表示所述子区域的高度，W表示调整图像的宽度，H表示调整图像的高度。Sx表示所述子区域的左侧边与调整图像左侧边之间的距离，Sy表示所述子区域的上端边与调整图像的上端边之间的距离。根据数学式，E1(G)可执行如以上说明的功能。
第二，在E2(G)中，
Figure BDA0002359425980000112
项表示第i客体被判断为包含于客体类别而非背景类别的概率中最大值，
Figure BDA0002359425980000113
项表示从1减去第i客体被判断为包含于背景类别的概率的值。在此，
Figure BDA0002359425980000114
可表示包括第i客体的边界框(Bounding Box)的位置。
第三，在E3(G)中，I表示对应于初始特征值的向量，G(I)表示对应于调整特征值的向量。
以下说明如上向综合评分增大的方向生成生成网络损失的理由。
第一，使自然度评分增大使得调整图像看起来更自然。包含于调整图像的客体畸变的情况下，调整图像看起来不自然。包含于调整图像的客体的畸变越少，辨别网络140评价调整图像为实际图像的概率越高，因此能够提高自然度评分。这样能够增大自然度评分，从而能够减少包含于调整图像的初始客体的畸变。
第二，通过使特性保持评分高，能够使得包含于调整图像的客体很好地保持自己的特性。能够增大特性保持评分使得客体检测网络150能够轻易检测包含于调整图像的客体。因此通过增大特性保持评分使得初始客体的特性在调整过程之后仍能很好地保存。
第三，通过使类似度评分增大，能够防止调整图像中生成不对应于初始客体的新的客体。这是因为只使用自然度评分与特性保持评分而不使用类似度评分的情况下，调整层131的参数并不止于调整畸变的初始客体，而是能够朝着在调整图像内生成新的客体的方向学习。因此通过使得类似度评分增大，能够防止调整图像上生成不希望的客体。
如上所述，可参照自然度评分、特性保持评分及类似度评分的至少一部分的加权和生成综合评分。在此，对应于各评分的各加权值可以由用户调整。例如，初始图像与调整图像过度类似的其余客体的畸变不减少的情况下，可减小关于类似度评分的加权值。
通过如上所述的方法生成生成网络损失后，学习装置100可以使损失层133反向传播生成网络损失使得学习生成网络130的参数。
作为参考，为了防止在以下说明中发生混淆，对与以上说明的学习过程相关的术语添加术语“学习用”，对与测试过程相关的术语添加术语“测试用”。
具体来讲，可以在(1)获取到至少一个学习用初始图像时，学习装置使包含于生成网络130的调整层131调整与包含于学习用初始图像(Initial Image)的像素对应的至少一部分的学习用初始特征值(Initial Feature Value)以将学习用初始图像变换成至少一个学习用调整图像(Adjusted Image)，(2)学习装置参照(i)表示学习用调整图像被辨别网络判断为真实图像的至少一个概率的至少一个自然度评分(Naturality Score)、(ii)表示包含于学习用初始图像的至少一个学习用初始客体(Initial Object)是否以保持固有特性的状态包含于学习用调整图像的至少一个特性保持评分(Maintenance Score)及(iii)表示学习用初始图像及学习用调整图像之间的类似程度的至少一个类似度评分(SimilarityScore)的至少一部分，使包含于生成网络的损失层(Loss Layer)生成了生成网络损失(Generating Network Loss)的状态下，获取到至少一个测试用初始图像时，测试装置使包含于生成网络130的调整层(Adjusting Layer)调整与包含于至少一个测试用初始图像的像素对应的至少一部分的测试用初始特征值(Initial Feature Value)以将测试用初始图像变换成至少一个测试用调整图像。
在测试过程中，可以是上述学习装置100的构成中辨别网络140、客体检测网络150及包含于生成网络130的比较层132及损失层133除外的状态。
以下参照图3说明如上测试的情况下的效果。
图3是简要示出本发明的一个实施例的利用GAN减少稳定发生抖动的图像的过程中变形的图像上发生的畸变的过程的效果的示意图。
参见图3，如上所述，可确认初始客体由于图像变形而畸变。在此，对初始图像适用本发明的一个实施例的方法的情况下，初始图像能够如图3变换成畸变大幅减少的调整图像。
本发明利用GAN减少畸变，从而具有能够缓解稳定发生抖动的图像的过程中生成的变形的图像上发生的畸变问题的积极效果。
本发明的一个实施例的方法可用于在极限状况提高容错(Fault Tolerance)及波动鲁棒性(Fluctuation Robustness)，还可以用于行动预测、超精密客体检测或追踪。
本发明所属技术领域的普通技术人员能够理解，以上说明的图像、例如原始图像、原始标签及附加标签之类的图像数据的收发可通过学习装置及测试装置的通信部实现，用于与特征图执行运算的数据可通过学习装置及测试装置的处理器(及/或存储器)存储/维护，卷积运算、去卷积运算、损失值运算过程主要可以通过学习装置及测试装置的处理器执行，但本发明不限于此。
以上说明的本发明的实施例可实现为能够通过多种计算机构成要素执行的程序命令的形态存储在计算机可读存储介质中。所述计算机可读存储介质可包括程序指令、数据文件、数据结构等或其组合。存储在所述计算机可读存储介质中的程序指令可以是为本发明而专门设计和构成的，但也可以是计算机软件领域的技术人员公知使用的。计算机可读存储介质例如可以是硬盘、软盘及磁带之类的磁介质、CD-ROM、DVD之类的光存储介质、软光盘(fl optical disk)之类的磁-光介质(magneto-optical media)及ROM、RAM、闪速存储器等为了存储和执行程序命令而专门构成的硬件装置。并且，程序命令不仅包括通过编译器得到的机器代码，还包括能够通过解释器由计算机运行的高级语言代码。所述硬件装置可构成为为了执行本发明的处理而作为一个以上的软件模块工作，反之相同。
以上通过具体构成要素等特定事项与限定的实施例及附图对本发明进行了说明，但是其目的只是用于帮助更全面的理解，本发明并不限定于上述实施例，本发明所属领域的普通技术人员可根据以上记载想到多种修改及变更。
因此本发明的思想不应局限于以上说明的实施例，应理解所述权利要求范围及与该权利要求范围等同或等价变形的所有一切都属于本发明思想的范畴。

Claims (18)

1.一种学习方法，是利用包括生成网络与辨别网络的生成对抗网络减少稳定发生抖动的图像的过程中生成的变形的图像上发生的畸变的学习方法，其特征在于，包括：
(a)获取到至少一个初始图像时，学习装置使调整层调整与包含于所述初始图像的像素对应的至少一部分的初始特征值以将所述初始图像变换成至少一个调整图像的步骤；以及
(b)所述学习装置获取到(i)表示所述调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分、(ii)表示包含于所述初始图像的至少一个初始客体是否以保持固有特性的状态包含于所述调整图像的至少一个特性保持评分及(iii)表示所述初始图像及所述调整图像之间的类似程度的至少一个类似度评分的至少一部分时，使包含于所述生成网络的损失层参照所述自然度评分、所述特性保持评分及所述类似度评分生成生成网络损失，反向传播所述生成网络损失使得学习所述生成网络的参数的步骤。
2.根据权利要求1所述的方法，其特征在于：
在所述(b)步骤中，
所述辨别网络参照对应于所述调整图像的特征图判断关于所述调整图像相当于真实图像或虚假图像的至少一个所述概率，并基于此生成所述自然度评分。
3.根据权利要求2所述的方法，其特征在于：
所述辨别网络参照所述调整图像、附加获取的至少一个学习用实际图像及与其对应的GT生成辨别网络损失并将其反向传播学习辨别网络的参数，使得判断包括所述调整图像的至少一个输入的图像相当于真实图像或虚假图像的概率。
4.根据权利要求1所述的方法，其特征在于：
在所述(b)步骤中，
所述客体检测网络生成关于相当于包含在所述调整图像的至少一个调整客体的至少一个ROI的至少一个类别评分，参照所述类别评分生成所述特性保持评分。
5.根据权利要求1所述的方法，其特征在于：
在所述(b)步骤中，
包含于所述生成网络的比较层参照关于所述初始特征值和与其对应的包含于所述调整图像的调整特征值之间的差的信息生成所述类似度评分。
6.根据权利要求5所述的方法，其特征在于：
还参照所述初始特征值生成所述类似度评分。
7.根据权利要求1所述的方法，其特征在于：
在所述(b)步骤中，
所述生成网络损失使得包含于所述生成网络的参数学习成参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分算出的综合评分增大。
8.根据权利要求7所述的方法，其特征在于：
参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分的加权和生成所述综合评分。
9.一种测试方法，是利用包括生成网络与辨别网络的生成对抗网络减少稳定发生抖动的图像的过程中生成的变形的使包含于所述生成网络的所述调整层调整与包含于至少一个测试用初始图像的像素对应的至少一部分的测试用初始特征值以将所述测试用初始图像变换成至少一个测试用调整图像的图像上发生的畸变的测试方法，其特征在于，包括：
在(1)学习装置使调整层调整与包含于至少一个学习用初始图像的像素对应的至少一部分的学习用初始特征值以将所述学习用初始图像变换成至少一个学习用调整图像，(2)所述学习装置参照(i)表示所述学习用调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分、(ii)表示包含于所述学习用初始图像的至少一个学习用初始客体是否以保持固有特性的状态包含于所述学习用调整图像的至少一个特性保持评分及(iii)表示所述学习用初始图像及所述学习用调整图像之间的类似程度的至少一个类似度评分的至少一部分，使包含于所述生成网络的损失层生成了生成网络损失的状态下，测试装置使包含于所述生成网络的所述调整层调整与包含于至少一个测试用初始图像的像素对应的至少一部分的测试用初始特征值以将所述测试用初始图像变换成至少一个测试用调整图像的步骤。
10.一种学习装置，是利用包括生成网络与辨别网络的生成对抗网络减少稳定发生抖动的图像的过程中生成的变形的图像上发生的畸变的学习装置，其特征在于，包括：
至少一个存储器，其存储指令；以及
至少一个处理器，其构成为运行用于执行(I)获取到至少一个初始图像时，使调整层调整与包含于所述初始图像的像素对应的至少一部分的初始特征值以将所述初始图像变换成至少一个调整图像的过程；以及(II)获取到(i)表示所述调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分、(ii)表示包含于所述初始图像的至少一个初始客体是否以保持固有特性的状态包含于所述调整图像的至少一个特性保持评分及(iii)表示所述初始图像及所述调整图像之间的类似程度的至少一个类似度评分的至少一部分时，使包含于所述生成网络的损失层参照所述自然度评分、所述特性保持评分及所述类似度评分生成生成网络损失，反向传播所述生成网络损失使得学习所述生成网络的参数的过程的所述指令。
11.根据权利要求10所述的装置，其特征在于：
在所述(II)过程中，
所述辨别网络参照对应于所述调整图像的特征图判断关于所述调整图像相当于真实图像或虚假图像的至少一个所述概率，并基于此生成所述自然度评分。
12.根据权利要求11所述的装置，其特征在于：
所述辨别网络参照所述调整图像、附加获取的至少一个学习用实际图像及与其对应的GT生成辨别网络损失并将其反向传播学习辨别网络的参数，使得判断包括所述调整图像的至少一个输入的图像相当于真实图像或虚假图像的概率。
13.根据权利要求10所述的装置，其特征在于：
在所述(II)过程中，
所述客体检测网络生成关于相当于包含在所述调整图像的至少一个调整客体的至少一个ROI的至少一个类别评分，参照所述类别评分生成所述特性保持评分。
14.根据权利要求10所述的装置，其特征在于：
在所述(II)过程中，
包含于所述生成网络的比较层参照关于所述初始特征值和与其对应的包含于所述调整图像的调整特征值之间的差的信息生成所述类似度评分。
15.根据权利要求14所述的装置，其特征在于：
还参照所述初始特征值生成所述类似度评分。
16.根据权利要求10所述的装置，其特征在于：
在所述(II)过程中，
所述生成网络损失使得包含于所述生成网络的参数学习成参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分算出的综合评分增大。
17.根据权利要求16所述的装置，其特征在于：
参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分的加权和生成所述综合评分。
18.一种测试装置，是利用包括生成网络与辨别网络的生成对抗网络减少稳定发生抖动(Jittering)的图像的过程中生成的变形的图像上发生的畸变的测试装置，其特征在于，包括：
至少一个存储器，其存储指令；以及
至少一个处理器，其构成为在(1)学习装置使调整层调整与包含于至少一个学习用初始图像的像素对应的至少一部分的学习用初始特征值以将所述学习用初始图像变换成至少一个学习用调整图像，(2)所述学习装置参照(i)表示所述学习用调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分、(ii)表示包含于所述学习用初始图像的至少一个学习用初始客体是否以保持固有特性的状态包含于所述学习用调整图像的至少一个特性保持评分及(iii)表示所述学习用初始图像及所述学习用调整图像之间的类似程度的至少一个类似度评分的至少一部分，使包含于所述生成网络的损失层生成了生成网络损失的状态下，运行用于执行使包含于所述生成网络的所述调整层调整与包含于至少一个测试用初始图像的像素对应的至少一部分的测试用初始特征值以将所述测试用初始图像变换成至少一个测试用调整图像的过程的所述指令。
CN202010017403.2A 2019-01-28 2020-01-08 用gan减少图像的畸变的学习方法及装置、测试方法及装置 Active CN111489298B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/258,820 2019-01-28
US16/258,820 US10380724B1 (en) 2019-01-28 2019-01-28 Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations

Publications (2)

Publication Number Publication Date
CN111489298A true CN111489298A (zh) 2020-08-04
CN111489298B CN111489298B (zh) 2023-04-14

Family

ID=67543705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010017403.2A Active CN111489298B (zh) 2019-01-28 2020-01-08 用gan减少图像的畸变的学习方法及装置、测试方法及装置

Country Status (5)

Country Link
US (1) US10380724B1 (zh)
EP (1) EP3686837B1 (zh)
JP (1) JP6856853B2 (zh)
KR (1) KR102337381B1 (zh)
CN (1) CN111489298B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801122A (zh) * 2019-11-14 2021-05-14 和硕联合科技股份有限公司 异常检测模型的训练方法及使用此方法的电子装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220414849A1 (en) * 2019-11-25 2022-12-29 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Image enhancement method and apparatus, and terminal device
CN114981836A (zh) * 2020-01-23 2022-08-30 三星电子株式会社 电子设备和电子设备的控制方法
CN111199550B (zh) * 2020-04-09 2020-08-11 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质
CN112016439B (zh) * 2020-08-26 2021-06-29 上海松鼠课堂人工智能科技有限公司 基于对抗神经网络的游戏化学习环境创建方法和系统
CN115239941B (zh) * 2022-07-25 2023-04-28 北京瑞莱智慧科技有限公司 对抗图像生成方法、相关装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175003A (ja) * 2012-02-24 2013-09-05 Osaka Prefecture Univ Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置
US20140307111A1 (en) * 2013-04-15 2014-10-16 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN105631808A (zh) * 2015-12-23 2016-06-01 浙江越剑机械制造有限公司 一种矫正自动验布机中布面抖动造成的图像畸变的方法
US20180160045A1 (en) * 2015-07-31 2018-06-07 SZ DJI Technology Co., Ltd. Method and device of image processing and camera
US20180213153A1 (en) * 2015-07-22 2018-07-26 Sony Corporation Camera module, solid-state image pickup element, electronic apparatus, and image pickup method
US20180232878A1 (en) * 2017-02-13 2018-08-16 Siemens Healthcare Gmbh Image Quality Assessment System And Method
US20180336439A1 (en) * 2017-05-18 2018-11-22 Intel Corporation Novelty detection using discriminator of generative adversarial network
US20180341836A1 (en) * 2017-05-24 2018-11-29 General Electric Company Neural network point cloud generation system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614287B2 (en) * 2014-06-16 2020-04-07 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks
US11024009B2 (en) 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
US10726304B2 (en) * 2017-09-08 2020-07-28 Ford Global Technologies, Llc Refining synthetic data with a generative adversarial network using auxiliary inputs
JP7242288B2 (ja) * 2018-12-25 2023-03-20 キヤノンメディカルシステムズ株式会社 医用画像診断装置及びモデル学習装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175003A (ja) * 2012-02-24 2013-09-05 Osaka Prefecture Univ Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置
US20140307111A1 (en) * 2013-04-15 2014-10-16 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20180213153A1 (en) * 2015-07-22 2018-07-26 Sony Corporation Camera module, solid-state image pickup element, electronic apparatus, and image pickup method
US20180160045A1 (en) * 2015-07-31 2018-06-07 SZ DJI Technology Co., Ltd. Method and device of image processing and camera
CN105631808A (zh) * 2015-12-23 2016-06-01 浙江越剑机械制造有限公司 一种矫正自动验布机中布面抖动造成的图像畸变的方法
US20180232878A1 (en) * 2017-02-13 2018-08-16 Siemens Healthcare Gmbh Image Quality Assessment System And Method
US20180336439A1 (en) * 2017-05-18 2018-11-22 Intel Corporation Novelty detection using discriminator of generative adversarial network
US20180341836A1 (en) * 2017-05-24 2018-11-29 General Electric Company Neural network point cloud generation system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KUPYN O，ET AL.: "DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks" *
QIANTONG XU,ET AL.: "An empirical study on evaluation metrics of generative adversarial networks" *
XIAOLONG WANG，ET AL.: "Generative Image Modeling using Style and Structure Adversarial Networks" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801122A (zh) * 2019-11-14 2021-05-14 和硕联合科技股份有限公司 异常检测模型的训练方法及使用此方法的电子装置
CN112801122B (zh) * 2019-11-14 2023-11-07 和硕联合科技股份有限公司 异常检测模型的训练方法及使用此方法的电子装置

Also Published As

Publication number Publication date
JP6856853B2 (ja) 2021-04-14
EP3686837B1 (en) 2021-11-24
KR20200093417A (ko) 2020-08-05
EP3686837A1 (en) 2020-07-29
KR102337381B1 (ko) 2021-12-10
CN111489298B (zh) 2023-04-14
JP2020119555A (ja) 2020-08-06
US10380724B1 (en) 2019-08-13

Similar Documents

Publication Publication Date Title
CN111489298B (zh) 用gan减少图像的畸变的学习方法及装置、测试方法及装置
US10726279B1 (en) Method and device for attention-driven resource allocation by using AVM and reinforcement learning to thereby achieve safety of autonomous driving
CN107895150B (zh) 基于嵌入式系统小规模卷积神经网络模块的人脸检测和头部姿态角评估
US9947077B2 (en) Video object tracking in traffic monitoring
CN111489285B (zh) 利用循环gan将真实图像变换成虚拟图像的方法及装置
KR20200093426A (ko) 이미지 분석 기반으로 환경에 영향 받지 않는 감시를 위한 보행자 검출기의 학습 방법 및 학습 장치, 그리고, 이를 이용하여 테스트 방법 및 테스트장치
CN111507906B (zh) 用用于容错及波动鲁棒性的神经网络除抖动的方法及装置
JP7178438B2 (ja) 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置
CN111507159B (zh) 提供自动驾驶安全性的方法和装置
KR102252155B1 (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111507152A (zh) 基于内置独立型预测来转换自动驾驶模式的方法及装置
CN111488786A (zh) 基于cnn的监视用客体检测器的方法及装置
US10776647B2 (en) Method and device for attention-driven resource allocation by using AVM to thereby achieve safety of autonomous driving
CN114821778A (zh) 一种水下鱼体姿态动态识别方法及装置
EP4323952A1 (en) Semantically accurate super-resolution generative adversarial networks
KR102244380B1 (ko) 자율 주행 환경에서 큐잉 기반 모델 선택과 광학 흐름을 이용한 사물 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
CN111429727A (zh) 一种开放式停车位中车牌识别方法及系统
CN113379001B (zh) 针对图像识别模型的处理方法及装置
US20240029281A1 (en) Method for reducing error of depth estimation model, electronic device, and non-transitory storage medium
CN118072278A (zh) 对象检测方法、对象检测设备以及其非暂时性存储媒体
CN117441173A (zh) 用于深度学习的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant