CN111507888A - 利用生成性对抗神经网络生成合成图像的方法及装置 - Google Patents

利用生成性对抗神经网络生成合成图像的方法及装置 Download PDF

Info

Publication number
CN111507888A
CN111507888A CN202010061065.2A CN202010061065A CN111507888A CN 111507888 A CN111507888 A CN 111507888A CN 202010061065 A CN202010061065 A CN 202010061065A CN 111507888 A CN111507888 A CN 111507888A
Authority
CN
China
Prior art keywords
synthesized
image
rare
neural network
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010061065.2A
Other languages
English (en)
Other versions
CN111507888B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勳
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507888A publication Critical patent/CN111507888A/zh
Application granted granted Critical
Publication of CN111507888B publication Critical patent/CN111507888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供为了使监视系统更加准确地识别周围情况并检测危险情况等稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络，更准确是利用异类传感器融合，生成无法判断合成与否的合成图像的方法。本发明的方法包括：计算装置生成背景图像中的稀有对象的位置候选组，参照候选组分数选择上述稀有对象的上述位置候选组中的特定位置候选组作为上述稀有对象的最佳位置的步骤；将稀有对象图像插入上述最佳位置，生成初始合成图像的步骤；以及调整与上述初始合成图像中包括的各个像素相对应的颜色值，生成上述无法判断合成与否的合成图像的步骤。并且，本发明还可以利用3D地图、GPS、智能手机、V2X通信等，用于行人辅助系统和路径设定。

Description

利用生成性对抗神经网络生成合成图像的方法及装置
技术领域
本发明涉及用于无人驾驶汽车的方法及装置，更详细地涉及利用生成性对抗神经网络(Generative Adversarial Network，GAN)生成无法判断合成与否的合成图像来更加准确地检测稀有事件的方法及装置，以及利用其的测试方法及测试装置。
背景技术
深度卷积神经网络(Deep Convolutional Neural Network；Deep CNN)是深度学习领域中带来飞跃性发展的关键。CNN已在90年代用于解决文字识别问题，但现在的广泛使用是通过最近的研究结果实现的。这种CNN在2012年的ImageNet图像分类比赛中击败其他竞争对手并赢得了冠军。之后卷积神经网络成为了机器学习领域(Machine Learning)中非常有用的工具。
这样，CNN还可用于银行和军事基地等安防至关重要的设施。即， CNN可以通过适当地处理CCTV视频数据，实时检测稀有事件(例如，银行发生强盗入侵、军队发生敌军入侵等)，与以往对CCTV视频数据一一进行人工监视的情况相比，更快更有效地操作和管理系统。
但是，这种监视系统难以实现的原因是缺少用于学习CNN的训练图像。CNN的学习需要万张单位以上的训练图像，与上述稀有事件相关的训练图像数量很少。因此，CNN的学习变得困难，并且这样的系统没有得到普及。
发明内容
技术问题
本发明的目的在于，解决如上所述的问题。
本发明的目的在于，提供为了使监视系统更加准确地检测至少一个稀有事件而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(GAN)生成至少一个自然合成的图像的方法。
解决问题的手段
为了达成如上所述的本发明的目的，并带来后述的本发明的特征性效果，本发明的特征性结构如下：
根据本发明的一方面，提供一种方法，为了使监视系统 (surveillance system)更加准确地检测至少一个稀有事件(rare event)，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(Generative Adversarial Network，GAN)生成至少一个无法判断合成与否的合成图像，其特征在于，包括：步骤(a)，若计算装置获取上述无法判断合成与否的合成图像中用作上述稀有事件的背景的至少一个背景图像和与上述稀有事件相对应的至少一个稀有对象的至少一个稀有对象图像，则使得上述生成神经网络中包括的至少一个位置指定层，生成要插入上述稀有对象图像的上述背景图像中的上述稀有对象的一个以上位置候选组，若获取由至少一个第一鉴别器 (discriminator)计算的与各个上述位置候选组相对应的各个候选组分数，则使得上述位置指定层，参照上述候选组分数选择上述稀有对象的上述位置候选组中的特定位置候选组作为上述稀有对象的最佳位置；步骤(b)，上述计算装置使得上述生成神经网络中包括的至少一个合成层，将上述稀有对象图像插入上述最佳位置，生成至少一个初始合成图像；以及步骤(c)，上述计算装置使得上述生成神经网络中包括的至少一个调整层，调整与上述初始合成图像中包括的各个像素中的至少一部分相对应的颜色值，生成上述无法判断合成与否的合成图像。
一实施例中，本发明的特征在于，上述步骤(c)中，上述计算装置使得上述调整层，对与插入上述稀有对象图像的上述初始合成图像的至少一部分相对应的至少一个特定区域进行至少一个卷积运算和至少一个反卷积运算，生成上述无法判断合成与否的合成图像。
一实施例中，本发明的特征在于，还包括：步骤(d)，若上述计算装置获取由至少一个第二鉴别器计算的上述无法判断合成与否的合成图像的至少一个自然性分数以及由对象检测网络计算的上述无法判断合成与否的合成图像上的上述稀有对象的至少一个存在分数中的至少一部分，则使得上述生成神经网络中包括的至少一个损失层，参照上述自然性分数及上述存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络的一个以上参数中的至少一部分。
一实施例中，本发明的特征在于，上述第二鉴别器对其输入图像是上述无法判断合成与否的合成图像还是非合成图像进行区分，从而计算上述自然性分数。
一实施例中，本发明的特征在于，上述对象检测网络判断上述无法判断合成与否的合成图像上存在上述稀有对象的概率，从而计算上述存在分数。
一实施例中，本发明的特征在于，上述第二鉴别器以能够执行如下操作的方式学习，参照用于表示(i)上述无法判断合成与否的合成图像、(ii)上述非合成图像以及(iii)上述第二鉴别器的输入图像是上述无法判断合成与否的合成图像还是上述非合成图像的与上述非合成图像和上述无法判断合成与否的合成图像相对应的至少一个GT，判断上述输入图像是非合成还是合成。
一实施例中，本发明的特征在于，上述对象检测网络以能够执行如下操作的方式学习，参照用于表示(i)包括上述稀有对象的第一组训练图像、(ii)不包括上述稀有对象的第二组训练图像以及(iii) 上述对象检测网络的输入图像是否包括上述稀有对象的与上述第一组和上述第二组相对应的至少一个GT，计算上述输入图像中包括上述稀有对象的概率。
一实施例中，本发明的特征在于，上述步骤(a)中，上述位置指定层(i)生成包括上述背景图像上的背景对象的一个以上背景对象边框，(ii)还生成与各个上述位置候选组上的上述稀有对象相对应的各个稀有对象边框，从而在上述背景图像中生成各个合成布局，上述第一鉴别器参照上述合成布局中的至少一部分计算各个上述候选组分数。
一实施例中，本发明的特征在于，上述第一鉴别器计算各个上述合成布局判断为非合成或合成的概率，计算各个上述候选组分数。
一实施例中，本发明的特征在于，上述第一鉴别器以能够执行如下操作的方式学习，参照用于表示(i)各个上述合成布局、(ii)各个非合成布局以及(iii)上述第一鉴别器的各个输入布局是上述非合成布局还是上述合成布局的与各个上述合成布局和各个非合成布局相对应的至少一个GT，判断上述输入布局是非合成还是合成。
一实施例中，本发明的特征在于，上述合成布局的特定合成布局中包括的特定背景对象边框和特定稀有对象边框包括参照与特定背景对象和特定稀有对象相关的等级信息生成的特定识别信息，上述第一鉴别器参照(i)上述特定识别信息以及(ii)与上述特定背景对象边框和上述特定稀有对象边框的位置相关的关系信息，计算特定候选组分数。
根据本发明的再一方面，提供一种测试方法，为了使监视系统更加准确地检测至少一个稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(GAN)生成至少一个无法判断合成与否的合成测试图像，其特征在于，包括：步骤(a)，学习装置(1)获取无法判断合成与否的合成训练图像中用作稀有事件的背景的至少一个背景训练图像和与上述稀有事件相对应的至少一个学习用稀有对象的至少一个稀有对象训练图像后，使得上述生成神经网络中包括的至少一个位置指定层，生成要插入上述稀有对象训练图像的上述背景训练图像中的上述学习用稀有对象的一个以上学习用位置候选组，获取由至少一个第一鉴别器计算的与各个上述学习用位置候选组相对应的各个学习用候选组分数后，使得上述位置指定层，参照上述学习用候选组分数选择上述学习用稀有对象的上述学习用位置候选组中的学习用特定位置候选组作为上述学习用稀有对象的学习用最佳位置，(2)使得上述生成神经网络中包括的至少一个合成层，将上述稀有对象训练图像插入上述学习用最佳位置，生成至少一个初始合成训练图像， (3)使得上述生成神经网络中包括的至少一个调整层，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的学习用颜色值，生成上述无法判断合成与否的合成训练图像，(4)获取由至少一个第二鉴别器计算的上述无法判断合成与否的合成训练图像的至少一个学习用自然性分数以及由对象检测网络计算的上述无法判断合成与否的合成训练图像上的上述学习用稀有对象的至少一个学习用存在分数中的至少一部分后，使得上述生成神经网络中包括的至少一个损失层，参照上述学习用自然性分数及上述学习用存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络的一个以上参数中的至少一部分的状态下，若测试装置获取上述无法判断合成与否的合成测试图像中用作上述稀有事件的背景的至少一个背景测试图像和与上述稀有事件相对应的至少一个测试用稀有对象的至少一个稀有对象测试图像，则使得上述生成神经网络中包括的上述位置指定层，生成要插入上述稀有对象测试图像的上述背景测试图像中的上述测试用稀有对象的一个以上测试用位置候选组，若获取由上述第一鉴别器计算的与各个上述测试用位置候选组相对应的各个测试用候选组分数，则使得上述位置指定层，参照上述测试用候选组分数选择上述测试用稀有对象的上述测试用位置候选组中的测试用特定位置候选组作为上述测试用稀有对象的测试用最佳位置；步骤(b)，上述测试装置使得上述生成神经网络中包括的上述合成层，将上述稀有对象测试图像插入上述测试用最佳位置，生成至少一个初始合成测试图像；以及步骤(c)，上述测试装置使得上述生成神经网络中包括的上述调整层，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的测试用颜色值，生成上述无法判断合成与否的合成测试图像。
根据本发明的又一方面，提供一种计算装置，为了使监视系统更加准确地检测至少一个稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(GAN)生成至少一个无法判断合成与否的合成图像，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，执行上述指令来执行步骤(I)、步骤(II)以及步骤(III)，步骤(I)中，若获取上述无法判断合成与否的合成图像中用作上述稀有事件的背景的至少一个背景图像和与上述稀有事件相对应的至少一个稀有对象的至少一个稀有对象图像，则使得上述生成神经网络中包括的至少一个位置指定层，生成要插入上述稀有对象图像的上述背景图像中的上述稀有对象的一个以上位置候选组，若获取由至少一个第一鉴别器计算的与各个上述位置候选组相对应的各个候选组分数，则使得上述位置指定层，参照上述候选组分数选择上述稀有对象的上述位置候选组中的特定位置候选组作为上述稀有对象的最佳位置；步骤(II)中，使得上述生成神经网络中包括的至少一个合成层，将上述稀有对象图像插入上述最佳位置，生成至少一个初始合成图像；步骤(III)中，使得上述生成神经网络中包括的至少一个调整层，调整与上述初始合成图像中包括的各个像素中的至少一部分相对应的颜色值，生成上述无法判断合成与否的合成图像。
一实施例中，本发明的特征在于，上述步骤(III)中，上述处理器使得上述调整层，对与插入上述稀有对象图像的上述初始合成图像的至少一部分相对应的至少一个特定区域进行至少一个卷积运算和至少一个反卷积运算，生成上述无法判断合成与否的合成图像。
一实施例中，本发明的特征在于，上述处理器还执行：步骤(IV)，若获取由至少一个第二鉴别器计算的上述无法判断合成与否的合成图像的至少一个自然性分数以及由对象检测网络计算的上述无法判断合成与否的合成图像上的上述稀有对象的至少一个存在分数中的至少一部分，则使得上述生成神经网络中包括的至少一个损失层，参照上述自然性分数及上述存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络的一个以上参数中的至少一部分。
一实施例中，本发明的特征在于，上述第二鉴别器对其输入图像是上述无法判断合成与否的合成图像还是非合成图像进行区分，从而计算上述自然性分数。
一实施例中，本发明的特征在于，上述对象检测网络判断上述无法判断合成与否的合成图像上存在上述稀有对象的概率，从而计算上述存在分数。
一实施例中，本发明的特征在于，上述第二鉴别器以能够执行如下操作的方式学习，参照用于表示(i)上述无法判断合成与否的合成图像、(ii)上述非合成图像以及(iii)上述第二鉴别器的输入图像是上述无法判断合成与否的合成图像还是上述非合成图像的与上述非合成图像和上述无法判断合成与否的合成图像相对应的至少一个GT，判断上述输入图像是非合成还是合成。
一实施例中，本发明的特征在于，上述对象检测网络以能够执行如下操作的方式学习，参照用于表示(i)包括上述稀有对象的第一组训练图像、(ii)不包括上述稀有对象的第二组训练图像以及(iii) 上述对象检测网络的输入图像是否包括上述稀有对象的与上述第一组和上述第二组相对应的至少一个GT，计算上述输入图像中包括上述稀有对象的概率。
一实施例中，本发明的特征在于，上述步骤(I)中，上述位置指定层(i)生成包括上述背景图像上的背景对象的一个以上背景对象边框，(ii)还生成与各个上述位置候选组上的上述稀有对象相对应的各个稀有对象边框，从而在上述背景图像中生成各个合成布局，上述第一鉴别器参照上述合成布局中的至少一部分计算各个上述候选组分数。
一实施例中，本发明的特征在于，上述第一鉴别器计算各个上述合成布局判断为非合成或合成的概率，计算各个上述候选组分数。
一实施例中，本发明的特征在于，上述第一鉴别器以能够执行如下操作的方式学习，参照用于表示(i)各个上述合成布局、(ii)各个非合成布局以及(iii)上述第一鉴别器的各个输入布局是上述非合成布局还是上述合成布局的与各个上述合成布局和各个非合成布局相对应的至少一个GT，判断上述输入布局是非合成还是合成。
一实施例中，本发明的特征在于，上述合成布局的特定合成布局中包括的特定背景对象边框和特定稀有对象边框包括参照与特定背景对象和特定稀有对象相关的等级信息生成的特定识别信息，上述第一鉴别器参照(i)上述特定识别信息以及(ii)与上述特定背景对象边框和上述特定稀有对象边框的位置相关的关系信息，计算特定候选组分数。
根据本发明的还有一方面，提供一种测试装置，为了使监视系统更加准确地检测至少一个稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(GAN)生成至少一个无法判断合成与否的合成测试图像，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，执行上述指令来执行步骤(I)、步骤(II) 以及步骤(III)，步骤(I)中，学习装置(1)获取无法判断合成与否的合成训练图像中用作稀有事件的背景的至少一个背景训练图像和与上述稀有事件相对应的至少一个学习用稀有对象的至少一个稀有对象训练图像后，使得上述生成神经网络中包括的至少一个位置指定层，生成要插入上述稀有对象训练图像的上述背景训练图像中的上述学习用稀有对象的一个以上学习用位置候选组，获取由至少一个第一鉴别器计算的与各个上述学习用位置候选组相对应的各个学习用候选组分数后，使得上述位置指定层，参照上述学习用候选组分数选择上述学习用稀有对象的上述学习用位置候选组中的学习用特定位置候选组作为上述学习用稀有对象的学习用最佳位置，(2)使得上述生成神经网络中包括的至少一个合成层，将上述稀有对象训练图像插入上述学习用最佳位置，生成至少一个初始合成训练图像，(3)使得上述生成神经网络中包括的至少一个调整层，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的学习用颜色值，生成上述无法判断合成与否的合成训练图像，(4)获取由至少一个第二鉴别器计算的上述无法判断合成与否的合成训练图像的至少一个学习用自然性分数以及由对象检测网络计算的上述无法判断合成与否的合成训练图像上的上述学习用稀有对象的至少一个学习用存在分数中的至少一部分后，使得上述生成神经网络中包括的至少一个损失层，参照上述学习用自然性分数及上述学习用存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络的一个以上参数中的至少一部分的状态下，若获取上述无法判断合成与否的合成测试图像中用作上述稀有事件的背景的至少一个背景测试图像和与上述稀有事件相对应的至少一个测试用稀有对象的至少一个稀有对象测试图像，则使得上述生成神经网络中包括的上述位置指定层，生成要插入上述稀有对象测试图像的上述背景测试图像中的上述测试用稀有对象的一个以上测试用位置候选组，若获取由上述第一鉴别器计算的与各个上述测试用位置候选组相对应的各个测试用候选组分数，则使得上述位置指定层，参照上述测试用候选组分数选择上述测试用稀有对象的上述测试用位置候选组中的测试用特定位置候选组作为上述测试用稀有对象的测试用最佳位置；步骤(II)中，使得上述生成神经网络中包括的上述合成层，将上述稀有对象测试图像插入上述测试用最佳位置，生成至少一个初始合成测试图像；步骤(III)中，使得上述生成神经网络中包括的上述调整层，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的测试用颜色值，生成上述无法判断合成与否的合成测试图像。
发明的效果
本发明提供为了使监视系统更加准确地识别周围情况并检测危险情况等稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(GenerativeAdversarial Network，GAN)，更准确是利用异类传感器融合(heterogeneous sensorfusion)，生成无法判断合成与否的合成图像的方法。
附图说明
为了说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分，本发明所属领域的普通技术人员(以下，“普通技术人员”)可以在不付出创造性劳动的情况下通过该附图得出其他附图。
图1简要示出为了使监视系统更加准确地检测至少一个稀有事件而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络 (GAN)生成至少一个无法判断合成与否的合成图像的计算装置的结构。
图2简要示出为了使上述监视系统更加准确地检测上述稀有事件而利用包括上述生成神经网络和上述鉴别神经网络的生上述成性对抗神经网络生成上述无法判断合成与否的合成图像时使用的上述生成神经网络的结构。
图3简要示出简要示出为了使上述监视系统更加准确地检测上述稀有事件而利用包括上述生成神经网络和上述鉴别神经网络的生上述成性对抗神经网络生成上述无法判断合成与否的合成图像的方法。
具体实施方式
以下，本发明能够实施的特定实施例为例，参照附图对本发明进行详细说明，本发明的目的、技术手段及优点将更加明确。普通技术人员可以参照对这些实施例的详细说明充分实施这些实施例。
并且，本发明的详细说明及权利要求书中，术语“包括”及其变形不排除其他技术特征、附加物、结构要素或步骤等。对普通技术人员而言，本发明的其他目的、优点及特性的一部分可以从本说明书得知，一部分可以在实施本发明的过程中得知。以下例示及附图只是实例，本发明并不局限于此。
进而，本发明包括本说明书中提供的多个实施例的所有组合。本发明的各种实施例虽然不同但不必相互排斥。例如，本文所记载的特定形状、结构及特性，在一实施例中不脱离本发明的思想及范围的情况下还可体现为另一实施例。并且，所公开的各个实施例内的个别结构要素的位置或配置可以在不脱离本发明的思想及范围的情况下进行变更。因此，后述的详细说明并不是限定的意思，只要能适当说明，本发明的范围应根据与权利要求书的范围等同的所有范围和所附的权利要求书而定。附图中类似的附图标记在多个方面指类似的功能。
本发明中提及的各种图像可以包括柏油马路或非柏油马路的相关图像，这种情况下可以假设包括马路环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不局限于此。本发明中提及的各种图像还可以为与马路无关的图像(假如非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、与室内相关的图像)，这种情况下可以假设包括非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不局限于此。
以下，为了使本发明所属领域的普通技术人员容易实施本发明，参照附图对本发明的优选实施例进行详细说明。
图1简要示出为了使监视系统更加准确地检测至少一个稀有事件而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络生成至少一个无法判断合成与否的合成图像的计算装置的结构。
参照图1，上述计算装置100可以包括后面将详细说明的上述生成神经网络200、至少一个第一鉴别器300、至少一个第二鉴别器400 以及至少一个对象检测网络500。包括上述生成神经网络200、上述第一鉴别器300以及上述第二鉴别器400的鉴别神经网络及上述对象检测网络500的输入、输入及运算过程分别可以由通信部110及处理器 120实现。但是，图1中省略了上述通信部110以及上述处理器120之间的具体连接关系。此时，存储器115可以处于存储后述的多种指令的状态，上述处理器120可以设置成执行存储于上述存储器115的上述指令，可以通过执行后述的指令来执行本发明的步骤。即使以这种方式说明了上述计算装置100，也不排除上述计算装置100包括用于实施本发明的介质、处理器、存储器或其他计算用结构要素整合的形态的整合处理器的情况的
以上说明了上述计算装置100的整体结构，下面参照图2说明上述计算装置100的结构要素中执行关键作用的上述生成神经网络200 的结构。
图2简要示出为了使上述监视系统更加准确地检测上述稀有事件而利用包括上述生成神经网络和上述鉴别神经网络的生上述成性对抗神经网络生成上述无法判断合成与否的合成图像时使用的上述生成神经网络的结构。
参照图2，上述生成神经网络200可以包括至少一个位置指定层 210、至少一个合成层220、至少一个调整层230以及至少一个损失层 240。参照图3详细说明各个上述层具体起到什么作用。上述计算装置 100用作测试装置时上述损失层240可能被省略。
上述生成神经网络200的结构如上所述，将具体说明本发明的上述无法判断合成与否的合成图像的生成方法，同时还说明上述第一鉴别器300、上述第二鉴别器400以及上述对象检测网络500。为此，参照图3。
图3简要示出简要示出为了使上述监视系统更加准确地检测上述稀有事件而利用包括上述生成神经网络和上述鉴别神经网络的生上述成性对抗神经网络生成上述无法判断合成与否的合成图像的方法。
参照图3可知，本发明的上述无法判断合成与否的合成图像的生成方法可以通过上述生成神经网络200中包括的上述层与上述第一鉴别器300、上述第二鉴别器400以及上述对象检测网络500之间的交互作用执行。
首先，上述计算装置100为了生成用于上述监视系统的学习的上述无法判断合成与否的合成图像，而可以获取上述无法判断合成与否的合成图像中用作上述稀有事件发生的背景的至少一个背景图像201 和与上述稀有事件相对应的至少一个稀有对象的至少一个稀有对象图像202。之后，上述计算装置100可以使得上述位置指定层210，生成要插入上述稀有对象图像202的上述背景图像201中的上述稀有对象的位置候选组。上述位置候选组可以在选择第一位置候选组的之后，使其以滑动窗口方式向周围重复移动特定距离来生成。之后，上述第一鉴别器300对与各个上述位置候选组相对应的一个以上候选组分数进行评价。
为了使上述第一鉴别器300有效生成上述候选组分数，而上述位置指定层210可以生成输入至上述第一鉴别器300的各个合成布局。具体地，上述位置指定层210可以识别上述背景图像201中包括的一个以上背景对象，并在上述背景图像201生成包括上述背景对象的一个以上背景对象边框。并且，与上述稀有对象相对应的一个以上稀有对象边框可以分别生成在各个上述位置候选组上。像这样，上述背景图像201上添加上述背景对象边框及各个上述稀有对象边框，从而生成各个上述合成布局。换句话说，各个上述合成布局可以包括与其相对应的各个上述稀有对象边框和上述背景对象边框。下面将会说明，上述背景对象边框和上述稀有对象边框可以包括参照与上述背景对象及上述稀有对象有关的等级信息生成的特定识别信息。图3所示的特定合成布局203可以视为上述合成布局中的一个示例。
生成上述合成布局后，上述第一鉴别器300计算各个上述合成布局是非合成还是合成的各个概率，从而计算各个上述候选组分数。以与上述特定合成布局203有关的特定候选组分数的计算过程为例，上述第一鉴别器300可以参照(i)与上述特定合成布局203中包括的特定背景对象边框和特定稀有对象有关的特定识别信息以及(ii)与上述特定背景对象边框和上述特定稀有对象边框的位置有关的关系信息，计算上述特定候选组分数。即，判断上述特定合成布局是否像实际(即，是否像非合成)，即，判断上述背景对象和上述稀有对象的位置关系是否自然。例如，上述特定背景对象边框的上述特定识别信息的分析结果，上述特定背景对象边框的位置判断为地面，上述特定稀有对象边框判断为位于与上述特定背景对象边框相同的高度，则图3 所示的上述稀有对象图像202为持枪强盗，因此上述持枪强盗位于地面，而不是位于天棚是自然的，因此上述特定候选组分数可以设定为较高。上述第一鉴别器300与上述生成神经网络200进行并列学习，可以对上述特定候选组分数进行这种判断。
具体地，上述第一鉴别器300不仅可以获取由上述生成神经网络 200生成的各个上述合成布局，还可以获取各个非合成布局(即，实际布局)，并可以获取用于表示上述第一鉴别器的各个输入布局是各个上述非合成布局还是各个上述合成布局的与各个上述非合成布局和各个上述合成布局相对应的至少一个GT。之后，参照获取的上述合成布局、获取的上述非合成布局以及与其相对应的GT，计算一个以上损失，上述第一鉴别器300通过利用上述损失的反向传播判断上述各个输入布局是非合成还是合成，以能够进行如上操作的方式学习。
上述第一鉴别器300可以针对上述合成布局中上述特定背景对象边框和上述特定稀有对象边框之间的位置关系与上述非合成布局的对应要素的位置关系判断为类似的合成布局，将候选组分数设定为较高。因此，候选组分数最高的特定位置候选组可以被确定为上述稀有对象的最佳位置。这么确定上述最佳位置的原因在于，与上述无法判断合成与否的合成图像相对应的合成布局的要素的位置关系与上述非合成布局的对应要素的位置关系类似时，上述无法判断合成与否的合成图像看起来自然。
作为例示，假设与上述特定合成布局203相对应的特定候选组分数最高时，与上述特定合成布局203相对应的上述特定位置候选组被选为上述最佳位置，上述稀有对象图像202插入上述最佳位置。
即，上述计算装置100可以使得上述生成神经网络200中包括的上述合成层220，将上述稀有对象图像202插入上述最佳位置，从而生成初始合成图像204。仅利用这么生成的上述初始合成图像204也可执行后续过程，但可能稍微不自然，因此需要追加调整过程。
因此，上述计算装置100使得上述生成神经网络200中包括的上述调整层230，调整与上述初始合成图像204中包括的各个像素中的至少一部分相对应的颜色值，生成上述无法判断合成与否的合成图像。调整上述颜色值的方式可能有多种，作为例示，可以采用进行卷积运算及反卷积运算来调整的方式。
具体地，上述计算装置100可以使得上述调整层230，对与插入上述稀有对象图像202的上述初始合成图像204的至少一部分相对应的至少一个特定区域进行至少一个卷积运算及至少一个反卷积运算，生成上述无法判断合成与否的合成图像205。通过进行上述卷积运算及上述反卷积运算，上述无法判断合成与否的合成图像205中的上述稀有对象图像202与周边更加自然融合。
为了更加自然合成上述无法判断合成与否的合成图像205，而需要利用上述第二鉴别器400及上述对象检测网络500的学习过程。以下，说明上述第二鉴别器400及上述对象检测网络500。
首先，上述第二鉴别器400对其输入图像是上述无法判断合成与否的合成图像205还是非合成图像进行区分，从而计算至少一个自然性分数。即，判断上述无法判断合成与否的合成图像205是否像上述非合成图像自然。为了执行这种功能，而上述第二鉴别器400可以与上述生成神经网络200进行并列学习。
具体地，上述第二鉴别器400不仅可以获取由上述生成神经网络200生成的上述无法判断合成与否的合成图像205，还可以获取上述非合成图像，并可以获取用于表示上述第二鉴别器400的上述输入图像是上述无法判断合成与否的合成图像205还是上述非合成图像的与上述非合成图像和上述无法判断合成与否的合成图像205相对应的至少一个GT。之后，参照获取的上述无法判断合成与否的合成图像、获取的上述非合成图像以及与其相对应的GT，计算一个以上损失，上述第二鉴别器400通过利用上述损失的反向传播判断上述输入图像是非合成还是合成，以能够进行如上操作的方式学习。此时，输入与用户所需的合成图像的用途相对应的上述非合成图像，可以在一定程度上判断上述无法判断合成与否的合成图像的类型。例如，用于探测敌军的军事用监视系统的情况下，需要检测出隐蔽在草堆中的敌军，因此上述无法判断合成与否的合成图像最好表示隐蔽在草堆的状态，而不是敌军站在显眼的地方。此时，将上述非合成图像定为隐蔽在草堆的动物时，如上所述，上述无法判断合成与否的合成图像可以表示上述隐蔽在草堆的敌军。这种情况下，所输入的上述非合成图像无需包括上述稀有对象。即，上述例中，表示上述隐蔽在草堆的敌军的非合成训练图像不是必须的，表示上述隐蔽在草堆的动物的非合成训练图像就充分。
之后，上述对象检测网络500判断上述无法判断合成与否的合成图像上存在上述稀有对象的概率，从而计算至少一个存在分数。下面将详细说明，这将用于上述学习过程，使得上述无法判断合成与否的合成图像205始终包括上述稀有对象图像202。为了执行这种功能，上述对象检测网络500可以在上述生成神经网络200执行上述学习过程之前已经学习。
具体地，上述对象检测网络500可以获取用于表示(i)包括上述稀有对象的第一组训练图像、(ii)不包括上述稀有对象的第二组训练图像以及(iii)上述输入图像是否包括上述稀有对象的与上述第一组和上述第二组相对应的至少一个GT。之后，参照获取的上述第一组、获取的上述第二组以及与其相对应的GT，计算一个以上损失，上述对象检测网络500通过利用上述损失的反向传播判断上述对象检测网络 500的输入图像包括上述稀有对象的概率。
这种上述第二鉴别器400及上述对象检测网络500已提供的状态下，上述计算装置100可以获取(i)由上述第二鉴别器400计算的上述无法判断合成与否的合成图像205的上述自然性分数以及(ii)由上述对象检测网络500计算的上述无法判断合成与否的合成图像205 中的上述稀有对象的上述存在分数中的至少一部分。之后，上述计算装置100可以使得上述生成神经网络200中包括的上述损失层240，参照上述自然性分数及上述存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络200的上述参数。此时，上述第一鉴别器300、上述第二鉴别器400及上述对象检测网络500或者上述鉴别神经网络内其他结构要素的参数可以根据情况由上述损失层240或其他损失层(未图示)学习。
上述损失执行调整上述生成神经网络200中包括的层的参数的作用，从而以使上述自然性分数和上述存在分数上升的方向生成上述无法判断合成与否的合成图像205。
若上述自然性分数上升，则上述无法判断合成与否的合成图像205 的各种特性与上述非合成图像类似，上述无法判断合成与否的合成图像205看起来自然，若上述无法判断合成与否的合成图像205看起来自然，则输入至上述监视系统时的结果预计更好。
并且，若上述存在分数上升，则上述生成神经网络200以错误方向学习的可能性下降。仅利用上述第一鉴别器300及第二鉴别器400 学习上述生成神经网络200的情况下，单纯追求上述无法判断合成与否的合成图像205的自然，而可能以不插入上述稀有对象图像202的方向学习。即，使上述无法判断合成与否的合成图像205以看起来自然的方式生成的最简单的方法是，上述无法判断合成与否的合成图像 205不包括上述稀有对象图像202而仅具有上述背景图像201，因此可能发生这种情况，对此，同时使用上述对象检测网络500来防止这种情况。通过以使上述存在分数上升的方向学习，使上述无法判断合成与否的合成图像205能够始终包括上述稀有对象图像202。
上述生成神经网络200生成多个无法判断合成与否的合成图像，重复执行如上所述的过程，由此，上述生成神经网络200、上述第一鉴别器300及上述第二鉴别器400可以进行并列学习，像这样，采用上述要素进行并列性、竞争性学习的上述GAN，从而生成优化的测试用无法判断合成与否的合成图像。以下，说明测试过程。
作为参考，为了防止混淆，在以下说明中关于上述学习过程的术语添加了“学习用”或“训练”等字样，关于上述测试过程的术语添加了“测试用”或“测试”等字样。
上述计算装置100(1)获取上述无法判断合成与否的合成训练图像中用作上述稀有事件的背景的至少一个背景训练图像和与上述稀有事件相对应的至少一个学习用稀有对象的至少一个稀有对象训练图像后，使得上述生成神经网络200中包括的上述位置指定层210，生成要插入上述稀有对象训练图像的上述背景训练图像中的上述学习用稀有对象的一个以上学习用位置候选组，获取由上述第一鉴别器300计算的与各个上述学习用位置候选组相对应的各个学习用候选组分数后，使得上述位置指定层210，参照上述学习用候选组分数选择上述学习用稀有对象的上述学习用位置候选组中的学习用特定位置候选组作为上述学习用稀有对象的学习用最佳位置，(2)使得上述生成神经网络200 中包括的上述合成层220，将上述稀有对象训练图像插入述学习用最佳位置，生成至少一个初始合成训练图像，(3)使得上述生成神经网络 200中包括的上述调整层230，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的学习用颜色值，生成上述无法判断合成与否的合成训练图像，(4)获取由上述第二鉴别器400计算的上述无法判断合成与否的合成训练图像的至少一个学习用自然性分数以及由上述对象检测网络500计算的上述无法判断合成与否的合成训练图像上的上述学习用稀有对象的上述学习用存在分数中的至少一部分后，使得上述生成神经网络200中包括的至少一个损失层，参照上述学习用自然性分数及上述学习用存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络的一个以上参数中的至少一部分的状态下，若获取上述无法判断合成与否的合成测试图像中用作上述稀有事件的背景的至少一个背景测试图像和与上述稀有事件相对应的至少一个测试用稀有对象的至少一个稀有对象测试图像，则测试装置(未图示)使得上述生成神经网络200中包括的上述位置指定层210，生成要插入上述稀有对象测试图像的上述背景测试图像中的上述测试用稀有对象的一个以上测试用位置候选组，若获取由上述第一鉴别器300计算的与各个上述测试用位置候选组相对应的各个测试用候选组分数，则使得上述位置指定层210，参照上述测试用候选组分数选择上述测试用稀有对象的上述测试用位置候选组中的测试用特定位置候选组作为上述测试用稀有对象的测试用最佳位置。
并且，上述测试装置可以使得上述生成神经网络200中包括的上述合成层220，将上述稀有对象测试图像插入上述测试用最佳位置，生成至少一个初始合成测试图像。
之后，上述测试装置可以使得上述生成神经网络200中包括的上述调整层230，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的测试用颜色值，生成上述无法判断合成与否的合成测试图像。
如上所述，这种测试过程可以由图2所示的上述生成神经网络200 中除了上述损失层240之外的上述测试装置执行。
本发明所属领域的普通技术人员可以理解，以上说明的图像，例如原图像、原标签以及追加标签等图像数据的收发可以由智能手机的通信部实现，与特征图进行运算的数据存储/维持在智能手机的处理器 (和/或传感器)，卷积运算、反卷积运算、损失值运算过程主要由智能手机的处理器执行，但本发明并不局限于此。
并且，本发明还可以利用3D地图、GPS、智能手机、V2X通信等，用于行人辅助系统和路径设定。
以上说明的本发明的实施例能够以通过各种计算机要素执行的程序命令的形态体现并存储在计算机可读存储介质。上述计算机可读存储介质可以包括程序命令、数据文件、数据结构等或它们的组合。上述计算机可读存储介质中存储的程序命令可以是为本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。计算机可读存储介质的例包括硬盘、软盘及磁带等磁介质、CD-ROM、 DVD等光存储介质、光磁软盘(floptical disk)等磁光介质 (magneto-optical media)、以及ROM、RAM、快闪存储器等为了存储并执行程序命令而特殊构成的硬件装置。程序命令的例包括由编译器制成的机器语言代码以及利用解析器等可由计算机执行的高级语言代码。上述硬件装置能够以一个以上软件模块运行，以便执行本发明的处理，相反情况也一样。
以上，通过限定的实施例及附图对本发明的具体结构要素等特定事项进行了说明，但这仅仅用于提供对本发明的更全面的理解，本发明并不局限于上述实施例，本发明所属领域的普通技术人员可以在这些记载的基础上进行各种修改及变形。
因此，本发明的思想并不局限于所说明的上述实施例，权利要求书及其等同或等价变换的所有内容均属于本发明的思想范畴。

Claims (24)

1.一种方法，其特征在于，为了使监视系统更加准确地检测至少一个稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络生成至少一个无法判断合成与否的合成图像，包括：
步骤(a)，若计算装置获取所述无法判断合成与否的合成图像中用作所述稀有事件的背景的至少一个背景图像和与所述稀有事件相对应的至少一个稀有对象的至少一个稀有对象图像，则使得所述生成神经网络中包括的至少一个位置指定层，生成要插入所述稀有对象图像的所述背景图像中的所述稀有对象的一个以上位置候选组，若获取由至少一个第一鉴别器计算的与各个所述位置候选组相对应的各个候选组分数，则使得所述位置指定层，参照所述候选组分数选择所述稀有对象的所述位置候选组中的特定位置候选组作为所述稀有对象的最佳位置；
步骤(b)，所述计算装置使得所述生成神经网络中包括的至少一个合成层，将所述稀有对象图像插入所述最佳位置，生成至少一个初始合成图像；以及
步骤(c)，所述计算装置使得所述生成神经网络中包括的至少一个调整层，调整与所述初始合成图像中包括的各个像素中的至少一部分相对应的颜色值，生成所述无法判断合成与否的合成图像。
2.根据权利要求1所述的方法，其特征在于，所述步骤(c)中，所述计算装置使得所述调整层，对与插入所述稀有对象图像的所述初始合成图像的至少一部分相对应的至少一个特定区域进行至少一个卷积运算和至少一个反卷积运算，生成所述无法判断合成与否的合成图像。
3.根据权利要求1所述的方法，其特征在于，还包括：
步骤(d)，若所述计算装置获取由至少一个第二鉴别器计算的所述无法判断合成与否的合成图像的至少一个自然性分数以及由对象检测网络计算的所述无法判断合成与否的合成图像上的所述稀有对象的至少一个存在分数中的至少一部分，则使得所述生成神经网络中包括的至少一个损失层，参照所述自然性分数及所述存在分数中的至少一部分计算一个以上损失，对所述损失进行反向传播，从而学习所述生成神经网络的一个以上参数中的至少一部分。
4.根据权利要求3所述的方法，其特征在于，所述第二鉴别器对其输入图像是所述无法判断合成与否的合成图像还是非合成图像进行区分，从而计算所述自然性分数。
5.根据权利要求3所述的方法，其特征在于，所述对象检测网络判断所述无法判断合成与否的合成图像上存在所述稀有对象的概率，从而计算所述存在分数。
6.根据权利要求3所述的方法，其特征在于，所述第二鉴别器以能够执行如下操作的方式学习，参照用于表示(i)所述无法判断合成与否的合成图像、(ii)所述非合成图像以及(iii)所述第二鉴别器的输入图像是所述无法判断合成与否的合成图像还是所述非合成图像的与所述非合成图像和所述无法判断合成与否的合成图像相对应的至少一个GT，判断所述输入图像是非合成还是合成。
7.根据权利要求3所述的方法，其特征在于，所述对象检测网络以能够执行如下操作的方式学习，参照用于表示(i)包括所述稀有对象的第一组训练图像、(ii)不包括所述稀有对象的第二组训练图像以及(iii)所述对象检测网络的输入图像是否包括所述稀有对象的与所述第一组和所述第二组相对应的至少一个GT，计算所述输入图像中包括所述稀有对象的概率。
8.根据权利要求1所述的方法，其特征在于，所述步骤(a)中，
所述位置指定层(i)生成包括所述背景图像上的背景对象的一个以上背景对象边框，(ii)还生成与各个所述位置候选组上的所述稀有对象相对应的各个稀有对象边框，从而在所述背景图像中生成各个合成布局，
所述第一鉴别器参照所述合成布局中的至少一部分计算各个所述候选组分数。
9.根据权利要求8所述的方法，其特征在于，所述第一鉴别器计算各个所述合成布局判断为非合成或合成的概率，计算各个所述候选组分数。
10.根据权利要求8所述的方法，其特征在于，所述第一鉴别器以能够执行如下操作的方式学习，参照用于表示(i)各个所述合成布局、(ii)各个非合成布局以及(iii)所述第一鉴别器的各个输入布局是所述非合成布局还是所述合成布局的与各个所述合成布局和各个非合成布局相对应的至少一个GT，判断所述输入布局是非合成还是合成。
11.根据权利要求8所述的方法，其特征在于，
所述合成布局的特定合成布局中包括的特定背景对象边框和特定稀有对象边框包括参照与特定背景对象和特定稀有对象相关的等级信息生成的特定识别信息，
所述第一鉴别器参照(i)所述特定识别信息以及(ii)与所述特定背景对象边框和所述特定稀有对象边框的位置相关的关系信息，计算特定候选组分数。
12.一种测试方法，其特征在于，为了使监视系统更加准确地检测至少一个稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络生成至少一个无法判断合成与否的合成测试图像，包括：
步骤(a)，学习装置(1)获取无法判断合成与否的合成训练图像中用作稀有事件的背景的至少一个背景训练图像和与所述稀有事件相对应的至少一个学习用稀有对象的至少一个稀有对象训练图像后，使得所述生成神经网络中包括的至少一个位置指定层，生成要插入所述稀有对象训练图像的所述背景训练图像中的所述学习用稀有对象的一个以上学习用位置候选组，获取由至少一个第一鉴别器计算的与各个所述学习用位置候选组相对应的各个学习用候选组分数后，使得所述位置指定层，参照所述学习用候选组分数选择所述学习用稀有对象的所述学习用位置候选组中的学习用特定位置候选组作为所述学习用稀有对象的学习用最佳位置，(2)使得所述生成神经网络中包括的至少一个合成层，将所述稀有对象训练图像插入所述学习用最佳位置，生成至少一个初始合成训练图像，(3)使得所述生成神经网络中包括的至少一个调整层，调整与所述初始合成训练图像中包括的各个像素中的至少一部分相对应的学习用颜色值，生成所述无法判断合成与否的合成训练图像，(4)获取由至少一个第二鉴别器计算的所述无法判断合成与否的合成训练图像的至少一个学习用自然性分数以及由对象检测网络计算的所述无法判断合成与否的合成训练图像上的所述学习用稀有对象的至少一个学习用存在分数中的至少一部分后，使得所述生成神经网络中包括的至少一个损失层，参照所述学习用自然性分数及所述学习用存在分数中的至少一部分计算一个以上损失，对所述损失进行反向传播，从而学习所述生成神经网络的一个以上参数中的至少一部分的状态下，若测试装置获取所述无法判断合成与否的合成测试图像中用作所述稀有事件的背景的至少一个背景测试图像和与所述稀有事件相对应的至少一个测试用稀有对象的至少一个稀有对象测试图像，则使得所述生成神经网络中包括的所述位置指定层，生成要插入所述稀有对象测试图像的所述背景测试图像中的所述测试用稀有对象的一个以上测试用位置候选组，若获取由所述第一鉴别器计算的与各个所述测试用位置候选组相对应的各个测试用候选组分数，则使得所述位置指定层，参照所述测试用候选组分数选择所述测试用稀有对象的所述测试用位置候选组中的测试用特定位置候选组作为所述测试用稀有对象的测试用最佳位置；
步骤(b)，所述测试装置使得所述生成神经网络中包括的所述合成层，将所述稀有对象测试图像插入所述测试用最佳位置，生成至少一个初始合成测试图像；以及
步骤(c)，所述测试装置使得所述生成神经网络中包括的所述调整层，调整与所述初始合成训练图像中包括的各个像素中的至少一部分相对应的测试用颜色值，生成所述无法判断合成与否的合成测试图像。
13.一种计算装置，其特征在于，为了使监视系统更加准确地检测至少一个稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(GAN)生成至少一个无法判断合成与否的合成图像，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，执行所述指令来执行步骤(I)、步骤(II)以及步骤(III)，
步骤(I)中，若获取所述无法判断合成与否的合成图像中用作所述稀有事件的背景的至少一个背景图像和与所述稀有事件相对应的至少一个稀有对象的至少一个稀有对象图像，则使得所述生成神经网络中包括的至少一个位置指定层，生成要插入所述稀有对象图像的所述背景图像中的所述稀有对象的一个以上位置候选组，若获取由至少一个第一鉴别器计算的与各个所述位置候选组相对应的各个候选组分数，则使得所述位置指定层，参照所述候选组分数选择所述稀有对象的所述位置候选组中的特定位置候选组作为所述稀有对象的最佳位置；
步骤(II)中，使得所述生成神经网络中包括的至少一个合成层，将所述稀有对象图像插入所述最佳位置，生成至少一个初始合成图像；
步骤(III)中，使得所述生成神经网络中包括的至少一个调整层，调整与所述初始合成图像中包括的各个像素中的至少一部分相对应的颜色值，生成所述无法判断合成与否的合成图像。
14.根据权利要求13所述的计算装置，其特征在于，所述步骤(III)中，所述处理器使得所述调整层，对与插入所述稀有对象图像的所述初始合成图像的至少一部分相对应的至少一个特定区域进行至少一个卷积运算和至少一个反卷积运算，生成所述无法判断合成与否的合成。
15.根据权利要求13所述的计算装置，其特征在于，所述处理器还执行：
步骤(IV)，若获取由至少一个第二鉴别器计算的所述无法判断合成与否的合成图像的至少一个自然性分数以及由对象检测网络计算的所述无法判断合成与否的合成图像上的所述稀有对象的至少一个存在分数中的至少一部分，则使得所述生成神经网络中包括的至少一个损失层，参照所述自然性分数及所述存在分数中的至少一部分计算一个以上损失，对所述损失进行反向传播，从而学习所述生成神经网络的一个以上参数中的至少一部分。
16.根据权利要求15所述的计算装置，其特征在于，所述第二鉴别器对其输入图像是所述无法判断合成与否的合成图像还是非合成图像进行区分，从而计算所述自然性分数。
17.根据权利要求15所述的计算装置，其特征在于，所述对象检测网络判断所述无法判断合成与否的合成图像上存在所述稀有对象的概率，从而计算所述存在分数。
18.根据权利要求15所述的计算装置，其特征在于，所述第二鉴别器以能够执行如下操作的方式学习，参照用于表示(i)所述无法判断合成与否的合成图像、(ii)所述非合成图像以及(iii)所述第二鉴别器的输入图像是所述无法判断合成与否的合成图像还是所述非合成图像的与所述非合成图像和所述无法判断合成与否的合成图像相对应的至少一个GT，判断所述输入图像是非合成还是合成。
19.根据权利要求15所述的计算装置，其特征在于，所述对象检测网络以能够执行如下操作的方式学习，参照用于表示(i)包括所述稀有对象的第一组训练图像、(ii)不包括所述稀有对象的第二组训练图像以及(iii)所述对象检测网络的输入图像是否包括所述稀有对象的与所述第一组和所述第二组相对应的至少一个GT，计算所述输入图像中包括所述稀有对象的概率。
20.根据权利要求13所述的计算装置，其特征在于，
所述步骤(I)中，
所述位置指定层(i)生成包括所述背景图像上的背景对象的一个以上背景对象边框，(ii)还生成与各个所述位置候选组上的所述稀有对象相对应的各个稀有对象边框，从而在所述背景图像中生成各个合成布局，
所述第一鉴别器参照所述合成布局中的至少一部分计算各个所述候选组分数。
21.根据权利要求20所述的计算装置，其特征在于，所述第一鉴别器计算各个所述合成布局判断为非合成或合成的概率，计算各个所述候选组分数。
22.根据权利要求20所述的计算装置，其特征在于，所述第一鉴别器以能够执行如下操作的方式学习，参照用于表示(i)各个所述合成布局、(ii)各个非合成布局以及(iii)所述第一鉴别器的各个输入布局是所述非合成布局还是所述合成布局的与各个所述合成布局和各个非合成布局相对应的至少一个GT，判断所述输入布局是非合成还是合成。
23.根据权利要求20所述的计算装置，其特征在于，
所述合成布局的特定合成布局中包括的特定背景对象边框和特定稀有对象边框包括参照与特定背景对象和特定稀有对象相关的等级信息生成的特定识别信息，
所述第一鉴别器参照(i)所述特定识别信息以及(ii)与所述特定背景对象边框和所述特定稀有对象边框的位置相关的关系信息，计算特定候选组分数。
24.一种测试装置，其特征在于，为了使监视系统更加准确地检测至少一个稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(GAN)生成至少一个无法判断合成与否的合成测试图像，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，执行所述指令来执行步骤(I)、步骤(II)以及步骤(III)，
步骤(I)中，学习装置(1)获取无法判断合成与否的合成训练图像中用作稀有事件的背景的至少一个背景训练图像和与所述稀有事件相对应的至少一个学习用稀有对象的至少一个稀有对象训练图像后，使得所述生成神经网络中包括的至少一个位置指定层，生成要插入所述稀有对象训练图像的所述背景训练图像中的所述学习用稀有对象的一个以上学习用位置候选组，获取由至少一个第一鉴别器计算的与各个所述学习用位置候选组相对应的各个学习用候选组分数后，使得所述位置指定层，参照所述学习用候选组分数选择所述学习用稀有对象的所述学习用位置候选组中的学习用特定位置候选组作为所述学习用稀有对象的学习用最佳位置，(2)使得所述生成神经网络中包括的至少一个合成层，将所述稀有对象训练图像插入所述学习用最佳位置，生成至少一个初始合成训练图像，(3)使得所述生成神经网络中包括的至少一个调整层，调整与所述初始合成训练图像中包括的各个像素中的至少一部分相对应的学习用颜色值，生成所述无法判断合成与否的合成训练图像，(4)获取由至少一个第二鉴别器计算的所述无法判断合成与否的合成训练图像的至少一个学习用自然性分数以及由对象检测网络计算的所述无法判断合成与否的合成训练图像上的所述学习用稀有对象的至少一个学习用存在分数中的至少一部分后，使得所述生成神经网络中包括的至少一个损失层，参照所述学习用自然性分数及所述学习用存在分数中的至少一部分计算一个以上损失，对所述损失进行反向传播，从而学习所述生成神经网络的一个以上参数中的至少一部分的状态下，若获取所述无法判断合成与否的合成测试图像中用作所述稀有事件的背景的至少一个背景测试图像和与所述稀有事件相对应的至少一个测试用稀有对象的至少一个稀有对象测试图像，则使得所述生成神经网络中包括的所述位置指定层，生成要插入所述稀有对象测试图像的所述背景测试图像中的所述测试用稀有对象的一个以上测试用位置候选组，若获取由所述第一鉴别器计算的与各个所述测试用位置候选组相对应的各个测试用候选组分数，则使得所述位置指定层，参照所述测试用候选组分数选择所述测试用稀有对象的所述测试用位置候选组中的测试用特定位置候选组作为所述测试用稀有对象的测试用最佳位置；
步骤(II)中，使得所述生成神经网络中包括的所述合成层，将所述稀有对象测试图像插入所述测试用最佳位置，生成至少一个初始合成测试图像；
步骤(III)中，使得所述生成神经网络中包括的所述调整层，调整与所述初始合成训练图像中包括的各个像素中的至少一部分相对应的测试用颜色值，生成所述无法判断合成与否的合成测试图像。
CN202010061065.2A 2019-01-31 2020-01-19 利用生成性对抗神经网络生成合成图像的方法及装置 Active CN111507888B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/262,980 US10325201B1 (en) 2019-01-31 2019-01-31 Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately
US16/262,980 2019-01-31

Publications (2)

Publication Number Publication Date
CN111507888A true CN111507888A (zh) 2020-08-07
CN111507888B CN111507888B (zh) 2024-01-30

Family

ID=66825957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010061065.2A Active CN111507888B (zh) 2019-01-31 2020-01-19 利用生成性对抗神经网络生成合成图像的方法及装置

Country Status (5)

Country Link
US (1) US10325201B1 (zh)
EP (1) EP3690705B1 (zh)
JP (1) JP6849898B2 (zh)
KR (1) KR102337362B1 (zh)
CN (1) CN111507888B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102082970B1 (ko) * 2019-04-29 2020-02-28 주식회사 루닛 기계학습을 위한 정규화 방법 및 그 장치
WO2020261362A1 (ja) * 2019-06-25 2020-12-30 日本電気株式会社 学習装置、物体検出装置、学習方法、及び、記録媒体
CN110288550B (zh) * 2019-06-28 2020-04-24 中国人民解放军火箭军工程大学 基于先验知识引导条件生成对抗网络的单张图像去雾方法
CN110569721B (zh) * 2019-08-01 2023-08-29 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN110853110B (zh) * 2019-09-20 2023-06-30 杭州火烧云科技有限公司 一种基于生成对抗网络的图片自动调色方法
CN111123927A (zh) * 2019-12-20 2020-05-08 北京三快在线科技有限公司 轨迹规划方法、装置、自动驾驶设备和存储介质
CN111339734B (zh) * 2020-02-20 2023-06-30 青岛联合创智科技有限公司 一种基于文本生成图像的方法
CN111861949B (zh) * 2020-04-21 2023-07-04 北京联合大学 一种基于生成对抗网络的多曝光图像融合方法及系统
US20210358164A1 (en) * 2020-05-15 2021-11-18 Nvidia Corporation Content-aware style encoding using neural networks
CN111708055A (zh) * 2020-05-27 2020-09-25 桂林电子科技大学 一种导航欺骗信号检测方法及装置
CN111915545B (zh) * 2020-08-06 2022-07-05 中北大学 一种多波段图像的自监督学习融合方法
CN113194401B (zh) * 2021-03-31 2022-08-09 西安交通大学 一种基于生成式对抗网络的毫米波室内定位方法及系统
KR102371145B1 (ko) 2021-11-10 2022-03-07 주식회사 스누아이랩 이미지 복원을 위한 장치 및 그 장치의 구동방법
CN114900586B (zh) * 2022-04-28 2024-04-16 中国人民武装警察部队工程大学 一种基于dcgan的信息隐写方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293734A1 (en) * 2017-04-06 2018-10-11 General Electric Company Visual anomaly detection system
CN108875833A (zh) * 2018-06-22 2018-11-23 北京智能管家科技有限公司 神经网络的训练方法、人脸识别方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9275308B2 (en) * 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US11593632B2 (en) * 2016-12-15 2023-02-28 WaveOne Inc. Deep learning based on image encoding and decoding
US10013773B1 (en) * 2016-12-16 2018-07-03 Waymo Llc Neural networks for object detection
US10049308B1 (en) * 2017-02-21 2018-08-14 A9.Com, Inc. Synthesizing training data
US10546242B2 (en) * 2017-03-03 2020-01-28 General Electric Company Image analysis neural network systems
US10496895B2 (en) * 2017-03-28 2019-12-03 Facebook, Inc. Generating refined object proposals using deep-learning models
US10268913B2 (en) * 2017-04-03 2019-04-23 General Electric Company Equipment damage prediction system using neural networks
US10482609B2 (en) * 2017-04-04 2019-11-19 General Electric Company Optical flow determination system
US10572979B2 (en) * 2017-04-06 2020-02-25 Pixar Denoising Monte Carlo renderings using machine learning with importance sampling
US10504220B2 (en) * 2017-05-25 2019-12-10 General Electric Company Neural network feature recognition system
US10210631B1 (en) * 2017-08-18 2019-02-19 Synapse Technology Corporation Generating synthetic image data
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293734A1 (en) * 2017-04-06 2018-10-11 General Electric Company Visual anomaly detection system
CN108875833A (zh) * 2018-06-22 2018-11-23 北京智能管家科技有限公司 神经网络的训练方法、人脸识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NIKITA DVORNIK等: "On the Importance of Visual Context for Data Augmentation in Scene Understanding", pages 1 *
刘海东;杨小渝;朱林忠;: "基于生成对抗网络的乳腺癌病理图像可疑区域标记", 科研信息化技术与应用, no. 06, pages 54 - 66 *

Also Published As

Publication number Publication date
JP6849898B2 (ja) 2021-03-31
US10325201B1 (en) 2019-06-18
EP3690705B1 (en) 2024-04-17
KR20200095337A (ko) 2020-08-10
CN111507888B (zh) 2024-01-30
KR102337362B1 (ko) 2021-12-10
EP3690705A1 (en) 2020-08-05
JP2020126608A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
CN111507888B (zh) 利用生成性对抗神经网络生成合成图像的方法及装置
CN110874564B (zh) 分类车线后补像素检测车线的方法及装置
KR102373456B1 (ko) 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
US10692002B1 (en) Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
JP6855082B2 (ja) 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN111508101B (zh) 通过检测驾驶场景来评估驾驶员的驾驶习惯的方法和装置
EP3686849A1 (en) Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle gan capable of being applied to domain adaptation
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
KR102373499B1 (ko) 자율 주행 네트워크의 검출 프로세스를 검증하는 설명 가능한 인공지능을 사용하여 운전자에게 잠재적 위험 상황에 대해 경고함으로써 기능적 안전성을 제공하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
JP2020038660A (ja) ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＬＡＮＥ ＵＳＩＮＧ ＣＮＮ ＡＮＤ ＴＥＳＴ ＭＥＴＨＯＤ， ＴＥＳＴ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
KR102117007B1 (ko) 영상에서 객체를 인식하는 방법 및 장치
CN111508252B (zh) 利用v2x信息集成技术更新高清地图的方法和装置
US10402686B1 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
EP3690715A1 (en) Learning method and learning device for switching modes of autonomous vehicle based on on-device standalone prediction to thereby achieve safety of autonomous driving, and testing method and testing device using the same
EP3686842A1 (en) Learning method, learning device, testing method and testing device
CN111507459A (zh) 降低神经网络的注解费用的方法和装置
KR102372687B1 (ko) 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치
CN112668672A (zh) 基于TensorRT的目标检测模型加速方法及装置
EP3913530B1 (en) Learning method and learning device for updating object detector, based on deep learning, of autonomous vehicle to adapt the object detector to driving circumstance, and updating method and updating device using the same
US20240078815A1 (en) Device and method for recognizing obstacles for a vehicle
CN113673369A (zh) 遥感图像场景规划方法、装置、电子设备和存储介质
KR102313129B1 (ko) 자율 주행에 대한 논리적 근거를 제시하기 위하여, 관리자가 객체 검출기의 객체 검출 프로세스를 평가할 수 있도록 지원하는 방법 및 장치
CN116685955A (zh) 用于自动驾驶系统的方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant