CN112232226A - 通过判别式模型检测目标对象的方法和系统 - Google Patents
通过判别式模型检测目标对象的方法和系统 Download PDFInfo
- Publication number
- CN112232226A CN112232226A CN202011120109.0A CN202011120109A CN112232226A CN 112232226 A CN112232226 A CN 112232226A CN 202011120109 A CN202011120109 A CN 202011120109A CN 112232226 A CN112232226 A CN 112232226A
- Authority
- CN
- China
- Prior art keywords
- model
- data
- discriminant
- defect
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 103
- 230000007547 defect Effects 0.000 claims abstract description 89
- 230000002708 enhancing effect Effects 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 230000007812 deficiency Effects 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 15
- 238000012795 verification Methods 0.000 description 7
- 230000002950 deficient Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及机器学习领域。本发明提供一种通过判别式模型检测目标对象的方法，所述方法包括以下步骤：通过数据获取模块获取目标对象的原始数据样本；通过判别式模型基于原始数据样本对目标对象进行检测；基于生成式模型对所述判别式模型进行增强，其中，按照如下方式进行所述增强：借助原始数据样本对判别式模型进行初步训练；基于所述判别式模型的初步训练结果对原始数据样本进行缺陷分析，以获得缺陷场景数据列表；借助缺陷场景数据列表训练生成式模型，以通过生成式模型定向地生成缺陷场景数据；至少基于所述缺陷场景数据对判别式模型进行再训练。本发明还提供一种基于生成式模型对判别式模型进行增强的系统和一种机器可读程序载体。
Description
技术领域
本发明涉及一种通过判别式模型检测目标对象的方法、一种基于生成式模型对判别式模型进行增强的系统和一种机器可读程序载体。
背景技术
随着人工智能与大数据的发展，基于深度神经网络的判别式模型被广泛应用于自然语言处理、图像识别与理解以及目标规划与决策，并催生了自动驾驶等多学科交叉的工业技术的发展。为了满足在不同应用场景下对判别式模型的预测精度、可靠性和泛化能力的要求，判别式模型算法性能的调优一直是学术界和工业界共同难题。总体上讲，判别式模型性能调优可以分为两种。一种是从算法本身出发通过对模型结构和各种参数(如神经网络结构和超参数)进行调优来提高模型各项性能指标，这种方法不但需要对原本的数据进行大量数据挖掘，而且还需要在神经网络训练过程中不断调试，导致开销巨大。另外一种是通过对训练数据样本进行增强(例如增大训练数据样本数量、丰富数据样本多样性)来提高模型各项性能指标。
现有技术中已经存在的数据增强方法主要有两种，一种是在具体应用场景中对原始数据进行采集和标注进而丰富训练子集。但该种方法不但成本高，效率低，而且很难获取小概率事件，因此往往导致数据样本分布不均衡，影响模型在小概率场景下的鲁棒性。另一种方法是在模型训练前，通过对现有数据样本进行预处理来达到数据增强的目的，例如，在图像检测领域对图像样本进行翻转、平移以及缩放等。但这种方法只能在已有样本的尺寸和角度等有限维度方面对数据样本多样性进行增强，无法生成新的数据样本，因此无法实现从根本上对数据样本的规模和多样性进行改善。
发明内容
本发明的目的在于提供一种通过判别式模型检测目标对象的方法、一种基于生成式模型对判别式模型进行增强的系统和一种机器可读程序载体，以至少解决现有技术中的部分问题。
根据本发明的第一方面，提出通过判别式模型检测目标对象的方法，所述方法包括以下步骤：
S1：通过数据获取模块获取目标对象的原始数据样本；
S2：通过判别式模型基于原始数据样本对目标对象进行检测；
S3：基于生成式模型对所述判别式模型进行增强，其中，按照如下方式进行所述增强：
S31：借助原始数据样本对判别式模型进行初步训练；
S32：基于所述判别式模型的初步训练结果对原始数据样本进行缺陷分析，以获得缺陷场景数据列表；
S33：借助缺陷场景数据列表训练生成式模型，以通过生成式模型定向地生成缺陷场景数据；
S34：至少基于所述缺陷场景数据对判别式模型进行再训练。
本发明尤其包括以下技术优点：不同于现有技术中直接对数据样本进行增强和扩充。本发明提出首先通过判别式模型的预训练筛选出数据样本在当前判别式模型任务下的不足，然后再借助生成式模型实现数据样本的定向增强，由此有利地解决了现有模型训练过程中数据采集效率低、数据多样性不足且分布不均的问题，通过这种两阶段的训练过程能够更高效地优化判别式模型的性能。此外，由于所生成的数据样本是借助生成式模型定向生成的“新的”数据样本，而不是局限于对现有数据样本的简单变换处理，因此能够从本质上弥补原始数据样本分布不均的问题，起到数据样本均衡化的作用。
可选地，该步骤S31包括：根据判别式模型的判别任务定义相应的评价指标，以便对判别式模型的初步训练结果进行评价。
由此尤其实现以下技术优点：通过定义相应的评价指标，可以量化判别式模型的判别结果的优劣，从而能够更直观地得出模型训练结果的统计学分布。
可选地，该步骤S32包括：在数据分布特性方面对原始数据样本进行分析；和/或，在判别式模型的性能表现方面对原始数据样本进行分析。
由此尤其实现以下技术优点：不仅考虑到原始样本在数据分布方面的不均，由此能够直接结合判别式模型的具体任务或标注信息提取出稀有数据类别，而且还考虑到判别式模型针对原始数据样本的表现差异，由此从判别式模型自身的特性出发提取特殊数据类别。因此，能够从不同方面更全面地执行原始数据样本的缺陷分析。
可选地，缺陷场景数据列表包括：小概率场景列表和/或失效场景列表，其中，小概率场景表示在原始数据样本中的数量份额低于确定阈值的数据类别，其中，失效场景表示所述判别式模型针对其存在性能缺陷的数据类别。
可选地，所述步骤S32包括：采用诸如聚类分析、主成分分析的无监督学习算法对原始数据样本进行降维和聚类，以便找出原始数据样本中分布较小的簇作为小概率场景；和/或，对判别式模型的初步训练结果进行分类，以便找出判别式模型针对其存在性能缺陷的数据类别作为失效场景。
可选地，在基于图像的人物检测方面，小概率场景和/或失效场景包括：奇怪的人物姿势、奇怪的人物着装、大面积人物遮挡和/或人物图像模糊。
可选地，所述步骤S33包括：获得属于缺陷场景的模型控制条件；以及，借助生成式模型在模型控制条件方面解耦地生成缺陷场景数据，优选地，所述模型控制条件包括外观信息和姿态信息。
可选地，所述步骤S33包括：借助生成对抗网络、变分自编码器和/或自回归模型来定向地生成所述缺陷场景数据。
可选地，所述步骤S34包括：将定向生成的缺陷场景数据与原始数据样本合并，以及借助合并后的数据样本对判别式模型重新进行训练；和/或，直接借助定向生成的缺陷场景数据对经初步训练的判别式模型继续进行训练
根据本发明的第二方面，提出一种基于生成式模型对判别式模型进行增强的系统，所述系统包括：
数据获取模块，其配置成能够获取目标对象的原始数据样本；
判别式模型训练模块，其配置成能够借助原始数据样本对判别式模型进行初步训练；
缺陷分析模块，其配置成能够基于所述判别式模型的初步训练结果对原始数据样本进行缺陷分析，以获得缺陷场景数据列表；以及
生成式模型训练模块，其配置成能够借助缺陷场景数据列表训练生成式模型，以通过生成式模型定向地生成缺陷场景数据；
其中，所述判别式模型训练模块还配置成能够至少基于所述缺陷场景数据对判别式模型进行再训练。
根据本发明的第三方面，提出一种机器可读程序载体，在其上存储有计算机程序，该计算机程序用于当其在计算机上运行时执行根据本发明的一方面的方法。
附图说明
下面，通过参看附图更详细地描述本发明，可以更好地理解本发明的原理、特点和优点。附图包括：
图1示出了根据本发明的一个示例性实施例的通过判别式模型检测目标对象的方法的流程图；
图2结合一个具体应用示例示出了根据本发明的通过判别式模型检测目标对象的方法的流程图；
图3示出了根据本发明的一个示例性实施例的基于生成式模型对判别式模型进行增强的系统的结构框图；
图4a和图4b结合一个具体应用示例示出了在根据本发明的方法中使用的生成式模型的训练过程和生成过程；
图5示出了借助根据本发明的方法定向生成的缺陷场景数据的一个示例性实施例。
具体实施方式
为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白，以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，而不是用于限定本发明的保护范围。
图1示出了根据本发明的一个示例性实施例的通过判别式模型检测目标对象的方法的流程图。
在步骤S1中，借助数据获取模块获取目标对象的原始数据样本。在此，例如结合判别式模型的具体功能任务(例如目标检测、意图估计、语音识别、运动控制等)、训练判别式模型所需的原始数据格式(例如图像、语音、控制信号等)以及标注信息格式(对象姿态、对象类别、对象意图等)对进行自然数据进行采集和标注，由此得到具有标注信息的原始数据样本。然后，例如将原始数据样本划分为训练子集datatrain，验证子集dataval和测试子集datatest。
在步骤S2中，基于原始数据样本通过判别式模型对目标对象进行检测。
在步骤S3中，基于生成式模型对所述判别式模型进行增强，其中，按照如下方式进行所述增强：
在步骤S31中，在原始训练数据样本的基础上对所选的判别式模型进行训练。在此，例如首先结合系统环境和软件架构选择相应的机器学习框架平台并完成判别式模型的开发。然后将训练子集datatrain输入到判别式模型中进行训练。在训练迭代的同时，可以利用验证子集dataval对判别模式模型训练得到的中间模型D1进行验证，并将其最优结果作为判别式模型的初步训练结果Draw。
根据一个实施例，在步骤S31中，还可以根据所选的判别式模型的具体判别任务定义相应的评价指标来对判别式模型的初步训练结果进行评价，并开发相应的评价工具链。示例性地，可以将判别式模型在训练子集datatrain上的初步训练结果Draw在测试子集datatest上进行测试，并将所有测试结果输入到评价工具链中获得Draw在测试子集上的统计结果，由此利用所训练的模型在测试子集上的判别效果来估计该模型在实际使用时的泛化能力。在此示例性地，例如可以使用混淆矩阵、ROC曲线、AUC值、KS曲线、P-R曲线、PSI指标等作为模型性能评价指标。
在步骤S32中，基于判别式模型的初步训练结果对原始数据样本进行缺陷分析，以获得缺陷场景数据列表。在此，这种缺陷分析例如可以在两个方面进行：一方面可以对原始数据样本、尤其训练子集datatrain的分布特性进行分析，这种分析主要针对训练数据样本的标注信息展开，并结合了所选的判别式模型的具体算法原理和任务类型；另一方面，还可以基于判别式模型的性能评价指标来分析原始数据样本、尤其训练子集datatrain，以获得所使用的训练子集datatrain在该判别式模型任务下的潜在问题列表。
在此，尤其可以结合模型Draw在测试子集上的统计结果进行联合分析，从而获得原始数据样本在目标任务和应用场景下的缺陷数据场景列表。从数据驱动假设出发，这种缺陷场景数据列表也可以进一步划分为小概率场景列表和性能缺陷列表。小概率场景例如表示在原始数据样本中的数量份额低于确定阈值的数据类别，失效场景例如表示判别式模型针对其存在性能缺陷的数据类别。
在步骤S33中，根据目标任务和应用场景情况下的输出/输入关系对生成式模型进行搭建，目前常用的生成式模型包括生成对抗网络(GAN，Generative AdversarialNetwork)、变分自编码器(VAE，Variational Autoencoder)、自回归模型(AutoRegression)等。为满足后续数据定向增强的需求，在生成式模型的搭建过程中使用的输入变量应至少包含判别式模型所需的标注信息，并尽可能包含其它特性的可控变量。此外，应控制生成式模型输出与当前标注数据样本相同数据格式的数据样本(例如图像、视频、音频等)。
在完成生成式模型的搭建之后，例如可以将训练子集datatrain输入到该生成式模型中进行训练。在生成式模型的训练过程中，利用验证子集dataval对生成式模型的中间结果G1进行在线测试，并选取最优结果作为生成式模型的最终训练结果Mgen。值得一提的是，用于训练生成式模型的输入数据不仅可以利用判别式模型的训练子集datatrain，也可以利用现有的其他与当前的测试子集datatest相互独立且满足当前判别应用场景需求的标注数据样本进行增量学习和迁移学习
接下来，可以将在步骤S32中获得的小概率场景列表和失效场景列表一起输入到经训练的生成式模型中，以批量生成缺陷场景数据样本datagen。
然后可以在步骤S34可以将该定向生成的缺陷场景数据样本datagen与原始数据样本、尤其原始的训练子集datatrain合并作为对判别式模型进行再训练的输入数据。在此，可以将合并后的缺陷场景数据输入到在步骤S31中搭建和经初步训练的判别式模型中，以便对该判别式模型进行再训练。在此，尤其可以在迭代训练中根据验证子集对判别式模型训练得到的中间模型D1'进行验证，选取最优结果作为判别式模型再训练的最终结果Dgen'。
图2结合一个具体应用示例示出了根据本发明的通过判别式模型检测目标对象的方法的流程图。
在图2所示的实施例中，待增强的判别式模型是基于图像的目标检测模型、尤其人物关键点检测模型。在人物关键点检测过程中，将包含人物的图像输入到相应的检测模型中，从而提取出人物的关键点并组成人物骨架模型。然而应指出的是，本发明不对待检测的目标对象、输出格式及任务进行任何限制，因此待检测的目标对象尤其也可以为车辆、交通信号灯等。
在步骤S201中，获取原始人物图像及其关键点标注信息。具体地，例如以如下方式进行图像采集：结合所需的应用场景通过摄像头对不同的或单一的人物进行拍摄。在应用于自动驾驶场景的情况下，则需要利用车载摄像头在道路上进行行人图像采集。由于本实施例是对人物关键点检测模型进行增强，因此人物关键点标注信息是通过人工标注完成的，在其他使用场景情况下当然也可以采用人物检测算法对人物关键点进行提取(如OpenPose、Pifpaf、HRNet等)。在此，将原始数据样本划分为训练子集datatrain、验证子集dataval和测试子集datatest。
在步骤S202中，基于步骤S201的原始人物标注数据样本对人物关键点检测模型进行训练。具体地，首先选择并搭建人物关键点检测模型框架D(x)，例如OpenPose、Pifpaf及HRNet等，本实施例不对具体模型框架进行任何限制。在此，将步骤S201中的训练子集datatrain输入到所选的人物关键点检测模型框架D(x)中进行初步训练，在训练迭代过程中利用验证子集dataval进行测试和评价，从而获得最佳训练结果作为初步的人物关键点检测模型Draw。
在步骤S203中，基于在步骤S201中获得的测试子集datatest对步骤S202中训练获得的初步的人物关键点检测模型Draw进行性能评价。在人物关键点检测算法中，常用的性能评价指标包括但不限于OKS、PCK、Lamir等。具体地，可以利用该初步的人物关键点检测模型Draw对测试子集datatest中每帧图像中的人物Ii进行关键点检测，从而得到检测结果Pi，然后基于各帧图像人物标注真实值利用所选性能指标方程(如OKS)对各个检测结果Pi进行计算，得到各检测结果的精度指标OKSi。此外，还可以对测试子集datatest进行统计分析，以得到初步的人物关键点检测模型Draw在测试子集datatest上的精度统计结果。
在步骤S204中从数据驱动假设出发，其主要目的是通过对原始数据样本及其训练出的模型进行相关维度的统计分析，从而挖掘出原始数据样本的缺陷场景。具体地，在本实施例中，一方面可以结合步骤S202中所选的人物关键点检测模型算法(例如聚类、主成分分析等无监督学习算法)对步骤S201中的训练子集datatrain进行降维和聚类，从而找出数据样本中分布较小的簇；另一方面也可通过对步骤S203中的初步训练结果Draw在测试子集datatest上的性能分析的统计结果进行分类，从而找出较差的性能表现所对应的数据样本，在对该数据样本进行分析归类统计的情况下即可获得在哪种数据场景下该模型存在较大性能缺陷。需要指出的是，具体性能缺陷分析与挖掘方法包括但不局限于上述两种方式，而且在具体操作中上述两种性能缺陷分析与挖掘方法可以单独使用。最终，通过相应的缺陷分析获得在数据分布方面存在不足的小概率场景列表以及存在模型性能缺陷的失效场景列表。在本实施例中，缺陷场景可以包含但不局限于奇怪的人物姿势、着装、大面积的人物遮挡、人物图像模糊等。
在步骤S205中，基于所需的训练样本(缺陷场景数据列表)及其标注数据格式对生成式模型进行搭建。在本实施例中的判别任务是人物关键点检测，因此所搭建的生成式模型的输出结果应为包含人物的图像，生成式模型的输入应至少包含但不限于该人物图像所对应的关键点标注信息。常用的生成式模型包括生成对抗网络、变分自编码器、自动回归模型及这些模型的扩展或变型。本实施例采用变分自编码器，其生成图像过程的基本表达式为：
Y＝G(xc，xa)
其中，xc表示图像中的人物Ii所对应的人物关键点，xa表示该人物所对应的外观，Y表示生成式模型输出的包括人物关键点xc(对应人物姿态)和外观xa的人物图像，通常xc和xa被称为模型控制条件。该生成式模型训练过程的基本表达式为：
G＝argmin likelihood[Yi,G(xci,xai)]
在此，基于在步骤S201中划分的训练子集datatrain对该生成式模型进行迭代训练，其中，在各个训练周期中获得的中间模型为Gi。在训练迭代过程中可以利用验证子集dataval对各个中间模型Gi进行验证，并选取最优结果作为最终的生成式模型G。
在步骤S206中，根据在步骤S204中得出的缺陷场景列表，获取一定量的属于该场景的模型控制条件(xc，xa)。值得指出的是，(xc，xa)中可以只有一个或全部满足失效场景的条件。具体地，这些模型控制条件可以直接从现有的训练子集datatrain中获得，也可以从其他已有的数据样本中获得，亦可以通过人工采集(肢体运动采集设备)或合成的方法获得，由于该获取过程不涉及数据采集与标注，因此获取成本较低。将所获取的对应于缺陷场景的模型控制条件输入到在步骤S205中得到的生成式模型G中，从而能够定向生成大量的缺陷场景数据(在此指人物图像数据)datagen，这些缺陷场景数据中的人物关键点信息与输入到生成式模型中的模型控制条件xc一一对应，因此模型控制条件xc可以作为定向生成的附加数据样本的人物关键点标注数据。在此，尤其可以在生成缺陷场景数据时独立地考虑各个模型控制条件，例如，可以对各个人物图像的人物关键点xc与人物外观xa进行拆分，然后通过定向生成过程产生人物关键点与人物外观的新的组合。
在步骤S207中，将生成的缺陷场景数据datagen和原始的训练子集datatrain输入到在步骤S202中已搭建的人物关键点识别模型中进行训练。在此应指出的是，尤其可以在训练之前首先将定向生成的缺陷场景数据datagen与训练子集datatrain合并然后一同输入到人物关键点检测模型框架D(x)中重新进行训练，然而还可能的是，在已经以训练子集datatrain训练模型的基础上输入新生成的缺陷场景数据datagen进行再训练(retrain)，也能够想到附加数据样本datagen的其他任何有意义的添加时机和方式。在训练迭代过程中，利用验证子集dataval对再训练的人物关键点检测模型进行测试和评价，从而获得最佳训练结果作为最终的人物关键点检测模型Mgen。由于在最终的人物关键点检测模型Mgen的训练过程中引入了包含大量生成的小概率场景/失效场景下的数据样本datagen，因此其综合性能指标、尤其在面对缺陷场景下的性能指标相较于初步的人物关键点检测模型Draw将明显提高。
图3示出了根据本发明的一个示例性实施例的基于生成式模型对判别式模型进行增强的系统的结构框图。
如图3所示，系统1包括数据获取模块10、判别式模型训练模块20、缺陷分析模块30、生成式模型训练模块40。此外该系统还可选地包括数据合并模块50。
数据获取模块1用于获取目标对象的原始数据样本。在此，视判别式模型的具体功能任务和使用场景而定，数据获取模块可以构造成图像传感器、视频传感器、雷达传感器、激光雷达传感器、超声波传感器、红外传感器等。
在对原始数据采集完成之后，原始数据样本例如被提供给判别式模型训练模块20，以用于判别式模型的初步训练。示例性地，判别式模型训练模块20可以包括判别式模型训练框架210、判别器220和判别式模型性能评价单元230。根据所选的判别式模型的判别任务，可以在判别式模型性能评价单元230中定义相应的评价指标，以便对判别式模型的初步训练结果进行评价。
判别式模型训练模块20还以数据传输的方式连接到缺陷分析模块30，从而可以将判别式模型的初步训练结果提供给缺陷分析模块30。此外，缺陷分析模块30同样与数据获取模块10连接。示例性地，缺陷分析模块30可以包括数据分布分析单元310、性能缺陷分析单元320和联合分析单元330。缺陷分析模块30配置成能够基于判别式模型的初步训练结果对原始数据样本进行缺陷分析。这种缺陷分析尤其可以借助数据分布分析单元310和性能缺陷分析单元320来进行。然后，还可以在联合分析单元330中在综合考虑不同方式的缺陷分析的情况下得出缺陷场景数据列表。
于是，这种缺陷场景数据列表被提供给生成式模型训练模块40。同时，该生成式模型训练模块40同样连接到数据获取模块10，以便借助判别式模型所需的标注信息来搭建生成式模型，同时可以基于原始数据样本(尤其相应的训练子集)来训练该生成式模型。在训练完成之后，可以将从缺陷分析模块30获得的缺陷场景数据列表输入到生成式模型中，从而能够定向地生成缺陷场景数据。
接下来，定向生成的缺陷场景数据可以直接由生成式模型训练模块提供给判别式模型训练框架210，以便在已经以原始数据样本训练判别式模型的基础上输入新生成的缺陷场景数据进行再训练。
附加地或替代地，还可以在数据合并模块50中将定向生成的缺陷场景数据与原始数据样本合并，从而能够有效地调整原始数据样本的数据分布，以得到数据均衡的合并数据样本。然后再将合并后的数据样本输入到人物判别式模型训练框架中对判别式模型重新进行训练。
图4a和图4b结合一个具体应用示例示出了在根据本发明的方法中使用的生成式模型的训练过程和生成过程。
在图4a中示出了生成式模型的训练过程，这种训练过程尤其可以离线地进行。示例性地，将所获取的原始人物图像402及其标注信息401输入到生成式模型404中进行训练，从而获得目标人物的重建图像406。所述生成式模型包括但不限于生成式对抗神经网络、变分自编码及其衍生模型。可选地，该生成式模型还分别包括用于数据处理目的的预处理模块403和后处理模块405。
在图4b中示出了生成式模型的生成过程。在此，生成式模型例如已经利用原始数据样本进行过训练和学习。于是，现在将缺陷场景数据样本对应的模型控制条件(即目标人物姿态信息401'和外观信息402')提供给生成式模型作为输入数据，从而借助生成式模型定向地生成缺陷场景数据样本。
图5示出了借助根据本发明的方法定向生成的缺陷场景数据的一个示例性实施例。
如图5所示，在判别式模型的功能任务为人物姿态检测的情况下示出了借助根据本发明的方法定向生成的缺陷场景数据。在此，在第一行中示出了在生成式模型的训练过程中所考虑的第一模型控制条件(在此为人物关键点信息或姿态信息)。在后续几行中分别示出了在生成式模型的训练过程中所考虑的另外的模型控制条件(例如人物外观信息)。
在图5的每一列中，利用属于小概率场景和/或失效场景的姿态信息和外观信息以解耦方式生成了新的缺陷场景数据样本。这例如意味着，将不同的目标人物姿态与不同的目标人物外观重新组合形成新的人物图像。在此，除了人物姿态信息和人物姿态信息，还可以作为缺陷场景数据定向生成的模型控制条件的是：人物遮挡、人物模糊(重影)、图像亮度缺陷。
尽管这里详细描述了本发明的特定实施方式，但它们仅仅是为了解释的目的而给出的，而不应认为它们对本发明的范围构成限制。在不脱离本发明精神和范围的前提下，各种替换、变更和改造可被构想出来。
Claims (10)
1.一种通过判别式模型检测目标对象的方法，所述方法包括以下步骤：
S1：通过数据获取模块获取目标对象的原始数据样本；
S2：通过判别式模型基于原始数据样本对目标对象进行检测；
S3：基于生成式模型对所述判别式模型进行增强，其中，按照如下方式进行所述增强：
S31：借助原始数据样本对判别式模型进行初步训练；
S32：基于所述判别式模型的初步训练结果对原始数据样本进行缺陷分析，以获得缺陷场景数据列表；
S33：借助缺陷场景数据列表训练生成式模型，以通过生成式模型定向地生成缺陷场景数据；
S34：至少基于所述缺陷场景数据对判别式模型进行再训练。
2.根据权利要求1所述的方法，其中，所述步骤S31包括：根据所述判别式模型的判别任务定义相应的评价指标，以便对判别式模型的初步训练结果进行评价。
3.根据权利要求1或2所述的方法，其中，所述步骤S32包括：
在数据分布特性方面对原始数据样本进行分析；和/或
在判别式模型的性能表现方面对原始数据样本进行分析。
4.根据以上权利要求中任一项所述的方法，其中，所述缺陷场景数据列表包括：小概率场景列表和/或失效场景列表，其中，所述小概率场景表示在原始数据样本中的数量份额低于确定阈值的数据类别，其中，所述失效场景表示所述判别式模型针对其存在性能缺陷的数据类别。
5.根据权利要求4所述的方法，其中，所述步骤S32包括：
采用诸如聚类分析、主成分分析的无监督学习算法对原始数据样本进行降维和聚类，以便找出原始数据样本中分布较小的簇作为小概率场景；和/或
对判别式模型的初步训练结果进行分类，以便找出判别式模型针对其存在性能缺陷的数据类别作为失效场景。
6.根据权利要求4或5所述的方法，其中，在基于图像的人物检测方面，所述小概率场景和/或失效场景包括：奇怪的人物姿势、奇怪的人物着装、大面积人物遮挡和/或人物图像模糊。
7.根据以上权利要求中任一项所述的方法，其中，所述步骤S33包括：
获得所述缺陷场景数据列表对应的模型控制条件(xc，xa)；以及
借助所述生成式模型在各个模型控制条件(xc，xa)之间解耦地生成所述缺陷场景数据。
8.根据以上权利要求中任一项所述的方法，其中，所述步骤S34包括：
将定向生成的缺陷场景数据与原始数据样本合并，以及借助合并后的数据样本对判别式模型重新进行训练；和/或
直接借助定向生成的缺陷场景数据对经初步训练的判别式模型继续进行训练。
9.一种基于生成式模型对判别式模型进行增强的系统(1)，所述系统包括：
数据获取模块(10)，其配置成能够获取目标对象的原始数据样本；
判别式模型训练模块(20)，其配置成能够借助原始数据样本对判别式模型进行初步训练；
缺陷分析模块(30)，其配置成能够基于所述判别式模型的初步训练结果对原始数据样本进行缺陷分析，以获得缺陷场景数据列表；以及
生成式模型训练模块(40)，其配置成能够借助缺陷场景数据列表训练生成式模型，以通过生成式模型定向地生成缺陷场景数据；
其中，所述判别式模型训练模块还配置成能够至少基于所述缺陷场景数据对判别式模型进行再训练。
10.一种机器可读程序载体，在其上存储有计算机程序，所述计算机程序用于当其在计算机上运行时执行根据权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011120109.0A CN112232226A (zh) | 2020-10-19 | 2020-10-19 | 通过判别式模型检测目标对象的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011120109.0A CN112232226A (zh) | 2020-10-19 | 2020-10-19 | 通过判别式模型检测目标对象的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112232226A true CN112232226A (zh) | 2021-01-15 |
Family
ID=74117998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011120109.0A Pending CN112232226A (zh) | 2020-10-19 | 2020-10-19 | 通过判别式模型检测目标对象的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112232226A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112947080A (zh) * | 2021-02-04 | 2021-06-11 | 中国运载火箭技术研究院 | 一种基于场景参数变换的智能决策模型性能评估系统 |
| CN113569774A (zh) * | 2021-08-02 | 2021-10-29 | 清华大学 | 一种基于持续学习的语义分割方法及系统 |
-
2020
- 2020-10-19 CN CN202011120109.0A patent/CN112232226A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112947080A (zh) * | 2021-02-04 | 2021-06-11 | 中国运载火箭技术研究院 | 一种基于场景参数变换的智能决策模型性能评估系统 |
| CN112947080B (zh) * | 2021-02-04 | 2023-04-14 | 中国运载火箭技术研究院 | 一种基于场景参数变换的智能决策模型性能评估系统 |
| CN113569774A (zh) * | 2021-08-02 | 2021-10-29 | 清华大学 | 一种基于持续学习的语义分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537136B (zh) | 基于姿态归一化图像生成的行人重识别方法 | |
| CN109840471B (zh) | 一种基于改进Unet网络模型的可行道路分割方法 | |
| CN111369572B (zh) | 一种基于图像修复技术的弱监督语义分割方法和装置 | |
| US8379994B2 (en) | Digital image analysis utilizing multiple human labels | |
| CN109815785A (zh) | 一种基于双流卷积神经网络的人脸情绪识别方法 | |
| CN113011357B (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
| CN109902662B (zh) | 一种行人重识别方法、系统、装置和存储介质 | |
| John et al. | A comparative study of various object detection algorithms and performance analysis | |
| CN109255284A (zh) | 一种基于运动轨迹的3d卷积神经网络的行为识别方法 | |
| CN113177528B (zh) | 基于多任务学习策略训练网络模型的车牌识别方法及系统 | |
| CN112232226A (zh) | 通过判别式模型检测目标对象的方法和系统 | |
| CN112801019B (zh) | 基于合成数据消除无监督车辆再识别偏差的方法及系统 | |
| CN112434599A (zh) | 一种基于噪声通道的随机遮挡恢复的行人重识别方法 | |
| CN112163490A (zh) | 一种基于场景图片的目标检测方法 | |
| Koli et al. | Human action recognition using deep neural networks | |
| CN111008570B (zh) | 一种基于压缩-激励伪三维网络的视频理解方法 | |
| Atikuzzaman et al. | Human activity recognition system from different poses with cnn | |
| CN115272777A (zh) | 面向输电场景的半监督图像解析方法 | |
| Yu et al. | Intelligent corner synthesis via cycle-consistent generative adversarial networks for efficient validation of autonomous driving systems | |
| CN114170422A (zh) | 一种煤矿井下图像语义分割方法 | |
| CN113139452A (zh) | 基于目标检测的使用手机行为的检测方法 | |
| Yang et al. | NAM net: meta-network with normalization-based attention for few-shot learning | |
| CN110929632A (zh) | 面向复杂场景的车辆目标检测方法及装置 | |
| Aravinda et al. | Traffic Sign Detection for Real-World Application Using Hybrid Deep Belief Network Classification | |
| Guo et al. | Udtiri: An open-source road pothole detection benchmark suite |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |