CN113392757B - 使用不均衡数据训练人体检测模型的方法及装置、介质 - Google Patents

使用不均衡数据训练人体检测模型的方法及装置、介质 Download PDF

Info

Publication number
CN113392757B
CN113392757B CN202110655693.8A CN202110655693A CN113392757B CN 113392757 B CN113392757 B CN 113392757B CN 202110655693 A CN202110655693 A CN 202110655693A CN 113392757 B CN113392757 B CN 113392757B
Authority
CN
China
Prior art keywords
training data
training
subset
human body
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110655693.8A
Other languages
English (en)
Other versions
CN113392757A (zh
Inventor
薛星源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Original Assignee
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd filed Critical Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority to CN202110655693.8A priority Critical patent/CN113392757B/zh
Publication of CN113392757A publication Critical patent/CN113392757A/zh
Application granted granted Critical
Publication of CN113392757B publication Critical patent/CN113392757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及神经网络领域,具体涉及一种使用分布不均衡数据训练人体检测模型的方法及装置、介质,其中的方法包括:分析训练数据集中的训练数据,确定训练数据的基准属性;基于所述基准属性,确定与微调训练相对应所述训练数据子集,以便:采用训练数据集对人体检测模型进行多次第一微调训练;其中,在所述微调训练中,至少针对对应于所述训练数据集中的训练数据子集的训练进行微调。通过这样的设置,能够谋求通过微调保证人体检测模型在应用至不同的场景时均具有较佳的表现。

Description

使用不均衡数据训练人体检测模型的方法及装置、介质
技术领域
本发明涉及神经网络领域,具体涉及一种使用分布不均衡数据训练人体检测模型的方法及装置、计算机可读存储介质、控制装置。
背景技术
人体检测模型在应用于场景时,主要是通过检测人体的状态数据和行为数据来实现相应的场景的特定目的,如监控等。为了在应用场景中有良好的表现,人体检测模型在投入应用之前,需要借助于一定量的训练数据对人体检测模型的初始模型进行训练的阶段。伴随着人体检测模型的普及,应用场景呈现出多样性的发展趋势。此时,单一分布的训练数据往往不足以保证人体检测模型在多样化的应用场景中均能够有良好的表现,因此便需要引入多样化的训练数据。
不过,由于训练数据的获得在难易程度上存在差别,以及训练数据的获得本身具有一定的随机性,因此,多样化的训练数据中往往会存在数据不均衡的现象,以训练数据为图片为例:从图片的拍摄环境进行区分,训练数据中拍摄于白天的图片通常远大于拍摄于夜晚的图片;从图片中人体的姿态进行区分,训练数据中处于站立姿态的图片通常远大于处于躺卧、跌倒等姿态的图片。
在此前提下,假设使用分布不均衡的训练数据对人体检测模型的初始模型进行训练,人体检测模型在使用阶段,即在人体检测模型应用至相应的场景会普遍存在这样的问题:在训练数据量大的应用场景下的表现会好于或者明显好于训练数据量小的应用场景,如人体检测模型在应用至具体的场景时,针对白天、站立人体的表现效果会优于针对夜晚、跌倒人体的表现效果。
相应地,本领域需要一种新的技术方案来解决上述问题。
发明内容
技术问题
如何在训练数据分布不均衡的情形下,优化人体检测模型在应用至具体的场景时的表现效果,尤其是即便与当前场景相吻合的训练数据的数据量较小,也可以保证人体检测模型在应用至该场景时能够有不错的表现,是本发明要解决的技术问题。为了至少在一定程度上或者至少一部分地解决上述技术问题,本发明提供了一种使用分布不均衡数据训练人体检测模型的方法及装置、计算机可读存储介质、控制装置。
技术方案
有鉴于此,本发明第一方面提供了一种使用分布不均衡数据训练人体检测模型的方法,该方法包括:采用训练数据集对人体检测模型进行基础训练;采用训练数据集对人体检测模型进行多次第一微调训练;其中,在所述微调训练中,至少针对所述训练数据集中的训练数据子集的训练进行微调;其中,所述训练数据子集的确定方式为:分析训练数据集中的训练数据,确定训练数据的基准属性;基于所述基准属性,确定与微调训练相对应所述训练数据子集。
通过这样的设置,能够谋求通过多次(组)微调保证人体检测模型在应用至不同的场景时有较佳的表现。
需要说明的是,训练数据的基准属性可以包括一种或者多种,每一个训练数据子集的确定均可以根据其中的一种或者多种属性来确定。因此本领域技术人员可以根据实际情况灵活地确定训练数据子集的具体方式。举例而言,如训练数据的基准属性包括属性1、属性2和属性3,如可以是:一种训练数据子集是根据属性1确定的,另一种训练数据子集是根据属性2确定的;也可以是:一种训练数据子集是根据属性1和属性2确定的,另一种训练数据子集是根据属性2和属性3确定的;等。
以训练数据子集是根据属性1确定的为例,根据基准属性确定训练数据子集的方式如可以是:将具有属性1的训练数据均归为该训练数据子集。当然,本领域技术人员也可以根据实际情况,灵活地调整训练数据子集的确定方式,如可以是:引入其他的考量要素,如将训练数据中的其中一部分数据作为固定的核心组成部分,加入至每一个训练数据子集中;还可以是:引入进一步的考量要素,如对初步确定出的子集进行进一步的细化筛选;等。
对于上述方法,在一种可能的实施方式中,所述训练数据为包含人体的图像,所述训练数据子集包括第一训练数据子集和第二训练数据子集,所述第一训练数据子集和所述第二训练数据子集中的一个是根据所述图像中与图像质量相关的基准属性确定的,另一个是根据所述图像中与人体相关的基准属性确定的。
通过这样的设置,给出了训练数据子集的具体形式。
如与图像质量相关的基准属性可以包括但不限于图像质量、图像的光照条件、图像的拍摄角度等,与人体相关的基准属性可以包括但不限于人体的个数(同一图像中)、人体的姿态、人体的物理属性(如身高、性别等)。
对于上述方法,在一种可能的实施方式中,在采用训练数据集对人体检测模型进行多次第一微调训练之后,还包括:采用训练数据集对人体检测模型进行第二微调训练;其中,在所述第二微调训练中,至少针对所述训练数据集中的第三训练数据子集的训练进行微调;其中,所述第三训练数据子集是根据所述第一训练数据子集和所述第二训练数据子集确定的。
通过这样的设置,能够谋求通过进一步的微调保证人体检测模型在应用至不同的场景时有更佳的表现。
举例而言,确定第一训练数据子集的基准属性包括光照条件,确定第二训练数据子集的基准属性包括人体的姿态,如可以通过这样的方式,确定出第三训练数据子集:同时考虑拍摄角度,从第一训练数据子集中剔除一部分数据,然后以第二训练数据子集和剔除之后的第一训练数据子集作为基础,根据光照条件、拍摄角度、人体的姿态三个基准属性,确定出第三训练数据子集。显然,本领域技术人员可以根据实际情况选择确定第一训练数据子集和第二训练数据子集所依据的基准属性,以及可以根据实际情况来选择如何在获得第一训练数据子集和第二训练数据子集的基础上确定出第三训练数据子集的方式。
这样一来,由于第一训练数据子集和第二训练数据的引入,在第一层的维度上优化了人体检测模型的训练结果。由于第三训练数据的引入,在第二层维度上优化了人体检测模型的训练结果。并且,由于第一层维度引入的是两个第二训练数据,因此,第一层维度能够谋求从更全面的角度来优化人体检测模型的训练结果。由于第二层维度是基于第一层维度所选的两种训练数据进一步得出的,因此,第二层维度能够谋求从更深入的角度来优化人体检测模型的训练结果。
对于上述方法,在一种可能的实施方式中,所述第一训练数据子集是根据所述图像中与图像质量相关的基准属性确定的,所述的“分析训练数据集中的训练数据,确定训练数据的基准属性”包括:获取训练数据集的参考数据;根据所述参考数据和第一图像分析算法分析训练数据集中与图像质量相关的基准属性。
通过这样的方式,能够谋求更准确地确定出第一训练数据集中的训练数据的基准属性。
具体而言,参考数据反映的第一训练数据集的个性化属性,而通过数据分析算法能够分析出的通常是普适性的属性。这样一来,在参考数据的基础上,结合相应的图像分析算法便可更好地确定出训练数据的基准属性。
可以理解的是,本领域技术人员可以根据训练数据集中的训练数据的具体形式来选择具体的第一图像分析算法。如可以通过已知的图像识别/评估方法中的一种或者多种作为图像分析算法,来确定出包含在第一训练数据集内的图像的基准属性。当然,也可以根据需要给出特定的图像分析逻辑,只要能够确定出图像的基准属性,这样的方法、逻辑等均可作为前述的第一图像分析算法。
对于上述方法,在一种可能的实施方式中,所述参考数据为与所述训练数据集的获得过程相关的历史数据。
通过这样的设置,给出了参考数据的一种具体的形式。
如假设参考数据是通过调用某一机构的现有数据直接获得的,假设所搜集的数据中具有夜间开放的特点,则可以将与“夜间”这一要素相关的数据作为参考数据,以便分析算法能够更好地识别出数据并因此确定出数据的基准属性。
对于上述方法,在一种可能的实施方式中,所述第二训练数据子集是根据所述图像中与人体相关的基准属性确定的,所述的“分析训练数据集中的训练数据,确定训练数据的基准属性”包括:根据第二图像分析算法分析训练数据集中与人体相关的基准属性。
通过这样的方式,给出了确定第二训练数据集中的训练数据的基准属性的一种具体方式。
与前述的第一图像分析算法类似,本领域技术人员可以根据实际情况确定第二图像分析算法的具体形式,在能够形成第二训练数据子集的前提下,任何已知的算法、经过改进的算法或者新的算法均可以作为此处所说的第二图像分析算法。
对于上述方法,在一种可能的实施方式中,所述对训练进行微调具体为:对训练所采用的训练数据的损失函数反向加权。
对于上述方法,在一种可能的实施方式中,所述对训练进行微调包括:从人体检测模型的神经网络中选取出目标层;至少针对所述目标层的训练进行微调。
本发明第二方面提供了一种使用分布不均衡数据训练人体检测模型的装置,所述装置包括:分析模块,其被配置为:分析训练数据集中的训练数据,确定训练数据的基准属性;以及确定模块,其被配置为:基于所述基准属性,确定与微调训练相对应所述训练数据子集,以便:采用训练数据集对人体检测模型进行多次第一微调训练;其中,在所述微调训练中,至少针对对应于所述训练数据集中的训练数据子集的训练进行微调。
可以理解的是,该使用分布不均衡数据训练人体检测模型的装置具有前述任一项所述的使用分布不均衡数据训练人体检测模型的方法的所有技术效果,在此不再赘述。
对于上述装置,在一种可能的实施方式中,所述训练数据为包含人体的图像,所述训练数据子集包括第一训练数据子集和第二训练数据子集,所述第一训练数据子集和所述第二训练数据子集中的一个是根据所述图像中与图像质量相关的基准属性确定的,另一个是根据所述图像中与人体相关的基准属性确定的。
通过这样的设置,给出了训练数据子集的具体形式。
对于上述装置,在一种可能的实施方式中,所述确定模块被进一步配置为:基于所述基准属性,确定与微调训练相对应所述训练数据子集,以便:采用训练数据集对人体检测模型进行多次第一微调训练;其中,在所述微调训练中,至少针对对应于所述训练数据集中的训练数据子集的训练进行微调;在采用训练数据集对人体检测模型进行多次第一微调训练之后,采用训练数据集对人体检测模型进行第二微调训练;其中,在所述第二微调训练中,至少针对所述训练数据集中的第三训练数据子集的训练进行微调;其中,所述第三训练数据子集是根据所述第一训练数据子集和所述第二训练数据子集确定的。
在本发明的描述中,与实现使用分布不均衡数据训练人体检测模型的方法相对应的各个模块(下文称作控制模块)可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。
进一步,应该理解的是,由于各个控制模块的设定仅仅是为了说明对应于本发明的使用分布不均衡数据训练人体检测模型的方法的系统中的功能单元,因此控制模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,控制模块的数量为一个仅仅是示意性的。本领域技术人员能够理解的是,可以根据实际情况,对控制模块进行适应性地拆分。对控制模块的具体拆分形式并不会导致技术方案偏离本发明的原理,因此,拆分之后的技术方案都将落入本发明的保护范围内。
本发明第三方面提供了一种计算机可读存储介质,该存储介质适于存储多条程序代码,所述程序代码适于由处理器加载并运行以执行前述任一项所述的使用分布不均衡数据训练人体检测模型的方法。
可以理解的是,该计算机可读存储介质具有前述任一项所述的使用分布不均衡数据训练人体检测模型的方法的所有技术效果,在此不再赘述。
本领域技术人员能够理解的是,本发明实现其方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,可以理解的是,该程序代码包括但不限于执行上述使用分布不均衡数据训练人体检测模型的方法的程序代码。为了便于说明,仅示出了与本发明相关的部分。所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
本发明第四方面提供了一种控制装置,该控制装置包括存储器和处理器,所述存储器适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行前述任一项所述的使用分布不均衡数据训练人体检测模型的方法。
可以理解的是,该控制装置具有前述任一项所述的使用分布不均衡数据训练人体检测模型的方法的所有技术效果,在此不再赘述。该控制装置可以是包括各种电子设备形成的控制装置设备。
附图说明
下面结合附图来描述本发明。附图中:
图1示出本发明一种实施例的使用分布不均衡数据训练人体检测模型的方法的流程示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。如:尽管本实施例中的第一次微调是基于与图像质量相关的基准属性、第二次微调训练是基于与人体相关的基准属性,两次微调也可以对调,且基准属性的具体形式也可以灵活地调整。
需要说明的是,在本发明的描述中,术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
另外,为了更好地说明本发明,在下文的具体实施方式中给出了众多的具体细节,本领域技术人员应当理解,没有某些具体细节,本发明同样可以实施。在一些实例中,对于本领域技术人员熟知的灶具原理等未作详细描述,以便于凸显本发明的主旨。
参照图1,图1示出本发明一种实施例的使用分布不均衡数据训练人体检测模型的方法的流程示意图。其中人体检测模型包括但不限于深度学习中的一阶段检测器。在本实施例中,假设分布不均衡的训练数据集(下文称作全集)中的每一条训练数据均为直接采集的真实数据,数据的形式为包含人体的图像。如图1所示,本发明的方法具体包括如下步骤:
S101、按照普通的训练方法,用获得的全集训练人体检测模型,进行作为基础训练的第一次训练;
基于S101的训练结果,通常会让人体检测模型能够具有比较好的人体特征的提取能力。
S103、从全集中筛选出与图像质量相关的第一训练数据子集,采用训练数据集对人体检测模型进行第二次训练;在第二次训练中,针对第一训练数据子集的训练进行微调,即:第二次训练中包含了第一次微调。
微调是在预先训练好的神经网络(即对人体检测模型进行第一次训练的结果)的基础上去进一步训练神经网络。主要目的是降低学习率,并且神经网络在前阶段获得的特征提取能力不会受到太大的影响。
第一训练数据子集的确定方式可以是:直接采用现有的图像评估算法,将全集中的图像参照光照条件、拍摄角度等要素进行分类统计,从统计出的图像中选取出一部分作为第一训练数据子集,如示例性地,光照条件分为好、中、差三类,基于此将全集分为三部分,拍摄角度分为标准、偏置、偏置严重三类,基于此将全集分为三部分,以光照条件(中、差)且拍摄角度偏置严重为条件,取出前面分类中的交集,从而形成第一训练数据子集。
如根据图像评估算法,参照亮度和模糊度对图像进行分析从而判断图像的类型。假如一张图像属于多种类型,则可以将该图像同时计入其所属的多种类型。
在本发明的实施例中,微调采用重加权的微调方式,如可以根据图像所属的类别中包含的图像的数目,对与图像的训练对应的损失函数进行反向加权,具体地:该类别中包含的图像的数量越少,表明该类图像在全集中的不均衡性(明显少)越明显。也就是说,该类图像的相对缺失会影响人体检测模型的效果,因此在训练时,通过为该类图像的损失函数进行反向加权的方式表达出这样的事实。即:图像数量越少的类别,损失函数的权重应当越大。下面结合一个具体的示例来说明。
假设全集包括M张图像,即M为训练过程中,一次深度神经网络前向过程中输入图像的总数,参照与图像质量相关的基准属性,将图像总共分为k个类别,i表示图像所属的类别为第i类,即i=1,2,...,k,统计出M张图像中包含的第i类图像的数目为ni,则属于第i类图像的损失函数所获得的权重Wi为:
即,在不考虑权重因素的前提下,任一个训练数据的损失函数的权重均默认为1。经微调,该训练数据的损失函数的权重调整为1*Wi
为了让神经网络的训练能够渐进地过渡到重加权的训练方式,可以同时设置温度超参数T,使得反向加权的过程可以平滑地进行。如设当前迭代的轮次为E,微调的总迭代轮次为Emax,温度超参数T的计算方法可以为:
这样一来,对于第i类图像而言,在加入了温度超参数T的前提下,其损失函数所获得的权重Wi被修正为:
最后,为了保证总的权重不变,需要对全集中各个类别的图像的权重进行归一化处理,如假设计算出的第j类图像的损失函数的权重为Wj,经归一化处理后,最终的对应于第j类图像的损失函数的权重为:
可以理解的是,上述的实施方式只是反向加权的一种具体形式,本领域技术人员可以根据实际情形,灵活地确定反向加权的具体形式。如:对目前计算权重的方式进行进一步的改进或者采用其他方式计算权重;除了损失函数,为与图像的训练相关且能体现出分布的不均衡性的其他量也配置权重;等。
S105、从全集中筛选出与人体相关的第二训练数据子集,采用训练数据集对人体检测模型进行第三次训练;在第三次训练中,针对第二训练数据子集的训练进行微调,即:第三次训练中包含了第二次微调。
第二训练数据子集的确定方式可以是:采用预先训练好的行为识别模型对全集的图像中的人体框的行为进行分类,统计各种行为类别的人体框的数目,将全集中的图像参照人体的姿态这一要素进行分类统计,从统计出的图像中选取出一部分作为第二训练数据子集,如示例性地,人体的姿态分为站立和非站立两类,基于此将全集中包含人体的图像分为两部分,选取全部的非站立的图像形成第二训练数据子集。
与S103类似,第二次微调也可以采用反向加权的方式。
S107、根据前述的第一训练数据子集和第二训练数据子集,确定出一个新的子集,记作第三训练数据子集。采用训练数据集对人体检测模型进行第四次训练;在第四次训练中,针对第三训练数据子集的训练进行微调,即:第四次训练中包含了第三次微调。将第四次训练的结果作为最终的结果,即获得最终的人体检测模型。
第三训练数据子集的确定方式可以是:基于前述的分类统计,以(光照条件差、拍摄角度偏置严重、非站立)为条件,通过从第一训练数据子集和第二训练数据子集的分类统计中选取交集的方式形成第三训练数据子集。
与前述的S103、S105类似,第三次微调也可以采用反向加权的方式。
在本发明的方法中,在训练数据集具有分布不均衡的特点的前提下,基于全集所得到的基础训练结果(预先训练好的神经网络),通过三次微调训练,相对于无差别的多次训练,可以节约训练所需的计算资源和时间。并且,从图像质量和人体框两个尺度出发,针对训练数据集的分布的不均衡进行了不同尺度的考虑,针对性地筛选出对应于每一次微调训练的数据,从而能够更加有针对性地利用数据进行训练,最终通过三次微调训练获得了较为理想的人体检测模型。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时执行或以其他顺序执行,也可以增加、替换或者省略某些步骤,这些变化都在本发明的保护范围之内等。如:在本实施例中,在对模型进行微调训练时,每一次微调针对神经网络的所有层。不过,也可以根据实际需求,仅对部分层进行微调。如可以冻结神经网络靠近输入端的部分层,只对神经网络后面部分的层进行微调;在本实施例中,在对模型进行微调训练时采用的是重加权的策略。也可以采用如重采样(对数据量少的数据类型进行过采样处理或者对数据量多的数据类型进行欠采样处理)等其他策略;等。
需要说明的是,尽管以上述具体方式所构成的控制方法作为示例进行了介绍,但本领域技术人员能够理解,本发明应不限于此。事实上,用户完全可根据以及实际应用场景等情形灵活地调整相关的步骤以及步骤中的参数等。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (11)

1.一种使用分布不均衡数据训练人体检测模型的方法,其特征在于,所述方法包括:
分析训练数据集中的训练数据,确定训练数据的基准属性;
基于所述基准属性,确定与微调训练相对应的训练数据子集,以便:
采用训练数据集对人体检测模型进行多次第一微调训练;
其中,在所述微调训练中,至少针对对应于所述训练数据集中的训练数据子集的训练进行微调;
其中,所述训练数据为包含人体的图像,所述训练数据子集包括第一训练数据子集和第二训练数据子集,所述第一训练数据子集和所述第二训练数据子集中的一个是根据所述图像中与图像质量相关的基准属性确定的,另一个是根据所述图像中与人体相关的基准属性确定的;
其中,所述人体相关的基准属性包括人体的个数、人体的姿态、人体的物理属性。
2.根据权利要求1所述的方法,其特征在于,在采用训练数据集对人体检测模型进行多次第一微调训练”之后,还包括:
采用训练数据集对人体检测模型进行第二微调训练;
其中,在所述第二微调训练中,至少针对所述训练数据集中的第三训练数据子集的训练进行微调;
其中,所述第三训练数据子集是根据所述第一训练数据子集和所述第二训练数据子集确定的。
3.根据权利要求1或2所述的方法,其特征在于,所述第一训练数据子集是根据所述图像中与图像质量相关的基准属性确定的,所述的“分析训练数据集中的训练数据,确定训练数据的基准属性”包括:
获取训练数据集的参考数据;
根据所述参考数据和第一图像分析算法分析训练数据集中与图像质量相关的基准属性。
4.根据权利要求3所述的方法,其特征在于,所述参考数据为与所述训练数据集的获得过程相关的历史数据。
5.根据权利要求1或2所述的方法,其特征在于,所述第二训练数据子集是根据所述图像中与人体相关的基准属性确定的,所述的“分析训练数据集中的训练数据,确定训练数据的基准属性”包括:
根据第二图像分析算法分析训练数据集中与人体相关的基准属性。
6.根据权利要求1所述的方法,其特征在于,所述微调训练具体为:对训练所采用的训练数据的损失函数反向加权。
7.根据权利要求1所述的方法,其特征在于,所述对训练进行微调包括:
从人体检测模型的神经网络中选取出目标层;
至少针对所述目标层的训练进行微调。
8.一种使用分布不均衡数据训练人体检测模型的装置,其特征在于,所述装置包括:
分析模块,其被配置为:分析训练数据集中的训练数据,确定训练数据的基准属性;以及
确定模块,其被配置为:基于所述基准属性,确定与微调训练相对应的训练数据子集,以便:
采用训练数据集对人体检测模型进行多次第一微调训练;
其中,在所述微调训练中,至少针对对应于所述训练数据集中的训练数据子集的训练进行微调;
其中,所述训练数据为包含人体的图像,所述训练数据子集包括第一训练数据子集和第二训练数据子集,所述第一训练数据子集和所述第二训练数据子集中的一个是根据所述图像中与图像质量相关的基准属性确定的,另一个是根据所述图像中与人体相关的基准属性确定的;
其中,所述人体相关的基准属性包括人体的个数、人体的姿态、人体的物理属性。
9.根据权利要求8所述的装置,其特征在于,所述确定模块被进一步配置为:
在采用训练数据集对人体检测模型进行多次第一微调训练之后,采用训练数据集对人体检测模型进行第二微调训练;
其中,在所述第二微调训练中,至少针对所述训练数据集中的第三训练数据子集的训练进行微调;
其中,所述第三训练数据子集是根据所述第一训练数据子集和所述第二训练数据子集确定的。
10.一种计算机可读存储介质,其特征在于,该存储介质适于存储多条程序代码,所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的使用分布不均衡数据训练人体检测模型的方法。
11.一种控制装置,其特征在于,该控制装置包括存储器和处理器,所述存储器适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的使用分布不均衡数据训练人体检测模型的方法。
CN202110655693.8A 2021-06-11 2021-06-11 使用不均衡数据训练人体检测模型的方法及装置、介质 Active CN113392757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110655693.8A CN113392757B (zh) 2021-06-11 2021-06-11 使用不均衡数据训练人体检测模型的方法及装置、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110655693.8A CN113392757B (zh) 2021-06-11 2021-06-11 使用不均衡数据训练人体检测模型的方法及装置、介质

Publications (2)

Publication Number Publication Date
CN113392757A CN113392757A (zh) 2021-09-14
CN113392757B true CN113392757B (zh) 2023-08-15

Family

ID=77620667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110655693.8A Active CN113392757B (zh) 2021-06-11 2021-06-11 使用不均衡数据训练人体检测模型的方法及装置、介质

Country Status (1)

Country Link
CN (1) CN113392757B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710831A (zh) * 2018-04-24 2018-10-26 华南理工大学 一种基于机器视觉的小数据集人脸识别算法
CN109948478A (zh) * 2019-03-06 2019-06-28 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统
CN110674756A (zh) * 2019-09-25 2020-01-10 普联技术有限公司 人体属性识别模型训练方法、人体属性识别方法及装置
AU2020100048A4 (en) * 2020-01-10 2020-02-13 Ding, Mengfang Mr Method of object detection for vehicle on-board video based on RetinaNet
CN111242158A (zh) * 2019-12-05 2020-06-05 北京迈格威科技有限公司 神经网络训练方法、图像处理方法及装置
CN111310828A (zh) * 2020-02-14 2020-06-19 开易(北京)科技有限公司 用于adas场景的目标检测模型微调方法及装置
CN112348051A (zh) * 2020-09-30 2021-02-09 北京信工博特智能科技有限公司 一种降低目标检测中样本不均衡影响的方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11526701B2 (en) * 2019-05-28 2022-12-13 Microsoft Technology Licensing, Llc Method and system of performing data imbalance detection and correction in training a machine-learning model
US11521115B2 (en) * 2019-05-28 2022-12-06 Microsoft Technology Licensing, Llc Method and system of detecting data imbalance in a dataset used in machine-learning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710831A (zh) * 2018-04-24 2018-10-26 华南理工大学 一种基于机器视觉的小数据集人脸识别算法
CN109948478A (zh) * 2019-03-06 2019-06-28 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统
CN110674756A (zh) * 2019-09-25 2020-01-10 普联技术有限公司 人体属性识别模型训练方法、人体属性识别方法及装置
CN111242158A (zh) * 2019-12-05 2020-06-05 北京迈格威科技有限公司 神经网络训练方法、图像处理方法及装置
AU2020100048A4 (en) * 2020-01-10 2020-02-13 Ding, Mengfang Mr Method of object detection for vehicle on-board video based on RetinaNet
CN111310828A (zh) * 2020-02-14 2020-06-19 开易(北京)科技有限公司 用于adas场景的目标检测模型微调方法及装置
CN112348051A (zh) * 2020-09-30 2021-02-09 北京信工博特智能科技有限公司 一种降低目标检测中样本不均衡影响的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Myocardial infarction detection based on deep neural network on imbalanced data;Mohamed Hammad 等;《Multimedia Systems》;1373-1385 *

Also Published As

Publication number Publication date
CN113392757A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN109858461B (zh) 一种密集人群计数的方法、装置、设备以及存储介质
CN107133948B (zh) 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN111095293B (zh) 图像美学处理方法及电子设备
CN109376603A (zh) 一种视频识别方法、装置、计算机设备及存储介质
CN111160406A (zh) 图像分类模型的训练方法、图像分类方法及装置
CN110807759B (zh) 照片质量的评价方法及装置、电子设备、可读存储介质
CN106921829A (zh) 一种拍照方法和装置及拍照设备
JP2015087903A (ja) 情報処理装置及び情報処理方法
CN111027347A (zh) 一种视频识别方法、装置和计算机设备
US20060257017A1 (en) Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture
CN112163637B (zh) 基于非平衡数据的图像分类模型训练方法、装置
CN109359553A (zh) 鱼眼图像的商品检测方法、装置、计算机设备和存储介质
CN108280096A (zh) 数据清洗方法及数据清洗装置
CN109117810A (zh) 疲劳驾驶行为检测方法、装置、计算机设备及存储介质
CN110942034A (zh) 用于检测多类型深度网络生成图像的方法、系统、装置
CN113392757B (zh) 使用不均衡数据训练人体检测模型的方法及装置、介质
CN113204990B (zh) 基于智能鱼竿的机器学习方法与装置
US20030156759A1 (en) Background-foreground segmentation using probability models that can provide pixel dependency and incremental training
CN117218026B (zh) 一种红外图像增强方法及装置
CN113902944A (zh) 模型的训练及场景识别方法、装置、设备及介质
CN116668198B (zh) 基于深度学习的流量回放测试方法、装置、设备及介质
CN117132768A (zh) 车牌及人脸检测和脱敏方法、装置、电子设备和存储介质
Wong et al. Application of evolutionary programming to adaptive regularization in image restoration
CN107844734A (zh) 监控目标确定方法及装置、视频监控方法及装置
CN114697127B (zh) 一种基于云计算的业务会话风险处理方法及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant