CN112232368A - 目标识别模型训练方法、目标识别方法及其相关装置 - Google Patents

目标识别模型训练方法、目标识别方法及其相关装置 Download PDF

Info

Publication number
CN112232368A
CN112232368A CN202010949917.1A CN202010949917A CN112232368A CN 112232368 A CN112232368 A CN 112232368A CN 202010949917 A CN202010949917 A CN 202010949917A CN 112232368 A CN112232368 A CN 112232368A
Authority
CN
China
Prior art keywords
image
target
training
target recognition
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010949917.1A
Other languages
English (en)
Other versions
CN112232368B (zh
Inventor
程凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010949917.1A priority Critical patent/CN112232368B/zh
Publication of CN112232368A publication Critical patent/CN112232368A/zh
Application granted granted Critical
Publication of CN112232368B publication Critical patent/CN112232368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供目标识别模型训练方法、目标识别方法及其相关装置。该目标识别模型的训练方法包括：通过目标识别模型对训练集中训练图像进行多种尺寸的目标检测；基于多种尺寸的目标识别结果和多种尺寸各自的损失权重计算损失；基于损失对目标识别模型进行训练。本申请可以提高目标识别的识别率。

Description

目标识别模型训练方法、目标识别方法及其相关装置
技术领域
本申请涉及图像识别技术领域，特别是涉及目标识别模型训练方法、目标识别方法及其相关装置。
背景技术
随着经济水平和人民生活水平的不断提高，目标识别技术在视频监控、机器人、智能交通等领域都有广泛的应用。本申请的发明人在长期的研发过程中，发现目前目标识别方法还存在一定的局限性，也在一定程度上影响了目标识别的识别率。
发明内容
本申请提供目标识别模型训练方法、目标识别方法及其相关装置，能够提高目标识别的识别率。
为达到上述目的，本申请提供一种目标识别模型的训练方法，该方法包括：
通过目标识别模型对训练集中训练图像进行多种尺寸的目标识别；
基于多种尺寸的目标识别结果和多种尺寸各自的损失权重计算损失；
基于损失对目标识别模型进行训练。
其中，训练集包括至少两种类别的训练图像，通过目标识别模型对训练集中训练图像进行多种尺寸的目标识别，之前包括：
设置训练集中每种类别被选择的权重，其中，训练图像的数量少的类别的权重比训练图像的数量多的类别的权重高，以让多种类别在训练过程中被目标识别模型识别的次数均衡。
其中，通过目标识别模型对训练集中训练图像进行多种尺寸的目标识别，之前包括：
对训练图像进行预处理；
其中，预处理包括颜色变换、空间变换和尺度缩放中的至少一个。
其中，目标识别模型包括多个依次连接的卷积单元，通过目标识别模型对训练集中训练图像进行多种尺寸的目标识别，包括：
通过目标识别模型的多个卷积单元对训练图像进行处理，得到每一卷积单元输出的特征图；
对多个卷积单元输出的特征图进行融合，得到多个融合特征图；
对多个融合特征图进行检测，得到训练图像的多种尺寸的目标识别结果。
为达到上述目的，本申请提供一种目标识别方法，该方法包括：
获取待识别图像；
基于目标识别模型对待识别图像进行识别，得到识别结果；
其中，目标识别模型是经由上述的目标识别模型的训练方法训练过的。
其中，基于目标识别模型对待识别图像进行识别，得到识别结果，包括：
对待识别图像进行划分，得到多个子图；
基于目标识别模型对每个子图进行识别，得到每个子图的识别结果；
将多个子图的识别结果进行整合，得到待识别图像的识别结果。
其中，对待识别图像进行划分，得到多个子图，之后包括：对每个子图向外扩展，得到每个扩展后的子图；
基于目标识别模型对每个子图进行识别，得到每个子图的识别结果，之后包括：基于目标识别模型对每个扩展后的子图进行识别，得到每个子图的识别结果。
其中，将多个子图的识别结果进行整合，得到待识别图像的识别结果，包括：
基于待识别图像中多个子图的位置关系，对多个子图的识别结果进行叠加；
将多个子图的识别结果中相同位置的检测框进行去重处理，得到待识别图像的识别结果。
其中，将多个子图的识别结果中相同位置的识别结果进行去重处理，包括：
去除宽高比不在预设范围内的目标；
基于非极大值抑制方法对相同位置的至少两个检测框进行去重处理。
其中，目标为信号灯，基于目标识别模型对待识别图像进行识别，得到识别结果，之后包括：
依据信号灯设置规则对待识别图像的识别结果进行逻辑校验，得到待识别图像的最终识别结果。
其中，依据信号灯设置规则对待识别图像的识别结果进行逻辑校验，包括：
在识别结果与信号灯设置规则不符时，依据识别结果中各个信号灯的优先级对识别结果进行调整；
其中，各个信号灯的优先级与各个信号灯的置信度呈正相关；和/或，待识别图像中间区域的信号灯的优先级高于待识别图像两侧区域的信号灯的优先级。
其中，信号灯设置规则包括信号灯排列顺序和同一方向显示颜色唯一的规则。
为达到上述目的，本申请提供一种电子设备，该电子设备包括存储器和处理器；存储器中存储有计算机程序，处理器用于执行计算机程序以实现上述方法的步骤。
为达到上述目的，本申请提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法中的步骤。
本申请的方法是：通过目标识别模型对训练集中训练图像进行多种尺寸的目标识别，并会基于多种尺寸的目标检出结果计算的损失对目标识别模型进行训练，这样通过上述方法训练出来的目标识别模型可以对多种尺寸的目标进行检测，可以提高目标识别的识别率。并且本申请训练方法在计算损失时，会对各个尺寸的目标的识别结果赋予对应的损失权重，这样就可以针对不同尺寸的目标的重要程度赋予不同的损失权重，可以使训练后的目标识别模型重点识别重要程度高的尺寸的目标。
附图说明
为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请目标识别模型的训练方法一实施方式的流程示意图；
图2是本申请目标识别模型的训练方法另一实施方式的流程示意图；
图3是本申请目标识别模型的训练方法中目标识别模型的结构示意图；
图4是本申请目标识别方法一实施方式的流程示意图；
图5是本申请目标识别方法另一实施方式的流程示意图；
图6是本申请目标识别方法中待识别图像划分和向外扩展的示意图；
图7是本申请电子设备的结构示意图；
图8是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请所提供的目标识别模型训练方法、目标识别方法及其相关装置做进一步详细描述。
本申请的目标识别模型训练方法主要包括：通过目标识别模型对训练集中训练图像进行多种尺寸的目标识别，并会基于多种尺寸的目标检出结果计算的损失对目标识别模型进行训练，这样通过上述方法训练出来的目标识别模型可以对多种尺寸的目标进行检测。并且本申请训练方法在计算损失时，会对各个尺寸的目标的识别结果赋予对应的损失权重，这样就可以针对不同尺寸的目标的重要程度赋予不同的损失权重，可以使训练后的目标识别模型重点识别重要程度高的尺寸的目标。
具体请参阅图1，图1是本申请目标识别模型的训练方法第一实施方式的流程示意图。本实施方式目标识别模型的训练方法包括以下步骤。
S101：通过目标识别模型对训练集中训练图像进行多种尺寸的目标识别。
通过目标识别模型对训练图像进行多种尺寸的目标识别，继而基于多种尺寸的目标识别结果计算的损失训练目标识别模型，以让训练后的目标识别模型可以识别图像中多种尺寸的目标。
本申请可以采用多种方法让目标识别模型对训练集中训练图像进行多种尺寸的目标识别。
例如，目标识别模型可以包括多个尺寸的检测层，每个尺寸的检测层检测相应尺寸的目标。
又例如，目标识别模型通过多种尺寸的滑动窗口在训练图像上进行滑动，以确认训练图像上存在的多个尺寸的目标。
其中，多种尺寸的目标可以指至少两种尺寸的目标。例如三种、四种或甚至更多种尺寸的目标。
目标识别模型所对应识别的目标不同，就可以设置不同的多种尺寸。例如当目标为信号灯时，目标的多种尺寸分别为4*4、8*8和16*16。例如当目标为行人时，目标的多种尺寸分别为128*128、164*164和256*256。
S102：基于多种尺寸的目标识别结果和多种尺寸各自的损失权重计算损失。
通过目标识别模型识别出训练图像中不同尺寸的目标后，可以基于多种尺寸的目标识别结果和多种尺寸各自的损失权重计算损失，这样以该损失训练后的目标识别模型可以基于损失权重对不同尺寸的目标识别有所侧重。
基于多种尺寸的目标识别结果和多种尺寸各自的损失权重计算损失的公式可以如下所示：
f总＝a1*f1+a2*f2+……+an*fn；
其中，f1、f2、f3……fn分別为由各个尺寸的目标识别结果计算出的各个尺寸对应的损失，而a1、a2、a3……an分别为各个尺寸对应的损失权重，f总是基于多种尺寸的目标识别结果和多种尺寸各自的损失权重计算出的损失。
可以以任意损失函数基于各种尺寸的目标识别结果计算各种尺寸对应的损失。
其中，可以以平方损失函数、绞链损失函数、交叉熵损失函数、对数损失函数、三元组损失函数和focal loss函数中至少一种损失函数，基于各种尺寸的目标识别结果计算各种尺寸对应的损失，当然不限于此。
进一步地，多种尺寸各自的损失权重可以是预先设置的，例如，当目标为信号灯时，目标的多种尺寸分别为4*4、8*8和16*16，可以将4*4、8*8和16*16分别对应的损失权重预先设置为0.2、0.5、0.3，当然不限于此。
在其他实现方式中，还可以统计从至少一张图像识别出的每种尺寸的目标的累积识别数量，然后基于每种尺寸的目标的累积识别数量对损失权重进行调整。例如，可以将多种尺寸的目标的累积识别数量的比例作为多种尺寸各自的损失权重的比例，假设目标为信号灯，4*4的目标的累积识别数量为84，8*8的目标的累积识别数量为338，16*16的目标的累积识别数量为767，这样4*4、8*8和16*16各自的损失权重的比例就为84:338:767，从而4*4、8*8和16*16分别对应的损失权重可以为0.07、0.28和0.65。
进一步地，还可以根据目标的多种尺寸的关注程度，赋予各个尺寸不同的损失权重。例如，各个尺寸的损失权重可以与各个尺寸的关注程度成正比，即关注程度高的尺寸的损失权重相比于关注程度低的尺寸的损失权重高。
S103：基于损失对目标识别模型进行训练。
在本实施方式中，通过目标识别模型对训练集中训练图像进行多种尺寸的目标识别，并会基于多种尺寸的目标检出结果计算的损失对目标识别模型进行训练，这样通过上述方法训练出来的目标识别模型可以对多种尺寸的目标进行检测。并且本申请训练方法在计算损失时，会对各个尺寸的目标的识别结果赋予对应的损失权重，这样就可以针对不同尺寸的目标的重要程度赋予不同的损失权重，可以使训练后的目标识别模型重点识别重要程度高的尺寸的目标。
请继续参阅图2，图2是本申请目标识别模型的训练方法第二实施方式的流程示意图，本实施方式引入设置训练集中每种类别被选择的权重的方法，以使多种类别的训练图像被目标识别模型识别的次数大体一致，从而可以保证从不均衡训练集中学习到无偏模型。本实施方式目标识别模型的训练方法包括以下步骤。
S201：设置训练集中每种类别被选择的权重。
其中，训练集包括多种类别的训练图像。训练图像是指包含目标的图像。例如，当目标为信号灯时，训练集包括若干张信号灯的图像，若干张信号灯的图像可以分为红灯图像、绿灯图像和黄灯图像这三种类别的训练图像，因为在图像采集的过程中，各种颜色的信号灯亮的时间不一致，导致采集到的各种颜色信号灯的图像的数量可能不一致。即训练集中多种类别的训练图像的数量可能不一致。
针对训练集中多种类别的训练图像的数量不一致的情况，本申请通过对训练集中每种类别被选择的权重进行设置，以让在训练集中多种类别的训练图像的数量不相等的情况下，也能均衡多种类别的训练数据被目标识别模型的识别次数，从根本上解决了训练样本缺失导致的模型泛化性问题。例如，当目标为信号灯时，假设训练集包括50张绿色信号灯图像、40张红色信号灯图像和10张黄色信号灯图像，可以将绿色信号灯、红色信号灯和黄色信号灯被选择的权重分别设置为0.1379、0.1724和0.6897，这样各种颜色信号灯被目标识别模型选择的概率是一样的，从而可以均衡各种类别被目标识别模型识别的次数。可以理解的是，每种类别被选择的权重与每种类别的训练图像的数量呈反相关。
S202：对训练图像进行预处理。
对训练图像进行预处理，以让处理后的图像便于被目标识别模型识别。或者在其他实现方式中，步骤S202在步骤S201之前执行，以通过预处理操作来提高训练集中训练图像的数量，以丰富样本。
预处理可以包括颜色变换、空间变换和尺度缩放中的至少一种操作，当然不限于此。例如，可通过颜色变化将jpeg格式的训练图像转换成yuv格式的训练图像，具体可根据目标识别模型自行调整。又例如，可通过尺度缩放将训练图像缩放成模型输入大小的训练图像，具体可根据模型自行调整。
S203：通过目标识别模型对训练集中训练图像进行多种尺寸的目标识别。
对训练集中图像进行预处理和确定训练集中各种类别的训练后，可以通过目标识别模型对训练图像进行多种尺寸的目标识别，以得到多种尺寸的目标识别结果，从而后续可以基于多种尺寸的目标识别结果对目标识别模型进行训练。
其中，目标识别模型可以包括L个依次连接的卷积单元。其中，步骤S203的步骤可包括：通过目标识别模型的多个卷积单元对训练图像进行处理，得到每一卷积单元输出的特征图；对所有卷积单元输出的特征图进行融合，得到多个融合特征图；对多个融合特征图进行检测，得到训练图像的多种尺寸的目标识别结果。例如，目标识别模型包括如图3所示的依次连接的3个卷积单元(Conv1_1——Conv4_2、Conv4_3——Conv6_2……Conv6_3——Conv8_2)，每一卷积单元都会输出特征图，且每一卷积单元输出的特征图都会作为该卷积单元的下一卷积单元的输入特征图，可以将多个卷积单元输出的特征图进行融合，以得到多个融合特征图。具体地，可以将最后M个卷积单元输出的特征图进行融合，以得到融合特征图，其中M为1-L。进一步地，可以遍历M的每个取值，以得到多个融合特征图。例如，假设如图3所示，目标识别模型包括依次连接的3个卷积单元，即L＝3，可以遍历M的所有取值，即分别将最后1个、2个和3个卷积单元输出的特征图进行融合，以得到3个特征图。
另外，可以通过第一卷积单元对融合特征图进行卷积处理，以得到多种尺寸的目标识别结果。
图3所示的目标识别模型除包括多个卷积单元外，还包含了多个第一卷积单元、多个下采样层、2个反卷积层、2个线性融合层和3*N(N为类别个数)个检测层，线性融合层将浅层特征与深层特征进行融合，每个层级的检测层分别针对不同大小的目标进行检测，每个层级的N个检测层负责N个类别的检测任务。
S204：基于多种尺寸的目标识别结果和多种尺寸各自的损失权重计算损失。
S205：基于损失对目标识别模型进行训练。
请继续参阅图4，图4是本申请目标识别方法第一实施方式的流程示意图，本实施方式通过上述目标识别模型的训练方法训练后的目标识别模型对待识别图像进行识别，以对待识别图像进行多种尺寸的目标识别。本实施方式目标识别方法包括以下步骤。
S301：获取待识别图像。
S302：基于目标识别模型对待识别图像进行识别，得到识别结果。
获取到待识别图像后，可以使用上述目标识别模型的训练方法实施方式训练后的目标识别模型对待识别图像进行识别，以得到识别结果。当然不限于次，例如，还可以利用其它训练方法训练过的目标识别模型对待识别图像进行识别。
在本实施方式中，通过上述目标识别模型的训练方法训练后的目标识别模型对待识别图像进行识别，以对待识别图像进行多种尺寸的目标识别，且可以基于训练过程中预设的每个尺寸的损失权重，重点关注损失权重高的尺寸的目标。
请继续参阅图5，图5是本申请目标识别方法第二实施方式的流程示意图，本实施方式引入对待识别图像划分得到的多个子图进行识别，并将子图的识别结果进行合并的方法，以提高识别结果的精度。本实施方式目标识别方法包括以下步骤。
S401：获取待识别图像。
S402：对待识别图像进行划分，得到多个子图。
获取到待识别图像后，可以对待识别图像进行划分，以得到多个子图，以利用目标识别模型对多个子图进行识别，获得多个子图的识别结果，可以解决因为目标像素占比较小导致特征丢失非常明显的问题，从而可以提高识别效率，降低识别的难度。
S403：对每个子图向外扩展，得到每个扩展后的子图。
如图6所示，对待识别图像进行划分，得到多个子图后，可以对每个子图向外扩展，使得扩展后的子图包括与其相邻的子图的边缘内容，可以规避目标恰好被切分导致的识别问题，因为扩展后子图间有重叠部分，被切分的目标可以在另一重叠的子图中找到，保证有完整的目标位于子图中。
可选地，可以根据目标的惯常尺寸设定向外扩展的尺寸，例如目标约为16*16，子图可以向外扩展16像素。在其他实现方式中，可以对每个子图向外扩展一定的比例，例如，可向外扩展1/10。另外，若子图的一边边缘为待识别图像的边缘，可以不对子图的该一边边缘向外扩展。
S404：基于目标识别模型对每个扩展后的子图进行识别，得到每个子图的识别结果。
S405：将多个子图的识别结果进行整合，得到待识别图像的识别结果。
得到每个子图的识别结果后，可以将所有子图的识别结果进行整合，以得到待识别图像的识别结果。
在一实现方式中，若对待识别图像进行划分后，直接通过目标识别模型对子图进行识别时，可以基于待识别图像中多个子图的位置关系，对多个子图的识别结果进行叠加，以得到待识别图像的识别结果。
在另一实现方式中，若划分得到多个子图后执行步骤S404和步骤S405，得到多个子图的识别结果时，可以先基于待识别图像中多个子图的位置关系，对多个子图的识别结果进行叠加；然后将多个子图的识别结果中相同位置的检测框进行去重处理，以得到待识别图像的初始识别结果。其中，去重处理的方法可以包括：去除宽高比不在预设范围内的目标，因为宽高比不在预设范围内的目标一般位于子图边缘上，其中预设范围可以根据目标的尺寸进行设定，例如目标为信号灯时，预设范围为0.5-1.5；和/或，基于非极大值抑制方法对相同位置的至少两个检测框进行去重处理，若相同位置的至少两个检测框的类别若有冲突，会取置信度较大的类别。
S406：依据信号灯设置规则对待识别图像的识别结果进行逻辑校验，得到待识别图像的最终识别结果。
当目标为信号灯时，因为信号灯的设置通常遵循一定规则，例如每个方向有且只有一种颜色指示信息，但是识别结果可能与信号灯的设置规则不符，例如待识别图像的识别结果中各个方向信号灯的颜色指示信息冲突，此时可以通过后处理进行逻辑校验得到待识别图像的最终识别结果，具体可依据信号灯设置规则对待识别图像的识别结果进行逻辑校验，以保证信号灯识别的准确、合理。
可选地，在识别结果与信号灯设置规则不符时，可以依据识别结果中各个信号灯的优先级对识别结果进行调整。其中，各个信号灯的优先级与各个信号灯的置信度呈正相关；和/或，待识别图像中间区域的信号灯的优先级高于待识别图像两侧区域的信号灯的优先级。
其中，信号灯设置规则可以包括信号灯排列顺序和同一方向显示颜色唯一的规则，当然不限于此。
在本实施方式中，通过对输入图片裁剪、子图结果合并，快速、准确的输出识别结果；其中，裁剪、合并中的巧妙处理策略，保证了识别结果的精度。并且本申请是对整张待识别图像进行检测而不仅仅是针对目标的局部区域，适用范围更广；并且有对应的抑制误检的方法，对可能存在的信号灯状态冲突有进一步的解决措施，给出的目标识别结果更加精准。
另外，在步骤S404之前，可以对子图进行预处理，以让处理后的子图更便于被目标识别模型识别。
请参阅图7，图7是本申请电子设备一实施方式的结构示意图。本电子设备10包括相互耦接的存储器11和处理器12，存储器11用于存储程序指令，处理器12用于执行程序指令以实现上述任一实施方式的方法。
上述目标识别模型的训练方法和视频编码方法的逻辑过程以计算机程序呈现，在计算机程序方面，若其作为独立的软件产品销售或使用时，其可存储在计算机存储介质中，因而本申请提出一种可读存储介质。请参阅图8，图8是本申请计算机可读存储介质一实施方式的结构示意图，本实施方式计算机可读存储介质20中存储有计算机程序21，计算机程序21被处理器执行时实现上述目标识别模型的训练方法和视频编码方法中的步骤。
该计算机可读存储介质20具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储计算机程序的介质，或者也可以为存储有该计算机程序的服务器，该服务器可将存储的计算机程序发送给其他设备运行，或者也可以自运行该存储的计算机程序。该可读存储介质20从物理实体上来看，可以为多个实体的组合，例如多个服务器、服务器加存储器、或存储器加移动硬盘等多种组合方式。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种目标识别模型的训练方法，其特征在于，所述方法包括：
通过目标识别模型对训练集中训练图像进行多种尺寸的目标检测；
基于多种尺寸的目标识别结果和多种尺寸各自的损失权重计算损失；
基于所述损失对所述目标识别模型进行训练。
2.根据权利要求1所述的目标识别模型的训练方法，其特征在于，训练集包括至少两种类别的训练图像，所述通过目标识别模型对训练集中训练图像进行多种尺寸的目标检测，之前包括：
设置训练集中每种类别被选择的权重，其中，训练图像的数量少的类别的权重比训练图像的数量多的类别的权重高，以让多种类别在训练过程中被目标识别模型识别的次数均衡。
3.根据权利要求1所述的目标识别模型的训练方法，其特征在于，所述通过目标识别模型对训练集中训练图像进行多种尺寸的目标检测，之前包括：对所述训练图像进行预处理；
其中，预处理包括颜色变换、空间变换和尺度缩放中的至少一个。
4.根据权利要求1所述的目标识别模型的训练方法，其特征在于，所述目标识别模型包括多个依次连接的卷积单元，所述通过目标识别模型对训练集中训练图像进行多种尺寸的目标检测，包括：
通过所述目标识别模型的多个卷积单元对所述训练图像进行处理，得到每一卷积单元输出的特征图；
对多个卷积单元输出的特征图进行融合，得到多个融合特征图；
对所述多个融合特征图进行检测，得到所述训练图像的多种尺寸的目标识别结果。
5.一种目标识别方法，其特征在于，所述方法包括：
获取待识别图像；
基于目标识别模型对待识别图像进行识别，得到识别结果；
其中，所述目标识别模型是经由权利要求1-4任一项的目标识别模型的训练方法训练过的。
6.根据权利要求5所述的目标识别方法，其特征在于，所述基于目标识别模型对待识别图像进行识别，得到识别结果，包括：
对所述待识别图像进行划分，得到多个子图；
基于所述目标识别模型对每个子图进行识别，得到每个子图的识别结果；
将多个子图的识别结果进行整合，得到所述待识别图像的识别结果。
7.根据权利要求6所述的目标识别方法，其特征在于，所述对所述待识别图像进行划分，得到多个子图，之后包括：对每个子图向外扩展，得到每个扩展后的子图；
所述基于所述目标识别模型对每个子图进行识别，得到每个子图的识别结果，之后包括：基于所述目标识别模型对每个扩展后的子图进行识别，得到每个子图的识别结果。
8.根据权利要求7所述的目标识别方法，其特征在于，所述将多个子图的识别结果进行整合，得到所述待识别图像的识别结果，包括：
基于所述待识别图像中多个子图的位置关系，对多个子图的识别结果进行叠加；
将多个子图的识别结果中相同位置的检测框进行去重处理，得到所述待识别图像的识别结果。
9.根据权利要求8所述的目标识别方法，其特征在于，所述将多个子图的识别结果中相同位置的识别结果进行去重处理，包括：
去除宽高比不在预设范围内的目标；
基于非极大值抑制方法对相同位置的至少两个检测框进行去重处理。
10.根据权利要求5所述的目标识别方法，其特征在于，所述目标为信号灯，所述基于目标识别模型对待识别图像进行识别，得到识别结果，之后包括：
依据信号灯设置规则对待识别图像的识别结果进行逻辑校验，得到所述待识别图像的最终识别结果。
11.根据权利要求10所述的目标识别方法，其特征在于，所述依据信号灯设置规则对待识别图像的识别结果进行逻辑校验，包括：
在所述识别结果与所述信号灯设置规则不符时，依据所述识别结果中各个信号灯的优先级对识别结果进行调整；
其中，各个信号灯的优先级与各个信号灯的置信度呈正相关；和/或，待识别图像中间区域的信号灯的优先级高于待识别图像两侧区域的信号灯的优先级。
12.根据权利要求10所述的目标识别方法，其特征在于，所述信号灯设置规则包括信号灯排列顺序和同一方向显示颜色唯一的规则。
13.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-12中任一项所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-12中任一项所述方法的步骤。
CN202010949917.1A 2020-09-10 2020-09-10 目标识别模型训练方法、目标识别方法及其相关装置 Active CN112232368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010949917.1A CN112232368B (zh) 2020-09-10 2020-09-10 目标识别模型训练方法、目标识别方法及其相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010949917.1A CN112232368B (zh) 2020-09-10 2020-09-10 目标识别模型训练方法、目标识别方法及其相关装置

Publications (2)

Publication Number Publication Date
CN112232368A true CN112232368A (zh) 2021-01-15
CN112232368B CN112232368B (zh) 2023-09-01

Family

ID=74116723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010949917.1A Active CN112232368B (zh) 2020-09-10 2020-09-10 目标识别模型训练方法、目标识别方法及其相关装置

Country Status (1)

Country Link
CN (1) CN112232368B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507983A (zh) * 2021-02-03 2021-03-16 北京世纪好未来教育科技有限公司 目标检测方法、装置、电子设备及存储介质
CN113344900A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 机场跑道侵入检测方法、装置、存储介质及电子设备
CN115035913A (zh) * 2022-08-11 2022-09-09 合肥中科类脑智能技术有限公司 一种声音异常检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902722A (zh) * 2019-01-28 2019-06-18 北京奇艺世纪科技有限公司 分类器、神经网络模型训练方法、数据处理设备及介质
CN110348390A (zh) * 2019-07-12 2019-10-18 创新奇智(重庆)科技有限公司 一种火焰检测模型的训练方法、计算机可读介质及系统
WO2019218826A1 (zh) * 2018-05-17 2019-11-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110674756A (zh) * 2019-09-25 2020-01-10 普联技术有限公司 人体属性识别模型训练方法、人体属性识别方法及装置
CN110969627A (zh) * 2019-11-29 2020-04-07 北京达佳互联信息技术有限公司 图像处理方法及装置
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
US20200226421A1 (en) * 2019-01-15 2020-07-16 Naver Corporation Training and using a convolutional neural network for person re-identification
US20200226797A1 (en) * 2019-01-16 2020-07-16 Disney Enterprises, Inc. Systems and methods for image compression at multiple, different bitrates
CN111428875A (zh) * 2020-03-11 2020-07-17 北京三快在线科技有限公司 图像识别方法、装置及相应模型训练方法、装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019218826A1 (zh) * 2018-05-17 2019-11-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
US20200226421A1 (en) * 2019-01-15 2020-07-16 Naver Corporation Training and using a convolutional neural network for person re-identification
US20200226797A1 (en) * 2019-01-16 2020-07-16 Disney Enterprises, Inc. Systems and methods for image compression at multiple, different bitrates
CN109902722A (zh) * 2019-01-28 2019-06-18 北京奇艺世纪科技有限公司 分类器、神经网络模型训练方法、数据处理设备及介质
CN110348390A (zh) * 2019-07-12 2019-10-18 创新奇智(重庆)科技有限公司 一种火焰检测模型的训练方法、计算机可读介质及系统
CN110674756A (zh) * 2019-09-25 2020-01-10 普联技术有限公司 人体属性识别模型训练方法、人体属性识别方法及装置
CN110969627A (zh) * 2019-11-29 2020-04-07 北京达佳互联信息技术有限公司 图像处理方法及装置
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111428875A (zh) * 2020-03-11 2020-07-17 北京三快在线科技有限公司 图像识别方法、装置及相应模型训练方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵文强;孙巍;: "基于S4-YOLO的海上目标检测识别方法", 光学与光电技术, no. 04 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507983A (zh) * 2021-02-03 2021-03-16 北京世纪好未来教育科技有限公司 目标检测方法、装置、电子设备及存储介质
CN112507983B (zh) * 2021-02-03 2021-11-16 北京世纪好未来教育科技有限公司 目标检测方法、装置、电子设备及存储介质
CN113344900A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 机场跑道侵入检测方法、装置、存储介质及电子设备
CN115035913A (zh) * 2022-08-11 2022-09-09 合肥中科类脑智能技术有限公司 一种声音异常检测方法
CN115035913B (zh) * 2022-08-11 2022-11-11 合肥中科类脑智能技术有限公司 一种声音异常检测方法

Also Published As

Publication number Publication date
CN112232368B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN110084292B (zh) 基于DenseNet和多尺度特征融合的目标检测方法
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
KR101856401B1 (ko) 차선 데이터의 처리 방법, 장치, 저장매체 및 기기
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
US11475681B2 (en) Image processing method, apparatus, electronic device and computer readable storage medium
CN112232368A (zh) 目标识别模型训练方法、目标识别方法及其相关装置
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
CN110516514B (zh) 一种目标检测模型的建模方法和装置
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN110737785B (zh) 一种图片标注的方法及装置
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN112200193B (zh) 基于多属性融合的分布式车牌识别方法、系统、装置
CN110688883A (zh) 车辆和行人检测方法及装置
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111738036A (zh) 图像处理方法、装置、设备及存储介质
CN114519853A (zh) 一种基于多模态融合的三维目标检测方法及系统
CN114419029A (zh) 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置
CN112784675B (zh) 目标检测方法及装置、存储介质、终端
CN113723229A (zh) 信号灯的检测方法、装置及计算机可读存储介质
CN112785595B (zh) 目标属性检测、神经网络训练及智能行驶方法、装置
CN106897683A (zh) 一种遥感图像的地物检测方法及系统
CN110555344B (zh) 车道线识别方法、装置、电子设备、存储介质
CN114550129B (zh) 一种基于数据集的机器学习模型处理方法和系统
CN113538351B (zh) 一种融合多参数电信号的外绝缘设备缺陷程度评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210115

Assignee: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.

Assignor: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.

Contract record no.: X2021330000117

Denomination of invention: Target recognition model training method, target recognition method and related devices

License type: Common License

Record date: 20210823

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant