CN113222916B - 采用目标检测模型检测图像的方法、装置、设备和介质 - Google Patents

采用目标检测模型检测图像的方法、装置、设备和介质 Download PDF

Info

Publication number
CN113222916B
CN113222916B CN202110470138.8A CN202110470138A CN113222916B CN 113222916 B CN113222916 B CN 113222916B CN 202110470138 A CN202110470138 A CN 202110470138A CN 113222916 B CN113222916 B CN 113222916B
Authority
CN
China
Prior art keywords
layer
information
feature
image
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110470138.8A
Other languages
English (en)
Other versions
CN113222916A (zh
Inventor
叶锦
谭啸
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110470138.8A priority Critical patent/CN113222916B/zh
Publication of CN113222916A publication Critical patent/CN113222916A/zh
Application granted granted Critical
Publication of CN113222916B publication Critical patent/CN113222916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了一种采用目标检测模型检测图像的方法、装置、电子设备和存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习领域，可应用于智能交通或智慧城市场景下。该采用目标检测模型进行目标检测的方法的具体实现方案为：采用包括特征提取层、类别预测层、特征增强层和全连接层的目标检测模型，方法流程包括：经由特征提取层获得待检测图像的多个特征信息；基于多个特征信息，经由类别预测层确定针对待检测图像的预测类别的个数；基于预测类别的个数，经由特征增强层对多个特征信息进行增强，得到增强后特征信息；以及基于增强后特征信息，经由全连接层确定待检测图像的目标检测结果。

Description

采用目标检测模型检测图像的方法、装置、设备和介质
技术领域
本公开涉及人工智能领域，具体涉及计算机视觉和深度学习领域，更具体地涉及一种采用目标检测模型检测图像的方法、装置、设备和存储介质。
背景技术
计算机视觉技术在工业场景中的应用越来越丰富。作为计算机视觉技术的基础，目标检测技术能够解决利用人工的传统方式耗时耗力的问题，因此具有十分广泛的应用前景。在对图像进行目标检测的过程中，由于检测技术发展的局限性，错检或漏检的情况时有发生。
发明内容
提供了一种提高检测准确性的采用目标检测模型检测图像的方法、装置、设备和介质。
根据本公开的一个方面，提供了一种采用目标检测模型检测图像的方法，其中，目标检测模型包括特征提取层、类别预测层、特征增强层和全连接层，该方法包括：经由特征提取层获得待检测图像的多个特征信息；基于多个特征信息，经由类别预测层确定针对待检测图像的预测类别的个数；基于预测类别的个数，经由特征增强层对多个特征信息进行增强，得到增强后特征信息；以及基于增强后特征信息，经由全连接层确定待检测图像的目标检测结果。
根据本公开的另一个方面，提供了一种采用目标检测模型检测图像的装置，其中，目标检测模型包括特征提取层、类别预测层、特征增强层和全连接层，该装置包括：特征信息获得模块，用于经由特征提取层获得待检测图像的多个特征信息；类别个数确定模块，用于基于多个特征信息，经由类别预测层确定针对检测图像的预测类别的个数；特征增强模块，用于基于预测类别的个数，经由特征增强层对多个特征信息进行增强，得到增强后特征信息；以及检测确定模块，用于基于增强后特征信息，经由全连接层确定待检测图像的目标检测结果。
根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的采用目标检测模型检测图像的方法。
根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的采用目标检测模型检测图像的方法。
根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的采用目标检测模型检测图像的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的采用目标检测模型检测图像的方法、装置、设备和介质的应用场景示意图；
图2是根据本公开实施例的采用目标检测模型检测图像的方法的流程图；
图3是根据本公开实施例的目标检测模型的架构示意图；
图4是根据本公开实施例的采用目标检测模型检测图像的方法的原理示意图；
图5是根据本公开另一实施例的采用目标检测模型检测图像的方法的原理示意图；
图6是根据本公开实施例的采用目标检测模型检测图像的装置的结构框图；以及
图7是用来实现本公开实施例的采用目标检测模型检测图像的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种采用目标检测模型检测图像的方法，其中，目标检测模型包括特征提取层、类别预测层、特征增强层和全连接层。该方法包括特征信息获得阶段、类别个数确定阶段、特征增强阶段和检测确定阶段。在特征信息获得阶段中，经由特征提取层获得待检测图像的多个特征信息。在类别个数确定阶段中，基于多个特征信息，经由类别预测层确定针对待检测图像的预测类别的个数。在特征增强阶段中，基于预测类别的个数，经由特征增强层对多个特征信息进行增强，得到增强后特征信息。在检测确定阶段中，基于增强后特征信息，经由全连接层确定待检测图像的目标检测结果。
以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的采用目标检测模型检测图像的方法、装置、设备和介质的应用场景示意图。
如图1所示，该应用场景100包括电子设备110，该电子设备110可以为具有处理功能的任意电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
该电子设备110例如可以对输入的视频帧序列120中的每个图像帧进行处理，具体可以对每个图像帧进行目标检测，得到检测结果130。该检测结果可以包括目标物体的类别和该目标物体在该每个图像帧中的位置信息(例如可以通过目标物体的检测框来体现)。可以理解的是，该电子设备110例如可以采用目标检测模型来对图像帧进行处理。再者，电子设备110除了可以对视频帧序列中的图像帧进行处理，也可以对输入的任意一个图像进行处理，本公开对此不做限定。
根据本公开的实施例，如图1所示，该应用场景100还可以包括服务器140。电子设备110可以通过网络与服务器140通信连接，该网络可以包括无线或有线通信链路。
示例性地，服务器140可以用于训练目标检测模型，并响应于电子设备110发送的模型获取请求，将训练好的目标检测模型150发送给电子设备110，便于电子设备110对图像或视频帧序列中的图像帧进行目标检测。在一实施例中，电子设备110还可以通过网络将输入的图像或视频帧序列发送给服务器140，由服务器根据训练好的目标检测模型对获得的图像或视频帧序列中的图像帧进行目标检测。
根据本公开的实施例，如图1所示，该应用场景100还可以包括数据库160，该数据库160可以维护有海量的视频帧序列或图像，该些视频帧序列或图像可以具有标签，标签指示目标物体的类别和目标物体的位置信息。服务器140可以访问该数据库160，并从数据库160中抽取部分视频帧序列或图像，以对目标检测模型进行训练。
示例性地，目标检测模型例如可以为DERT(Detection Transformer)模型、基于记忆增强的全局-局部整合网络(Memory Enhanced Global-Local Aggregation)模型等。其中，DERT模型使用主干网络(backbone)模型进行特征提取，随后将提取的特征送入Transformer架构中进行编码-解码，输出目标物体的检测框和类别。DERT模型的改进版本Deformable DERT则使用特征金字塔网络(Feature Pyramid Networks，FPN)来提取特征，以增加Transformer架构的输入特征数量，该改进版本还使用可变形卷积(deformableconv)对Transformer架构进行加速。MEGA模型则通过增强注意力(attention)的方式对视频帧序列中的前后帧的检测特征进行关系建模。或者，该目标检测模型例如还可以为针对视频的目标检测模型，该模型使用两阶段的方式进行目标检测，首先使用区域生成网络(Region Proposal Network，RPN)进行特征的提取，随之通过对时域和空域的特征进行关系建模，以此提升视频目标检测的效果。
示例性地，输入电子设备110的视频帧序列或图像可以是在智能交通场景下采集的，以通过目标检测来进行车辆统计等。可以理解的是，该视频帧序列或图像的采集场景仅作为示例以利于理解本公开，该视频帧序列或图像还可以在任意的其他场景下采集。
需要说明的是，本公开所提供的采用目标检测模型检测图像的方法可以由电子设备110或服务器140执行。相应地，本公开所提供的采用目标检测模型检测图像的装置可以设置于电子设备110或服务器140中。
应该理解，图1中的电子设备、服务器和数据库的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备、服务器和数据库。
图2是根据本公开实施例的采用目标检测模型检测图像的方法的流程图。
如图2所示，该实施例的采用目标检测模型检测图像的方法200可以包括操作S210～操作S240。其中，目标检测模型至少包括有特征提取层、类别预测层、特征增强层和全连接层。
在操作S210，经由特征提取层获得待检测图像的多个特征信息。
根据本公开的实施例，特征提取层例如可以由VGG或ResNet(Residual NeuralNetwork)等主干网络模型构成，该特征提取层用于对待检测图像进行特征提取，获得该待检测图像的特征信息。该特征信息例如可以为特征图(feature map)。
根据本公开的实施例，可以将待检测图像作为特征提取层的输入，经由特征提取层处理后输出多个特征信息。可以理解的是，该操作与相关技术的目标检测过程中的特征提取操作类似，获得的多个特征信息可以为相关技术中用于输入全连接层的特征信息。
在操作S220，基于多个特征信息，经由类别预测层确定针对待检测图像的预测类别的个数。
根据本公开的实施例，该类别预测层可以由多个全连接层构成，该类别预测层中的参数通过训练得到。该类别预测层的输入为前述操作S210获得的多个特征信息，输出为预测类别的个数。在训练时，可以将前述从数据库中获取的图像或视频帧序列作为训练样本，根据该类别预测层输出的个数值与训练样本的标签所指示的目标物体的个数之间的差值，来对该类别预测层中参数的取值进行调整，实现对类别预测层的训练。其中，在训练过程中，例如可以采用下降梯度算法等调整参数的取值，具体可以采用反向传播算法来调整参数的取值。
根据本公开的实施例，在目标检测模型中，该类别预测层位于数据处理流中前述特征提取层的后端。该类别预测层包括的全连接层的个数可以根据实际需求进行设定，本公开对此不做限定。
在操作S230，基于预测类别的个数，经由特征增强层对多个特征信息进行增强，得到增强后特征信息。
根据本公开的实施例，可以将预测类别的个数与前文获得的多个特征信息同时输入特征增强层中，由特征增强层对该预测类别的个数与多个特征信息进行融合，并输出增强后特征信息。
示例性地，可以基于该预测类别的个数对多个特征信息进行聚类，并根据预先为每个聚类类别分配的权重来调整多个特征信息，将调整后的多个特征信息作为增强后特征信息。在一实施例中，可以采用下文描述的方法对多个特征信息进行增强，在此不再详述。
在操作S240，基于增强后特征信息，经由全连接层确定待检测图像的目标检测结果。
根据本公开的实施例，该操作S240可以将增强后特征信息作为全连接层的输入，经由全连接层处理后，由全连接层输出目标检测结果。其中，目标检测结果可以包括待检测图像中包括的目标物体的类别和指示目标物体在待检测图像中的位置信息的检测框。其中，全连接层与相关技术中目标检测模型中的全连接层类似，在此不再详述。
可以理解的是，该实施例的方法采用的目标检测模型可以以前述的DERT模型、MEGA模型等为基础架构，并在该基础架构中最后的全连接层之前设置前述的类别预测层和特征增强层，以实现对提取的特征信息的增强，使得增强后的特征信息能够更为准确地描述待检测图像。通过该方式，可以在一定程度上提高特征信息表达待检测图像的能力，从而提高检测该待检测图像的准确率，便于提高下游应用(例如检测异常物体或异常事件的应用，或者统计目标物体个数的应用)的准确性和用户体验。
以下将结合图3，对一示例性实施例所采用的目标检测模型及采用目标检测模型检测图像的方法的实现原理进行描述。
图3是根据本公开实施例的目标检测模型的架构示意图。
如图3所示，该实施例的目标检测模型300可以包括特征提取层310、类别预测层320、特征增强层和全连接层350。其中，特征增强层可以包括聚类层330和增强层340。
在该目标检测模型300中，可以将待检测图像301作为特征提取层310的输入，以经由该特征提取层310提取到多个特征信息302。特征提取层310可以以特征矩阵的形式输出该多个特征信息302，也可以以特征序列的形式输出该多个特征信息302。该多个特征信息302可以分为三路分别输入类别预测层320、聚类层330和增强层340。其中，类别预测层320用于根据输入的多个特征信息302，来确定待检测图像的预测类别的个数，并以将该预测类别的个数输出后作为聚类层330的输入。聚类层330可以用于根据输入的预测类别的个数和多个特征信息，对该多个特征信息进行聚类，并输出聚类得到的多个聚类组和各聚类组各自的聚类中心。聚类层330输出的多个聚类组和各聚类组各自的聚类中心可以作为增强层340的输入，增强层340用于根据输入的多个聚类组，对输入的多个特征信息和多个聚类组各自的聚类中心进行融合，得到增强后特征信息303并输出。增强后特征信息303可以作为全连接层350的输入，经由全连接层350处理后映射至以待检测图像包括的目标物体的个数为维度的空间，从而得到目标检测结果304。
示例性地，聚类层330例如可以采用谱聚类(Spectral Clustering)算法或K均值聚类算法(K-means Clustering Algorithm)等聚类算法来对多个特征信息进行聚类，从而得到k个聚类组和各聚类组的聚类中心。其中，k为预测类别的个数与预定值之和。其中，预定值例如可以为1或者任意大于0的整数。该实施例在基于预测类别的个数对该多个特征信息进行聚类时，之所以设定了k个聚类组，是由于多个特征信息中可以包括描述背景、而非描述目标物体的特征信息。通过对多个特征信息的聚类，聚类层330输出的数据可以包括指示多个特征信息中各特征信息所属聚类组的数据和k个聚类组中各聚类组的聚类中心。
示例性地，增强层340例如可以对输入的多个特征信息中的每个特征信息进行增强，增强过程可以为：将每个特征信息与该每个特征信息所属类别的聚类中心相加、相乘或经由concat函数进行融合，从而得到每个特征信息的增强后特征信息。例如，对于多个特征信息中的第i个特征信息，若其被聚类至k个聚类组中的第j个聚类组，则将该第i个特征信息与该第j个聚类组的聚类中心进行相加、相乘或使用concat函数进行连接，得到该第i个特征信息的增强后特征信息。
基于该实施例的目标检测模型300，前述经由特征增强层对多个特征信息进行增强的操作可以先基于预测类别的个数，经由聚类层330对多个特征信息进行聚类，获得多个聚类组和多个聚类组各自的聚类中心。在得到多个聚类组和各聚类组的聚类中心后，将聚类层330的输出和多个特征信息输入增强层340，从而经由增强层340将每个特征信息所属聚类组的聚类中心与该每个特征信息进行融合，获得针对每个特征信息的增强后特征信息。其中，聚类层330获得的聚类组的个数为预测类别的个数与预定值之和。
该实施例通过基于预测类别的个数来对多个特征信息进行聚类，并将聚类中心与各特征信息进行融合，可以在一定程度上提高增强后特征信息表达待检测图像中的目标物体的能力，并因此便于提高经由全连接层得到的检测结果的准确性。再者，通过根据预测类别的个数与预定值的和来设定聚类组的个数，可以提高确定的聚类中心的准确性，并因此进一步提高增强后特征信息表达待检测图像的准确性。
以下将结合图4，对另一示例性实施例所采用的目标检测模型及采用目标检测模型检测图像的方法的实现原理进行描述。
图4是根据本公开实施例的采用目标检测模型检测图像的方法的原理示意图。
根据本公开的实施例，若待检测图像为包括多个图像帧在内的视频帧序列中的任一图像帧，则在经由特征提取层来获得针对待检测图像的多个特征信息时，可以基于视频帧序列中该任一图像帧的在前n个图像帧与该任一图像帧，经由特征提取层获得多个特征信息。即在获得该任一图像帧的特征信息时，可以同时融合在前的n个图像帧向该任一图像帧的检测提供上下文信息，以此来解决该任一图像帧清晰度较低等原因导致的无法准确定位该任一图像帧中的目标物体的问题。并因此可以提高获取的特征信息的准确性，便于提高最终确定的目标检测结果的准确率。其中，n为自然数，该n的取值可以根据实际需求进行设定，本公开对此不做限定。其中，若该任一图像帧为视频帧序列中的第i图像帧，且i小于(n+1)，则可以取视频帧序列中该第i视频帧的在前所有图像帧。
示例性地，可以将该任一图像帧和在前n个图像帧根据图像帧根据相对于起始图像帧自后向前的顺序依次输入特征提取层，经由特征提取层输出多个特征信息。该多个特征信息可以以特征序列的形式输出。例如，若每个图像帧的宽度为W，高度为H，经由特征提取层得到的每个图像帧的特征信息例如可以表示为张量若该特征信息以特征序列的形式输出，则输出的每个图像帧的特征信息为H*W个C维的特征向量。以此类推，最终特征提取层输出的特征信息可以为(n+1)*H*W个C维的特征向量序列。
根据本公开的实施例，若待检测图像为包括多个图像帧在内的视频帧序列中的任一图像帧，则特征提取层可以使用自注意力机制的Transformer模型来进行特征提取，以此使得该特征提取层更适合对序列数据进行处理，并使得提取的特征能够融合上下文信息。在此基础上，该实施例的特征提取层可以包括图像特征提取层和编码解码层。其中，图像特征提取层的输入为前述按自后向前的顺序依次输入的任一图像帧和在前n个图像帧。该图像特征提取层的输出为特征序列，该特征序列中包括针对每一图像帧的特征向量。针对每一图像帧的特征向量可以为H*W个C维的特征向量。图像特征提取层输出的特征序列作为编码解码层的输入，经由编码解码层处理后可以输出得到前述的针对任一图像帧的多个特征信息。
示例性地，编码解码层可以包括编码层(Transformer encoder)和解码层(Transformer decoder)。编码层用于对输入的特征序列进行统一编码，以实现对上下文信息的融合。该编码层输出的编码后特征信息作为解码层的输入，经由解码层解码后实现对融合了上下文信息的编码后特征信息的特征提取，得到前述的针对任一图像帧的多个特征信息。
根据本公开的实施例，在经由特征提取层提取特征信息时，例如还可以融合该任一图像帧的时间信息和/或位置信息后，再进行特征提取，以此使得特征提取过程在基于自注意力机制的Transformer模型来实现的同时，可以保留该任一图像帧的时间特征和/或位置特征。
根据本公开的实施例，如图4所示，该实施例的目标检测模型400中，可以包括特征提取层、类别预测层450、特征增强层和全连接层480。其中，特征提取层可以包括图像特征提取层410、编码特征提取层420、第一融合层430和编码解码层440。其中，编码解码层440与前文描述的编码解码层类似，在此不再赘述。
示例性地，图像特征提取层410可以基于前述的主干网络模型构成，用于提取任一图像帧和在前n个图像帧中每个图像帧的图像特征，例如可以得到每个图像帧的图像特征信息(例如可以为feature map)。在对视频帧序列中的第i图像帧403进行检测时，该图像特征提取层410的输入可以包括按顺序依次输入的第i图像帧403、第(i-1)图像帧、...第(i-n+1)图像帧402和第(i-n)图像帧401。若每个图像帧的宽度为W，高度为H，经由图像特征提取层410得到的每个图像帧的图像特征信息可以表示为张量相应地，对于输入的(n+1)个图像帧，该图像特征提取层的输出可以为图像特征信息序列，该序列包括(n+1)个张量/>
示例性地，编码特征提取层420可以基于正弦位置编码方法、学习位置编码方法或相对位置表达方法来提取每个图像帧的编码特征信息。例如，在对视频帧序列中的第i图像帧403进行检测时，该编码特征提取层420的输入可以包括按顺序依次输入的第i图像帧403、第(i-1)图像帧、...第(i-n+1)图像帧402和第(i-n)图像帧401。若每个图像帧的宽度为W，高度为H，经由编码特征提取层420处理，例如可以得到H*W个C2维的向量，该些向量可以组成表示编码特征信息的张量相应地，对于输入的(n+1)个图像帧，该编码特征提取层420的输出为编码特征信息序列，该序列包括(n+1)个张量/>
在一实施例中，该编码特征提取层420获得的每一图像帧的编码特征信息可以包括位置编码信息和时间编码信息。
例如，该编码特征提取层在获取到输入的每一图像帧后，可以基于每一图像帧的像素位置信息，来获得该每一图像帧的位置编码信息。例如可以对每一图像帧的每个像素，根据该每个像素在基于该每一图像帧建立的坐标系中的坐标值，采用正弦位置编码方法、学习位置编码方法或相对位置表达方法进行编码，得到针对每个像素的位置编码，该位置编码可以表示为一个C21维的向量。则对应每个图像帧，得到的位置编码为H*W个C21维的向量，该些向量可以组成表示位置编码信息的张量
类似地，该编码特征提取层在获取到输入的每一图像帧后，例如可以基于该每一图像帧相对于视频帧序列中起始图像帧的时间信息，获得每一图像帧的时间编码信息。例如可以采用正弦位置编码方法、学习位置编码方法或相对位置表达方法等对该每一图像帧的时间信息进行编码，得到一个C22维的向量，通过对该C22维的向量进行两个维度的复制，得到H*W个C22维的向量，并组成表示时间编码信息的张量
在得到时间编码信息和位置编码信息后，该编码特征提取层420例如可以采用加法、乘法或concat函数来对时间编码信息和位置编码信息进行融合，得到每一帧图像的编码特征信息。例如，若采用concat函数进行融合，则每一帧图像的编码特征信息可以表示为其中，前文中的C2＝C21+C22。
示例性地，第一融合层430的输入为图像特征提取层410输出的图像特征信息序列和编码特征信息序列。该第一融合层430例如可以用于对两个序列中相同位置的特征信息进行融合，得到针对每个图像帧的融合后信息。例如，对第i图像帧403的图像特征信息和第i图像帧403的编码特征信息进行融合，以此类推，对第(i-n+1)图像帧402的图像特征信息和第(i-n+1)图像帧402的编码特征信息进行融合，对第(i-n)图像帧401的图像特征信息和第(i-n)图像帧401的编码特征信息进行融合。其中，第一融合层430例如可以采用加法、乘法或concat函数来对图像特征信息和编码特征信息融合。若采用concat函数进行融合，则融合得到的针对每个图像帧的融合后信息例如可以由张量来表示，或者由H*W个(C1+C2)维的向量来表示。
在一实施例中，编码特征提取层420例如可以包括位置编码提取层和时间编码提取层。位置编码提取层用于采用前文类似的方法来确定每一图像帧的位置编码特征，时间编码提取层用于采用前文类似的方法来确定每一图像帧的时间编码特征。对于第i图像帧403、...、第(i-n+1)图像帧402和第(i-n)图像帧401，位置编码提取层的输入为图像帧序列，输出为与图像帧序列对应的位置编码特征序列。相应地，时间编码提取层的输入为图像帧序列，输出为与图像帧序列对应的时间编码特征序列。相应地，第一融合层430用于对图像特征信息、位置编码特征序列中的位置编码信息和时间编码特征序列中的时间编码信息进行融合。
示例性地，第一融合层430输出的为融合后信息序列，该融合后信息序列作为编码解码层440的输入，并经由该编码解码层440处理后，可以得到多个特征信息404。
示例性地，特征增强层可以包括聚类层460和增强层470，该聚类层460和增强层470分别与前文描述的聚类层和增强层类似，在此不再赘述。采用与前文描述的方法类似的方法，多个特征信息404输入类别预测层450后，可以得到第i图像帧403的预测类别的个数。以该预测类别的个数和多个特征信息404作为聚类层460的输入，可以得到多个聚类组和各聚类组的聚类中心。将聚类层460的输出和多个特征信息404作为增强层470的输入，可以得到增强后特征信息405。该增强后特征信息405经由全连接层480处理后，即可得到目标检测结果406。
基于该目标检测模型400，前述经由特征提取层获得待检测图像的多个特征信息的操作可以先针对任一图像帧和在前n个图像帧中的每一图像帧，经由图像特征提取层410获得每一图像帧的图像特征信息，并经由编码特征提取层420获得每一图像帧的编码特征信息。在得到编码特征信息和图像特征信息后，经由第一融合层430来对编码特征信息和图像特征信息进行融合，获得针对每一图像帧的融合后信息。将该任一图像帧和在前n个图像帧的融合后信息顺序地输入编码解码层440，获得多个特征信息404。
在一实施例中，在编码特征提取层提取编码特征信息时，例如可以采用学习编码的算法来提取特征信息，该学习编码的算法实质上为一种embedding的方式来对图像中的像素位置和图像的时间信息进行编码。由于该方法中，参数的取值可以在目标检测模型的训练过程中不断调整，从而可以使得该学习编码的算法不断得到优化。相较于采用正弦位置编码方法等，可以提高提取的编码特征信息的准确性。
综上分析，本公开实施例在获取多个特征信息时，通过分别提取图像特征信息和编码特征信息，并对该图像特征信息和编码特征信息进行融合后再经由编码解码层440进行特征提取，可以使得提取得到的多个特征信息不仅融合了上下文信息，还融合了图像的位置特征，因此可以使得该检测方法在适用于对视频帧进行处理的同时，确保提取的特征信息的准确性和检测结果的准确率。再者，上述实施例融合编码特征信息时，通过同时融合位置编码信息和时间编码信息，可以使得最终提取到的特征信息能够更好的表达待检测图像帧在视频帧序列中的时间和位置，从而进一步提高确定的特征信息的准确性，提高最终确定的目标检测结果的准确率。
以下将结合图5，对另一示例性实施例所采用的目标检测模型及采用目标检测模型检测图像的方法的实现原理进行描述。
图5是根据本公开另一实施例的采用目标检测模型检测图像的方法的原理示意图。
如图5所示，该实施例的目标检测模型500中，可以包括特征提取层、类别预测层570、特征增强层和全连接层5100。其中，特征提取层可以包括图像特征提取层510、编码特征提取层520、第一融合层530和编码解码层，编码解码层包括编码层540、第二融合层550和解码层560。其中，图像特征提取层510、编码特征提取层520、第一融合层530、类别预测层570、特征增强层和全连接层5100与前文描述的各层类似，在此不再赘述。在一实施例中，特征增强层可以包括聚类层580和增强层590，在此不再赘述。
示例性地，编码层540可以由Transformer模型的编码组件构成，该编码组件由多个编码器叠加在一起而构成。每个编码器在结构上都是相同的，例如每个编码器都包括自注意力层和前馈(feed-forward)神经网络，该自注意力层用于关注与第i图像帧503的融合后特征信息一并输入的其他图像帧的融合后特征信息。该编码层540的输入为前述第一融合层530顺序输出的任一图像帧的融合后信息和在前n个图像帧的融合后信息。该编码层540可以对每个融合后信息进行编码，得到与该每个融合后信息对应的编码后特征信息。在一实施例中，该编码层540的输入为融合后信息序列，输出为编码后特征序列，且该编码后特征序列中的特征信息个数与融合后信息序列中融合后信息的个数相等。
例如，该编码层540的输入可以为第一融合层530输出的(n+1)个张量组成的序列，或者由(n+1)*H*W个(C1+C2)维的向量根据输出第一融合层530的顺序组成的序列。相应地，该编码层540的输出例如可以为(n+1)个张量/>或者，由(n+1)*H*W个C3维的向量根据输出编码层540的顺序组成的序列。其中，C3为对该编码层对每个(C1+C2)维的向量编码后得到的向量的维数。
示例性地，第二融合层550可以采用与前文描述的第一融合层相似的融合方法，对任一图像帧和在前n个图像帧的编码特征信息与编码层540输出的编码后特征序列进行融合，得到融合后特征序列。
在一实施例中，对于输入的第i图像帧503、...、第(i-n+1)图像帧502和第(i-n)图像帧501，编码层540输出的编码后特征序列中包括每一图像帧的编码后特征，该每一图像帧的编码后特征为张量或者H*W个C3维的向量。若每一图像帧的编码后特征由张量/>表示，则该第二融合层550可以采用相加、相乘或concat函数对该每一图像帧的编码后特征/>与编码特征提取层520提取的每一图像帧的编码特征信息进行融合，得到每一图像帧的融合后特征/>若每一图像帧的编码后特征由H*W个C3维的向量表示，则经由第二融合层550融合后，可以得到每一图像帧的融合后特征为H*W个(C3+C2)维的向量。以此类推，可以得到第i图像帧503、...、第(i-n+1)图像帧502和第(i-n)图像帧501的共(n+1)个融合后特征。该(n+1)个融合后特征根据前述的自后向前的顺序依次排列，即可得到融合后特征序列。
示例性地，解码层560可以由Transformer模型的解码组件构成，该解码组件由多个解码器叠加在一起而构成。每个解码器在结构上都是相同的，例如每个解码器都包括自注意力层、编码-解码注意力层和前馈(feed-forward)神经网络。该解码层560的输入为第二融合层550输出的融合后特征序列，经由该解码层560处理后，可以得到多个特征信息504。
类似地，该多个特征信息504输入类别预测层570后，可以得到第i图像帧503的预测类别的个数。以该预测类别的个数和多个特征信息504作为聚类层580的输入，可以得到多个聚类组和各聚类组的聚类中心。将聚类层580的输出和多个特征信息504作为增强层590的输入，可以得到增强后特征信息505。该增强后特征信息505经由全连接层5100处理后，即可得到目标检测结果506。
基于该目标检测模型500，前述将任一图像帧和n个图像帧的融合后信息顺序地输入编码解码层，获得多个特征信息的操作可以先将任一图像帧和n个图像帧的融合后信息顺序地输入编码层540，获得编码后特征序列。该编码后特征序列中的特征信息个数与输入到编码层的融合后信息的个数相等。在得到编码后特征序列后，经由第二融合层550，将任一图像帧和n个图像帧的编码特征信息与编码后特征序列进行融合，获得融合后特征序列。将该融合后特征序列输入解码层560，即可获得多个特征信息。
综上分析，本公开实施例在将经由编码层得到的编码后特征序列输入解码层之前，再次经由第二融合层将编码后特征与编码位置信息进行融合，可以使得输入解码层的特征进一步地表达待检测图像的时间特征和/或位置特征。并因此可以使得解码层输出的特征信息更够更好地表达待检测图像在视频帧序列中的时间和位置，从而进一步提高确定的特征信息的准确性，提高最终确定的目标检测结果的准确率。
基于本公开提供的采用目标检测模型检测图像的方法，本公开还提供了一种采用目标检测模型检测图像的装置，以下将结合图6对该装置进行详细描述。
图6是根据本公开实施例的采用目标检测模型检测图像的装置的结构框图。
如图6所示，该实施例的采用目标检测模型检测图像的装置600可以包括特征信息获得模块610、类别个数确定模块620、特征增强模块630和检测确定模块640。其中，目标检测模型包括特征提取层、类别预测层、特征增强层和全连接层。
特征信息获得模块610用于经由特征提取层获得待检测图像的多个特征信息。在一实施例中，特征信息获得模块610用于执行前文描述的操作S210，在此不再赘述。
类别个数确定模块620用于基于多个特征信息，经由类别预测层确定针对待检测图像的预测类别的个数。在一实施例中，类别个数确定模块620用于执行前文描述的操作S220，在此不再赘述。
特征增强模块630用于基于预测类别的个数，经由特征增强层对多个特征信息进行增强，得到增强后特征信息。在一实施例中，特征增强模块630用于执行前文描述的操作S230，在此不再赘述。
检测确定模块640用于基于增强后特征信息，经由全连接层确定待检测图像的目标检测结果。在一实施例中，检测确定模块640用于执行前文描述的操作S240，在此不再赘述。
根据本公开的实施例，上述特征增强层包括聚类层和增强层。上述特征增强模块630可以包括聚类子模块和增强子模块。聚类子模块用于基于预测类别的个数，经由聚类层对多个特征信息进行聚类，获得多个聚类组和多个聚类组各自的聚类中心。增强子模块用于针对多个特征信息中的每个特征信息，经由增强层将每个特征信息所属聚类组的聚类中心与每个特征信息进行融合，获得针对每个特征信息的增强后特征信息。
根据本公开的实施例，上述多个聚类组的个数为所述预测类别的个数与预定值之和。
根据本公开的实施例，上述待检测图像为包括多个图像帧在内的视频帧序列中的任一图像帧。上述特征信息获得模块具体用于：基于视频帧序列中任一图像帧的在前n个图像帧和任一图像帧，经由特征提取层获得多个特征信息。其中，n为自然数。
根据本公开的实施例，上述特征提取层包括编码特征提取层、第一融合层、图像特征提取层和编码解码层。上述特征信息获得模块包括特征获得子模块、特征融合子模块和编解码子模块。特征获得子模块用于针对任一图像帧和n个图像帧中的每一图像帧，经由编码特征提取层获得每一图像帧的编码特征信息，并经由图像特征提取层获得每一图像帧的图像特征信息。特征融合子模块用于经由第一融合层将图像特征信息与编码特征信息进行融合，获得每一图像帧的融合后信息。编解码子模块用于将任一图像帧和n个图像帧的融合后信息顺序地输入编码解码层，获得多个特征信息。
根据本公开的实施例，上述编码解码层包括编码层、第二融合层和解码层。上述编解码子模块可以包括编码单元、融合单元和解码单元。编码单元用于将任一图像帧和n个图像帧的融合后信息顺序地输入编码层，获得编码后特征序列。该编码后特征序列中的特征信息个数与输入到编码层的融合后信息的个数相等。融合单元用于经由第二融合层，将任一图像帧和n个图像帧的编码特征信息与编码后特征序列进行融合，获得融合后特征序列。解码单元用于将融合后特征序列输入所述解码层，获得多个特征信息。
根据本公开的实施例，上述特征获得子模块包括位置编码获得单元和时间编码获得单元。位置编码获得单元用于基于每一图像帧的像素位置信息，获得每一图像帧的位置编码信息。时间编码获得单元用于基于每一图像帧相对于视频帧序列中起始图像帧的时间信息，获得每一图像帧的时间编码信息。
根据本公开的实施例，上述编码特征提取层采用学习编码的算法获得每一图像帧的编码特征信息。
根据本公开的实施例，上述编码解码层采用Transformer模型获得所述多个特征信息。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的采用目标检测模型检测图像的方法的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如采用目标检测模型检测图像的方法。例如，在一些实施例中，采用目标检测模型检测图像的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的采用目标检测模型检测图像的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行采用目标检测模型检测图像的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种采用目标检测模型检测图像的方法，其中，所述目标检测模型包括特征提取层、类别预测层、特征增强层和全连接层；所述方法包括：
经由所述特征提取层获得待检测图像的多个特征信息；
基于所述多个特征信息，经由所述类别预测层确定针对所述待检测图像的预测类别的个数；
基于所述预测类别的个数，经由所述特征增强层对所述多个特征信息进行增强，得到增强后特征信息；以及
基于所述增强后特征信息，经由所述全连接层确定所述待检测图像的目标检测结果；
其中，所述特征增强层包括聚类层和增强层；经由所述特征增强层对所述多个特征信息进行增强包括：
基于所述预测类别的个数，经由所述聚类层对所述多个特征信息进行聚类，获得多个聚类组和所述多个聚类组各自的聚类中心；以及
针对所述多个特征信息中的每个特征信息，经由所述增强层将所述每个特征信息所属聚类组的聚类中心与所述每个特征信息进行融合，获得针对所述每个特征信息的增强后特征信息；
其中，所述多个聚类组的个数为所述预测类别的个数与预定值之和。
2.根据权利要求1所述的方法，其中，所述待检测图像为包括多个图像帧在内的视频帧序列中的任一图像帧；所述经由所述特征提取层获得针对所述待检测图像的多个特征信息包括：
基于所述视频帧序列中所述任一图像帧的在前n个图像帧和所述任一图像帧，经由所述特征提取层获得所述多个特征信息，
其中，n为自然数。
3.根据权利要求2所述的方法，其中，所述特征提取层包括编码特征提取层、第一融合层、图像特征提取层和编码解码层；经由所述特征提取层获得待检测图像的多个特征信息包括：
针对所述任一图像帧和所述n个图像帧中的每一图像帧，经由所述编码特征提取层获得所述每一图像帧的编码特征信息，并经由所述图像特征提取层获得所述每一图像帧的图像特征信息；
经由所述第一融合层将所述图像特征信息与所述编码特征信息进行融合，获得所述每一图像帧的融合后信息；以及
将所述任一图像帧和所述n个图像帧的融合后信息顺序地输入所述编码解码层，获得所述多个特征信息。
4.根据权利要求3所述的方法，其中，所述编码解码层包括编码层、第二融合层和解码层；获得所述多个特征信息包括：
将所述任一图像帧和所述n个图像帧的融合后信息顺序地输入所述编码层，获得编码后特征序列，所述编码后特征序列中的特征信息个数与输入到所述编码层的融合后信息的个数相等；
经由所述第二融合层，将所述任一图像帧和所述n个图像帧的编码特征信息与所述编码后特征序列进行融合，获得融合后特征序列；以及
将所述融合后特征序列输入所述解码层，获得所述多个特征信息。
5. 根据权利要求3所述的方法，其中，经由所述编码特征提取层获得所述每一图像帧的编码特征信息包括：
基于所述每一图像帧的像素位置信息，获得所述每一图像帧的位置编码信息；以及
基于所述每一图像帧相对于所述视频帧序列中起始图像帧的时间信息，获得所述每一图像帧的时间编码信息。
6.根据权利要求3或5所述的方法，其中，所述编码特征提取层采用学习编码的算法获得所述每一图像帧的编码特征信息。
7.根据权利要求3或4所述的方法，其中，所述编码解码层采用Transformer模型获得所述多个特征信息。
8.一种采用目标检测模型检测图像的装置，其中，所述目标检测模型包括特征提取层、类别预测层、特征增强层和全连接层；所述装置包括：
特征信息获得模块，用于经由所述特征提取层获得待检测图像的多个特征信息；
类别个数确定模块，用于基于所述多个特征信息，经由所述类别预测层确定针对所述待检测图像的预测类别的个数；
特征增强模块，用于基于所述预测类别的个数，经由所述特征增强层对所述多个特征信息进行增强，得到增强后特征信息；以及
检测确定模块，用于基于所述增强后特征信息，经由所述全连接层确定所述待检测图像的目标检测结果；
其中，所述特征增强层包括聚类层和增强层；所述特征增强模块包括：
聚类子模块，用于基于所述预测类别的个数，经由所述聚类层对所述多个特征信息进行聚类，获得多个聚类组和所述多个聚类组各自的聚类中心；以及
增强子模块，用于针对所述多个特征信息中的每个特征信息，经由所述增强层将所述每个特征信息所属聚类组的聚类中心与所述每个特征信息进行融合，获得针对所述每个特征信息的增强后特征信息；
其中，所述多个聚类组的个数为所述预测类别的个数与预定值之和。
9.根据权利要求8所述的装置，其中，所述待检测图像为包括多个图像帧在内的视频帧序列中的任一图像帧；所述特征信息获得模块具体用于：
基于所述视频帧序列中所述任一图像帧的在前n个图像帧和所述任一图像帧，经由所述特征提取层获得所述多个特征信息，
其中，n为自然数。
10.根据权利要求9所述的装置，其中，所述特征提取层包括编码特征提取层、第一融合层、图像特征提取层和编码解码层；所述特征信息获得模块包括：
特征获得子模块，用于针对所述任一图像帧和所述n个图像帧中的每一图像帧，经由所述编码特征提取层获得所述每一图像帧的编码特征信息，并经由所述图像特征提取层获得所述每一图像帧的图像特征信息；
特征融合子模块，用于经由所述第一融合层将所述图像特征信息与所述编码特征信息进行融合，获得所述每一图像帧的融合后信息；以及
编解码子模块，用于将所述任一图像帧和所述n个图像帧的融合后信息顺序地输入所述编码解码层，获得所述多个特征信息。
11.根据权利要求10所述的装置，其中，所述编码解码层包括编码层、第二融合层和解码层；所述编解码子模块包括：
编码单元，用于将所述任一图像帧和所述n个图像帧的融合后信息顺序地输入所述编码层，获得编码后特征序列，所述编码后特征序列中的特征信息个数与输入到所述编码层的融合后信息的个数相等；
融合单元，用于经由所述第二融合层，将所述任一图像帧和所述n个图像帧的编码特征信息与所述编码后特征序列进行融合，获得融合后特征序列；以及
解码单元，用于将所述融合后特征序列输入所述解码层，获得所述多个特征信息。
12. 根据权利要求10所述的装置，其中，特征获得子模块包括：
位置编码获得单元，用于基于所述每一图像帧的像素位置信息，获得所述每一图像帧的位置编码信息；以及
时间编码获得单元，用于基于所述每一图像帧相对于所述视频帧序列中起始图像帧的时间信息，获得所述每一图像帧的时间编码信息。
13.根据权利要求10或12所述的装置，其中，所述编码特征提取层采用学习编码的算法获得所述每一图像帧的编码特征信息。
14.根据权利要求10或11所述的装置，其中，所述编码解码层采用Transformer模型获得所述多个特征信息。
15. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1~7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1~7中任一项所述的方法。
CN202110470138.8A 2021-04-28 2021-04-28 采用目标检测模型检测图像的方法、装置、设备和介质 Active CN113222916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110470138.8A CN113222916B (zh) 2021-04-28 2021-04-28 采用目标检测模型检测图像的方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110470138.8A CN113222916B (zh) 2021-04-28 2021-04-28 采用目标检测模型检测图像的方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113222916A CN113222916A (zh) 2021-08-06
CN113222916B true CN113222916B (zh) 2023-08-18

Family

ID=77089794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110470138.8A Active CN113222916B (zh) 2021-04-28 2021-04-28 采用目标检测模型检测图像的方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113222916B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673425B (zh) * 2021-08-19 2022-03-15 清华大学 一种基于Transformer的多视角目标检测方法及系统
CN113807220A (zh) * 2021-09-06 2021-12-17 丰图科技(深圳)有限公司 交通事件检测方法、装置、电子设备和可读存储介质
CN114037925A (zh) * 2021-09-27 2022-02-11 北京百度网讯科技有限公司 目标检测模型的训练、检测方法、装置及电子设备
CN113869205A (zh) * 2021-09-27 2021-12-31 北京百度网讯科技有限公司 对象检测方法、装置、电子设备和存储介质
CN113837305B (zh) 2021-09-29 2022-09-23 北京百度网讯科技有限公司 目标检测及模型训练方法、装置、设备和存储介质
CN113901909B (zh) * 2021-09-30 2023-10-27 北京百度网讯科技有限公司 基于视频的目标检测方法、装置、电子设备和存储介质
CN113887423A (zh) * 2021-09-30 2022-01-04 北京百度网讯科技有限公司 目标检测方法、装置、电子设备和存储介质
CN114120172B (zh) * 2021-10-29 2023-08-29 北京百度网讯科技有限公司 基于视频的目标检测方法、装置、电子设备及存储介质
CN114120420B (zh) * 2021-12-01 2024-02-13 北京百度网讯科技有限公司 图像检测方法和装置
CN114549883B (zh) * 2022-02-24 2023-09-05 北京百度网讯科技有限公司 图像处理方法、深度学习模型的训练方法、装置和设备
CN114283347B (zh) * 2022-03-03 2022-07-15 粤港澳大湾区数字经济研究院(福田) 目标检测方法、系统、智能终端及计算机可读存储介质
CN114743018B (zh) * 2022-04-21 2024-05-31 平安科技（深圳）有限公司 图像描述生成方法、装置、设备及介质
CN115097941B (zh) * 2022-07-13 2023-10-10 北京百度网讯科技有限公司 人物交互检测方法、装置、设备以及存储介质
CN115761444B (zh) * 2022-11-24 2023-07-25 张栩铭 一种非完整信息目标识别模型的训练方法及目标识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893936A (zh) * 2016-03-28 2016-08-24 浙江工业大学 一种基于hoirm和局部特征融合的行为识别方法
CN108460403A (zh) * 2018-01-23 2018-08-28 上海交通大学 一种图像中多尺度特征融合的目标检测方法与系统
CN110097000A (zh) * 2019-04-29 2019-08-06 东南大学 基于局部特征聚合描述符和时序关系网络的视频行为识别方法
CN111008280A (zh) * 2019-12-04 2020-04-14 北京百度网讯科技有限公司 一种视频分类方法、装置、设备和存储介质
CN111259735A (zh) * 2020-01-08 2020-06-09 西安电子科技大学 基于多级预测特征增强卷积神经网络的单人姿态估计方法
CN111401380A (zh) * 2020-03-24 2020-07-10 北京工业大学 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法
CN112381101A (zh) * 2021-01-13 2021-02-19 南京理工大学 一种基于类别原型回归的红外道路场景分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111954052B (zh) * 2019-05-17 2022-04-05 上海哔哩哔哩科技有限公司 显示弹幕信息的方法、计算机设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893936A (zh) * 2016-03-28 2016-08-24 浙江工业大学 一种基于hoirm和局部特征融合的行为识别方法
CN108460403A (zh) * 2018-01-23 2018-08-28 上海交通大学 一种图像中多尺度特征融合的目标检测方法与系统
CN110097000A (zh) * 2019-04-29 2019-08-06 东南大学 基于局部特征聚合描述符和时序关系网络的视频行为识别方法
CN111008280A (zh) * 2019-12-04 2020-04-14 北京百度网讯科技有限公司 一种视频分类方法、装置、设备和存储介质
CN111259735A (zh) * 2020-01-08 2020-06-09 西安电子科技大学 基于多级预测特征增强卷积神经网络的单人姿态估计方法
CN111401380A (zh) * 2020-03-24 2020-07-10 北京工业大学 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法
CN112381101A (zh) * 2021-01-13 2021-02-19 南京理工大学 一种基于类别原型回归的红外道路场景分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mahendra Prasad.Unsupervised feature selection and cluster center initialization based arbitrary shaped clusters for intrusion detection.《Computers & Security》.2020,第99卷全文. *

Also Published As

Publication number Publication date
CN113222916A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113222916B (zh) 采用目标检测模型检测图像的方法、装置、设备和介质
CN113657390B (zh) 文本检测模型的训练方法和检测文本方法、装置和设备
CN113313022B (zh) 文字识别模型的训练方法和识别图像中文字的方法
CN114549840B (zh) 语义分割模型的训练方法和语义分割方法、装置
CN115578735B (zh) 文本检测方法和文本检测模型的训练方法、装置
CN113901909B (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
CN113792526B (zh) 字符生成模型的训练方法、字符生成方法、装置和设备和介质
CN113177449B (zh) 人脸识别的方法、装置、计算机设备及存储介质
CN113591566A (zh) 图像识别模型的训练方法、装置、电子设备和存储介质
CN114022887B (zh) 文本识别模型训练及文本识别方法、装置、电子设备
CN114863437B (zh) 文本识别方法、装置、电子设备和存储介质
CN113869205A (zh) 对象检测方法、装置、电子设备和存储介质
CN113887615A (zh) 图像处理方法、装置、设备和介质
CN116363459A (zh) 目标检测方法、模型训练方法、装置、电子设备及介质
CN114120172B (zh) 基于视频的目标检测方法、装置、电子设备及存储介质
CN114863182A (zh) 图像分类方法、图像分类模型的训练方法及装置
CN117523645B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN114973333B (zh) 人物交互检测方法、装置、设备以及存储介质
CN115097941B (zh) 人物交互检测方法、装置、设备以及存储介质
CN115169489B (zh) 数据检索方法、装置、设备以及存储介质
JP7403673B2 (ja) モデルトレーニング方法、歩行者再識別方法、装置および電子機器
CN113177483B (zh) 视频目标分割方法、装置、设备以及存储介质
CN114419327A (zh) 图像检测方法和图像检测模型的训练方法、装置
CN113806541A (zh) 情感分类的方法和情感分类模型的训练方法、装置
CN114078097A (zh) 图像去雾模型的获取方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant