CN114742990A - 基于人工智能的目标检测方法、装置、设备及存储介质 - Google Patents

基于人工智能的目标检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114742990A
CN114742990A CN202210358349.7A CN202210358349A CN114742990A CN 114742990 A CN114742990 A CN 114742990A CN 202210358349 A CN202210358349 A CN 202210358349A CN 114742990 A CN114742990 A CN 114742990A
Authority
CN
China
Prior art keywords
anchor point
thermodynamic diagram
target detection
image
key target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210358349.7A
Other languages
English (en)
Inventor
郑喜民
王颖妮
舒畅
陈又新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210358349.7A priority Critical patent/CN114742990A/zh
Publication of CN114742990A publication Critical patent/CN114742990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，揭示了一种基于人工智能的目标检测方法、装置、设备及存储介质，其中方法包括：将待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测，关键目标检测模型包括：类激活映射模块和关键目标热力图映射模块；将待检测图像特征和等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取；将各个关键目标热力图和锚点图像特征进行融合处理得到锚点融合特征；根据锚点融合特征和预设的锚点热力阈值确定每个锚点的锚点分类；根据各个锚点对应的各个锚点分类生成目标检测结果。降低了人工标注的成本，使得模型具有可解释性，向使用者解释了模型做出决策的原因，提高了对小目标和非刚性物体的鲁棒性。

Description

基于人工智能的目标检测方法、装置、设备及存储介质
技术领域
本申请涉及到人工智能技术领域，特别是涉及到一种基于人工智能的目标检测方法、装置、设备及存储介质。
背景技术
在目标检测任务中，标注实例级别的注释信息需要耗费大量的人力物力资源，相比之下，对图像进行类别标注是一种省时省力的方式，可以为模型训练提供大量的数据资源。现有的目标检测网络大多都依赖于预先定义的锚点框，然而在实际应用中，需要检测的目标的尺寸往往是复杂多变的，即使对锚点框进行精心的设计，预定义的锚点框往往无法满足所有的情况，当目标的形状或尺寸发生较大改变时检测结果较差，因此其泛化能力会受到限制，因此使用弱监督的方式来学习目标检测已经是热点研究内容。但是基于类别的弱监督方法对小目标和非刚性物体的鲁棒性较差，同时还会出现重复标注的问题，模型的决策机制依然是不可知的，缺乏可解释性。
发明内容
本申请的主要目的为提供一种基于人工智能的目标检测方法、装置、设备及存储介质，旨在解决目前基于类别的弱监督方法对小目标和非刚性物体的鲁棒性较差，同时还会出现重复标注的问题，模型的决策机制依然是不可知的，缺乏可解释性的技术问题。
为了实现上述发明目的，本申请提出一种基于人工智能的目标检测方法，所述方法包括：
获取初始图像对应的待检测图像特征及等间隔锚点位置数据；
将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测，其中，所述关键目标检测模型包括：类激活映射模块和关键目标热力图映射模块；
将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取；
将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征；
根据所述锚点融合特征和预设的锚点热力阈值，确定每个锚点的锚点分类；
根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果。
进一步的，所述将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测的步骤，包括：
将所述待检测图像特征输入所述类激活映射模块的解码器，以生成特征映射数据；
将所述特征映射数据输入所述类激活映射模块的全局平均池化层，以生成分类预测向量；
将所述分类预测向量输入所述关键目标热力图映射模块的热力图生成子模块，以生成初始目标热力图；
将所述初始目标热力图输入所述关键目标热力图映射模块的上采样子模块进行上采样，以生成所述关键目标热力图。
进一步的，所述初始目标热力图的计算公式K为：
Figure BDA0003582896550000021
Figure BDA0003582896550000022
其中，N是所述分类预测向量中的向量元素的总数量，sn是所述分类预测向量中的第n个向量元素的值，σ(Mn)是对Mn进行归一化计算，C是所述解码器的最后一个卷积层的通道数，ωi,n是W由(i,n)索引得到的值，W∈RC×N，RC×N是所述全局平均池化层的权重矩阵，Fi是所述特征映射数据中的第i个特征，Fi对应所述解码器的最后一个卷积层的第i个通道。
进一步的，所述将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取的步骤，包括：
将所述待检测图像特征输入所述锚点特征提取模型的特征提取模块进行特征提取，以形成待分析图像特征，其中，所述特征提取模块依次包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
采用所述锚点特征提取模型的特征融合模块，对所述待分析图像特征和所述等间隔锚点位置数据进行相乘处理，以形成所述锚点图像特征。
进一步的，所述第一卷积层、所述第二卷积层和所述第三卷积层的通道数均为256；
所述第四卷积层的通道数为128；
所述第五卷积层的通道数为512。
进一步的，所述将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征的步骤，包括：
根据各个所述关键目标热力图，对每个锚点进行影响权重计算；
根据各个所述影响权重和所述锚点图像特征进行相同锚点位置的数据相乘处理，得到所述锚点融合特征。
进一步的，所述根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果的步骤，包括：
采用OPENCV回归方法，对各个所述锚点对应的各个所述锚点分类进行矩形框的回归，得到每个目标对应的锚定矩形框；
将每个所述锚定矩形框的四个顶点的坐标，作为顶点坐标集；
将各个所述顶点坐标集，作为所述目标检测结果。
本申请还提出了一种基于人工智能的目标检测装置，所述装置包括：
数据获取模块，用于获取初始图像对应的待检测图像特征及等间隔锚点位置数据；
关键目标热力图确定模块，用于将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测，其中，所述关键目标检测模型包括：类激活映射模块和关键目标热力图映射模块；
锚点图像特征确定模块，用于将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取；
锚点融合特征确定模块，用于将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征；
锚点分类确定模块，用于根据所述锚点融合特征和预设的锚点热力阈值，确定每个锚点的锚点分类；
目标检测结果确定模块，用于根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果。
本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于人工智能的目标检测方法、装置、设备及存储介质，其中方法通过将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测，其中，所述关键目标检测模型包括：类激活映射模块和关键目标热力图映射模块；将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取；将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征；根据所述锚点融合特征和预设的锚点热力阈值，确定每个锚点的锚点分类；根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果。首先通过关键目标检测模型实现了目标的组成信息的热力信息，其次通过锚点特征提取模型提取了每个锚点的图像特征，然后根据提取的目标的热力信息和锚点的图像特征依次进行融合处理、锚点分类及确定目标检测结果，从而实现了基于类别标签结合类激活映射得到目标检测结果，降低了人工标注的成本，类激活映射使得模型具有可解释性，向使用者解释了模型做出决策的原因，增加了模型的可信度；通过引入等间隔锚点位置数据，实现了可以很好的解决物体的局部聚焦问题，提高了对小目标和非刚性物体的鲁棒性，提高了确定的目标检测结果的准确性。
附图说明
图1为本申请一实施例的基于人工智能的目标检测方法的流程示意图；
图2为本申请一实施例的基于人工智能的目标检测装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例中提供一种基于人工智能的目标检测方法，所述方法包括以下步骤S1-S6：
S1：获取初始图像对应的待检测图像特征及等间隔锚点位置数据；
S2：将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测，其中，所述关键目标检测模型包括：类激活映射模块和关键目标热力图映射模块；
S3：将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取；
S4：将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征；
S5：根据所述锚点融合特征和预设的锚点热力阈值，确定每个锚点的锚点分类；
S6：根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果。
本实施例首先通过关键目标检测模型实现了目标的组成信息的热力信息，其次通过锚点特征提取模型提取了每个锚点的图像特征，然后根据提取的目标的热力信息和锚点的图像特征依次进行融合处理、锚点分类及确定目标检测结果，从而实现了基于类别标签结合类激活映射得到目标检测结果，降低了人工标注的成本，类激活映射使得模型具有可解释性，向使用者解释了模型做出决策的原因，增加了模型的可信度；通过引入等间隔锚点位置数据，实现了可以很好的解决物体的局部聚焦问题，提高了对小目标和非刚性物体的鲁棒性，提高了确定的目标检测结果的准确性。
对于S1，可以获取用户输入的初始图像对应的待检测图像特征及等间隔锚点位置数据，也可以从数据库中获取初始图像对应的待检测图像特征及等间隔锚点位置数据，还可以从第三方应用中获取初始图像对应的待检测图像特征及等间隔锚点位置数据。
初始图像，是需要进行目标检测的图像，其中，目标包括但不限于：物品、动物、生物。
待检测图像特征，是从初始图像中提取得到的图像特征。
可选的，将初始图像输入预设的图像特征提取模型进行图像特征提取，得到所述待检测图像特征，其中，所述图像特征提取模型是采用多个训练样本，对初始模型进行训练得到的模型，将Resnet50模型删除最后的全连接层，将完成删除的Resnet50作为所述初始模型。
Resnet50模型是残差网络中的一种，Resnet50模型对图像具有非常好的特征捕获能力。
可以理解的是，所述初始模型还可以采用其他网络结构，在此不做限定。
训练样本包括：图像样本和图像特征标定数据。图像特征标定数据，是图像样本对应的图像特征的准确结果。
可选的，所述图像样本，是从ImageNet中提取的图像。ImageNet，是一个用于视觉对象识别软件研究的大型可视化数据库；超过1400万的图像URL被ImageNet手动注释，以指示图片中的对象；在至少一百万个图像中，还提供了边界框。通过从ImageNet中提取的图像作为所述图像样本，有利于降低了分类网络模型(也就是关键目标检测模型)的训练成本。
等间隔锚点位置数据，是采用预设步幅，从初始图像中进行等间隔的像素点获取，将获取的每个像素点作为一个锚点，将各个锚点对应的各个像素位置作为等间隔锚点位置数据。也就是说，等间隔锚点位置数据是各个锚点的像素位置的集合。
可选的，在横向采用预设步幅，从初始图像中进行等间隔的像素点获取，将获取的每个像素点作为一个锚点。
可选的，在纵向采用预设步幅，从初始图像中进行等间隔的像素点获取，将获取的每个像素点作为一个锚点。
可选的，在横向和纵向均采用预设步幅，从初始图像中进行等间隔的像素点获取，将获取的每个像素点作为一个锚点。
对于S2，将所述待检测图像特征输入类激活映射模块进行分类预测，以实现对检测目标进行粗定位，将分类预测得到的数据输入关键目标热力图映射模块进行关键目标映射热力图，根据映射得到的热力图作为所述关键目标热力图。
其中，类激活映射模块是基于类激活映射(CAM)训练得到的模型。
关键目标热力图映射模块，用于根据类激活映射模块的输出结果进行关键目标映射热力图计算。
对于S3，将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取，从而确定了每个锚点的图像特征，为后续锚点的分类提供了基础。
锚点特征提取模型是基于卷积神经网络训练得到的模型。
对于S4，将各个所述关键目标热力图和所述锚点图像特征进行同一锚点位置的值的融合处理，以形成锚点融合特征。
对于S5，判断所述锚点融合特征中的每个锚点的特征值是否大于所述锚点热力阈值，将特征值大于所述锚点热力阈值的每个锚点对应的锚点分类确定为目标，将特征值小于或等于所述锚点热力阈值的每个锚点对应的锚点分类确定为背景。
对于S6，根据各个所述锚点对应的各个所述锚点分类，确定每个目标的锚定矩形框，将各个锚定矩形框各自对应的四个顶点的坐标作为目标检测结果。
可选的，关键目标检测模型和锚点特征提取模型同时训练，将关键目标检测模型的损失值和锚点特征提取模型的损失值进行加权求和，将加权求和得到的值作为总损失值，根据总损失值更新关键目标检测模型和锚点特征提取模型的网络参数，其中，用于计算关键目标检测模型的损失值的损失函数采用交叉熵损失函数，用于计算锚点特征提取模型的损失值的损失函数采用交叉熵损失函数。
在一个实施例中，上述将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测的步骤，包括以下步骤S21-Sxx：
S21：将所述待检测图像特征输入所述类激活映射模块的解码器，以生成特征映射数据；
S22：将所述特征映射数据输入所述类激活映射模块的全局平均池化层，以生成分类预测向量；
S23：将所述分类预测向量输入所述关键目标热力图映射模块的热力图生成子模块，以生成初始目标热力图；
S24：将所述初始目标热力图输入所述关键目标热力图映射模块的上采样子模块进行上采样，以生成所述关键目标热力图。
本实施例实现了基于类别标签结合类激活映射得到关键目标热力图，降低了人工标注的成本，类激活映射使得模型具有可解释性，向使用者解释了模型做出决策的原因，增加了模型的可信度。
对于S21，将所述待检测图像特征输入所述类激活映射模块的解码器，以提取多维的特征映射，将提取的数据作为特征映射数据。
对于S22，将所述特征映射数据输入所述类激活映射模块的全局平均池化层，以进行基于类别标签的概率预测，将预测得到的数据作为分类预测向量。
类别标签，是目标对应的类别。
对于S23，初始图像中可能包含多类目标，因此需要计算关键目标映射热力图。将所述分类预测向量输入所述关键目标热力图映射模块的热力图生成子模块，以进行关键目标映射热力图，将映射得到的热力图作为初始目标热力图。
对于S24，将所述初始目标热力图输入所述关键目标热力图映射模块的上采样子模块进行上采样，将上采样得到的数据作为所述关键目标热力图。
可以理解的是，所述关键目标热力图对应的图像尺寸与初始图像的尺寸相同。
在一个实施例中，上述初始目标热力图的计算公式K为：
Figure BDA0003582896550000081
Figure BDA0003582896550000082
其中，N是所述分类预测向量中的向量元素的总数量，sn是所述分类预测向量中的第n个向量元素的值，σ(Mn)是对Mn进行归一化计算，C是所述解码器的最后一个卷积层的通道数，ωi,n是W由(i,n)索引得到的值，W∈RC×N，RC×N是所述全局平均池化层的权重矩阵，Fi是所述特征映射数据中的第i个特征，Fi对应所述解码器的最后一个卷积层的第i个通道。
本实施例实现了根据分类预测向量进行关键目标映射热力图的计算，从而提取出了关键目标的组成信息，实现了基于类别标签结合类激活映射得到目标检测结果，降低了人工标注的成本，类激活映射使得模型具有可解释性，向使用者解释了模型做出决策的原因，增加了模型的可信度。
σ(Mn)可以采用sigmoid激活函数对Mn进行归一化计算，也可以采用softmax激活函数对Mn进行归一化计算。
Sigmoid，是一个在生物学中常见的S型函数，也称为S型生长曲线。
Softmax，是归一化的指数函数。
在一个实施例中，上述将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取的步骤，包括以下步骤S31-S32：
S31：将所述待检测图像特征输入所述锚点特征提取模型的特征提取模块进行特征提取，以形成待分析图像特征，其中，所述特征提取模块依次包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
S32：采用所述锚点特征提取模型的特征融合模块，对所述待分析图像特征和所述等间隔锚点位置数据进行相乘处理，以形成所述锚点图像特征。
本实施例先采用特征提取模块对待检测图像特征进一步进行特征提取，然后将提取的特征与所述等间隔锚点位置数据进行相乘处理，从而确定了每个锚点的图像特征，为后续锚点的分类提供了基础。
对于S31，第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层依次连接。
将所述待检测图像特征输入所述锚点特征提取模型的特征提取模块进行特征提取，将所述特征提取模块的第五卷积层输出的特征作为待分析图像特征。
对于S32，采用所述锚点特征提取模型的特征融合模块，对所述待分析图像特征和所述等间隔锚点位置数据进行相乘处理，将相乘得到的数据作为所述锚点图像特征。从而提取出了每个锚点的图像特征。
在一个实施例中，上述第一卷积层、所述第二卷积层和所述第三卷积层的通道数均为256；
所述第四卷积层的通道数为128；
所述第五卷积层的通道数为512。
本实施例通过将第五卷积层的通道数设为512，从而使待分析图像特征对应的图像尺寸等于初始图像对应的图像尺寸。
对于所述第五卷积层的每个通道输出一个特征图。
可以理解的是，第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层的通道数还可以设置为其他数据，在此不做限定。
在一个实施例中，上述将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征的步骤，包括以下步骤S41-S42：
S41：根据各个所述关键目标热力图，对每个锚点进行影响权重计算；
S42：根据各个所述影响权重和所述锚点图像特征进行相同锚点位置的数据相乘处理，得到所述锚点融合特征。
本实施例根据各个所述影响权重和所述锚点图像特征进行相同锚点位置的数据相乘处理，从而实现加强或抑制不同锚点的影响，为进行锚点的分类提供了基础。
对于S41，第a个锚点的影响权重的计算公式为：
Figure BDA0003582896550000101
其中，p(a)是初始图像对应的第a个锚点的坐标，K(p(a))是各个所述关键目标热力图中的与第a个锚点对应的热力值，A是初始图像对应的锚点的总数量。
对于S42，各个所述影响权重和所述锚点图像特征进行相同锚点位置的数据相乘处理，将相乘得到的数据作为所述锚点融合特征，从而实现加强或抑制不同锚点的影响。
比如，第j个锚点对应的所述影响权重和所述锚点图像特征中的与第j个锚点对应的图像特征进行相乘，将相乘得到的数据作为所述锚点融合特征中的与第j个锚点对应的融合特征。
在一个实施例中，上述根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果的步骤，包括以下步骤S61-S63：
S61：采用OPENCV回归方法，对各个所述锚点对应的各个所述锚点分类进行矩形框的回归，得到每个目标对应的锚定矩形框；
S62：将每个所述锚定矩形框的四个顶点的坐标，作为顶点坐标集；
S63：将各个所述顶点坐标集，作为所述目标检测结果。
本实施例根据锚点分类进行矩形框的回归，从而根据实际情况生成了锚定矩形框，实现了可以很好的解决物体的局部聚焦问题，提高了对小目标和非刚性物体的鲁棒性，提高了确定的目标检测结果的准确性。
对于S61，采用OPENCV回归方法，根据各个所述锚点对应的各个所述锚点分类，确定每个目标对应的矩形框，将确定的矩形框作为锚定矩形框。
OPENCV，是一个基于Apache2.0许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。
对于S62，将每个所述锚定矩形框的四个顶点的坐标，作为顶点坐标集，从而确定了每个目标对应的锚定矩形框的位置数据。
对于S63，将各个所述顶点坐标集，作为所述目标检测结果，从而确定了初始图像中的每个目标对应的锚定矩形框的位置数据。
可选的，所述将各个所述顶点坐标集，作为所述目标检测结果的步骤，包括：将任一个锚定矩形框作为待分析锚定矩形框；将所述待分析锚定矩形框对应的关键目标热力图对应的类别，作为所述待分析锚定矩形框对应的对应的目标类别；将各个所述顶点坐标集和各个所述目标类别，作为所述目标检测结果。
其中，关键目标热力图对应的类别，是根据关键目标热力图在所述分类预测向量中对应向量元素的值确定的类别。
参照图2，本申请还提出了一种基于人工智能的目标检测装置，所述装置包括：
数据获取模块100，用于获取初始图像对应的待检测图像特征及等间隔锚点位置数据；
关键目标热力图确定模块200，用于将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测，其中，所述关键目标检测模型包括：类激活映射模块和关键目标热力图映射模块；
锚点图像特征确定模块300，用于将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取；
锚点融合特征确定模块400，用于将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征；
锚点分类确定模块500，用于根据所述锚点融合特征和预设的锚点热力阈值，确定每个锚点的锚点分类；
目标检测结果确定模块600，用于根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果。
本实施例首先通过关键目标检测模型实现了目标的组成信息的热力信息，其次通过锚点特征提取模型提取了每个锚点的图像特征，然后根据提取的目标的热力信息和锚点的图像特征依次进行融合处理、锚点分类及确定目标检测结果，从而实现了基于类别标签结合类激活映射得到目标检测结果，降低了人工标注的成本，类激活映射使得模型具有可解释性，向使用者解释了模型做出决策的原因，增加了模型的可信度；通过引入等间隔锚点位置数据，实现了可以很好的解决物体的局部聚焦问题，提高了对小目标和非刚性物体的鲁棒性，提高了确定的目标检测结果的准确性。
在一个实施例中，上述关键目标热力图确定模块200包括：
特征映射数据生成子模块，用于将所述待检测图像特征输入所述类激活映射模块的解码器，以生成特征映射数据；
分类预测向量生成子模块，用于将所述特征映射数据输入所述类激活映射模块的全局平均池化层，以生成分类预测向量；
初始目标热力图生成子模块，用于将所述分类预测向量输入所述关键目标热力图映射模块的热力图生成子模块，以生成初始目标热力图；
关键目标热力图生成子模块，用于将所述初始目标热力图输入所述关键目标热力图映射模块的上采样子模块进行上采样，以生成所述关键目标热力图。
在一个实施例中，上述初始目标热力图的计算公式K为：
Figure BDA0003582896550000131
Figure BDA0003582896550000132
其中，N是所述分类预测向量中的向量元素的总数量，sn是所述分类预测向量中的第n个向量元素的值，σ(Mn)是对Mn进行归一化计算，C是所述解码器的最后一个卷积层的通道数，ωi,n是W由(i,n)索引得到的值，W∈RC×N，RC×N是所述全局平均池化层的权重矩阵，Fi是所述特征映射数据中的第i个特征，Fi对应所述解码器的最后一个卷积层的第i个通道。
在一个实施例中，上述锚点图像特征确定模块300包括：
待分析图像特征生成子模块，用于将所述待检测图像特征输入所述锚点特征提取模型的特征提取模块进行特征提取，以形成待分析图像特征，其中，所述特征提取模块依次包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
锚点图像特征生成子模块，用于采用所述锚点特征提取模型的特征融合模块，对所述待分析图像特征和所述等间隔锚点位置数据进行相乘处理，以形成所述锚点图像特征。
在一个实施例中，上述第一卷积层、所述第二卷积层和所述第三卷积层的通道数均为256；
所述第四卷积层的通道数为128；
所述第五卷积层的通道数为512。
在一个实施例中，上述锚点融合特征确定模块400包括：
影响权重确定子模块，用于根据各个所述关键目标热力图，对每个锚点进行影响权重计算；
锚点融合特征确定子模块，用于根据各个所述影响权重和所述锚点图像特征进行相同锚点位置的数据相乘处理，得到所述锚点融合特征。
在一个实施例中，上述目标检测结果确定模块600包括：
锚定矩形框生成子模块，用于采用OPENCV回归方法，对各个所述锚点对应的各个所述锚点分类进行矩形框的回归，得到每个目标对应的锚定矩形框；
顶点坐标集确定子模块，用于将每个所述锚定矩形框的四个顶点的坐标，作为顶点坐标集；
目标检测结果确定子模块，用于将各个所述顶点坐标集，作为所述目标检测结果。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存基于人工智能的目标检测方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的目标检测方法。所述基于人工智能的目标检测方法，包括：获取初始图像对应的待检测图像特征及等间隔锚点位置数据；将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测，其中，所述关键目标检测模型包括：类激活映射模块和关键目标热力图映射模块；将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取；将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征；根据所述锚点融合特征和预设的锚点热力阈值，确定每个锚点的锚点分类；根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果。
本实施例首先通过关键目标检测模型实现了目标的组成信息的热力信息，其次通过锚点特征提取模型提取了每个锚点的图像特征，然后根据提取的目标的热力信息和锚点的图像特征依次进行融合处理、锚点分类及确定目标检测结果，从而实现了基于类别标签结合类激活映射得到目标检测结果，降低了人工标注的成本，类激活映射使得模型具有可解释性，向使用者解释了模型做出决策的原因，增加了模型的可信度；通过引入等间隔锚点位置数据，实现了可以很好的解决物体的局部聚焦问题，提高了对小目标和非刚性物体的鲁棒性，提高了确定的目标检测结果的准确性。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于人工智能的目标检测方法，包括步骤：获取初始图像对应的待检测图像特征及等间隔锚点位置数据；将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测，其中，所述关键目标检测模型包括：类激活映射模块和关键目标热力图映射模块；将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取；将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征；根据所述锚点融合特征和预设的锚点热力阈值，确定每个锚点的锚点分类；根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果。
上述执行的基于人工智能的目标检测方法，首先通过关键目标检测模型实现了目标的组成信息的热力信息，其次通过锚点特征提取模型提取了每个锚点的图像特征，然后根据提取的目标的热力信息和锚点的图像特征依次进行融合处理、锚点分类及确定目标检测结果，从而实现了基于类别标签结合类激活映射得到目标检测结果，降低了人工标注的成本，类激活映射使得模型具有可解释性，向使用者解释了模型做出决策的原因，增加了模型的可信度；通过引入等间隔锚点位置数据，实现了可以很好的解决物体的局部聚焦问题，提高了对小目标和非刚性物体的鲁棒性，提高了确定的目标检测结果的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于人工智能的目标检测方法，其特征在于，所述方法包括：
获取初始图像对应的待检测图像特征及等间隔锚点位置数据；
将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测，其中，所述关键目标检测模型包括：类激活映射模块和关键目标热力图映射模块；
将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取；
将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征；
根据所述锚点融合特征和预设的锚点热力阈值，确定每个锚点的锚点分类；
根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果。
2.根据权利要求1所述的基于人工智能的目标检测方法，其特征在于，所述将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测的步骤，包括：
将所述待检测图像特征输入所述类激活映射模块的解码器，以生成特征映射数据；
将所述特征映射数据输入所述类激活映射模块的全局平均池化层，以生成分类预测向量；
将所述分类预测向量输入所述关键目标热力图映射模块的热力图生成子模块，以生成初始目标热力图；
将所述初始目标热力图输入所述关键目标热力图映射模块的上采样子模块进行上采样，以生成所述关键目标热力图。
3.根据权利要求2所述的基于人工智能的目标检测方法，其特征在于，所述初始目标热力图的计算公式K为：
Figure FDA0003582896540000011
Figure FDA0003582896540000021
其中，N是所述分类预测向量中的向量元素的总数量，sn是所述分类预测向量中的第n个向量元素的值，σ(Mn)是对Mn进行归一化计算，C是所述解码器的最后一个卷积层的通道数，ωi,n是W由(i,n)索引得到的值，W∈RC×N，RC×N是所述全局平均池化层的权重矩阵，Fi是所述特征映射数据中的第i个特征，Fi对应所述解码器的最后一个卷积层的第i个通道。
4.根据权利要求1所述的基于人工智能的目标检测方法，其特征在于，所述将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取的步骤，包括：
将所述待检测图像特征输入所述锚点特征提取模型的特征提取模块进行特征提取，以形成待分析图像特征，其中，所述特征提取模块依次包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
采用所述锚点特征提取模型的特征融合模块，对所述待分析图像特征和所述等间隔锚点位置数据进行相乘处理，以形成所述锚点图像特征。
5.根据权利要求4所述的基于人工智能的目标检测方法，其特征在于，所述第一卷积层、所述第二卷积层和所述第三卷积层的通道数均为256；
所述第四卷积层的通道数为128；
所述第五卷积层的通道数为512。
6.根据权利要求1所述的基于人工智能的目标检测方法，其特征在于，所述将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征的步骤，包括：
根据各个所述关键目标热力图，对每个锚点进行影响权重计算；
根据各个所述影响权重和所述锚点图像特征进行相同锚点位置的数据相乘处理，得到所述锚点融合特征。
7.根据权利要求1所述的基于人工智能的目标检测方法，其特征在于，所述根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果的步骤，包括：
采用OPENCV回归方法，对各个所述锚点对应的各个所述锚点分类进行矩形框的回归，得到每个目标对应的锚定矩形框；
将每个所述锚定矩形框的四个顶点的坐标，作为顶点坐标集；
将各个所述顶点坐标集，作为所述目标检测结果。
8.一种基于人工智能的目标检测装置，其特征在于，所述装置包括：
数据获取模块，用于获取初始图像对应的待检测图像特征及等间隔锚点位置数据；
关键目标热力图确定模块，用于将所述待检测图像特征输入预设的关键目标检测模型进行关键目标热力图检测，其中，所述关键目标检测模型包括：类激活映射模块和关键目标热力图映射模块；
锚点图像特征确定模块，用于将所述待检测图像特征和所述等间隔锚点位置数据输入预设的锚点特征提取模型进行锚点图像特征提取；
锚点融合特征确定模块，用于将各个所述关键目标热力图和所述锚点图像特征进行融合处理，得到锚点融合特征；
锚点分类确定模块，用于根据所述锚点融合特征和预设的锚点热力阈值，确定每个锚点的锚点分类；
目标检测结果确定模块，用于根据各个所述锚点对应的各个所述锚点分类，生成目标检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210358349.7A 2022-04-06 2022-04-06 基于人工智能的目标检测方法、装置、设备及存储介质 Pending CN114742990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210358349.7A CN114742990A (zh) 2022-04-06 2022-04-06 基于人工智能的目标检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210358349.7A CN114742990A (zh) 2022-04-06 2022-04-06 基于人工智能的目标检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114742990A true CN114742990A (zh) 2022-07-12

Family

ID=82279257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210358349.7A Pending CN114742990A (zh) 2022-04-06 2022-04-06 基于人工智能的目标检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114742990A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115206078A (zh) * 2022-09-15 2022-10-18 法施达(天津)智能科技有限公司 基于云数据分析的铁路锚固检测及预警方法、系统及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115206078A (zh) * 2022-09-15 2022-10-18 法施达(天津)智能科技有限公司 基于云数据分析的铁路锚固检测及预警方法、系统及设备
CN115206078B (zh) * 2022-09-15 2022-12-16 法施达(天津)智能科技有限公司 基于云数据分析的铁路锚固检测及预警方法、系统及设备

Similar Documents

Publication Publication Date Title
CN111860670B (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
CN111950329B (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
CN109241904B (zh) 文字识别模型训练、文字识别方法、装置、设备及介质
CN109285105B (zh) 水印检测方法、装置、计算机设备和存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN111523414A (zh) 人脸识别方法、装置、计算机设备和存储介质
CN112508975A (zh) 一种图像识别方法、装置、设备及存储介质
CN112539843B (zh) 检测温度的方法、装置和计算机设备
CN107886082B (zh) 图像中数学公式检测方法、装置、计算机设备及存储介质
CN112418278A (zh) 一种多类物体检测方法、终端设备及存储介质
CN110942012A (zh) 图像特征提取方法、行人重识别方法、装置和计算机设备
CN112818963B (zh) 人脸识别模型的训练方法、装置、设备及存储介质
CN109711381B (zh) 遥感图像的目标识别方法、装置和计算机设备
CN111191533A (zh) 行人重识别的处理方法、装置、计算机设备和存储介质
CN111144398A (zh) 目标检测方法、装置、计算机设备和存储介质
CN112464945A (zh) 基于深度学习算法的文本识别方法、装置、设备及存储介质
CN112348116A (zh) 利用空间上下文的目标检测方法、装置和计算机设备
CN114639165B (zh) 基于人工智能的行人重识别方法、装置、设备及存储介质
CN114742990A (zh) 基于人工智能的目标检测方法、装置、设备及存储介质
CN115797735A (zh) 目标检测方法、装置、设备和存储介质
CN115731220A (zh) 坯布缺陷定位与分类方法、系统、设备及存储介质
CN114743067A (zh) 训练数据的增强方法、装置、计算机设备及存储介质
CN111178162B (zh) 图像识别方法、装置、计算机设备和存储介质
CN111652245B (zh) 车辆轮廓检测方法、装置、计算机设备及存储介质
CN117636298A (zh) 基于多尺度特征学习的车辆重识别方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination