CN112395974B - 一种基于对象间依赖关系的目标置信度矫正方法 - Google Patents

一种基于对象间依赖关系的目标置信度矫正方法 Download PDF

Info

Publication number
CN112395974B
CN112395974B CN202011283560.4A CN202011283560A CN112395974B CN 112395974 B CN112395974 B CN 112395974B CN 202011283560 A CN202011283560 A CN 202011283560A CN 112395974 B CN112395974 B CN 112395974B
Authority
CN
China
Prior art keywords
confidence
image
object class
target
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011283560.4A
Other languages
English (en)
Other versions
CN112395974A (zh
Inventor
焦良葆
石伟伟
曹雪虹
孔小红
陈乐�
张四维
浦东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Glens Sciences And Technology Co ltd
Nanjing Institute of Technology
Original Assignee
Jiangsu Glens Sciences And Technology Co ltd
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Glens Sciences And Technology Co ltd, Nanjing Institute of Technology filed Critical Jiangsu Glens Sciences And Technology Co ltd
Priority to CN202011283560.4A priority Critical patent/CN112395974B/zh
Publication of CN112395974A publication Critical patent/CN112395974A/zh
Application granted granted Critical
Publication of CN112395974B publication Critical patent/CN112395974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于对象间依赖关系的目标置信度矫正方法，包括步骤：将标注好的图像输入到预训练后的卷积神经网络，获取车辆目标的置信度；建立多对象间语义关系模型，计算不同对象之间的语义相关性，通过对象的语义相关性调节目标置信度关系权重；将多对象间语义关系模型输出的结果融合到置信度矫正模型中，获取相应的后验概率，通过后验概率修正S1中获取的若干置信度，输出最终目标置信度以及预测对象图像。本发明通过对车辆检测目标的置信度进行矫正，根据同一图像总出现的其他关联对星的相关性，减少图像不清晰时车辆检测目标误判的情况，在图像清晰度较低时大大提高车辆目标检测的精度。

Description

一种基于对象间依赖关系的目标置信度矫正方法
技术领域
本发明涉及人工智能图像识别技术领域，尤其涉及一种基于对象间依赖关系的目标置信度矫正方法。
背景技术
随着多媒体技术的迅猛发展，图像和视频信息已经渗透到人们日常生活的方方面面，并且图像识别技术在近年来被广泛应用，在不同领域里占有着极其重要的地位。同时，图像和视频数据的迅速增长也促进了计算机视觉、模式识别和人工智能等相关领域的持续发展。图像识别作为计算机视觉领域中一个重要的分支，被广泛应用到航空航天领域、军事领域、公共安全领域、工农业等相关领域，具有广泛的应用价值。并且伴随着社会发展的需要，需要进行识别的对象种类越来越多，同时被识别对象的内容也越来越丰富，因为，如何在提升图像内容的检测准确度上有着重要的研究意义。
发明内容
技术目的：针对现有技术中图像内容检测准确度较低的缺陷，本发明公开了一种基于对象间依赖关系的目标置信度矫正方法，通过对车辆检测目标的置信度进行矫正，根据同一图像总出现的其他关联对星的相关性，减少图像不清晰时车辆检测目标误判的情况，在图像清晰度较低时大大提高车辆目标检测的精度。
技术方案：根据上述技术目的，本发明提供以下技术方案。
一种基于对象间依赖关系的目标置信度矫正方法，包括以下步骤：
S1、将标注好的jpg格式图片输入到预训练后的卷积神经网络，获取各车辆目标的若干置信度以及图像所对应的场景类别；所述各车辆目标的若干置信度通过卷积神经网络输出的边界回归框与图片中标注的车辆选框计算获取；
S2、建立多对象间语义关系模型，利用训练集中的所有图像信息统计获取同一场景下不同预设车辆类别的对象之间的语义相关性，所述语义相关性用于得到在同一场景下互相关联的对象的可能性；
S3、将多对象间语义关系模型输出的结果融合到置信度矫正模型中，获取相应的后验概率，通过后验概率修正S1中获取的若干置信度，输出最终目标置信度以及预测对象图像。
优选地，所述S1中预设车辆类别包括挖掘机、起重机、压路车、叉车、混凝土浇灌车和混凝土搅拌车，图像对应的场景类别包括公路、工地、田野。
优选地，所述S1中标注好的图像具体为：采用IabelImg、Labelme、yolo_mark、Vatic或Sloth方法对待检测的图像进行标注，获取图像中对应的选框和xml文件。
优选地，所述对待检测的图像进行标注，获取图像中对应的选框和xml文件，其中，选框大小为目标在图像中的实际大小。
优选地，所述S1中预训练后的卷积神经网络，预训练的过程具体为：
获取训练样本：采用ImageNet数据集作为卷积神经网络的训练样本；
网络的训练和优化：采用训练样本初始化卷积神经网络，卷积神经网络进行20000次训练，并采用随机梯度下降法SGD反向传播优化卷积神经网络，卷积神经网络的学习率设置为0.001，batch_size设置为16。
优选地，所述S2中计算同一场景下不同预设车辆类别的对象之间的语义相关性，语义相关性的计算公式为：
Figure BDA0002780561960000021
其中，θij为对象类别i和j在图像中的语义相关性，P(bi，bj)为训练集中的所有图像信息统计信息，即对象类别i和j是否出现在图像中的概率，也指先验概率；P11＝P(bi＝1，bj＝1)为对象类别i和j都出现在图像中的概率，P00＝P(bi＝0，bj＝0)为对象类别i和对象类别j都不出现在图像中的概率，P10＝P(bi＝0，bj＝0)为对象类别i出现在图像中且对象类别j不出现在图像中的概率，P01＝P(bi＝0，bj＝1)为对象类别i不出现在图像中且对象类别j出现在图像中的概率。
优选地，所述S3中将多对象间语义关系模型输出的结果融合到置信度矫正模型中，其中融合算法包括：
利用贝叶斯公式计算其后验概率并对先验概率进行修正：在步骤S2的先验概率P(bi，bj)的基础上，将对象类别之间的空间及尺度关系信息
Figure BDA0002780561960000031
作为获得的新信息，利用贝叶斯公式计算其后验概率，实现对先验概率P(bi，bj)的修正。
优选地，所述利用贝叶斯公式计算其后验概率，实现对先验概率P(bi，bj)的修正，先验概率的计算公式为：
Figure BDA0002780561960000032
Figure BDA0002780561960000033
其中，
Figure BDA0002780561960000034
表示对象类别i和对象类别j之间的空间及尺度关系，且
Figure BDA0002780561960000035
Figure BDA0002780561960000036
表示的是对象类别i的空间及尺度信息，
Figure BDA0002780561960000037
表示的是对象类别j的空间及尺度信息；
Figure BDA0002780561960000038
为后验概率；
Figure BDA0002780561960000039
表示在给定对象类别i和对象类别j之间空间及尺度关系下两者间的语义相关性，即修正后的语义相关性。
优选地，所述后验概率
Figure BDA00027805619600000310
的计算通过高斯拟合方法获取，其具体过程为：
当对象类别i和对象类别j同时存在时，即(bi＝1，bj＝1)；
Figure BDA00027805619600000311
和
Figure BDA00027805619600000312
是不独立的：首先从训练集中选择所有同时包含对象类别i和对象类别j的图像作为样本，在得到不同样本中对象类别i和对象类别j之间的空间及尺度关系
Figure BDA00027805619600000313
后，求出其均值和方差，并将它们作为高斯分布的参数，最后得到
Figure BDA00027805619600000314
当只有对象类别i存在时，即(bi＝1，bj＝0)；
Figure BDA0002780561960000041
和
Figure BDA0002780561960000042
是独立的：首先从训练集中选取只包含对象类别i的图像作为样本，在得到不同样本中对象类别i的空间及尺度信息
Figure BDA0002780561960000043
后，求出其均值和方差，并将它们作为高斯分布的参数，而后可得到
Figure BDA0002780561960000044
同时，从训练集中选取包含对象类别j的图像作为样本，在得到不同样本中对象类别j的空间及尺度信息
Figure BDA0002780561960000045
后，求出其均值和方差，并将它们作为高斯分布的参数，而后可得到
Figure BDA0002780561960000046
最后，计算
Figure BDA0002780561960000047
同理，计算
Figure BDA0002780561960000048
当对象类别i和对象类别j都不存在时，
Figure BDA0002780561960000049
和
Figure BDA00027805619600000410
是独立的，首先从训练集中选取所有包含对象类别的图像作为样本；在得到不同样本中对象类别i的空间及尺度信息
Figure BDA00027805619600000411
后；求出其均值和方差，并将它们作为高斯分布参数，在得到不同样本对象类别j的空间及尺度信息
Figure BDA00027805619600000412
后，求出其均值和方差，而后得到
Figure BDA00027805619600000413
最后得到
Figure BDA00027805619600000414
优选地，所述S3中通过后验概率修正S1中获取的若干置信度，输出最终目标置信度以及预测对象图像，其具体过程为：
对S1中获取的各车辆目标的若干置信度排序，提取置信度的最大值；
利用后验概率修正置信度的最大值，输出最终目标置信度；
图像中的标注对象通过最终置信度进行矫正，输出最终置信度以及预测对象图像
有益效果：
本发明通过对车辆检测目标的置信度进行矫正，根据同一图像总出现的其他关联对星的相关性，减少图像不清晰时车辆检测目标误判的情况，在图像清晰度较低时大大提高车辆目标检测的精度。
附图说明
图1为本发明的总方法总流程图；
图2为本发明实施例的卷积神经网络结构示意图。
具体实施方式
以下结合附图对本发明的一种基于对象间依赖关系的目标置信度矫正方法做进一步的说明和解释。
如附图1所示，本发明提供了一种基于对象间依赖关系的目标置信度矫正方法，主要用于对图像中车辆的检测，包括以下步骤：
步骤1、将标注好的图像输入预训练后的卷积神经网络，得到各车辆目标的置信度以及图像所对应的场景类别；各车辆目标的若干置信度通过卷积神经网络输出的边界回归框与图片中标注的车辆选框计算获取；具体地，各车辆目标的若干置信度为计算机输出的边界回归框与标注的车辆框选框之间的交并比乘上计算机认为输出这个框中有没有目标的概率；
步骤1中，由于目标对象采用的是监督式学习，所以需要人工用IabelImg、Labelme、yolo_mark、Vatic或Sloth方法对图像进行标注，获得图像中各目标对应的选框与xml文件，标注好的图像包括jpg格式的图片及多个xml文件，jpg格式的图片中包含多个检测目标的选框，xml文件中保存有不同种类检测目标的选框的坐标，将图片及xml文件一同输入至预训练后的卷积神经网络中进行学习训练。进一步的，为了得到较好的训练效果，特别是小目标的检测，在图像预处理阶段即对图像进行标注，要尽可能让选框符合小目标在图像中的实际大小。
此外，一个图像中会包含多个车辆目标，各车辆目标的若干置信度为各车辆目标与若干个预设车辆类别之间的相似度；这里预设的车辆类别包括挖掘机、起重机、压路车、叉车、混凝土浇灌车和混凝土搅拌车；图像也是在不同场景下相机拍下的图像，场景包括公路、工地和田野。
此外，卷积神经网络的预训练过程为：采用ImageNet数据集的数据初始化卷积神经网络，整个卷积神经网络共进行20000次训练，采用随机梯度下降法SGD反向传播优化网络，学习率设置为0.001，batch_size设置为16。
步骤2、建立多对象间语义关系模型，判断不同对象间的语义相关性，利用训练集中的所有图像信息统计获取同一场景下不同预设车辆类别的对象之间的语义相关性，语义相关性用于得到在同一场景下互相关联的对象的可能性。
本发明步骤2，建立了多对象间语义关系模型，如高阶对象相关模型，可以得到对象类别i和对象类别j之间的语义相关性，即同一场景下出现不同预设车辆类别的对象之间的语义相关性。
其中，对象相关性的表示形式如下，假设有n个二值变量w1，w2…，wn，这n个二值变量之间的相关性由θ12...n表示为：
Figure BDA0002780561960000061
公式(1)中，X＝{w1，w2…，wn}，
Figure BDA0002780561960000062
表示X里面有k个变量的值为1的所有组合的集合，aX表示集合
Figure BDA0002780561960000063
中的元素，PaX表示aX的出现概率。
P(bi，bj)为训练集中的所有图像信息统计信息，即对象类别i和j是否出现在图像中的概率，也指先验概率；对象类别i和j都出现在图像中的概率P11＝P(bi＝1，bj＝1)，对象类别i和对象类别j都不出现在图像中的概率P00＝P(bi＝0，bj＝0)，对象类别i出现在图像中且对象类别j不出现在图像中的概率P10＝P(bi＝0，bj＝0)，对象类别i不出现在图像中且对象类别j出现在图像中的概率P01＝P(bi＝0，bj＝1)。根据高阶对象相关模型，可以得到对象类别i和对象类别j之间的语义相关性θij，如公式(2)所示：
Figure BDA0002780561960000064
根据θij的值来判定对象类别i和对象类别j之间的语义相关性。若θ12...n的值大于阈值τ，那么对象类别i和对象类别j之间是语义相关的；同理，若θ12...n的值小于阈值τ，那么对象类别i和对象类别j是语义无关的。因此可以根据θij的值来判断对象类别i和对象类别j之间是否语义相关。
步骤3、将多对象间语义关系模型输出的结果融合到置信度矫正模型中，获取相应的后验概率，通过后验概率修正S1中获取的若干置信度，输出最终目标置信度以及预测对象图像。将多对象间语义关系融合到置信度矫正模型中，进一步提升置信度矫正模型的识别性能。
本发明步骤3，为了提升置信度矫正模型的识别性能，需要有效的融合算法。
进一步的，为了将多对象间语义关系模型输出的结果融合到置信度矫正模型中，该置信度矫正模型中，需要在先验概率的基础上将所需融合的信息作为新的附加信息，利用贝叶斯公式计算其后验概率并对先验概率进行修正，这里的先验概率指的是步骤2中的P(bi，bj)，将对象类别之间的空间及尺度关系信息作为获得的所需融合的新信息，利用贝叶斯公式计算其后验概率且用
Figure BDA0002780561960000071
表示该后验概率，并对先验概率P(bi，bj)进行修正。其中，
Figure BDA0002780561960000072
表示对象类别i和对象类别j之间的空间及尺度关系，且
Figure BDA0002780561960000073
Figure BDA0002780561960000074
表示的是对象类别i的空间及尺度信息，
Figure BDA0002780561960000075
表示的是对象类别j的空间及尺度信息，均通过计算图像中属于对象类别i的所有先验框的空间及尺度信息的均值得到的。空间关系指的是对象i和对象j在一张图片上的分布情况，尺度关系指的是在标注时不同对象会有不同大小的标注框，标注框的大小关系。在不同的图像中，
Figure BDA0002780561960000076
及
Figure BDA0002780561960000077
的取值可能不同。因此，在不同图像中，对象类别i和对象类别j之间的空间及尺度关系
Figure BDA0002780561960000078
可能不同。在得到
Figure BDA0002780561960000079
后，结合步骤2中的高阶纯相关模型，可得：
Figure BDA0002780561960000081
上式中，
Figure BDA0002780561960000082
表示在给定对象类别i和对象类别j之间空间及尺度关系下两者间的语义相关性，即修正后的语义相关性。而由贝叶斯公式可得：
Figure BDA0002780561960000083
进一步的，公式(4)中的
Figure BDA0002780561960000084
使用高斯分布来拟合：
当对象类别i和对象类别j同时存在时，即(bi＝1，bj＝1)。
Figure BDA0002780561960000085
和
Figure BDA0002780561960000086
是不独立的。此时我们首先从训练集中选择所有同时包含对象类别i和对象类别j的图像作为样本。在得到不同样本中对象类别i和对象类别j之间的空间及尺度关系
Figure BDA0002780561960000087
后，求出其均值和方差，并将它们作为高斯分布的参数，最后得到
Figure BDA0002780561960000088
当只有对象类别i存在时，即(bi＝1，bj＝0)。
Figure BDA0002780561960000089
和
Figure BDA00027805619600000810
是独立的。此时，我们首先从训练集中选取只包含对象类别i的图像作为样本。在得到不同样本中对象类别i的空间及尺度信息
Figure BDA00027805619600000811
后，求出其均值和方差，并将它们作为高斯分布的参数，而后可得到
Figure BDA00027805619600000812
同时，我们从训练集中选取包含对象类别j的图像作为样本，在得到不同样本中对象类别j的空间及尺度信息
Figure BDA00027805619600000813
后，求出其均值和方差，并将它们作为高斯分布的参数，而后可得到
Figure BDA00027805619600000814
最后，我们计算
Figure BDA00027805619600000815
同理，
Figure BDA0002780561960000091
也可以通过这种方法得到。
当对象类别i和对象类别j都不存在时，
Figure BDA0002780561960000092
和
Figure BDA0002780561960000093
是独立的，首先从训练集中选取所有包含对象类别的图像作为样本。在得到不同样本中对象类别i的空间及尺度信息
Figure BDA0002780561960000094
后。求出其均值和方差，并将它们作为高斯分布参数，在得到不同样本对象类别j的空间及尺度信息
Figure BDA0002780561960000095
后，求出其均值和方差，而后得到
Figure BDA0002780561960000096
最后得到
Figure BDA0002780561960000097
在得到这个概率后，对所述S1得到的置信度进行排序，找到目标置信度最大的那个值，然后利用上述修正对其余置信度进行修正，直接利用上面得到的概率与原剩余的车辆置信度进行比较，取其中大的的值作为目标最终置信度。本发明通过对车辆检测目标的置信度进行矫正，根据同一图像总出现的其他关联对星的相关性，减少图像不清晰时车辆检测目标误判的情况，在图像清晰度较低时大大提高车辆目标检测的精度。
本发明通过置信度矫正模型，在现有技术的目标检测中，增添了一个反馈环节，通过图像中对象类别的语义关系，提高车辆目标准确度。
多对象间语义关系模型和置信度矫正模型都通过不同的神经网络进行处理，多对象间语义关系模型通过第一神经网络进行处理，多对象间语义关系模型的输入为图片，根据第一神经网络得到大量对象共存图像，进行学习获得对象间的依赖关系，这是进行对象检测前的单独一个网络，仅仅是为了得到在同一场景下可能互相关联的对象，从而可以对下面的置信度矫正模型进行矫正。
置信度矫正模型通过第二神经网络进行处理，输入的训练集为不同场景下摄像头拍摄到的工程车辆图片，通过第二神经网络进行特征提取后，得到各图片中有不同对象的置信度，然后根据前面的多对象间语义关系模型，对其它置信度进行矫正，改变其他置信度的权重。
通过后验概率修正S1中获取的若干置信度，输出最终目标置信度以及预测对象图像，其具体过程为：
对S1中获取的各车辆目标的若干置信度排序，提取置信度的最大值；
利用后验概率修正置信度的最大值，输出最终目标置信度；
图像中的标注对象通过最终置信度进行矫正，输出最终置信度以及预测对象图像。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于对象间依赖关系的目标置信度矫正方法，其特征在于，包括以下步骤：
S1、将标注好的图像输入到预训练后的卷积神经网络，获取各车辆目标的若干置信度以及图像所对应的场景类别；所述各车辆目标的若干置信度通过卷积神经网络输出的边界回归框与图片中标注的车辆选框计算获取；
S2、建立多对象间语义关系模型，利用训练集中的所有图像信息统计获取同一场景下不同预设车辆类别的对象之间的语义相关性，所述语义相关性用于得到在同一场景下互相关联的对象的可能性；
S3、将多对象间语义关系模型输出的结果融合到置信度矫正模型中，获取相应的后验概率，通过后验概率修正S1中获取的若干置信度，输出最终目标置信度以及预测对象图像；
所述S3中将多对象间语义关系模型输出的结果融合到置信度矫正模型中，其中融合算法包括：
利用贝叶斯公式计算其后验概率并对先验概率进行修正：在步骤S2的先验概率P(bi,bj)的基础上，将对象类别之间的空间及尺度关系信息
Figure FDA0003139908730000011
作为获得的新信息，利用贝叶斯公式计算其后验概率，实现对先验概率P(bi,bj)的修正；
所述利用贝叶斯公式计算其后验概率，实现对先验概率P(bi,bj)的修正，后验概率的计算公式为：
Figure FDA0003139908730000012
Figure FDA0003139908730000013
其中，
Figure FDA0003139908730000014
表示对象类别i和对象类别j之间的空间及尺度关系，且
Figure FDA0003139908730000021
Figure FDA0003139908730000022
表示的是对象类别i的空间及尺度信息，
Figure FDA0003139908730000023
表示的是对象类别j的空间及尺度信息；
Figure FDA0003139908730000024
为后验概率；
Figure FDA0003139908730000025
表示在给定对象类别i和对象类别j之间空间及尺度关系下两者间的语义相关性，即修正后的语义相关性。
2.根据权利要求1所述的一种基于对象间依赖关系的目标置信度矫正方法，其特征在于：所述S1中预设车辆类别包括挖掘机、起重机、压路车、叉车、混凝土浇灌车和混凝土搅拌车，图像对应的场景类别包括公路、工地、田野。
3.根据权利要求1所述的一种基于对象间依赖关系的目标置信度矫正方法，其特征在于：所述S1中标注好的图像具体为：采用IabelImg、Labelme、yolo_mark、Vatic或Sloth方法对待检测的图像进行标注，获取图像中对应的选框和xml文件。
4.根据权利要求3所述的一种基于对象间依赖关系的目标置信度矫正方法，其特征在于：所述对待检测的图像进行标注，获取图像中对应的选框和xml文件，其中，选框大小为目标在图像中的实际大小。
5.根据权利要求1所述的一种基于对象间依赖关系的目标置信度矫正方法，其特征在于：所述S1中预训练后的卷积神经网络，预训练的过程具体为：
获取训练样本：采用ImageNet数据集作为卷积神经网络的训练样本；
网络的训练和优化：采用训练样本初始化卷积神经网络，卷积神经网络进行20000次训练，并采用随机梯度下降法SGD反向传播优化卷积神经网络，卷积神经网络的学习率设置为0.001，batch_size设置为16。
6.根据权利要求1所述的一种基于对象间依赖关系的目标置信度矫正方法，其特征在于：所述S2中计算同一场景下不同预设车辆类别的对象之间的语义相关性，语义相关性的计算公式为：
Figure FDA0003139908730000026
其中，θij为对象类别i和j在图像中的语义相关性，P(bi,bj)为训练集中的所有图像信息统计信息，即对象类别i和j是否出现在图像中的概率，也指先验概率；P11＝P(bi＝1,bj＝1)为对象类别i和j都出现在图像中的概率，P00＝P(bi＝0,bj＝0)为对象类别i和对象类别j都不出现在图像中的概率，P10＝P(bi＝0,bj＝0)为对象类别i出现在图像中且对象类别j不出现在图像中的概率，P01＝P(bi＝0,bj＝1)为对象类别i不出现在图像中且对象类别j出现在图像中的概率。
7.根据权利要求1所述的一种基于对象间依赖关系的目标置信度矫正方法，其特征在于，所述后验概率
Figure FDA0003139908730000031
的计算通过高斯拟合方法获取，其具体过程为：
当对象类别i和对象类别j同时存在时，即(bi＝1,bj＝1)；
Figure FDA0003139908730000032
和
Figure FDA0003139908730000033
是不独立的：首先从训练集中选择所有同时包含对象类别i和对象类别j的图像作为样本，在得到不同样本中对象类别i和对象类别j之间的空间及尺度关系
Figure FDA0003139908730000034
后，求出其均值和方差，并将它们作为高斯分布的参数，最后得到
Figure FDA0003139908730000035
当只有对象类别i存在时，即(bi＝1,bj＝0)；
Figure FDA0003139908730000036
和
Figure FDA0003139908730000037
是独立的：首先从训练集中选取只包含对象类别i的图像作为样本，在得到不同样本中对象类别i的空间及尺度信息
Figure FDA0003139908730000038
后，求出其均值和方差，并将它们作为高斯分布的参数，而后可得到
Figure FDA0003139908730000039
同时，从训练集中选取包含对象类别j的图像作为样本，在得到不同样本中对象类别j的空间及尺度信息
Figure FDA00031399087300000310
后，求出其均值和方差，并将它们作为高斯分布的参数，而后可得到
Figure FDA00031399087300000311
最后，计算
Figure FDA00031399087300000312
同理，计算
Figure FDA00031399087300000313
当对象类别i和对象类别j都不存在时，
Figure FDA00031399087300000314
和
Figure FDA00031399087300000315
是独立的，首先从训练集中选取所有包含对象类别的图像作为样本；在得到不同样本中对象类别i的空间及尺度信息
Figure FDA0003139908730000041
后；求出其均值和方差，并将它们作为高斯分布参数，在得到不同样本对象类别j的空间及尺度信息
Figure FDA0003139908730000042
后，求出其均值和方差，而后得到
Figure FDA0003139908730000043
最后得到
Figure FDA0003139908730000044
8.根据权利要求1所述的一种基于对象间依赖关系的目标置信度矫正方法，其特征在于，所述S3中通过后验概率修正S1中获取的若干置信度，输出最终目标置信度以及预测对象图像，其具体过程为：
对S1中获取的各车辆目标的若干置信度排序，提取置信度的最大值；
利用后验概率修正置信度的最大值，输出最终目标置信度；
图像中的标注对象通过最终置信度进行矫正，输出最终置信度以及预测对象图像。
CN202011283560.4A 2020-11-16 2020-11-16 一种基于对象间依赖关系的目标置信度矫正方法 Active CN112395974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011283560.4A CN112395974B (zh) 2020-11-16 2020-11-16 一种基于对象间依赖关系的目标置信度矫正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011283560.4A CN112395974B (zh) 2020-11-16 2020-11-16 一种基于对象间依赖关系的目标置信度矫正方法

Publications (2)

Publication Number Publication Date
CN112395974A CN112395974A (zh) 2021-02-23
CN112395974B true CN112395974B (zh) 2021-09-07

Family

ID=74600930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011283560.4A Active CN112395974B (zh) 2020-11-16 2020-11-16 一种基于对象间依赖关系的目标置信度矫正方法

Country Status (1)

Country Link
CN (1) CN112395974B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191332B (zh) * 2021-05-27 2023-06-27 安阳工学院 一种基于深度学习置信度估计的目标检测方法及装置
AU2021204589A1 (en) * 2021-06-14 2023-01-05 Sensetime International Pte. Ltd. Methods and apparatuses for determining object classification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446933A (zh) * 2016-08-31 2017-02-22 河南广播电视大学 基于上下文信息的多目标检测方法
CN111104898A (zh) * 2019-12-18 2020-05-05 武汉大学 基于目标语义和注意力机制的图像场景分类方法及装置
CN111126049A (zh) * 2019-12-14 2020-05-08 中国科学院深圳先进技术研究院 对象关系预测方法、装置、终端设备及可读存储介质
CN111209351A (zh) * 2020-01-02 2020-05-29 北京沃东天骏信息技术有限公司 对象关系预测、对象推荐方法及装置、电子设备、介质
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110361742B (zh) * 2019-06-21 2021-03-26 中国人民解放军国防科技大学 一种基于星载三频毫米波雷达的云雨微物理参数反演方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446933A (zh) * 2016-08-31 2017-02-22 河南广播电视大学 基于上下文信息的多目标检测方法
CN111126049A (zh) * 2019-12-14 2020-05-08 中国科学院深圳先进技术研究院 对象关系预测方法、装置、终端设备及可读存储介质
CN111104898A (zh) * 2019-12-18 2020-05-05 武汉大学 基于目标语义和注意力机制的图像场景分类方法及装置
CN111209351A (zh) * 2020-01-02 2020-05-29 北京沃东天骏信息技术有限公司 对象关系预测、对象推荐方法及装置、电子设备、介质
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法

Also Published As

Publication number Publication date
CN112395974A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112101190A (zh) 一种遥感图像分类方法、存储介质及计算设备
CN111079674B (zh) 一种基于全局和局部信息融合的目标检测方法
CN112132156A (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN112395974B (zh) 一种基于对象间依赖关系的目标置信度矫正方法
CN111027493A (zh) 一种基于深度学习多网络软融合的行人检测方法
CN112052876B (zh) 一种基于改进ra-cnn的细粒度图像检测方法与系统
CN110992365B (zh) 一种基于图像语义分割的损失函数及其设计方法
CN111696110B (zh) 场景分割方法及系统
CN113158862A (zh) 一种基于多任务的轻量级实时人脸检测方法
CN114549470B (zh) 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN111400572A (zh) 一种基于卷积神经网络实现图像特征识别的内容安全监测系统及其方法
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
CN117252904B (zh) 基于长程空间感知与通道增强的目标跟踪方法与系统
CN112884802A (zh) 一种基于生成的对抗攻击方法
CN112396042A (zh) 实时更新的目标检测方法及系统、计算机可读存储介质
CN114821374A (zh) 一种知识与数据协同驱动的无人机航拍目标检测方法
CN115797637A (zh) 基于模型间和模型内不确定性的半监督分割模型
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN117036778A (zh) 一种基于图文转换模型的安全隐患识别标注方法
CN114155165A (zh) 一种基于半监督的图像去雾方法
CN114743045B (zh) 一种基于双分支区域建议网络的小样本目标检测方法
CN114724058A (zh) 基于人体姿态识别的融合特征运动类视频关键帧提取方法
CN113657180A (zh) 一种车辆识别方法、服务器和计算机可读存储介质
CN116597419B (zh) 一种基于参数化互近邻的车辆限高场景识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant