CN114663347A - 无监督的物体实例检测方法及装置 - Google Patents
无监督的物体实例检测方法及装置 Download PDFInfo
- Publication number
- CN114663347A CN114663347A CN202210116791.9A CN202210116791A CN114663347A CN 114663347 A CN114663347 A CN 114663347A CN 202210116791 A CN202210116791 A CN 202210116791A CN 114663347 A CN114663347 A CN 114663347A
- Authority
- CN
- China
- Prior art keywords
- image
- affinity
- detected
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000003062 neural network model Methods 0.000 claims abstract description 82
- 239000011159 matrix material Substances 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 61
- 230000003287 optical effect Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种无监督的物体实例检测方法及装置。所述方法包括：将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取待检测图像的各像素间的亲和度矩阵；根据亲和度矩阵，对待检测图像进行物体检测，获取待检测图像中的各物体实例；其中，亲和度函数用于确定像素点之间的亲和度，由视频帧序列中图像帧对应的目标深度图的目标场景流作为监督信号，输入深度神经网络模型中训练得到。本申请实施例提供的无监督的物体实例检测方法可以解决在复杂场景下的物体检测问题，提高复杂场景下的物体检测的准确性。
Description
技术领域
本申请涉及图像识别技术领域，具体涉及一种无监督的物体实例检测方法及装置。
背景技术
物体检测在自动驾驶、工业检测、安防监控等领域具有广泛的应用。现有的物体检测方法是对物体框进行手工标注，然后进行深度学习网络的训练后，利用训练好的深度学习网络来进行物体识别。但是这种方法通常依赖于大量的人力和时间进行物体框的手工标注，耗时较长。
为此，相关技术中，采用无监督物体检测方法来进行物体检测。无监督物体检测致力于从原始数据中获取视觉线索来监督模型的训练，从而减少对人工标注的依赖。现有的无监督物体检测，通常依赖颜色、边缘或者纹理信息给物体一个定义，然后利用图像外观的线索来实现简单场景，如单物体场景下的物体检测，或者结合注意力模型进行显著性物体检测与分割。但仅仅依赖颜色、边缘或者纹理信息实际上难以给图像中所有的物体一个通用且鲁棒的定义，因此对于复杂场景，例如多物体场景，无法准确有效地进行物体检测。
发明内容
本申请实施例提供一种无监督的物体实例检测方法及装置，解决在复杂场景下的物体检测问题，提高复杂场景下的物体检测的准确性。
第一方面，本申请实施例提供一无监督的物体实例检测方法，包括：
将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵；
根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例；
其中，所述亲和度函数用于确定像素点之间的亲和度，由视频帧序列中图像帧对应的目标深度图的目标场景流作为监督信号，输入深度神经网络模型中训练得到。
在一个实施例中，在将待检测图像输入训练好的深度神经网络模型之前，还包括：
将所述目标深度图和所述目标场景流作为监督信号，输入至待训练的深度神经网络模型，训练待训练的神经网络模型中的亲和度函数，以获取训练好的深度神经网络模型。
在一个实施例中，在将所述目标深度图和所述目标场景流作为监督信号，输入至待训练的深度神经网络模型之前，还包括：
将各所述图像帧输入预训练的深度模型，获取所述目标深度图，并将各所述图像帧输入预训练的光流模型，获取所述目标场景流。
在一实施例中，所述将各所述图像帧输入预训练的深度模型，获取所述目标深度图，包括：
将各所述图像帧输入预训练的深度模型，获取初始深度图；
根据预设的时序约束和几何约束，对所述初始深度图进行优化，获取所述目标深度图。
在一实施例中，所述将各所述图像帧输入预训练的光流模型，获取所述目标场景流，包括：
将各所述图像帧输入预训练的光流模型，获取初始场景流；
根据预设的时序约束和几何约束，对所述初始场景流进行优化，并将优化以后的初始场景流投影到图像平面中，获取所述目标场景流。
在一实施例中，所述将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵，包括：
将待检测图像输入训练好的深度神经网络模型，通过训练好的深度神经网络模型中用于识别前景像素的前景物体头，获取待检测图像的前景像素区域；
将待检测图像的前景像素区域通过所述亲和度函数进行处理，获取所述前景像素区域的各像素间的亲和度矩阵。
在一实施例中，根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例，包括：
根据所述前景像素区域中的各像素点以及所述亲和度矩阵，构建无向图模型；
根据图像分割算法处理所述无向图模型，获取所述前景像素区域中的各物体实例；
其中，所述无向图模型的顶点为所述前景像素区域中的像素点，所述无向图模型的边的权重根据所述亲和度矩阵确定。
第二方面，本申请实施例提供一种无监督的物体实例检测装置，包括：
亲和度检测模块，用于将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵；
物体检测模块，用于根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例；
其中，所述亲和度函数用于确定像素点之间的亲和度，由视频帧序列中图像帧对应的目标深度图的目标场景流作为监督信号，输入深度神经网络模型中训练得到。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的无监督的物体实例检测方法的步骤。
第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的无监督的物体实例检测方法的步骤。
本申请实施例提供的无监督的物体实例检测方法及装置，通过由视频帧序列得到的深度图和场景流作为监督信号，输入深度神经网络模型中训练得到深度神经网络模型的亲和度函数，来获取待检测图像的各像素间的亲和度矩阵，以根据亲和度矩阵对待检测图像进行物体检测，从而利用深度一致性和运动一致性的约束，来使训练得到的亲和度函数能够准确地判定待检测图像中像素间的亲和度关系，有效地判别两个像素是否属于同一物体，进而能够整个场景中不同物体的实例检测，提高复杂场景下的物体检测的准确性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的无监督的物体实例检测方法的流程示意图；
图2是本申请实施例提供的无监督的物体实例检测装置的结构示意图；
图3是本申请实施例提供的电子设备的结构示意图；
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图对本申请实施例进行详细的阐述。
参见图1，是本发明实施例提供的无监督的物体实例检测方法的流程示意图之一，该方法应用与服务器中，用于检测图像中的物体实例。如图1所示，本实施例提供的一种无监督的物体实例检测方法包括：
步骤101，将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵；
根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例；
其中，所述亲和度函数用于确定像素点之间的亲和度，由视频帧序列中图像帧对应的目标深度图的目标场景流作为监督信号，输入深度神经网络模型中训练得到。
通过由视频帧序列得到的深度图和场景流作为监督信号，输入深度神经网络模型中训练得到深度神经网络模型的亲和度函数，来获取待检测图像的各像素间的亲和度矩阵，以根据亲和度矩阵对待检测图像进行物体检测，从而利用深度一致性和运动一致性的约束，来使训练得到的亲和度函数能够准确地判定待检测图像中像素间的亲和度关系，有效地判别两个像素是否属于同一物体，进而能够整个场景中不同物体的实例检测，提高复杂场景下的物体检测的准确性。
在一实施例中，对于深度神经网络模型的训练，包括：
将视频帧序列中各图像帧的目标深度图和目标场景流作为监督信号，输入至待训练的深度神经网络模型，训练待训练的神经网络模型中的亲和度函数，以获取训练好的深度神经网络模型。
在一实施例中，深度神经网络模型包括骨干网络、特征金字塔以及前景物体头和亲和度函数头。其中，骨干网络用于提取图像的视觉特征，特征金字塔用于编码不同尺度的视觉特征；前景物体头用以区分前景和背景像素，亲和函数头编码局部窗口内像素的亲和关系。
在一实施例中，预先定义亲和度函数f，具体为：
aij＝f(pi,pj)
该函数刻画图像上两个像素点pi和pj的亲和关系。亲和关系越大则表示两个像素点越大概率属于同一物体。然后采用深度神经网络模型来训练亲和度函数，将亲和函数f分解为深度亲和度fd和运动亲和度fm两项，即：
其中，di表示深度图中像素i的深度值，vi表示场景流投影到图像平面上像素i的运动流，包含x,y两个方向的速度。
然后，将目标深度图和目标场景流作为监督信号输入深度神经网络模型，基于亲和度函数头的损失函数，训练深度神经网络模型中的亲和度函数，以获得训练好的深度神经网络模型。其中，亲和函数的损失函数为：
其中，ld表示深度亲和度损失，lm表示运动亲和度损失，h,w代表图像的长和宽，r代表局部窗口的大小，O表示输出的亲和度矩阵，Ad和Av表示从深度图和场景流获得的深度亲和度和运动亲和度。
在一实施例中，深度神经网络模型还可以采用其它结构构建，例如骨干网络可以采用卷积式的神经网络，也可以采用注意力式的神经网络。金字塔结构可以使用空洞卷积的网络形式提取多尺度的图像特征。局部窗口的形式也不限于方形，可以扩展至带空洞的窗口，圆形窗口等。损失函数也不限于采用上述公式中的MSE回归损失进行训练，也可通过其他合理有效的损失函数训练。
在一实施例中，对于目标深度图和场景流的获取，具体为：
将各所述图像帧输入预训练的深度模型，获取所述目标深度图，并将各所述图像帧输入预训练的光流模型，获取所述目标场景流。
在一实施例中，预先使用预训练的深度模型估计单帧图像帧的目标深度图Dt(如H×W×1)，以及利用预训练的光流模型估计相邻的两帧图像帧中当前帧到下一帧的光流Vt→t+1(如H×W×2)，从而根据图像帧之间的光流以及图像帧的目标深度图，预测图像帧对应的目标场景流。
在一实施例中，除通过预训练的深度模型以及预训练的光流模型来估计深度图以及场景流外，还可以使用其他的网络结构来估计深度和场景流，例如使用双目视频帧序列的数据形式进行深度和运动估计，以得到目标深度图以及目标场景流。
为使获取到的目标深度图以及目标场景流更为准确，以提高对深度神经网络模型的训练效果，在一实施例中，所述将各所述图像帧输入预训练的深度模型，获取所述目标深度图，包括：
将各所述图像帧输入预训练的深度模型，获取初始深度图；
根据预设的时序约束和几何约束，对所述初始深度图进行优化，获取所述目标深度图。
在一实施例中，将各所述图像帧输入预训练的深度模型，利用预训练的深度模型预估图像帧的初始深度图。然后利用预设的时序和几何关系的约束，优化初始深度图，得到目标深度图。
在一实施例中，所述将各所述图像帧输入预训练的光流模型，获取所述目标场景流，包括：
将各所述图像帧输入预训练的光流模型，获取初始场景流；
根据预设的时序约束和几何约束，对所述初始场景流进行优化，并将优化以后的初始场景流投影到图像平面中，获取所述目标场景流。
在一实施例中，将各所述图像帧输入预训练的光流模型，利用预训练的光流模型估计当前帧到下一帧的光流，从而根据光流确定初始场景流。然后利用预设的时序约束和几何约束，对初始场景流进行优化，再将优化后的初始场景流投影到图像平面，从而得到目标场景流，即视频帧序列中物体的运动信息。
通过使用预训练的深度模型以及预训练的光流模型获取初始深度图以及初始场景流后，对初始深度图以及初始场景流进行联合优化，得到目标深度图以及目标场景流，从而使得到的目标深度图以及目标场景流更为准确，提高后续对深度神经网络模型的训练效果。
在一实施例中，在完成深度神经网络模型的训练后，获取待检测图像，将待检测图像输入训练好的深度神经网络模型中，通过深度神经网络模型中的亲和度函数确定待检测图像的各像素间的亲和度矩阵。
考虑到待检测图像中可能含有背景，此时直接通过亲和度函数对待检测图像进行处理，可能会导致计算复杂度过大，同时由于背景像素和前景物体的混杂，影响物体实例检测的准确度。
为此，在一实施例中，所述将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵，包括：
将待检测图像输入训练好的深度神经网络模型，通过训练好的深度神经网络模型中用于识别前景像素的前景物体头，获取待检测图像的前景像素区域；
将待检测图像的前景像素区域通过所述亲和度函数进行处理，获取所述前景像素区域的各像素间的亲和度矩阵。
在一实施例中，将待检测图像，如静态的RGB图片输入训练好的深度神经网络模型，通过深度神经网络模型中的前景物体头，输出前景像素的预测概率，以提取预测概率大于预设阈值的所有像素作为前景像素，并根据提取到的所有前景像素组成待检测图像的前景像素区域。然后通过亲和度函数，对前景像素区域进行计算，得到前景像素区域的各像素间的亲和度矩阵。
其中，待检测图像的尺寸可根据实际情况进行确定，如可以为1920×1280×3。
通过提取待检测图像的前景像素区域，并基于前景像素区域来确定亲和度矩阵，从而避免计算复杂度过大，以及背景像素和前景物体的混杂影响对最终的检测结果造成干扰，进而提高后续物体实例检测的准确度。
在得到亲和度矩阵后，即可采用图割算法或基于能量的条件随机场等方法，对对前景像素区域进行不同物体的判别，从而获取待检测图像中的各物体实例。
为进一步提高各物体实例的检测准确度，在一实施例中，根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例，包括：
根据所述前景像素区域中的各像素点以及所述亲和度矩阵，构建无向图模型；
根据图像分割算法处理所述无向图模型，获取所述前景像素区域中的各物体实例；
其中，所述无向图模型的顶点为所述前景像素区域中的像素点，所述无向图模型的边的权重根据所述亲和度矩阵确定。
在一实施例中，在得到亲和度矩阵后，根据前景像素区域中的各像素点，以及亲和度矩阵，构建一个无向图模型G＝(V,E)。其中，顶点V为前景像素区域中的像素点，边E的权重由亲和度矩阵加权计算得到，具体公式为：
其中，Oij表示亲和度矩阵中像素i和像素j之间的亲和度，β是优化参数，∈用来保证数值稳定性，可根据实际情况设定。
然后对于构建的无向图模型，采用贪婪加性边收缩算法进行求解，最终得到不同物体的实例检测结果。
下面对本申请实施例提供的无监督的物体实例检测装置进行描述，下文描述的无监督的物体实例检测装置与上文描述的无监督的物体实例检测方法可相互对应参照。
在一实施例中，如图3所示，提供了一种无监督的物体实例检测装置，包括：
亲和度检测模块210，用于将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵；
物体检测模块220，用于根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例；
其中，所述亲和度函数用于确定像素点之间的亲和度，由视频帧序列中图像帧对应的目标深度图的目标场景流作为监督信号，输入深度神经网络模型中训练得到。
通过由视频帧序列得到的深度图和场景流作为监督信号，输入深度神经网络模型中训练得到深度神经网络模型的亲和度函数，来获取待检测图像的各像素间的亲和度矩阵，以根据亲和度矩阵对待检测图像进行物体检测，从而利用深度一致性和运动一致性的约束，来使训练得到的亲和度函数能够准确地判定待检测图像中像素间的亲和度关系，有效地判别两个像素是否属于同一物体，进而能够整个场景中不同物体的实例检测，提高复杂场景下的物体检测的准确性。
在一实施例中，还包括神经网络训练模块，用于：
将所述目标深度图和所述目标场景流作为监督信号，输入至待训练的深度神经网络模型，训练待训练的神经网络模型中的亲和度函数，以获取训练好的深度神经网络模型。
在一实施例中，还包括数据获取模块，用于：
将各所述图像帧输入预训练的深度模型，获取所述目标深度图，并将各所述图像帧输入预训练的光流模型，获取所述目标场景流。
在一实施例中，数据获取模块具体用于：
将各所述图像帧输入预训练的深度模型，获取初始深度图；
根据预设的时序约束和几何约束，对所述初始深度图进行优化，获取所述目标深度图。
在一实施例中，数据获取模块具体用于：
将各所述图像帧输入预训练的光流模型，获取初始场景流；
根据预设的时序约束和几何约束，对所述初始场景流进行优化，并将优化以后的初始场景流投影到图像平面中，获取所述目标场景流。
在一实施例中，亲和度检测模块210具体用于：
将待检测图像输入训练好的深度神经网络模型，通过训练好的深度神经网络模型中用于识别前景像素的前景物体头，获取待检测图像的前景像素区域；
将待检测图像的前景像素区域通过所述亲和度函数进行处理，获取所述前景像素区域的各像素间的亲和度矩阵。
在一实施例中，物体检测模块220具体用于：
根据所述前景像素区域中的各像素点以及所述亲和度矩阵，构建无向图模型；
根据图像分割算法处理所述无向图模型，获取所述前景像素区域中的各物体实例；
其中，所述无向图模型的顶点为所述前景像素区域中的像素点，所述无向图模型的边的权重根据所述亲和度矩阵确定。
通过由视频帧序列得到的深度图和场景流作为监督信号，输入深度神经网络模型中训练得到深度神经网络模型的亲和度函数，来获取待检测图像的各像素间的亲和度矩阵，以根据亲和度矩阵对待检测图像进行物体检测，从而利用深度一致性和运动一致性的约束，来使训练得到的亲和度函数能够准确地判定待检测图像中像素间的亲和度关系，有效地判别两个像素是否属于同一物体，进而能够整个场景中不同物体的实例检测，提高复杂场景下的物体检测的准确性。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)810、通信接口(Communication Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的计算机程序，以执行无监督的物体实例检测方法的步骤，例如包括：
将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵；
根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例；
其中，所述亲和度函数用于确定像素点之间的亲和度，由视频帧序列中图像帧对应的目标深度图的目标场景流作为监督信号，输入深度神经网络模型中训练得到。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的无监督的物体实例检测方法的步骤，例如包括：
将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵；
根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例；
其中，所述亲和度函数用于确定像素点之间的亲和度，由视频帧序列中图像帧对应的目标深度图的目标场景流作为监督信号，输入深度神经网络模型中训练得到。
另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的方法的步骤，例如包括：
将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵；
根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例；
其中，所述亲和度函数用于确定像素点之间的亲和度，由视频帧序列中图像帧对应的目标深度图的目标场景流作为监督信号，输入深度神经网络模型中训练得到。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种无监督的物体实例检测方法，其特征在于，包括：
将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵；
根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例；
其中，所述亲和度函数用于确定像素点之间的亲和度，由视频帧序列中图像帧对应的目标深度图的目标场景流作为监督信号，输入深度神经网络模型中训练得到。
2.根据权利要求1所述的无监督的物体实例检测方法，其特征在于，在将待检测图像输入训练好的深度神经网络模型之前，还包括：
将所述目标深度图和所述目标场景流作为监督信号，输入至待训练的深度神经网络模型，训练待训练的神经网络模型中的亲和度函数，以获取训练好的深度神经网络模型。
3.根据权利要求2所述的无监督的物体实例检测方法，其特征在于，在将所述目标深度图和所述目标场景流作为监督信号，输入至待训练的深度神经网络模型之前，还包括：
将各所述图像帧输入预训练的深度模型，获取所述目标深度图，并将各所述图像帧输入预训练的光流模型，获取所述目标场景流。
4.根据权利要求3所述的无监督的物体实例检测方法，其特征在于，所述将各所述图像帧输入预训练的深度模型，获取所述目标深度图，包括：
将各所述图像帧输入预训练的深度模型，获取初始深度图；
根据预设的时序约束和几何约束，对所述初始深度图进行优化，获取所述目标深度图。
5.根据权利要求3所述的无监督的物体实例检测方法，其特征在于，所述将各所述图像帧输入预训练的光流模型，获取所述目标场景流，包括：
将各所述图像帧输入预训练的光流模型，获取初始场景流；
根据预设的时序约束和几何约束，对所述初始场景流进行优化，并将优化以后的初始场景流投影到图像平面中，获取所述目标场景流。
6.根据权利要求1-5任意一项所述的无监督的物体实例检测方法，其特征在于，所述将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵，包括：
将待检测图像输入训练好的深度神经网络模型，通过训练好的深度神经网络模型中用于识别前景像素的前景物体头，获取待检测图像的前景像素区域；
将待检测图像的前景像素区域通过所述亲和度函数进行处理，获取所述前景像素区域的各像素间的亲和度矩阵。
7.根据权利要求6所述的无监督的物体实例检测方法，其特征在于，根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例，包括：
根据所述前景像素区域中的各像素点以及所述亲和度矩阵，构建无向图模型；
根据图像分割算法处理所述无向图模型，获取所述前景像素区域中的各物体实例；
其中，所述无向图模型的顶点为所述前景像素区域中的像素点，所述无向图模型的边的权重根据所述亲和度矩阵确定。
8.一种无监督的物体实例检测装置，其特征在于，包括：
亲和度检测模块，用于将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵；
物体检测模块，用于根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例；
其中，所述亲和度函数用于确定像素点之间的亲和度，由视频帧序列中图像帧对应的目标深度图的目标场景流作为监督信号，输入深度神经网络模型中训练得到。
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的无监督的物体实例检测方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的无监督的物体实例检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210116791.9A CN114663347B (zh) | 2022-02-07 | 2022-02-07 | 无监督的物体实例检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210116791.9A CN114663347B (zh) | 2022-02-07 | 2022-02-07 | 无监督的物体实例检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114663347A true CN114663347A (zh) | 2022-06-24 |
| CN114663347B CN114663347B (zh) | 2022-09-27 |
Family
ID=82026632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210116791.9A Active CN114663347B (zh) | 2022-02-07 | 2022-02-07 | 无监督的物体实例检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663347B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746028A (zh) * | 2024-02-08 | 2024-03-22 | 暗物智能科技(广州)有限公司 | 一种未标注物品的视觉检测方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090290802A1 (en) * | 2008-05-22 | 2009-11-26 | Microsoft Corporation | Concurrent multiple-instance learning for image categorization |
| CN110782490A (zh) * | 2019-09-24 | 2020-02-11 | 武汉大学 | 一种具有时空一致性的视频深度图估计方法及装置 |
| CN111066063A (zh) * | 2018-06-29 | 2020-04-24 | 百度时代网络技术（北京）有限公司 | 利用卷积空间传播网络学习的亲和度进行深度估计的系统和方法 |
| CN112331262A (zh) * | 2021-01-06 | 2021-02-05 | 北京百度网讯科技有限公司 | 亲和度预测方法及模型的训练方法、装置、设备及介质 |
| CN113160278A (zh) * | 2021-04-23 | 2021-07-23 | 西安电子科技大学广州研究院 | 一种场景流估计、场景流估计模型的训练方法和装置 |
-
2022
- 2022-02-07 CN CN202210116791.9A patent/CN114663347B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090290802A1 (en) * | 2008-05-22 | 2009-11-26 | Microsoft Corporation | Concurrent multiple-instance learning for image categorization |
| CN111066063A (zh) * | 2018-06-29 | 2020-04-24 | 百度时代网络技术（北京）有限公司 | 利用卷积空间传播网络学习的亲和度进行深度估计的系统和方法 |
| CN110782490A (zh) * | 2019-09-24 | 2020-02-11 | 武汉大学 | 一种具有时空一致性的视频深度图估计方法及装置 |
| CN112331262A (zh) * | 2021-01-06 | 2021-02-05 | 北京百度网讯科技有限公司 | 亲和度预测方法及模型的训练方法、装置、设备及介质 |
| CN113160278A (zh) * | 2021-04-23 | 2021-07-23 | 西安电子科技大学广州研究院 | 一种场景流估计、场景流估计模型的训练方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| HENGYUE LIU，AND ETC: "Fully Convolutional Scene Graph Generation", 《2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 郭桐等: "肺结节图像的自动分割与识别", 《计算机工程与设计》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746028A (zh) * | 2024-02-08 | 2024-03-22 | 暗物智能科技(广州)有限公司 | 一种未标注物品的视觉检测方法、装置、设备及介质 |
| CN117746028B (zh) * | 2024-02-08 | 2024-06-11 | 暗物智能科技(广州)有限公司 | 一种未标注物品的视觉检测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114663347B (zh) | 2022-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
| CN111723644A (zh) | 一种监控视频遮挡检测方法及系统 | |
| CN112132119B (zh) | 客流统计方法、装置、电子设备和存储介质 | |
| US8605795B2 (en) | Video editing methods and systems | |
| CN110781836A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
| CN110826429A (zh) | 一种基于景区视频的旅游突发事件自动监测的方法及系统 | |
| CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN113920148B (zh) | 基于多边形的建筑物边界提取方法、设备及存储介质 | |
| CN110795975B (zh) | 人脸误检优化方法及装置 | |
| CN114663347B (zh) | 无监督的物体实例检测方法及装置 | |
| CN112989995A (zh) | 文本检测方法、装置及电子设备 | |
| CN113378837A (zh) | 车牌遮挡识别方法、装置、电子设备和存储介质 | |
| CN111950507B (zh) | 数据处理和模型训练方法、装置、设备及介质 | |
| CN111667419A (zh) | 一种基于Vibe算法的移动目标鬼影消除方法及系统 | |
| CN111369591A (zh) | 一种运动物体的跟踪方法、装置及设备 | |
| CN110580706A (zh) | 一种视频背景模型的提取方法及装置 | |
| CN111815689B (zh) | 一种半自动化标注方法、设备、介质及装置 | |
| CN117557790A (zh) | 图像遮罩生成器的训练方法、图像实例分割方法 | |
| CN114612971A (zh) | 人脸检测方法、模型训练方法、电子设备及程序产品 | |
| CN112734795A (zh) | 一种判断物体运动趋势及方向的方法和设备 | |
| CN113936158A (zh) | 一种标签匹配方法及装置 | |
| CN116630367B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN114842006B (zh) | 一种数字孪生台区电力线检测方法及其相关装置 | |
| KR101460517B1 (ko) | 이중 모델링과 학습 및 폐기학습을 통한 영상 내의 물체 추적 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 | |
| CN113538337B (zh) | 检测方法、检测装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |