CN112435223A - 目标检测方法、装置及存储介质 - Google Patents
目标检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112435223A CN112435223A CN202011254275.XA CN202011254275A CN112435223A CN 112435223 A CN112435223 A CN 112435223A CN 202011254275 A CN202011254275 A CN 202011254275A CN 112435223 A CN112435223 A CN 112435223A
- Authority
- CN
- China
- Prior art keywords
- image
- image frame
- target
- related object
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 57
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000000844 transformation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000009776 industrial production Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 206010047513 Vision blurred Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标检测方法、装置及存储介质，该方法包括：获取当前图像帧，当前图像帧包括相关物体图像；利用相关图像帧的相关物体图像对当前图像帧进行配准，得到相关物体图像的配准映射关系，相关图像帧包括目标图像和相关物体图像，其中目标与相关物体之间的相对位置保持不变，摄像装置拍摄得到当前图像帧和相关图像帧时目标和相关物体均在摄像装置的视角范围内；根据配准映射关系和相关图像帧的目标图像的每个像素，得到相关图像帧的目标图像在当前图像帧的配准位置。通过这种方式，能够检测出目标在图像帧的位置，即使目标被部分遮挡、完全遮挡或光线昏暗。
Description
技术领域
本申请涉及图像检测技术领域，特别是涉及一种目标检测方法、装置及存储介质。
背景技术
工业生产环境常常需要使用目标检测技术对现场摄像头的视频进行特定物体(即目标)的检测。比如在钢铁厂环境中，需要对卸货用的卡车进行检出，以对卡车上货物进行定位并根据货物数据进行如重量预测等数据分析任务。工业生产环境可以部署摄像头进行工业环境拍摄，然后使用计算机算法模型对拍摄的视频进行分析。目前，深度学习模型由于其强大的拟合能力在计算机视觉以及自然语言处理领域中已经被广泛使用。在深度学习众多模型中，yolo模型在目标检测任务中表现优异，具有响应速度快、检测准确率高的优点。
但是，实际应用中遮挡噪声复杂多样，难以在制作训练样本时完全覆盖，致使模型欠缺对被遮挡的物体(即被遮挡的目标)的检出能力。图像配准方案可以解决一部分被遮挡的情况，但无法检出大面积遮挡以及完全遮挡(比如工业现场大型吊机遮挡目标)的情况。
发明内容
基于此，本申请提供一种目标检测方法、装置及存储介质，能够检测出目标在图像帧的位置，即使目标被部分遮挡、完全遮挡或光线昏暗。
第一方面，本申请提供一种目标检测方法，所述方法包括：
获取当前图像帧，所述当前图像帧包括相关物体图像；
利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的配准映射关系，所述相关图像帧包括目标图像和相关物体图像，其中目标与相关物体之间的相对位置保持不变，摄像装置拍摄得到所述当前图像帧和所述相关图像帧时所述目标和所述相关物体均在所述摄像装置的视角范围内；
根据所述配准映射关系和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧的配准位置。
第二方面，本申请提供一种目标检测装置，所述装置包括：存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序并在执行所述计算机程序时，实现如上所述的目标检测方法。
第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的目标检测方法。
本申请实施例提供了一种目标检测方法、装置及存储介质，获取当前图像帧，所述当前图像帧包括相关物体图像；利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的配准映射关系，所述相关图像帧包括目标图像和相关物体图像，其中目标与相关物体之间的相对位置保持不变，摄像装置拍摄得到所述当前图像帧和所述相关图像帧时所述目标和所述相关物体均在所述摄像装置的视角范围内；根据所述配准映射关系和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧的配准位置。由于利用相关图像帧和当前图像帧均包括的相关物体图像得到相关物体图像的配准映射关系，而目标与相关物体之间的相对位置保持不变，通过该配准映射关系能够确定相关图像帧的目标图像在当前图像帧的配准位置，从而检出目标在当前图像帧的位置。例如：目标被遮挡、被大面积遮挡、完全遮挡或者目标图像模糊看不清检测不到，等等，通过本申请实施例的方法能够检出目标在当前图像帧的位置。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
图1是本申请目标检测方法一实施例的流程示意图；
图2是本申请目标检测方法一实施例的原理示意图；
图3是本申请目标检测方法另一实施例的流程示意图；
图4是本申请目标检测方法另一实施例的原理示意图；
图5是本申请目标检测方法又一实施例的流程示意图；
图6是本申请目标检测方法又一实施例的原理示意图；
图7是本申请目标检测装置一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
工业生产环境常常需要使用目标检测技术对现场摄像头的视频进行特定物体(即目标)的检测。工业生产环境可以部署摄像头进行工业环境拍摄，然后使用计算机算法模型对拍摄的视频进行分析。但是，实际应用中遮挡噪声复杂多样，难以在制作训练样本时完全覆盖，致使模型欠缺对被遮挡的物体(即被遮挡的目标)的检出能力；图像配准方案也无法检出大面积遮挡以及完全遮挡的情况。
本申请实施例获取当前图像帧，所述当前图像帧包括相关物体图像；利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的配准映射关系，所述相关图像帧包括目标图像和相关物体图像，其中目标与相关物体之间的相对位置保持不变，摄像装置拍摄得到所述当前图像帧和所述相关图像帧时所述目标和所述相关物体均在所述摄像装置的视角范围内；根据所述配准映射关系和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧的配准位置。
由于利用相关图像帧和当前图像帧均包括的相关物体图像得到相关物体图像的配准映射关系，而目标与相关物体之间的相对位置保持不变，通过该配准映射关系能够确定相关图像帧的目标图像在当前图像帧的配准位置，从而检出目标在当前图像帧的位置。例如：目标被遮挡、被大面积遮挡、完全遮挡或者目标图像模糊看不清检测不到，等等，通过本申请实施例的方法能够检出目标在当前图像帧的位置。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
参见图1，图1是本申请目标检测方法一实施例的流程示意图，所述方法包括：步骤S101、步骤S102以及步骤S103。
步骤S101：获取当前图像帧，所述当前图像帧包括相关物体图像。
步骤S102：利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的配准映射关系，所述相关图像帧包括目标图像和相关物体图像，其中目标与相关物体之间的相对位置保持不变，摄像装置拍摄得到所述当前图像帧和所述相关图像帧时所述目标和所述相关物体均在所述摄像装置的视角范围内。
本实施例中，目标可以是指用户关注的、需要在图像帧中检测位置的物体，目标成像后即为图像帧(即一帧图像)的目标图像(即一帧图像中的部分图像)。相关物体可以是指用户不关注、与所述目标之间的相对位置保持不变(例如目标和相关物体的位置均固定不变、或者目标和相关物体均在移动但它们之间的相对位置不变)、且能够在图像帧中完整呈现、能够检测出来的物体，相关物体成像后即为图像帧(即一帧图像)的相关物体图像(即一帧图像中的部分图像)。
目标与相关物体之间的相对位置保持不变，摄像装置拍摄得到所述当前图像帧和所述相关图像帧时所述目标和所述相关物体均在所述摄像装置的视角范围内，那么在正常情况下，图像帧均包括目标图像与相关物体图像，在非正常情况下，例如当空间中的目标被其他物体遮挡(部分遮挡或者完全遮挡)，或者光线昏暗，等等原因，虽然目标在摄像装置的视角范围内时，但是对应的目标图像被其他图像遮挡(包括部分遮挡、完全遮挡)导致在图像帧中只呈现了一部分目标图像或者完全没有呈现目标图像，或者目标图像模糊难以识别或检测，等等。
当前图像帧可以是当前需要检测的图像帧，当前图像帧包括相关物体图像，但是当前图像帧不一定存在目标图像或者存在被遮挡的目标图像，当采用现有的图像检测方法检测时，当前图像帧的目标图像可能检测不出来，当前图像帧的相关物体图像能够检测出来。
在一实施例中，所述目标被部分遮挡，所述当前图像帧包括被部分遮挡的目标图像；或者，所述目标被完全遮挡，所述当前图像帧没有呈现出目标图像；或者，所述当前图像帧包括模糊的目标图像。当目标被遮挡、大面积遮挡时，目标图像不完整或很不完整；当目标被完全遮挡时，当前帧图像看不到目标图像，只能看到相关物体图像；当因为光线等原因导致目标图像模糊不清时，检测方法难以检测出目标在图像帧的位置；等等。在较多的应用场景下，所述目标被遮挡，所述当前图像帧的目标图像为被遮挡的目标图像。
其中，检测目标图像和相关物体图像所采用的现有的检测方法可以是除了本实施例的方法之外的现有技术中任何图像检测方法或识别方法。通常情况下，检测目标图像和相关物体图像所采用的现有的检测方法相同，可以简化流程。
在一实施例中，所述目标图像和所述相关物体图像的检测方法包括在实际应用中应用较多的图像检测模型。其中图像检测模型包括深度学习模型。深度学习模型由于其强大的拟合能力在计算机视觉以及自然语言处理领域中已经被广泛使用。在众多的深度学习模型中，yolo模型在目标检测任务中表现优异，具有响应速度快、检测准确率高的优点。使用yolo模型进行目标检测的步骤分为以下几步：(1)使用摄像头采集环境中的视频数据，(2)对视频数据进行截取图像数据并人工对需要检测的物体打上标签，(3)使用图像数据和标签训练yolo模型，(4)使用yolo模型进行目标检测。目前yolo模型已经广泛应用在基于视觉方案的现实场景的目标检测任务中。
本实施例中，相关图像帧包括目标图像和相关物体图像，且相关图像帧的目标图像和相关物体图像均完整呈现，采用现有的图像检测方法均能够被检出。相关图像帧可以保存在本地，也可以从保存在非本地，例如可以保存在数据库中。
图像配准(Image registration)可以是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。配准技术的流程可以包括：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数(即配准映射关系)；最后由坐标变换参数进行图像配准。
本实施例中，由于相关图像帧的相关物体图像和当前图像帧的相关物体图像均完整呈现，均能够被检出，因此，利用相关图像帧的相关物体图像对所述当前图像帧进行配准，可以得到相关物体图像的配准映射关系。通常可以通过一个适当的多项式来拟合两图像(相关图像帧的相关物体图像和当前图像帧的相关物体图像)之间的平移、旋转和仿射变换，由此将图像的配准映射关系转化为如何确定多项式的系数，最终转化为如何确定配准控制点(RCP，Registration Control Point)。根据如何确定RCP的方法和图像配准中利用的图像信息区别，可将图像配准的方法分为三个主要类别：基于灰度信息法、变换域法和基于特征法，其中基于特征法又可以根据所用的特征属性的不同而细分为若干类别。
根据匹配图像之间几何畸变的情况，所选择的能最佳拟合两幅图像之间变化的几何变换模型有很多，例如可采用的变换模型有如下几种:刚性变换、仿射变换、透视变换和非线形变换等。
步骤S103：根据所述配准映射关系和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧的配准位置。
在已知所述相关物体图像的配准映射关系后，由于相关图像帧的目标图像的每个像素也是已知的，即可通过该配准映射关系得到所述相关图像帧的目标图像在所述当前图像帧的配准位置。
简单来说，如图2所示，当前图像帧20中，目标图像为O(虚线三角形所示，被遮挡物图像30遮挡)、相关物体图像为A(圆形所示，图中列举了三个)；相关图像帧10中，目标图像为Of(实线三角形所示)、相关物体图像为Af(圆形所示，图中列举了三个)；通过相关图像帧10的相关物体图像Af与当前图像帧20的相关物体图像A之间的配准，得到相关物体图像的配准映射关系Af-A；通过配准映射关系Af-A和相关图像帧10的目标图像Of，可以得到当前图像帧20的目标图像O的位置。
本申请实施例获取当前图像帧，所述当前图像帧包括相关物体图像；利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的配准映射关系，所述相关图像帧包括目标图像和相关物体图像，其中目标与相关物体之间的相对位置保持不变，摄像装置拍摄得到所述当前图像帧和所述相关图像帧时所述目标和所述相关物体均在所述摄像装置的视角范围内；根据所述配准映射关系和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧的配准位置。由于利用相关图像帧和当前图像帧均包括相关物体图像得到相关物体图像的配准映射关系，而目标与相关物体之间的相对位置保持不变，通过该配准映射关系能够确定相关图像帧的目标图像在当前图像帧的配准位置，从而检出目标在当前图像帧的位置。例如：目标被遮挡、被大面积遮挡、完全遮挡或者目标图像模糊看不清检测不到，等等，通过本申请实施例的方法能够检出目标当前图像帧的位置。
在一实施例中，步骤S102，所述利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的配准映射关系，可以包括：利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的仿射变换矩阵。
仿射变换是投影变换的一种特殊形式，在图像处理中，大部分图像变换算法用仿射变换就可以得到不错的效果，并且数学意义比较明确易懂，因此仿射变换相对来说更常用一些。
仿射变换(Affine Transformation)是一种二维坐标到二维坐标之间的线性变换，保持二维图形的“平直性”(即变换后直线还是直线不会打弯，圆弧还是圆弧)和“平行性”(指保持二维图形间的相对位置关系不变，平行线还是平行线，相交直线的交角不变。)。简单来说，仿射变换允许图形任意倾斜、而且允许图形在两个方向上任意伸缩的变换。仿射变换可以保持原来的线共点、点共线的关系不变，保持原来相互平行的线仍然平行，保持原来的中点仍然是中点，保持原来在一直线上几段线段之间的比例关系不变。仿射变换可以通过一系列的原子变换的复合来实现，包括：平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)和剪切(Shear)。仿射变换矩阵即为通过矩阵的方式表示这些仿射变换间的关系。
尺度不变特征变换(SIFT，Scale-invariant feature transform)是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。SIFT算法具有如下一些特点：(1)SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；(2)区分性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；(3)多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；(4)高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；(5)可扩展性，可以很方便的与其他形式的特征向量进行联合。随机抽样一致(RANSAC，RANdom SAmple Consensus)算法，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。RANSAC算法能够鲁棒的估计模型参数，经常用于计算机视觉中，在立体视觉领域中同时解决一对相机的匹配点问题及基本矩阵的计算。
因此，在一实际应用中，步骤S102的具体过程采用SIFT算法和RANSAC算法，具体可以是：计算相关图像帧与当前图像帧的相关物体图像的SIFT特征子集合，对相关图像帧和当前图像帧的相关物体图像内的SIFT特征子集合进行匹配，根据匹配特征子用RANSAC算法求解出相关物体图像的仿射变换矩阵。
在一实施例中，相关物体的数量包括两个以上，利用两个以上相关物体图像进行配准，得到两个以上的仿射变换矩阵，利用两个以上的仿射变换矩阵，能够使检测得到的目标图像的位置更加准确。
即步骤S102，所述利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的仿射变换矩阵，还可以包括：利用所述相关图像帧的两个以上相关物体图像对所述当前图像帧进行配准，得到两个以上所述相关物体图像的仿射变换矩阵。
此时，步骤S103，所述根据所述相关物体图像的仿射变换矩阵和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧中的配准位置，还可以包括：根据两个以上所述相关物体图像的仿射变换矩阵和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧中的配准位置。
得到两个以上所述相关物体图像的仿射变换矩阵后，可以将这两个以上所述相关物体图像的仿射变换矩阵融合为一个更加准确的仿射变换矩阵；或者，可以将目标图像分为多个区域，哪个区域距离哪个相关物体图像，目标图像该区域的图像利用该距离近的相关物体图像的仿射变换矩阵进行仿射变换；等等。
在一实施例中，步骤S103，所述根据两个以上所述相关物体图像的仿射变换矩阵和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧中的配准位置，可以包括：子步骤S1031和子步骤S1032，如图3所示。
子步骤S1031：在所述相关图像帧中，确定距离所述目标图像的每个像素最近的相关物体图像。
子步骤S1032：根据所述相关图像帧的目标图像的每个像素和所述每个像素最近的相关物体图像的仿射变换矩阵，得到所述相关图像帧的目标图像在所述当前图像帧中的配准位置。
本实施例中，对相关图像帧的目标图像的每个像素进行细化，确定距离每个像素最近的相关物体图像。该相关图像帧的目标图像的像素进行仿射变换时选用离该像素最近的相关物体图像的仿射变换矩阵，进而得到相关图像帧的目标图像在所述当前图像帧中的配准位置。
例如：参见图4，相关图像帧10的目标图像Of包括像素O1、O2、O3，相关图像帧10的相关物体图像Af包括Af1、Af2、Af3，其中像素O1距离相关物体图像Af1最近，像素O2距离相关物体图像Af2最近，像素O3距离相关物体图像Af3最近,当将相关图像帧10的目标图像Of的像素O1、O2、O3仿射变换至当前图像帧时，像素O1采用相关物体图像Af1的仿射变换矩阵，像素O2采用相关物体图像Af2的仿射变换矩阵，像素O3采用相关物体图像Af3的仿射变换矩阵。
进一步，子步骤S1031，所述在所述相关图像帧中，确定距离所述目标图像的每个像素最近的相关物体图像，还可以包括：子步骤S10311和子步骤S10312，如图5所示。
子步骤S10311：在所述相关图像帧中，确定所述目标图像的每个像素所在的位置与所述两个以上的相关物体图像的区域的中心之间的距离。
子步骤S10312：将所述中心距离所述目标图像的每个像素所在的位置最小的相关物体图像作为距离所述目标图像的每个像素最近的相关物体图像。
通过上述方式，能够简单方便确定距离所述目标图像的每个像素最近的相关物体图像。
参见图6，相关图像帧10的目标图像Of包括像素O1、O2、O3，相关图像帧10的相关物体图像Af包括Af1、Af2、Af3，相关物体图像Af1、Af2、Af3的区域的中心分别是C1、C2、C3；以像素O1为例，分别计算像素O1所在位置O1与中心C1、C2、C3之间的距离，由于O1与中心C1之间的距离最小，相关物体图像Af1即为像素O1最近的相关物体图像。
在一实施例中，所述目标图像和所述相关物体图像的检测方法相同，所述检测方法包括图像检测模型。此时步骤S101，所述获取当前图像帧之前，可以包括：通过图像检测模型检测所述当前图像帧的目标图像，以确定所述图像检测模型是否能检出所述当前图像帧的目标图像；步骤S101，所述获取当前图像帧，还可以包括：若所述图像检测模型不能检出所述当前图像帧的目标图像，则获取所述当前图像帧。
在实际应用中，大部分情况下大部分的图像帧是正常的图像帧，即目标图像是目标在正常状态下的图像，没有被遮挡，光线良好，采用现有的图像检测方法均可以检出目标图像，因此，在采用本实施例的方法之前，可以采用现有的图像检测方法进行检测，例如常用的图像检测模型。当采用现有的图像检测方法进行检测，例如常用的图像检测模型，检测不出来的时候，再采用本实施例的方法进行检测，即将本实施例的方法作为一种补充或者辅助。通过这种方式，一方面能够大大提高正常状态下的目标的检测效率，另一方面，又能够检测出异常状态下的目标(即采用现有的图像检测方法无法检出目标图像的情形)。
在一实施例中，所述方法还包括：若所述图像检测模型不能检出所述当前图像帧的目标图像，则通过所述图像检测模型检测得到所述当前图像帧的相关物体图像所在的位置。此时，步骤S102，所述利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的仿射变换矩阵，还可以包括：利用所述相关图像帧的相关物体图像，在所述当前图像帧的相关物体图像所在的位置处对所述当前图像帧的相关物体图像进行配准，得到所述相关物体图像的仿射变换矩阵。
本实施例中，由于通过所述图像检测模型检测得到所述当前图像帧的相关物体图像所在的位置，在利用所述相关图像帧的相关物体图像对所述当前图像帧进行配准时，配准的范围缩小，能够提高相关物体图像配准的效率。
在一实施例中，所述方法还包括：若所述图像检测模型检出所述当前图像帧的目标图像和相关物体图像，则将所述当前图像帧作为新的相关图像帧保存至图像库中。此时，步骤S102，所述利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的仿射变换矩阵之前，还可以包括：从所述图像库中获取所述相关图像帧。
本实施例中，将所述图像检测模型检出目标图像和相关物体图像的当前图像帧作为新的相关图像帧保存至图像库中，配准的时候，从所述图像库中获取所述相关图像帧，通过这种方式，能够获取到在时间与空间上与当前图像帧比较相似的相关图像帧，从而能够提高检测效率。
在一实施例中，所述目标和所述相关物体为整体对象的不同组成部分。
进一步，在一应用场景中，所述整体对象包括车体，所述目标包括车头，所述相关物体包括车轮和车厢。下面以该应用场景为例详细说明本实施例的方法的实际应用。
工业环境的遮挡噪音，往往并非全天时间一直遮挡着目标，比如，吊车吊臂偶有遮挡目标，但在过往的视频中吊臂因为作业移动有机会暴露出完整车体模块(例如车头、车厢、车轮)，从而可供深度学习模型检出车体模块。利用过往图片(即相关图像帧)中检出的车体模块，配合过往图片与当前图片(即当前图像帧)的相似性，可以获得过往图片的信息用于辅助检出当前图片的车体模块。图像配准技术，可以对不同时间、不同空间获取到的包含同一对象的两图像进行匹配，使两图像对应空间同一位置的点一一对应起来。利用图像配准技术进行整车车辆配准，可以同时把车体模块进行配对，从而挖掘出当前图像帧中的目标的位置。
整体的车体模块检测系统分为三部分组成：(1)基于yolo的深度学习检测模型，用于检测非遮挡的车体模块；(2)相关图像帧缓存模块，用于缓存最近的深度学习模型能成功检出车辆的所有车体模块的过往图像帧(即相关图像帧)；(3)车体配准模块，利用缓存的过往图像帧和当前图像帧进行配准，利用过往图像帧的车体模块信息找到当前图像帧的车体模块。若当前图像帧被大面积遮挡导致无法输出本帧的特征子，无法进行配准，则根据相关物体图像的信息进行辅助配准(如车头被大量遮挡，则采用车厢、车轮信息进行辅助配准)。
通过上述方法，能够显著提升工业环境下的车体模块被大面积甚至完全遮挡情况下的识别性能。工业环境下，会存在大量不可预测、难以采样的遮挡噪声，使得深度学习模型对车体模块的检测性能大大下降，从而无法有效进行基于车体模块的后续数据分析任务，此类遮挡使得无法提取被遮挡物的特征子从而进行直接配准。通过引入与目标有物理相关性的相关物体，引入相关物体图像信息的图像配准的车体模块检测技术，能够提升遮挡条件下的车体模块检出率，从而提供后续对车载物料数据分析的机会。
参见图7，图7是本申请目标检测装置一实施例的结构示意图，需要说明的是，该装置能够执行上述目标检测方法中的步骤，相关内容的详细说明，请参见上述目标检测方法的相关内容，在此不再赘叙。
所述装置100包括：存储器1和处理器2；存储器1和处理器2通过总线连接。其中，处理器2可以是微控制单元、中央处理单元或数字信号处理器，等等；存储器1可以是Flash芯片、只读存储器、磁盘、光盘、U盘或者移动硬盘等等。所述存储器1用于存储计算机程序；所述处理器2用于执行所述计算机程序并在执行所述计算机程序时，实现如上任一项所述的目标检测方法。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上任一项所述的目标检测方法。相关内容的详细说明，请参见上述目标检测方法的相关内容，在此不再赘叙。
其中，该计算机可读存储介质可以是上述装置的内部存储单元，例如硬盘或内存。该计算机可读存储介质也可以是外部存储设备，例如配备的插接式硬盘、智能存储卡、安全数字卡、闪存卡，等等。
应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施例，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (13)
1.一种目标检测方法，其特征在于，所述方法包括：
获取当前图像帧，所述当前图像帧包括相关物体图像；
利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的配准映射关系，所述相关图像帧包括目标图像和相关物体图像，其中目标与相关物体之间的相对位置保持不变，摄像装置拍摄得到所述当前图像帧和所述相关图像帧时所述目标和所述相关物体均在所述摄像装置的视角范围内；
根据所述配准映射关系和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧的配准位置。
2.根据权利要求1所述的方法，其特征在于，所述利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的配准映射关系，包括：
利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的仿射变换矩阵。
3.根据权利要求2所述的方法，其特征在于，所述利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的仿射变换矩阵，包括：
利用所述相关图像帧的两个以上相关物体图像对所述当前图像帧进行配准，得到两个以上所述相关物体图像的仿射变换矩阵；
所述根据所述相关物体图像的仿射变换矩阵和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧中的配准位置，包括：
根据两个以上所述相关物体图像的仿射变换矩阵和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧中的配准位置。
4.根据权利要求3所述的方法，其特征在于，所述根据两个以上所述相关物体图像的仿射变换矩阵和所述相关图像帧的目标图像的每个像素，得到所述相关图像帧的目标图像在所述当前图像帧中的配准位置，包括：
在所述相关图像帧中，确定距离所述目标图像的每个像素最近的相关物体图像；
根据所述相关图像帧的目标图像的每个像素和所述每个像素最近的相关物体图像的仿射变换矩阵，得到所述相关图像帧的目标图像在所述当前图像帧中的配准位置。
5.根据权利要求4所述的方法，其特征在于，所述在所述相关图像帧中，确定距离所述目标图像的每个像素最近的相关物体图像，包括：
在所述相关图像帧中，确定所述目标图像的每个像素所在的位置与所述两个以上的相关物体图像的区域的中心之间的距离；
将所述中心距离所述目标图像的每个像素所在的位置最小的相关物体图像作为距离所述目标图像的每个像素最近的相关物体图像。
6.根据权利要求1所述的方法，其特征在于，所述获取当前图像帧之前，包括：
通过图像检测模型检测所述当前图像帧，以确定所述图像检测模型是否能检出所述当前图像帧的目标图像；
所述获取当前图像帧，包括：
若所述图像检测模型不能检出所述当前图像帧的目标图像，则获取所述当前图像帧。
7.根据权利要求6所述的方法，其特征在于，所述图像检测模型包括深度学习模型。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述图像检测模型不能检出所述当前图像帧的目标图像，则通过所述图像检测模型检测得到所述当前图像帧的相关物体图像所在的位置；
所述利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的仿射变换矩阵，包括：
利用所述相关图像帧的相关物体图像，在所述当前图像帧的相关物体图像所在的位置处对所述当前图像帧的相关物体图像进行配准，得到所述相关物体图像的仿射变换矩阵。
9.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述图像检测模型检出所述当前图像帧的目标图像和相关物体图像，则将所述当前图像帧作为新的相关图像帧保存至图像库中；
所述利用相关图像帧的相关物体图像对所述当前图像帧进行配准，得到所述相关物体图像的仿射变换矩阵之前，包括：
从所述图像库中获取所述相关图像帧。
10.根据权利要求1所述的方法，其特征在于，所述目标被部分遮挡，所述当前图像帧包括被部分遮挡的目标图像；或者，所述目标被完全遮挡，所述当前图像帧没有呈现出目标图像；或者，所述当前图像帧包括模糊的目标图像。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述目标和所述相关物体为整体对象的不同组成部分；所述整体对象包括车体，所述目标包括车头，所述相关物体包括车轮和车厢。
12.一种目标检测装置，其特征在于，所述装置包括：存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序并在执行所述计算机程序时，实现如权利要求1-11任一项所述的目标检测方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-11任一项所述的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011254275.XA CN112435223B (zh) | 2020-11-11 | 2020-11-11 | 目标检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011254275.XA CN112435223B (zh) | 2020-11-11 | 2020-11-11 | 目标检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112435223A true CN112435223A (zh) | 2021-03-02 |
| CN112435223B CN112435223B (zh) | 2021-11-23 |
Family
ID=74699769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011254275.XA Active CN112435223B (zh) | 2020-11-11 | 2020-11-11 | 目标检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112435223B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991537A (zh) * | 2021-04-29 | 2021-06-18 | 深圳大学 | 城市场景重建方法、装置、计算机设备和存储介质 |
| CN113393505A (zh) * | 2021-06-25 | 2021-09-14 | 浙江商汤科技开发有限公司 | 图像配准方法、视觉定位方法及相关装置、设备 |
| WO2022217935A1 (zh) * | 2021-04-16 | 2022-10-20 | 青岛海尔电冰箱有限公司 | 冰箱内物品信息识别方法和冰箱 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103996200A (zh) * | 2014-06-11 | 2014-08-20 | 四川华雁信息产业股份有限公司 | 一种基于图像子块参数的快速图像配准方法 |
| CN104146767A (zh) * | 2014-04-24 | 2014-11-19 | 薛青 | 辅助外科手术的术中导航方法和导航系统 |
| CN105389569A (zh) * | 2015-11-17 | 2016-03-09 | 北京工业大学 | 一种人体姿态估计方法 |
| CN106056625A (zh) * | 2016-05-25 | 2016-10-26 | 中国民航大学 | 一种基于地理同名点配准的机载红外运动目标检测方法 |
| CN107680054A (zh) * | 2017-09-26 | 2018-02-09 | 长春理工大学 | 雾霾环境下多源图像融合方法 |
| EP3382601A1 (en) * | 2017-03-28 | 2018-10-03 | Samsung Electronics Co., Ltd. | Face verifying method and apparatus |
| CN109815822A (zh) * | 2018-12-27 | 2019-05-28 | 北京航天福道高技术股份有限公司 | 基于广义Hough变换的巡检图零部件目标识别方法 |
| CN110060272A (zh) * | 2018-01-18 | 2019-07-26 | 杭州海康威视数字技术股份有限公司 | 人脸区域的确定方法、装置、电子设备及存储介质 |
| CN111397596A (zh) * | 2020-04-02 | 2020-07-10 | 西安因诺航空科技有限公司 | 一种固定轴光伏场景的无人机巡检目标定位方法 |
| CN111445497A (zh) * | 2020-02-25 | 2020-07-24 | 华中科技大学 | 一种基于尺度上下文回归的目标追踪与跟随方法 |
| CN111681270A (zh) * | 2020-04-22 | 2020-09-18 | 清华大学 | 一种实现图像帧之间配准的方法、装置和存储介质 |
-
2020
- 2020-11-11 CN CN202011254275.XA patent/CN112435223B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104146767A (zh) * | 2014-04-24 | 2014-11-19 | 薛青 | 辅助外科手术的术中导航方法和导航系统 |
| CN103996200A (zh) * | 2014-06-11 | 2014-08-20 | 四川华雁信息产业股份有限公司 | 一种基于图像子块参数的快速图像配准方法 |
| CN105389569A (zh) * | 2015-11-17 | 2016-03-09 | 北京工业大学 | 一种人体姿态估计方法 |
| CN106056625A (zh) * | 2016-05-25 | 2016-10-26 | 中国民航大学 | 一种基于地理同名点配准的机载红外运动目标检测方法 |
| EP3382601A1 (en) * | 2017-03-28 | 2018-10-03 | Samsung Electronics Co., Ltd. | Face verifying method and apparatus |
| CN107680054A (zh) * | 2017-09-26 | 2018-02-09 | 长春理工大学 | 雾霾环境下多源图像融合方法 |
| CN110060272A (zh) * | 2018-01-18 | 2019-07-26 | 杭州海康威视数字技术股份有限公司 | 人脸区域的确定方法、装置、电子设备及存储介质 |
| CN109815822A (zh) * | 2018-12-27 | 2019-05-28 | 北京航天福道高技术股份有限公司 | 基于广义Hough变换的巡检图零部件目标识别方法 |
| CN111445497A (zh) * | 2020-02-25 | 2020-07-24 | 华中科技大学 | 一种基于尺度上下文回归的目标追踪与跟随方法 |
| CN111397596A (zh) * | 2020-04-02 | 2020-07-10 | 西安因诺航空科技有限公司 | 一种固定轴光伏场景的无人机巡检目标定位方法 |
| CN111681270A (zh) * | 2020-04-22 | 2020-09-18 | 清华大学 | 一种实现图像帧之间配准的方法、装置和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ABHIJITH PUNNAPPURATH等: ""Registration and occlusion detection in motion blur"", 《2013 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
| 熊龙烨: ""自然场景下成熟柑橘果实分类识别与定位方法研究"", 《中国优秀硕士学位论文全文数据库农业科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022217935A1 (zh) * | 2021-04-16 | 2022-10-20 | 青岛海尔电冰箱有限公司 | 冰箱内物品信息识别方法和冰箱 |
| CN112991537A (zh) * | 2021-04-29 | 2021-06-18 | 深圳大学 | 城市场景重建方法、装置、计算机设备和存储介质 |
| CN112991537B (zh) * | 2021-04-29 | 2021-09-10 | 深圳大学 | 城市场景重建方法、装置、计算机设备和存储介质 |
| US11544898B2 (en) | 2021-04-29 | 2023-01-03 | Shenzhen University | Method, computer device and storage medium for real-time urban scene reconstruction |
| CN113393505A (zh) * | 2021-06-25 | 2021-09-14 | 浙江商汤科技开发有限公司 | 图像配准方法、视觉定位方法及相关装置、设备 |
| CN113393505B (zh) * | 2021-06-25 | 2023-11-03 | 浙江商汤科技开发有限公司 | 图像配准方法、视觉定位方法及相关装置、设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112435223B (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| CN109376667B (zh) | 目标检测方法、装置及电子设备 | |
| CN112435223B (zh) | 目标检测方法、装置及存储介质 | |
| Uittenbogaard et al. | Privacy protection in street-view panoramas using depth and multi-view imagery | |
| JP6902122B2 (ja) | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 | |
| KR101722803B1 (ko) | 이미지들의 시퀀스에서 물체들의 실시간 표현들의 하이브리드 추적을 위한 방법, 컴퓨터 프로그램 및 디바이스 | |
| KR20210072048A (ko) | 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법 | |
| CN109816694B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN110070564A (zh) | 一种特征点匹配方法、装置、设备及存储介质 | |
| CN112364865B (zh) | 一种复杂场景中运动小目标的检测方法 | |
| CN111914756A (zh) | 一种视频数据处理方法和装置 | |
| Zhang et al. | Data association between event streams and intensity frames under diverse baselines | |
| CN112132753B (zh) | 多尺度结构引导图像的红外图像超分辨率方法及系统 | |
| CN118015190A (zh) | 一种数字孪生模型的自主构建方法及装置 | |
| US9135715B1 (en) | Local feature cameras for structure from motion (SFM) problems with generalized cameras | |
| CN110458177B (zh) | 图像深度信息的获取方法、图像处理装置以及存储介质 | |
| CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
| Layek et al. | Remote distance measurement from a single image by automatic detection and perspective correction | |
| Zhou et al. | Speeded-up robust features based moving object detection on shaky video | |
| TWI819219B (zh) | 動態場景補償的拍照方法及攝像裝置 | |
| CN114871115B (zh) | 一种物体分拣方法、装置、设备及存储介质 | |
| EL Abbadi et al. | Panoramic Image Stitching Techniques Based on SURF and Singular Value Decomposition | |
| CN113450291B (zh) | 图像信息处理方法及装置 | |
| CN117726656B (zh) | 基于超分辨率图像的目标跟踪方法、装置、系统和介质 | |
| CN113470001B (zh) | 一种用于红外图像的目标搜索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |