CN112070036A - 基于多帧图片的目标检测方法、装置及存储介质 - Google Patents
基于多帧图片的目标检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112070036A CN112070036A CN202010951616.2A CN202010951616A CN112070036A CN 112070036 A CN112070036 A CN 112070036A CN 202010951616 A CN202010951616 A CN 202010951616A CN 112070036 A CN112070036 A CN 112070036A
- Authority
- CN
- China
- Prior art keywords
- pictures
- detection
- target detection
- frame
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 410
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000005070 sampling Methods 0.000 claims description 34
- 238000007621 cluster analysis Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于多帧图片的目标检测方法、装置及存储介质，通过获取待处理的多帧图片；对多帧图片中的第一帧图片进行目标检测，确定目标检测区域，根据目标检测区域，依次对多帧图片中剩余图片通过CGDBSCAN算法进行目标检测，并根据剩余图片中每帧图片对应的目标检测结果，依次对目标检测区域进行更新，直至剩余图片的最后一帧图片完成目标检测；输出多帧图片对应的检测目标，由于通过第一帧图片的检测结果作为参考对后续图片进行目标检测，而不用从每张图片的起始位置开始检测，可以有效降低计算量，同时提高目标识别的效率，使目标检测过程中的准确度与实时性得到兼顾。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于多帧图片的目标检测方法、装置及存储介质。
背景技术
近几年随着移动互联网、大数据、人工智能等技术的发展和应用社会立体化治安防控体系建设项目的逐期落成，计算机视觉在其中所体现的价值和承担的任务越来越大。深度学习在计算机视觉领域的快速发展，让计算机视觉领域成为了近几年的研究和应用热点。
计算机视觉领域的物体跟踪任务，其基本作用是在指定了目标物体后，让机器能够从图片中自动识别目标物体的大小和位置，并给出其在后续图片序列的图片中出现的位置。现有技术中，通常采用复杂卷积神经网络或大型AI算法，来实现多帧图片中的目标检测。
然而，虽然复杂卷积神经网络或大型AI算法实现多帧图片中的物体跟踪的辨识精度较高，但计算分析耗时较长，效率较低，无法兼顾准确度与实时性。
发明内容
本发明提供一种基于多帧图片的目标检测方法、装置及存储介质，用以解决对多帧图片进行目标检测时计算分析耗时较长，效率较低，无法兼顾准确度与实时性问题。
根据本公开实施例的第一方面，本发明提供了一种基于多帧图片的目标检测方法，所述方法包括：
获取待处理的多帧图片；
对所述多帧图片中的第一帧图片进行目标检测，确定目标检测区域，所述目标检测区域内包括检测目标；
根据所述目标检测区域，依次对所述多帧图片中剩余图片通过基于网格和贡献度的改进对噪声鲁棒的空间聚类算法(Grid Contribution Density Based SpatialClustering of Applications with Noise，CGDBSCAN)进行目标检测，并根据所述剩余图片中每帧图片对应的目标检测结果，依次对目标检测区域进行更新，直至所述剩余图片的最后一帧图片完成目标检测；
输出所述多帧图片对应的检测目标。
在一种可能的实现方式中，根据所述目标检测区域，依次对所述多帧图片中剩余图片通过CGDBSCAN算法进行目标检测，包括：
获取预设的图片序列；
按照所述图片序列，读取所述剩余图片中的多个图片组，其中，所述图片组中包括预设帧数的图片；
根据所述目标检测区域，通过CGDBSCAN算法对各所述图片组中的各帧所述图片进行目标检测。
在一种可能的实现方式中，根据所述目标检测区域，通过CGDBSCAN算法对各所述图片组中的各帧所述图片进行目标检测，包括：
获取所述目标检测区域的中心点位置；
以中心点位置为中心，构建多个检测区域逐渐扩大的待检测区域；
从检测区域最小的待检测区域开始，依次通过CGDBSCAN算法对各所述图片组中的各帧所述图片进行目标检测，直至检测到所述检测目标。
在一种可能的实现方式中，依次通过CGDBSCAN算法对各所述图片组中的各帧所述图片进行目标检测，包括：
通过CGDBSCAN算法依次对所述多个待检测区域进行聚类分析，获得聚类分析结果；
确定所述聚类分析结果和所述检测目标的匹配度；
若所述匹配度大于或等于预设匹配度阈值，则确定所述待检测区域内存在所述检测目标；若所述匹配度小于所述预设匹配度阈值，则对下一个较大的待检测区域进行检测，直至检测到所述检测目标。
在一种可能的实现方式中，目标检测结果中包括检测目标的位置信息，根据所述剩余图片对应的目标检测结果，依次对检测区域进行更新，包括：
依次获取所述剩余图片对应的所述位置信息；
根据所述位置，依次对所述检测区域进行更新。
在一种可能的实现方式中，在对所述多帧图片中的第一帧图片进行目标检测，确定目标检测区域之后，还包括：
根据对所述多帧图片中的第一帧图片进行目标检测的结果，对所述多帧图片中剩余图片进行抽样，以降低所述剩余图片的数量。
在一种可能的实现方式中，根据对所述多帧图片中的第一帧图片进行目标检测的结果，对所述多帧图片中剩余图片进行抽样，包括：
获取所述检测目标的置信度；
根据预设的映射关系，确定所述置信度对应的抽样系数；
根据所述抽样系数对所述多帧图片中剩余图片进行抽样。
根据本公开实施例的第二方面，本发明提供了一种基于视频流的目标检测装置，包括：
获取模块，用于获取待处理视频数据，所述待处理视频数据中包括多帧图片；
第一检测模块，用于对所述多帧图片中的第一帧图片进行目标检测，确定目标检测区域，所述目标检测区域内包括检测目标；
第二检测模块，用于根据所述目标检测区域，依次对所述多帧图片中剩余图片通过CGDBSCAN算法进行目标检测，并根据所述剩余图片中每帧图片对应的目标检测结果，依次对目标检测区域进行更新，直至所述剩余图片的最后一帧图片完成目标检测；
输出模块，用于根据所述多帧图片对应的目标检测区域，对检测目标进行跟踪。
在一种可能的实现方式中，所述第二检测模块在根据所述目标检测区域，依次对所述多帧图片中剩余图片通过CGDBSCAN算法进行目标检测时，具体用于：
获取预设的图片序列；
按照所述图片序列，读取所述剩余图片中的多个图片组，其中，所述图片组中包括预设帧数的图片；
根据所述目标检测区域，通过CGDBSCAN算法对各所述图片组中的各帧所述图片进行目标检测。
在一种可能的实现方式中，所述第二检测模块在根据所述目标检测区域，通过CGDBSCAN算法对各所述图片组中的各帧所述图片进行目标检测时，具体用于：
获取所述目标检测区域的中心点位置；
以中心点位置为中心，构建多个检测区域逐渐扩大的待检测区域；
从检测区域最小的待检测区域开始，依次通过CGDBSCAN算法对各所述图片组中的各帧所述图片进行目标检测，直至检测到所述检测目标。
在一种可能的实现方式中，所述第二检测模块在依次通过CGDBSCAN算法对各所述图片组中的各帧所述图片进行目标检测时，具体用于：
通过CGDBSCAN算法依次对所述多个待检测区域进行聚类分析，获得聚类分析结果；
确定所述聚类分析结果和所述检测目标的匹配度；
若所述匹配度大于或等于预设匹配度阈值，则确定所述待检测区域内存在所述检测目标；若所述匹配度小于所述预设匹配度阈值，则对下一个较大的待检测区域进行检测，直至检测到所述检测目标。
在一种可能的实现方式中，目标检测结果中包括检测目标的位置信息，所述第二检测模块在根据所述剩余图片对应的目标检测结果，依次对检测区域进行更新时，具体用于：
依次获取所述剩余图片对应的所述位置信息；
根据所述位置，依次对所述检测区域进行更新。
在一种可能的实现方式中，所述第一检测模块在在对所述多帧图片中的第一帧图片进行目标检测，确定目标检测区域之后，还用于：
根据对所述多帧图片中的第一帧图片进行目标检测的结果，对所述多帧图片中剩余图片进行抽样，以降低所述剩余图片的数量。
在一种可能的实现方式中，所述第一检测模块在根据对所述多帧图片中的第一帧图片进行目标检测的结果，对所述多帧图片中剩余图片进行抽样时，具体用于：
获取所述检测目标的置信度；
根据预设的映射关系，确定所述置信度对应的抽样系数；
根据所述抽样系数对所述多帧图片中剩余图片进行抽样。
根据本公开实施例的第三方面，本发明提供了一种电子设备，包括：存储器，处理器以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行如本公开实施例第一方面任一项所述的基于多帧图片的目标检测方法。
根据本公开实施例的第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本公开实施例第一方面任一项所述的基于多帧图片的目标检测方法。
本发明提供的基于多帧图片的目标检测方法、装置及存储介质，通过获取待处理的多帧图片；对所述多帧图片中的第一帧图片进行目标检测，确定目标检测区域，所述目标检测区域内包括检测目标；根据所述目标检测区域，依次对所述多帧图片中剩余图片通过CGDBSCAN算法进行目标检测，并根据所述剩余图片中每帧图片对应的目标检测结果，依次对目标检测区域进行更新，直至所述剩余图片的最后一帧图片完成目标检测；输出所述多帧图片对应的检测目标，由于利用了CGDBSCAN算法通过第一帧图片的检测结果作为参考对后续图片进行目标检测，而不用从每张图片的起始位置开始检测，配合CGDBSCAN算法的高鲁棒性识别特性，可以有效降低计算量，同时提高目标识别的效率，使目标检测过程中的准确度与实时性得到兼顾。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本发明实施例提供的基于多帧图片的目标检测方法的一种应用场景图；
图2为本发明一个实施例提供的基于多帧图片的目标检测方法的流程图；
图3为本发明另一个实施例提供的基于多帧图片的目标检测方法的流程图；
图4为图3所示实施例中步骤S202A的流程图；
图5为图3所示实施例中步骤S205的流程图；
图6为本发明实施例提供的一种待检测区域的示意图；
图7为本发明实施例提供的通过逐渐增大的待检测区域进行目标检测的示意图；
图8为本发明实施例提供的另一种通过逐渐增大的待检测区域进行目标检测的示意图；
图9为本发明一个实施例提供的基于视频流的目标检测装置的结构示意图；
图10为本发明一个实施例提供的电子设备的示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面对本发明实施例的应用场景进行解释：
图1为本发明实施例提供的基于多帧图片的目标检测方法的一种应用场景图，如图1所示，本发明实施例提供基于多帧图片的目标检测方法应用于数据处理服务器11，数据处理服务器11与图像采集装置通信连接，在本发明实施例提供的应该场景中，该图像采集装置为监控摄像头12，监控摄像头12采集监控范围内的视频数据，并将视频数据传输至数据处理服务器11，数据处理服务器11对视频数据进行处理，并利用本发明实施例提供的基于多帧图片的目标检测方法对视频数据中的跟踪目标13进行跟踪，并通过显示装置14进行显示。
现有技术中，现有技术中，通常采用复杂卷积神经网络或大型AI算法，来实现视频中的目标检测。然而，虽然复杂卷积神经网络或大型AI算法需要对视频流中的每一帧图片进行分析，随着图片分辨率的提高，图片尺寸的提高，需要设置更加复杂的神经网络来对图片进行多层卷积运算，从而提取出图像中的全局特征，实现图像的特征提取和目标检测，而在卷积运算的过程中，为了提取出目标特征，必须同时对图片中的所有像素信息进行卷积计算，而其中的大部分像素信息其实与目标特征无关，因此，虽然通过大型神经网络等算法能够实现视频流中的物体跟踪，但计算分析耗时较长，效率较低，造成了无法兼顾准确度与实时性的问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明一个实施例提供的基于多帧图片的目标检测方法的流程图，如图2所示，本实施例提供的基于多帧图片的目标检测方法包括以下几个步骤：
步骤S101，获取待处理的多帧图片。
示例性地，待处理的待处理的多帧图片为通过视频采集装置采集的具有连续变化特性的图像，例如，用于表现车辆运动的10张抓拍图片。多帧图片之间具有连贯性，即多帧图片中的物体按照一定的规律运动或变化，且每两帧图片之间的变化在一定的范围内。
步骤S102，对多帧图片中的第一帧图片进行目标检测，确定目标检测区域，目标检测区域内包括检测目标。
示例性地，将多帧图片中的第一帧图片利用卷积神经网络进行特征提取和分类，识别出检测目标。其中，示例性地，存储介质中存储有预设检测目标，预设检测目标是预设的图像数据，例如为人脸图像数据、车辆图像数据等。本实施例方法的执行主体服务器可以通过读取或接收等方式，获得存储介质中存储的预设检测目标。进而，利用卷积神经网络可以将第一帧图片中与预设检测目标相匹配的物品，确定为检测目标，即实现对检测目标的检测。进一步地，根据对检测目标的检测结果，可以确定检测目标的位置信息，将位置信息对应的区域，确定为目标检测区域。示例性地，目标检测区域可以为一个正方形框体，正方形框体能够将检测目标围住，并具有最小的面积。
步骤S103，根据目标检测区域，依次对多帧图片中剩余图片通过CGDBSCAN算法进行目标检测，并根据剩余图片中每帧图片对应的目标检测结果，依次对目标检测区域进行更新，直至剩余图片的最后一帧图片完成目标检测。
示例性地，目标检测区域，可以用于描述检测目标所在的位置。在相邻两帧图片之间，检测目标所在位置不会发生很大变化，因此，相邻两帧图片对应的目标检测区域，也具有较高的重合度。进而，从第一帧图片开始，将前一帧图片中的目标检测区域作为参考点，对后一帧图片进行检测，由于后一帧图片中的检测目标在前一帧图片的目标检测区域附近，因此，利用前一帧图片的目标检测区域，对应的对后一帧图片进行检测，可以在该目标检测区域附件检测到检测目标，而无需遍历整个图片，实现对检测目标的快速检测。
进一步地，在确定后一帧图片的检测目标后，对应确定后一帧图片的目标检测区域，进而，将后一帧图片的目标检测区域作为参考点，对再后一帧图片进行检测，依次进行，直至完成多帧图片的全部目标检测。
具体地，CGDBSCAN算法用于对检测样本中任意形状进行聚类分析，此处不对CGDBSCAN算法的具体实现过程进行介绍。
基于CGDBSCAN算法的良好属性，对于图像中检测目标发生的姿态变化、外观变化、遮盖等也能保证有效识别，提高算法识别率。
步骤S104，输出多帧图片对应的检测目标。
在完成多帧图片的全部目标检测过程后，每一帧图片，对应一个目标检测区域，用于描述每一帧图片中检测目标的位置，将多帧图片对应的检测目标或第一目标检测区域输出，实现对目标物体的检查。例如，输出至显示装置，使显示装置中显示的原始的多帧图片中的检测目标被标记。本实施例中，通过卷积神经网络等算法，对单帧图片进行图像识别和聚类，获得检测目标的方法，为本领域现有技术手段，此处不再进行赘述。
本实施例中，通过获取待处理的多帧图片；对多帧图片中的第一帧图片进行目标检测，确定目标检测区域，目标检测区域内包括检测目标；根据目标检测区域，依次对多帧图片中剩余图片通过CGDBSCAN算法进行目标检测，并根据剩余图片中每帧图片对应的目标检测结果，依次对目标检测区域进行更新，直至剩余图片的最后一帧图片完成目标检测；输出多帧图片对应的检测目标，由于首先获得了视频流中第一帧图片的检测结果，因而在对剩余的图片进行对后面目标检测时，可以从第一帧图片的检测结果位置开始进行目标检测，而不用从图片的起始位置开始检测，因此可以有效降低计算量，提高目标识别的效率，使目标检测过程中的准确度与实时性得到兼顾，同时，基于CGDBSCAN算法的良好属性，对于检测目标发生的姿态变化、外观变化、遮盖等也能保证有效识别，提高算法识别率。
图3为本发明另一个实施例提供的基于多帧图片的目标检测方法的流程图，如图3所示，本实施例提供的基于多帧图片的目标检测方法在图2所示实施例提供的基于多帧图片的目标检测方法的基础上，对步骤S103进一步细化，并在步骤S102之后增加了对多帧图片进行抽样的步骤，则本实施例提供的基于多帧图片的目标检测方法包括以下几个步骤：
步骤S201，获取待处理的多帧图片。
步骤S202，对多帧图片中的第一帧图片进行目标检测，确定目标检测区域，目标检测区域内包括检测目标。
示例性地，在步骤S202之后，还包括：
步骤S202A，根据对多帧图片中的第一帧图片进行目标检测的结果，对多帧图片中剩余图片进行抽样，以降低剩余图片的数量。
由于对多帧图片中的目标检测的计算量，与多帧图片的图片总数直接相关。图片数量越多，则目标检测的效果越高，但同时计算量也越大。而同时，对于较为明显的检测目标，选用过多的图片进行分析计算，事实上造成了计算资源的浪费，导致目标检测的实时性较差，反而影响目标检测效果。因此，对于一些待追踪目标较为明显的图片，可以对其中的多帧图片进行抽样，以降低图片处理的计算量，节省计算资源，提高检测实时性。
示例性地，如图4所示，步骤S202A包括步骤S202A1、S202A2和S202A3三个具体的实现步骤：
S202A1，获取检测目标的置信度。
示例性地，在通过复杂神经网络对第一帧图片进行特征提取和目标识别过程中，会得到检测目标的置信度，检测目标的置信度越高，说明检测目标与预设检测目标一致的概率越大，即检测效果越好；相反的，检测目标的置信度越低，则检测目标与预设检测目标一致的概率越小，即检测效果越差，当检测效果较好时，可以认为是视频中的周围环境较为简单，干扰较小，可以获得较好的目标检测效果，因此，可以根据第一帧图片中检测目标的置信度进行抽样，对剩余多帧图片进行抽样，以降低图片数据处理量。
S202A2，根据预设的映射关系，确定置信度对应的抽样系数。
示例性地，当置信度大于预设的置信度阈值时，进行抽样处理；当置信度不大于预设的置信度阈值时，则不进行抽样处理。
示例性地，置信度与抽样系数之间具有预设的映射关系，例如，置信度为0.95时，抽样系数为2，即对多帧图片进行2倍抽样。根据该预设的映射关系，可以确定与第一帧图片的目标检测的置信度对应的抽样系数。
S202A3，根据抽样系数对多帧图片中剩余图片进行抽样。
确定抽样系数后，按照抽样系数进行抽样。例如，抽样系数为2，则每隔一帧图片进行依次抽样，抽样完成后，所有图片的数量，变成之前的一半。
本实施例步骤中，通过对第一帧图片进行分析，根据第一帧图片的目标检测的置信度，对剩余图片进行抽样，降低待处理的数据量，提高对视频数据进行目标检测的实时性。
步骤S203，获取预设的图片序列。
具体地，图片序列用于表征多帧图片中的图片对应的生成顺序，按照图片序列进行排序，可以使多帧图片按照采集时间顺序排列，使多帧图片之间形成关联，例如，多帧图片中包括10张图片，用于描述一辆汽车的运动轨迹，则按照图片序列进行排序后，该10张图片可以表现该汽车实际的运动轨迹。
步骤S204，按照图片序列，读取剩余图片中的多个图片组，其中，图片组中包括预设帧数的图片。
示例性地，为了实现更好地目标检测效果，将多帧图片分为若干个更小单位的分组，即图片组，例如，多帧图片共30张，分为10个图片组，每个图片组3张图片。并对分组后的图片组分别进行处理。
步骤S205，根据目标检测区域，通过CGDBSCAN算法对各图片组中的各帧图片进行目标检测。
对同一组图片组，使用上一组目标检测区域进行目标检测。例如，第一帧图片对应的目标检测区域为第一目标检测区域；第一帧图片之后的第一个图片组中，包含10帧图片，则该10帧图片，均使用第一目标检测区域，进行目标检测。通过使用一个图片组共用一个第一目标检测区域进行目标检测的方式，由于不需要对每一帧图片分别确定对应的第一目标检测区域，因此节约了计算资源，提高了计算效率。
示例性地，如图5所示，步骤S205包括步骤S2051、S2052和S2053三个具体的实现步骤：
步骤S2051，获取目标检测区域的中心点位置。
示例性地，目标检测区域通过图片中的像素信息来描述，例如，目标检测区域为一个框体内部的对应区域，该框体的中心位置，即为中心的位置，更加具体地，例如，目标检测区域为一个3X3的像素矩阵，像素矩阵中的每个值，代表像素信息，像素信息包括像素位置信息和像素值信息；其中，像素位置信息用于表征像素点在图片中的位置情况；像素值信息用于表征像素点的具体数值，像素位置信息和像素点信息的具体表现方式，为本领域现有技术，此处不再进行赘述。根据该3X3的像素矩阵，可以确定目标检测区域的中心的位置为像素矩阵中[2,2]位置的值对应的像素位置信息。
步骤S2052，以中心点位置为中心，构建多个检测区域逐渐扩大的待检测区域。
由于目标检测区域是用于对检测目标进行定位的信息，因此，目标检测区域的中心，即中心点位置，可以对应检测目标的中心位置。以中心点位置为中心，构建多个检测区域逐渐扩大的待检测区域。图6为本发明实施例提供的一种待检测区域的示意图，如图6所示，示例性地，待检测区域61是与目标检测区域62中心重合，但面积逐步增大的多个框体，其中，距离中心点位置最近一个框体，为目标检测区域62。当然，可以理解的是，待检测区域61的轮廓形状，也可以是其他形式的，例如圆形，或其他不规则图形，可以根据需要进行设置，此处不进行具体限定。
步骤S2053，从检测区域最小的待检测区域开始，依次通过CGDBSCAN算法对各图片组中的各帧图片进行目标检测，直至检测到检测目标。
图7为本发明实施例提供的通过逐渐增大的待检测区域进行目标检测的示意图，如图7所示，从距离中心点最近的目标检测区域71开始，依次对每一帧图片进行目标检测，由于在相邻两帧图片之间，检测目标所在位置不会发生很大变化，因此，相邻两帧图片对应的目标检测区域71，也具有较高的重合度，进而，通过上一图片组中确认的目标检测区域71对图片进行检测，有较大概率能够直接识别检测目标；而如果未能识别检测目标，说明检测目标未被上一组的目标检测区域71所完全覆盖，则扩大检测区域，即使用较目标检测其余更大的待检测区域72对图片进行目标检测；若仍未检测到目标，则继续扩大待检测范围，使用更大的待检测区域72对图片进行检测，直至检测到目标。
图8为本发明实施例提供的另一种通过逐渐增大的待检测区域进行目标检测的示意图，如图8所示，从距离中心点最近的目标检测区域81开始，依次对每一帧图片进行目标检测，若当前检测区域内未检测到目标，则外扩一层检测区域，对外层待检测区域进行分析，例如对于一个5X5的矩阵，依次分为目标检测区域81、结构为3X3-1的第一待检测区域82、结构为5X5-3X3的第二待检测区域83。
示例性地，各图片组中，包括一帧或多帧图片，若图片组中的突破为多帧时，则使用上一组的目标检测区域，同时对当前图片组中的所有图片进行检测，检测方法如步骤S2051-2053所示，此处不再赘述。检测完成后，图片组中的所有图片，均会对应一个与检测结果对应的检测区域，示例性地，将多个该检测区域进行平均处理，得到一个平均化后的检测区域，作为本图像组的目标检测区域，对后一图像组进行目标检测。
可以理解的是，随着第一时间长度的增加，图片组中的图片的数量随之增加，由于一个图片组中的图片通过同一个目标检测区域作为参考点进行目标检测，因此计算量更小，但由于需要进行平均处理，目标检测区域的精确度也随之下降。因此，通过调节第一时间长度，根据具体的需求进行设置，可以以实现目标检测的精确性和实时性的兼顾，进而更好地满足视频流中目标检测效果。
本实施例步骤中，通过上一图片组的目标检测区域作为参考点，对下一图片组进行目标检测，并通过逐渐扩大待检测区域的方法，快速的确定检测目标，相比对图片进行遍历检测的方式，本实施例提供的方法检测效率更高，准确性也更好。
示例性地，步骤S2053中，依次通过CGDBSCAN算法对各图片组中的各帧图片进行目标检测，直至检测到检测目标的方法，具体包括：
通过CGDBSCAN算法依次对多个待检测区域进行聚类分析，获得聚类分析结果。
确定聚类分析结果和检测目标的匹配度。
若匹配度大于或等于预设匹配度阈值，则确定待检测区域内存在检测目标；若匹配度小于预设匹配度阈值，则对下一个较大的待检测区域进行检测，直至检测到检测目标。
步骤S206，输出多帧图片对应的检测目标。
本实施例中，步骤S201-步骤S202、步骤S206的实现方式与本发明图2所示实施例中的步骤S101-步骤S102、步骤S104的实现方式相同，在此不再一一赘述。
图9为本发明一个实施例提供的基于视频流的目标检测装置的结构示意图，如图9所示，本实施例提供的基于视频流的目标检测装置9包括：
获取模块91，用于获取待处理视频数据，待处理视频数据中包括多帧图片。
第一检测模块92，用于对多帧图片中的第一帧图片进行目标检测，确定目标检测区域，目标检测区域内包括检测目标。
第二检测模块93，用于根据目标检测区域，依次对多帧图片中剩余图片通过基于网格和贡献度的改进多密度对噪声鲁棒的空间聚类算法进行目标检测，并根据剩余图片中每帧图片对应的目标检测结果，依次对目标检测区域进行更新，直至剩余图片的最后一帧图片完成目标检测。
输出模块94，用于输出多帧图片对应的检测目标。
在一种可能的实现方式中，第二检测模块在根据目标检测区域，依次对多帧图片中剩余图片通过CGDBSCAN算法进行目标检测时，具体用于：
获取预设的图片序列。
按照图片序列，读取剩余图片中的多个图片组，其中，图片组中包括预设帧数的图片。
根据目标检测区域，通过CGDBSCAN算法对各图片组中的各帧图片进行目标检测。
在一种可能的实现方式中，第二检测模块在根据目标检测区域，通过CGDBSCAN算法对各图片组中的各帧图片进行目标检测时，具体用于：
获取目标检测区域的中心点位置。
以中心点位置为中心，构建多个检测区域逐渐扩大的待检测区域。
从检测区域最小的待检测区域开始，依次通过CGDBSCAN算法对各图片组中的各帧图片进行目标检测，直至检测到检测目标。
在一种可能的实现方式中，第二检测模块在依次通过CGDBSCAN算法对各图片组中的各帧图片进行目标检测时，具体用于：
通过CGDBSCAN算法依次对多个待检测区域进行聚类分析，获得聚类分析结果。
确定聚类分析结果和检测目标的匹配度。
若匹配度大于或等于预设匹配度阈值，则确定待检测区域内存在检测目标；若匹配度小于预设匹配度阈值，则对下一个较大的待检测区域进行检测，直至检测到检测目标。
在一种可能的实现方式中，目标检测结果中包括检测目标的位置信息，第二检测模块在根据剩余图片对应的目标检测结果，依次对检测区域进行更新时，具体用于：
依次获取剩余图片对应的位置信息。
根据位置，依次对检测区域进行更新。
在一种可能的实现方式中，第一检测模块在在对多帧图片中的第一帧图片进行目标检测，确定目标检测区域之后，还用于：
根据对多帧图片中的第一帧图片进行目标检测的结果，对多帧图片中剩余图片进行抽样，以降低剩余图片的数量。
在一种可能的实现方式中，第一检测模块在根据对多帧图片中的第一帧图片进行目标检测的结果，对多帧图片中剩余图片进行抽样时，具体用于：
获取检测目标的置信度。
根据预设的映射关系，确定置信度对应的抽样系数。
根据抽样系数对多帧图片中剩余图片进行抽样。
其中，获取模块91、第一检测模块92、第二检测模块93、输出模块94依次连接。本实施例提供的目标检测装置9可以执行如图2-8所对应的任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本发明一个实施例提供的电子设备的示意图，如图10所示，本实施例提供的电子设备包括：存储器1001，处理器1002以及计算机程序。
其中，计算机程序存储在存储器1001中，并被配置为由处理器1002执行以实现本发明图2-图8所对应的实施例中任一实施例提供的基于多帧图片的目标检测方法。
其中，存储器1001和处理器1002通过总线1003连接。
相关说明可以对应参见图2-图8所对应的实施例中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
本发明一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明图2-图8所对应的实施例中任一实施例提供的基于多帧图片的目标检测方法。
其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种基于多帧图片的目标检测方法，其特征在于，包括：
获取待处理的多帧图片；
对所述多帧图片中的第一帧图片进行目标检测，确定目标检测区域，所述目标检测区域内包括检测目标；
根据所述目标检测区域，依次对所述多帧图片中剩余图片通过基于网格和贡献度的改进多密度对噪声鲁棒的空间聚类算法CGDBSCAN进行目标检测，并根据所述剩余图片中每帧图片对应的目标检测结果，依次对目标检测区域进行更新，直至所述剩余图片的最后一帧图片完成目标检测；
输出所述多帧图片对应的检测目标。
2.根据权利要求1所述的方法，其特征在于，根据所述目标检测区域，依次对所述多帧图片中剩余图片通过基于网格和贡献度的改进多密度对噪声鲁棒的空间聚类算法进行目标检测，包括：
获取预设的图片序列；
按照所述图片序列，读取所述剩余图片中的多个图片组，其中，所述图片组中包括预设帧数的图片；
根据所述目标检测区域，通过基于网格和贡献度的改进多密度对噪声鲁棒的空间聚类算法对各所述图片组中的各帧所述图片进行目标检测。
3.根据权利要求2所述的方法，其特征在于，根据所述目标检测区域，通过基于网格和贡献度的改进多密度对噪声鲁棒的空间聚类算法对各所述图片组中的各帧所述图片进行目标检测，包括：
获取所述目标检测区域的中心点位置；
以中心点位置为中心，构建多个检测区域逐渐扩大的待检测区域；
从检测区域最小的待检测区域开始，依次通过基于网格和贡献度的改进多密度对噪声鲁棒的空间聚类算法对各所述图片组中的各帧所述图片进行目标检测，直至检测到所述检测目标。
4.根据权利要求3所述的方法，其特征在于，依次通过基于网格和贡献度的改进多密度对噪声鲁棒的空间聚类算法对各所述图片组中的各帧所述图片进行目标检测，包括：
通过基于网格和贡献度的改进多密度对噪声鲁棒的空间聚类算法依次对所述多个待检测区域进行聚类分析，获得聚类分析结果；
确定所述聚类分析结果和所述检测目标的匹配度；
若所述匹配度大于或等于预设匹配度阈值，则确定所述待检测区域内存在所述检测目标；若所述匹配度小于所述预设匹配度阈值，则对下一个较大的待检测区域进行检测，直至检测到所述检测目标。
5.根据权利要求1-4任一项所述的方法，其特征在于，目标检测结果中包括检测目标的位置信息，根据所述剩余图片对应的目标检测结果，依次对检测区域进行更新，包括：
依次获取所述剩余图片对应的所述位置信息；
根据所述位置，依次对所述检测区域进行更新。
6.根据权利要求1-4任一项所述的方法，其特征在于，在对所述多帧图片中的第一帧图片进行目标检测，确定目标检测区域之后，还包括：
根据对所述多帧图片中的第一帧图片进行目标检测的结果，对所述多帧图片中剩余图片进行抽样，以降低所述剩余图片的数量。
7.根据权利要求6所述的方法，其特征在于，根据对所述多帧图片中的第一帧图片进行目标检测的结果，对所述多帧图片中剩余图片进行抽样，包括：
获取所述检测目标的置信度；
根据预设的映射关系，确定所述置信度对应的抽样系数；
根据所述抽样系数对所述多帧图片中剩余图片进行抽样。
8.一种基于视频流的目标检测装置，其特征在于，所述装置包括：
获取模块，用于获取待处理的多帧图片；
第一检测模块，用于对所述多帧图片中的第一帧图片进行目标检测，确定目标检测区域，所述目标检测区域内包括检测目标；
第二检测模块，用于根据所述目标检测区域，依次对所述多帧图片中剩余图片通过基于网格和贡献度的改进多密度对噪声鲁棒的空间聚类算法进行目标检测，并根据所述剩余图片中每帧图片对应的目标检测结果，依次对目标检测区域进行更新，直至所述剩余图片的最后一帧图片完成目标检测；
输出模块，用于输出所述多帧图片对应的检测目标。
9.一种电子设备，其特征在于，包括：存储器，处理器以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1至7中任一项所述的基于多帧图片的目标检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的基于多帧图片的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010951616.2A CN112070036A (zh) | 2020-09-11 | 2020-09-11 | 基于多帧图片的目标检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010951616.2A CN112070036A (zh) | 2020-09-11 | 2020-09-11 | 基于多帧图片的目标检测方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112070036A true CN112070036A (zh) | 2020-12-11 |
Family
ID=73696197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010951616.2A Pending CN112070036A (zh) | 2020-09-11 | 2020-09-11 | 基于多帧图片的目标检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070036A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930808A (zh) * | 2016-04-26 | 2016-09-07 | 南京信息工程大学 | 一种基于vector boosting模板更新的运动目标跟踪方法 |
| CN106909885A (zh) * | 2017-01-19 | 2017-06-30 | 博康智能信息技术有限公司上海分公司 | 一种基于目标候选的目标跟踪方法及装置 |
| CN108257158A (zh) * | 2018-03-27 | 2018-07-06 | 福州大学 | 一种基于循环神经网络的目标预测与跟踪方法 |
| CN109658440A (zh) * | 2018-11-30 | 2019-04-19 | 华南理工大学 | 一种基于目标显著性特征的目标跟踪方法 |
| WO2019237516A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
| CN110781721A (zh) * | 2019-09-05 | 2020-02-11 | 温州视鑫科技有限公司 | 一种基于改进vibe算法的户外场景运动目标检测方法 |
| CN111241931A (zh) * | 2019-12-30 | 2020-06-05 | 沈阳理工大学 | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 |
| CN111369590A (zh) * | 2020-02-27 | 2020-07-03 | 北京三快在线科技有限公司 | 多目标跟踪方法、装置、存储介质及电子设备 |
| CN111401140A (zh) * | 2020-02-25 | 2020-07-10 | 华南理工大学 | 一种边缘计算环境下智能视频监控系统的离线学习方法 |
| CN111429477A (zh) * | 2020-04-13 | 2020-07-17 | 展讯通信（上海）有限公司 | 目标追踪方法及装置、存储介质、计算机设备 |
-
2020
- 2020-09-11 CN CN202010951616.2A patent/CN112070036A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930808A (zh) * | 2016-04-26 | 2016-09-07 | 南京信息工程大学 | 一种基于vector boosting模板更新的运动目标跟踪方法 |
| CN106909885A (zh) * | 2017-01-19 | 2017-06-30 | 博康智能信息技术有限公司上海分公司 | 一种基于目标候选的目标跟踪方法及装置 |
| CN108257158A (zh) * | 2018-03-27 | 2018-07-06 | 福州大学 | 一种基于循环神经网络的目标预测与跟踪方法 |
| WO2019237516A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
| CN109658440A (zh) * | 2018-11-30 | 2019-04-19 | 华南理工大学 | 一种基于目标显著性特征的目标跟踪方法 |
| CN110781721A (zh) * | 2019-09-05 | 2020-02-11 | 温州视鑫科技有限公司 | 一种基于改进vibe算法的户外场景运动目标检测方法 |
| CN111241931A (zh) * | 2019-12-30 | 2020-06-05 | 沈阳理工大学 | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 |
| CN111401140A (zh) * | 2020-02-25 | 2020-07-10 | 华南理工大学 | 一种边缘计算环境下智能视频监控系统的离线学习方法 |
| CN111369590A (zh) * | 2020-02-27 | 2020-07-03 | 北京三快在线科技有限公司 | 多目标跟踪方法、装置、存储介质及电子设备 |
| CN111429477A (zh) * | 2020-04-13 | 2020-07-17 | 展讯通信（上海）有限公司 | 目标追踪方法及装置、存储介质、计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255352B (zh) | 目标检测方法、装置及系统 | |
| CN110222787B (zh) | 多尺度目标检测方法、装置、计算机设备及存储介质 | |
| CN109035304B (zh) | 目标跟踪方法、介质、计算设备和装置 | |
| CN108875723B (zh) | 对象检测方法、装置和系统及存储介质 | |
| CN109815843B (zh) | 图像处理方法及相关产品 | |
| CN108256404B (zh) | 行人检测方法和装置 | |
| CN110097584B (zh) | 结合目标检测和语义分割的图像配准方法 | |
| CN109977997B (zh) | 基于卷积神经网络快速鲁棒的图像目标检测与分割方法 | |
| CN110781756A (zh) | 基于遥感图像的城市道路提取方法及装置 | |
| CN111523414A (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| WO2012155121A2 (en) | Systems and methods for estimating the geographic location at which image data was captured | |
| CN112070035A (zh) | 基于视频流的目标跟踪方法、装置及存储介质 | |
| CN114782499A (zh) | 一种基于光流和视图几何约束的图像静态区域提取方法及装置 | |
| CN112784873A (zh) | 一种语义地图的构建方法及设备 | |
| CN113362441B (zh) | 三维重建方法、装置、计算机设备和存储介质 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN109636828A (zh) | 基于视频图像的物体跟踪方法及装置 | |
| CN117197669A (zh) | 一种改进yolov8算法的遥感图像目标检测方法及系统 | |
| CN115527050A (zh) | 图像特征匹配方法、计算机设备和可读存储介质 | |
| CA2787856A1 (en) | Systems and methods for estimating the geographic location at which image data was captured | |
| CN109523570A (zh) | 运动参数计算方法及装置 | |
| CN111914809B (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
| CN113537026A (zh) | 建筑平面图中的图元检测方法、装置、设备及介质 | |
| Ji et al. | DRV-SLAM: An Adaptive Real-Time Semantic Visual SLAM Based on Instance Segmentation Toward Dynamic Environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |