CN114708192A - 一种目标物计数方法、系统、存储介质及计算机设备 - Google Patents
一种目标物计数方法、系统、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN114708192A CN114708192A CN202210232734.7A CN202210232734A CN114708192A CN 114708192 A CN114708192 A CN 114708192A CN 202210232734 A CN202210232734 A CN 202210232734A CN 114708192 A CN114708192 A CN 114708192A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- target
- detected
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005266 casting Methods 0.000 description 41
- 239000004568 cement Substances 0.000 description 41
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标物计数方法、系统、存储介质及计算机设备，该方法包括：通过摄像装置采集目标物的样本图像，对样本图像进行处理以获取目标物的样本集；通过摄像装置采集目标物场地内目标物集合的初始图像，对初始图像进行处理以获取目标物集合的待检图像；基于待检图像，计算待检图像中目标物集合最顶层目标物的顶层数量，以及计算待检图像中目标物集合的层高值；将目标物集合的顶层数量与层高值相乘以得到待检图像中的目标物数量，将所有待检图像中的目标物数量相加以得到目标物场地内目标物的总数量。本发明能够解决现有技术中现有目标检测方法难以对成垛有被遮挡的目标物进行检测和计数的技术问题。
Description
技术领域
本发明涉及目标检测技术领域，特别涉及一种目标物计数方法、系统、存储介质及计算机设备。
背景技术
随着人工智能技术的发展，目标检测在多个领域有着广泛的应用，代替人力出色的完成了很多工作。在无人机和卫星兴起的时代，能够在空中获取更多的关于地面物体的数据，如今已经有越来越多的公司使用planet或descartes labs公司提供的卫星图片，应用目标检测来计算汽车、树木与船舶的数量。
例如，在水泥铸件生产过程中，工作人员通过运输工具将成品水泥铸件出窑码垛，在搬运过程中可能并不会详细统计水泥铸件的数目，这就需要工作人员在整个水泥铸件厂对每垛水泥铸件进行人工计数统计。这种计数方式费时费力，浪费了劳动力，增大了劳动强度。
而常见的目标检测是通过提取目标物特征去完成检测和计数，虽然目前的目标检测算法在自然图像目标检测中已经达到了良好的效果。然而，对于成垛的有被遮挡的目标物例如上述水泥铸件，无法准确的提取目标特征，因此，现有的目标检测很难对成垛有被遮挡的目标物进行检测和计数。
发明内容
基于此，本发明的目的是提供一种目标物计数方法、系统、存储介质及计算机设备，旨在解决现有技术中目标检测方法难以对成垛有被遮挡的目标物进行检测和计数的技术问题。
本发明的第一方面在于提供一种目标物计数方法，所述方法包括：
通过摄像装置采集目标物的样本图像，对所述样本图像进行处理以获取所述目标物的样本集，并对所述样本集进行训练；
通过摄像装置采集目标区域内目标物集合的初始图像，对所述初始图像进行处理以获取包含所述目标物集合的待检图像，其中，所述目标物集合为所述目标物呈规则状的的堆垛；
根据所述样本集与所述待检图像，计算所述待检图像中所述目标物集合最顶层目标物的数量，以及计算所述待检图像中所述目标物集合的层高值；
将所述目标物集合的顶层目标物的数量与层高值相乘以得到所述待检图像中的目标物数量，将所有所述待检图像中的目标物数量求和以得到所述目标区域内目标物的总数量；
对所述样本集进行训练，包括：
确定一符合实际检测效果的惩罚项
，
为两个区域框的中心点之间的距离，计算公式为：
；
其中，
为计算两个中心点之间的欧氏距离d；b，
分别为预测框和真实框的中心点；c为能够同时包含预测框和真实框的最小闭包区域的对角线距离；
则DIOU定义为：
；
计算最终的损失，计算公式为：
。
根据上述技术方案的一方面，通过摄像装置采集目标物的样本图像的步骤，具体包括：
通过摄像装置采集目标物的样本视频；
基于预设的图片截取规则，将所述样本视频以预设时间间隔截取若干视频帧，并将每一所述视频帧保存为样本图像。
根据上述技术方案的一方面，对所述样本图像进行处理以获取所述目标物的样本集，并对所述样本集进行训练的步骤，具体包括：
获取所述样本图像，对所述样本图像中的目标物进行轮廓标注，根据标注的样本图像与标注文件构建所述目标物的样本集；
对所述样本集进行训练与增强操作，所述增强操作至少包括对所述样本集进行随机角度旋转、镜像、随机仿射变换和mixup。
根据上述技术方案的一方面，对所述初始图像进行处理以获取包含所述目标物集合的待检图像的步骤，具体包括：
将多张初始图像进行拼接处理以得到一张符合使用要求的全景正射遥感图像；
对所述全景正射遥感图像进行裁剪以获取裁剪图像，通过图像增强算法对所述裁剪图像进行图像增强处理以得到待检图像。
根据上述技术方案的一方面，在通过图像增强算法对所述裁剪图像进行图像增强处理以得到待检图像的步骤之后，所述方法还包括：
将所述待检图像输入到训练好的检测模型中，以通过所述检测模型对所述待检图像中的所述目标物集合进行识别。
根据上述技术方案的一方面，通过所述检测模型对所述待检图像中的所述目标物集合进行识别的步骤，具体包括：
获取所述目标物集合在所述待检图像中的位置信息，根据所述位置信息，生成所述目标物集合的点坐标、将所述点坐标连接的区域框及与所述区域框对应的标识信息；
判断多张所述待检图像中是否同时存在一标识信息相同的区域框；
若是，将所述待检图像中存在与其它待检图像标识信息相同的区域框及与该区域框对应的目标物集合删除，以得到至少一轮廓完整的目标物集合。
本发明的第二方面在于提供一种目标物计数系统，所述系统包括：
样本训练模块，用于通过摄像装置采集目标物的样本图像，对所述样本图像进行处理以获取所述目标物的样本集，并对所述样本集进行训练；
图像处理模块，用于通过摄像装置采集目标区域内目标物集合的初始图像，对所述初始图像进行处理以获取包含所述目标物集合的待检图像，其中，所述目标物集合为所述目标物呈规则状的的堆垛；
第一计算模块，用于根据所述样本集与所述待检图像，计算所述待检图像中所述目标物集合最顶层目标物的数量，以及计算所述待检图像中所述目标物集合的层高值；
第二计算模块，用于将所述目标物集合的顶层目标物的数量与层高值相乘以得到所述待检图像中的目标物数量，将所有所述待检图像中的目标物数量求和以得到所述目标区域内目标物的总数量；
对所述样本集进行训练，包括：
确定一符合实际检测效果的惩罚项
，
为两个区域框的中心点之间的距离，计算公式为：
；
其中，
为计算两个中心点之间的欧氏距离d；b，
分别为预测框和真实框的中心点；c为能够同时包含预测框和真实框的最小闭包区域的对角线距离；
则DIOU定义为：
；
计算最终的损失，计算公式为：
。
根据上述技术方案的一方面，所述图像处理模块具体用于：
通过摄像装置采集目标区域内目标物集合的初始图像；
将多张初始图像进行拼接处理以得到一张符合使用要求的全景正射遥感图像；
对所述全景正射遥感图像进行裁剪以获取裁剪图像，通过图像增强算法对所述裁剪图像进行图像增强处理以得到待检图像。
本发明的第三方面在于提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述技术方案中所述方法的步骤。
本发明的第四方面在于提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述技术方案中所述的方法。
与现有技术相比，采用本发明所示的目标物计数方法、系统、存储介质及计算机设备，有益效果在于：通过摄像装置获取样本图像以获取样本集，通过摄像装置获取目标区域内目标物集合的初始图像，对初始图像进行处理以获取包含目标物集合的待检图像，从而得到待检图像中目标物集合中最顶层目标物的数量以及目标物集合的层高值，从而计算每一待检图像中目标物集合的目标物数量，以及根据每一目标物集合的目标物数量计算目标区域内目标物的总数量。通过无人机航拍与图像处理的结合，能够对成垛有被遮挡的目标物进行精准检测和计数，不在需要人工对该类型目标物进行人工计数，有效的促进了生产力的进步。
本发明的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明第一实施例中的目标物计数方法的流程图；
图2为本发明第一实施例中YOLOV5的网络结构图；
图3为本发明第一实施例中原模糊图像和垂直旋转增强后的图像；
图4为本发明第一实施例中
的示意图；
图5为本发明第一实施例中原模糊图像和经过预处理后的清晰图像的对比图；
图6为本发明第三实施例中的目标物计数系统的结构框图；
以下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
实施例一
请参阅图1，本发明的第一实施例提供了一种目标物计数方法，所述方法包括步骤S10-S40：
步骤S10，通过摄像装置采集目标物的样本图像，对所述样本图像进行处理以获取所述目标物的样本集，并对所述样本集进行训练。
其中，摄像装置包括相机或搭载相机系统的无人机，为了便于对目标物进行拍摄，在本实施例中，摄像装置为搭载相机系统的无人机，无人机在空中能够拍摄更大的实景范围。
通过无人机航拍目标物的样本图像，即可对样本图像进行处理以获取目标物的特征信息，从而生成与目标物对应的样本集。其中，通过对样本集进行训练，能够有效的提升模型的泛化能力。
在本实施例中，具体是通过改进的YOLOV5模型对样本集进行训练。YOLOV5的网络结构主要由Backbone、Neck、Head构成，如图2所示。其中Backbone主要使用CSPdarknet+SPP结构，Neck使用PANet结构，Head使用YOLOV3 head。Backbone是检测网络的主干，负责提取出图像的高中低层的特征，YOLOV5的backbone主要使用了Foucus和CSP和SPP结构组成。Neck部分采用了PANet结构，Neck 主要用于生成特征金字塔。特征金字塔会增强模型对于不同缩放尺度对象的检测，从而能够识别不同大小和尺度的同一个物体。Head进行最终检测部分，YOLOV5采用了YOLOV3相同的head网络，都是 1*1 的卷积结构，并有三组output，输出的特征图上会应用锚定框，并生成带有类别概率、置信度得分和包围框的最终输出向量。
本实施例改进的YOLOV5模型包括：1）数据增强部分增加了垂直旋转的增强方式；2）YOLOV5原模型中采用GIOU_Loss做Bounding box的损失函数，本方法中改变为DIOU_Loss；3）后处理过程中针对很多目标框的筛选，改变YOLOV5原模型中采用的加权NMS方式为DIOU_NMS方式。
1）YOLOV5原模型里提供了很多数据增强方式，针对大众的数据集效果还是很适用的。为了让数据集中包含垂直的目标数据，在这里增加了一个垂直旋转90°的增强方式，那么模型在推理检测时，针对水泥铸件摆放位置变为垂直的情况，检测效果也不会变差，有效的提高了模型的泛化能力。图3为垂直旋转前和垂直旋转后的图例。
2）YOLOV5原模型中采用GIOU_Loss做Boundingbox的损失函数，GIOU的定义如下：
计算最终的损失：
。GIOU考虑到当检测框和真实框没有出现重叠时候IOU的loss都是一样的，因此GIOU就加入了C检测框（C检测框是包含了检测框和真实框的最小矩形框），这样就可以解决检测框和真实框没有重叠的问题。
本实施例将
改变为
，
设计了一个更符合实际检测效果的惩罚项
，
是两个Box中心点之间的距离，用下面的公式表示:
；
其中，
代表的是计算两个中心点之间的欧氏距离d；b，
分别代表了预测框和真实框的中心点；c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，如图4所示。则DIOU的定义如下：
计算最终的损失：
。DIOU要比GIOU更加符合目标框回归的机制，将目标与anchor之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定，不会像IOU和GIOU一样出现训练过程中发散等问题。
3）在目标检测的后处理过程中，针对很多目标框的筛选，通常需要NMS操作去除重复框，留下最准确的Box。不同的NMS，会有不同的效果。在YOLOV5原模型中采用加权NMS的方式，根据网络预测的置信度进行加权得到新的矩形框，相比最传统的NMS，目标框的筛选变得更合理。但是对于一些遮挡重叠的目标，很大可能都是漏检。
本实施例中采用了DIOU_NMS的方式，在同样的参数情况下，将NMS中IOU修改成DIOU_NMS。DIOU要比IOU更加符合目标框回归的机制，将目标与anchor之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定，不会像IOU一样出现训练过程中发散等问题。DIOU_NMS对于一些遮挡重叠的目标，可以将两个目标都检测出，有利于提升检测效果。和原始的NMS不同，DIOU_NMS不仅考虑了IOU的值,还考虑了两个Box中心点之间的距离，使用了新的公式决定一个Box是否被删除:
其中
表示预测框中得分更高的boundingbox，
是DIOU_NMS的阈值，R_DIOU是两个Box中心点之间的距离。
步骤S20，通过摄像装置采集目标区域内目标物集合的初始图像，对所述初始图像进行处理以获取包含所述目标物集合的待检图像，其中，所述目标物集合为所述目标物呈规则状的的堆垛；
可以理解的是，目标物集合是指目标物以堆垛形式存在的特征信息，目标区域为目标物堆垛的场地。
同样的，通过无人机航拍目标区域内目标物集合的初始图像，由于需要对目标物进行精准计数，对于初始图像的图像质量具有一定要求，因此，需要对初始图像进行图像增强处理，以提升初始图像的图像质量。
在对初始图像处理的过程中，通过对初始图像中的目标物集合进行识别与处理，可以将初始图像中的干扰信息去除，从而得到仅包含目标物集合的待检图像。
其中，基于待检图像中目标物集合的图像信息与位置信息，可以得出待检图像中目标物集合最顶层目标物的数量以及目标物集合的高度值。
步骤S30，根据所述样本集与所述待检图像，计算所述待检图像中所述目标物集合最顶层目标物的数量，以及计算所述待检图像中所述目标物集合的层高值。
其中，根据待检图像的图像信息，即可识别出待检图像中目标物集合最顶层目标物的数量。
在样本集中，包含了目标物的规格信息，例如目标物的长宽高信息。结合目标物的规格信息与待检图像中目标物集合的位置信息，具体是目标物集合中各个特征点的位置信息，根据目标物集合中最顶点的位置信息，即可获取目标物集合的高度值，将目标物集合的高度值除于单个目标物的高度值即可得到目标物集合具体的层高值。
步骤S40，将所述目标物集合的顶层目标物的数量与层高值相乘以得到所述待检图像中的目标物数量，将所有所述待检图像中的目标物数量求和以得到所述目标区域内目标物的总数量。
在本实施例中，通过将目标物集合的顶层目标物的数量与具体的层高值相乘，即可得到该待检图像中一完整目标物集合中目标物的具体数量。例如目标物集合的顶层目标物数量为30件，而目标物集合的层高值为20层，则目标物集合的数量为30件*20层=600件。
接下来以实际的运用场景对本实施例所示的目标物计数方法进行举例说明：
其中，目标物为预制的水泥铸件，目标区域为用于摆放水泥铸件的仓库或露天场地，为了节省用地，水泥铸件通常以堆垛形式放置在仓库或露天场地内。
通过无人机对水泥铸件进行航拍以得到样本图像，并对样本图像进行处理以得到水泥铸件的样本集。在实际的计数过程中，通过无人机在目标区域的上空航拍水泥铸件堆垛的初始图像，将初始图像进行处理以增强初始图像的图像质量，将初始图像中的干扰因素去除得到待检图像。
基于待检图像中水泥铸件堆垛的图像信息，得到水泥铸件堆垛中最顶层水泥铸件的数量（例如30件）。结合水泥铸件的规格信息与水泥铸件堆垛的高度信息，得到水泥铸件堆垛的层高值（例如20层）。则该水泥铸件堆垛的水泥铸件的总数量为30件*20层=600件。
将水泥铸件堆垛的数量与每一水泥铸件堆垛中水泥铸件的数量进行求积，即可得到目标区域内目标物的总数量，例如100垛*600件\垛=60000件。
采用本实施例当中所示的目标物计数方法，通过摄像装置获取样本图像以获取样本集，通过摄像装置获取目标区域内目标物集合的初始图像，对初始图像进行处理以获取包含目标物集合的待检图像，从而得到待检图像中目标物集合中最顶层目标物的数量以及目标物集合的层高值，从而计算每一待检图像中目标物集合的目标物数量，以及根据每一目标物集合的目标物数量计算目标区域内目标物的总数量。通过无人机航拍与图像处理的结合，能够对成垛有被遮挡的目标物进行精准检测和计数，不在需要人工对该类型目标物进行人工计数，有效的促进了生产力的进步。
实施例二
本发明的第二实施例提供了一种目标物计数方法，本实施例所示的方法：
其中，通过摄像装置采集目标物的样本图像的步骤，具体包括步骤S11-S12：
步骤S11，通过摄像装置采集目标物的样本视频。
即通过无人机在目标区域的上空对目标物进行拍摄，以得到目标物的样本视频，该样本视频要求包含多个目标物的视频帧。
步骤S12，基于预设的图片截取规则，将所述样本视频以预设时间间隔截取若干视频帧，并将每一所述视频帧保存为样本图像。
其中，对所述样本图像进行处理以获取所述目标物的样本集并对所述样本集进行训练的步骤，具体包括步骤S13-S14：
步骤S13，获取所述样本图像，对所述样本图像中的目标物进行轮廓标注，根据标注的样本图像与标注文件构建所述目标物的样本集；
通过将样本图像输入到训练好的模型中，通过模型对样本图像中的目标物进行轮廓标注，从而得到目标物的轮廓线，以得到目标物的规格信息，以及对样本图像中目标物进行标注的标注文件，从而构建目标物的样本集。
步骤S14，对所述样本集进行训练与增强操作，所述增强操作至少包括对所述样本集进行随机角度旋转、镜像、随机仿射变换和mixup。
为了使得后期计数过程中对目标物的拍摄更为精准，需要对目标物的样本集进行训练，以及对样本集进行随机角度旋转、镜像、随机仿射变换和mixup等增强操作，从而增加样本集的数据量和丰富度，有利于提高目标检测的鲁棒性。
其中，对所述初始图像进行处理以获取包含所述目标物集合的待检图像的步骤，具体包括步骤S21-S22：
步骤S21，将多张初始图像进行拼接处理以得到一张符合使用要求的全景正射遥感图像；
具体而言，将无人机悬停在在目标区域不同区域的正上空固定高度处拍摄目标物的航拍图像，将无人机连续拍摄的多张图像通过AgisoftPhotoScan Professional软件进行拼接处理即可生成一张宽视角、高分辨率的全景正射遥感图像，从而便于后期使用；
步骤S22，对所述全景正射遥感图像进行裁剪以获取裁剪图像，通过图像增强算法对所述裁剪图像进行图像增强处理以得到待检图像。
具体而言，通过软件ENVI（The Environment for Visualizing Images）或写脚本对目标区域的全景正射遥感图像进行裁剪，将全景正射遥感图像裁剪成固定像素大小的图像，即为裁剪图片。再对裁剪图片进行预处理操作，使用图像增强算法使裁剪图片更加清晰，从而得到待检图像，如图5是原模糊图像和经过预处理后的清晰图像的对比图示。
由于光照等环境因素影响，无人机拍摄的视频转化成图片后可能有些会模糊，预处理操作主要是对这些模糊图像进行去雾处理，利用Retinex算法，对模糊图像进行预处理，使其变得清晰。
在本实施例当中，在通过图像增强算法对所述裁剪图像进行图像增强处理以得到待检图像的步骤之后，所述方法还包括：
将所述待检图像输入到训练好的检测模型中，以通过所述检测模型对所述待检图像中的所述目标物集合进行识别。
进一步的，通过所述检测模型对所述待检图像中的所述目标物集合进行识别的步骤，具体包括：
获取所述目标物集合在所述待检图像中的位置信息，根据所述位置信息，生成所述目标物集合的点坐标、将所述点坐标连接的区域框及与所述区域框对应的标识信息；
判断多张所述待检图像中是否同时存在一标识信息相同的区域框；
若是，将所述待检图像中存在与其它待检图像标识信息相同的区域框及与该区域框对应的目标物集合删除，以得到至少一轮廓完整的目标物集合。
对待检图片进行处理的具体操作如下：
将目标物区域框坐标进行矩形相交判断：设目标框A的左上角点坐标为
,右下角点坐标为
，则目标框A的宽
，高
，中心坐标点为
；
目标框B的左上角点坐标为
,右下角点坐标为
，则目标框B的宽
，高
，中心坐标点为
。
根据数学原理判断两个矩形框是否相交，可以通过判断两个矩形框的中心坐标点的水平和竖直距离，只要这两个距离值同时满足以下两个条件就判定为相交：
即：
，
求相交目标框的区域：如果两个目标框相交，设相交后的矩形框为C，C的左上角点坐标为
,右下角点坐标为
，可以得到：
，
，
，
，这样就可以求出相交目标框的区域。
求相交目标框区域的重叠率：已知目标框A，B和相交矩形框C的左上角坐标点
，右下角坐标
，矩形框面积计算公式
。求出目标矩形框A，B和相交框C三个矩形框的面积，将相交矩形框C的面积与目标矩形框A，B中的较小的面积相除，即可求出相交目标框区域的重叠率，即：相交目标框区域的重叠率
。通过阈值设定，当相交目标框区域的重叠率
大于0.5时，判定为重叠框，需要删除此检测框和对应的标签名及置信度。
在本实施例中，通过将预处理后清晰的待检图像输入训练好的YOLOV5模型中，获取目标物区域框坐标及标签名和置信度，根据目标物区域框坐标，对目标物区域做重叠面积判断，删除被判定为重叠的区域坐标框，以及对目标物四周的区域做误检判断，删除被判定为误检目标物的区域坐标框。从而根据待检图像能够便捷得出每一目标物集合中最顶层目标物的数量，以及根据全景正射遥感图像计算每一目标物集合的层高值，并将数据以预设方式进行输出，从而能够便捷的计算出目标物集合的目标物数量，以及目标区域内所有目标物集合的目标物总数量。
采用本实施例当中所示的目标物计数方法，通过摄像装置获取样本图像以获取样本集，通过摄像装置获取目标区域内目标物集合的初始图像，对初始图像进行处理以获取包含目标物集合的待检图像，从而得到待检图像中目标物集合中最顶层目标物的数量以及目标物集合的层高值，从而计算每一待检图像中目标物集合的目标物数量，以及根据每一目标物集合的目标物数量计算目标区域内目标物的总数量。通过无人机航拍与图像处理的结合，能够对成垛有被遮挡的目标物进行精准检测和计数，不在需要人工对该类型目标物进行人工计数，有效的促进了生产力的进步。
实施例三
请参阅图6，本发明的第三实施例提供了一种目标物计数系统，所述系统包括：
样本训练模块10，用于通过摄像装置采集目标物的样本图像，对所述样本图像进行处理以获取所述目标物的样本集并对所述样本集进行训练。
其中，摄像装置包括相机或搭载相机系统的无人机，为了便于对目标物进行拍摄，在本实施例中，摄像装置为搭载相机系统的无人机，无人机在空中能够拍摄更大的实景范围。
通过无人机航拍目标物的样本图像，即可对样本图像进行处理以获取目标物的特征信息，从而生成与目标物对应的样本集。其中，通过对样本集进行训练，能够有效的提升模型的泛化能力。
图像处理模块20，用于通过摄像装置采集目标区域内目标物集合的初始图像，对所述初始图像进行处理以获取包含所述目标物集合的待检图像，其中，所述目标物集合为所述目标物呈规则状的的堆垛；
可以理解的是，目标物集合是指目标物以堆垛形式存在的特征信息，目标区域为目标物堆垛的场地。
同样的，通过无人机航拍目标区域内目标物集合的初始图像，由于需要对目标物进行精准计数，对于初始图像的图像质量具有一定要求，因此，需要对初始图像进行图像增强处理，以提升初始图像的图像质量。
在对初始图像处理的过程中，通过对初始图像中的目标物集合进行识别与处理，可以将初始图像中的干扰信息去除，从而得到仅包含目标物集合的待检图像。
其中，基于待检图像中目标物集合的图像信息与位置信息，可以得出待检图像中目标物集合最顶层目标物的数量以及目标物集合的高度值。
第一计算模块30，用于根据所述样本集与所述待检图像，计算所述待检图像中所述目标物集合最顶层目标物的数量，以及计算所述待检图像中所述目标物集合的层高值。
其中，根据待检图像的图像信息，即可识别出待检图像中目标物集合最顶层目标物的数量。
在样本集中，包含了目标物的规格信息，例如目标物的长宽高信息。结合目标物的规格信息与待检图像中目标物集合的位置信息，具体是目标物集合中各个特征点的位置信息，根据目标物集合中最顶点的位置信息，即可获取目标物集合的高度值，将目标物集合的高度值除于单个目标物的高度值即可得到目标物集合具体的层高值。
第二计算模块40，用于将所述目标物集合的顶层目标物的数量与层高值相乘以得到所述待检图像中的目标物数量，将所有所述待检图像中的目标物数量求和以得到所述目标区域内目标物的总数量。
在本实施例中，通过将目标物集合的顶层目标物的数量与具体的层高值相乘，即可得到该待检图像中一完整目标物集合中目标物的具体数量。例如目标物集合的顶层目标物数量为30件，而目标物集合的层高值为20层，则目标物集合的数量为30件*20层=600件。
在本实施例中，所述图像处理模块20具体用于：
通过摄像装置采集目标区域内目标物集合的初始图像；
将多张初始图像进行拼接处理以得到一张符合使用要求的全景正射遥感图像；
对所述全景正射遥感图像进行裁剪以获取裁剪图像，通过图像增强算法对所述裁剪图像进行图像增强处理以得到待检图像。
接下来以实际的运用场景对本实施例所示的目标物计数方法进行举例说明：
其中，目标物为预制的水泥铸件，目标区域为用于摆放水泥铸件的仓库或露天场地，为了节省用地，水泥铸件通常以堆垛形式放置在仓库或露天场地内。
通过无人机对水泥铸件进行航拍以得到样本图像，并对样本图像进行处理以得到水泥铸件的样本集。在实际的计数过程中，通过无人机在目标区域的上空航拍水泥铸件堆垛的初始图像，将初始图像进行处理以增强初始图像的图像质量，将初始图像中的干扰因素去除得到待检图像。
基于待检图像中水泥铸件堆垛的图像信息，得到水泥铸件堆垛中最顶层水泥铸件的数量（例如30件）。结合水泥铸件的规格信息与水泥铸件堆垛的高度信息，得到水泥铸件堆垛的层高值（例如20层）。则该水泥铸件堆垛的水泥铸件的总数量为30件*20层=600件。
将水泥铸件堆垛的数量与每一水泥铸件堆垛中水泥铸件的数量进行求积，即可得到目标区域内目标物的总数量，例如100躲*600件\垛=60000件。
采用本实施例当中所示的目标物计数系统，通过摄像装置获取样本图像以获取样本集，通过摄像装置获取目标区域内目标物集合的初始图像，对初始图像进行处理以获取包含目标物集合的待检图像，从而得到待检图像中目标物集合中最顶层目标物的数量以及目标物集合的层高值，从而计算每一待检图像中目标物集合的目标物数量，以及根据每一目标物集合的目标物数量计算目标区域内目标物的总数量。通过无人机航拍与图像处理的结合，能够对成垛有被遮挡的目标物进行精准检测和计数，不在需要人工对该类型目标物进行人工计数，有效的促进了生产力的进步。
本发明还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述实施例中目标物计数方法的步骤。
本发明还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中目标物计数方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种目标物计数方法，其特征在于，所述方法包括：
通过摄像装置采集目标物的样本图像，对所述样本图像进行处理以获取所述目标物的样本集，并对所述样本集进行训练；
通过摄像装置采集目标区域内目标物集合的初始图像，对所述初始图像进行处理以获取包含所述目标物集合的待检图像，其中，所述目标物集合为所述目标物呈规则状的的堆垛；
根据所述样本集与所述待检图像，计算所述待检图像中所述目标物集合最顶层目标物的数量，以及计算所述待检图像中所述目标物集合的层高值；
将所述目标物集合的顶层目标物的数量与层高值相乘以得到所述待检图像中的目标物数量，将所有所述待检图像中的目标物数量求和以得到所述目标区域内目标物的总数量；
对所述样本集进行训练，包括：
确定一符合实际检测效果的惩罚项
，
为两个区域框的中心点之间的距离，计算公式为：
；
其中，
为计算两个中心点之间的欧氏距离d；b，
分别为预测框和真实框的中心点；c为能够同时包含预测框和真实框的最小闭包区域的对角线距离；
则DIOU定义为：
；
计算最终的损失，计算公式为：
。
2.根据权利要求1所述的目标物计数方法，其特征在于，通过摄像装置采集目标物的样本图像的步骤，具体包括：
通过摄像装置采集目标物的样本视频；
基于预设的图片截取规则，将所述样本视频以预设时间间隔截取若干视频帧，并将每一所述视频帧保存为样本图像。
3.根据权利要求2所述的目标物计数方法，其特征在于，对所述样本图像进行处理以获取所述目标物的样本集，并对所述样本集进行训练的步骤，具体包括：
获取所述样本图像，对所述样本图像中的目标物进行轮廓标注，根据标注的样本图像与标注文件构建所述目标物的样本集；
对所述样本集进行训练与增强操作，所述增强操作至少包括对所述样本集进行随机角度旋转、镜像、随机仿射变换和mixup。
4.根据权利要求1所述的目标物计算方法，其特征在于，对所述初始图像进行处理以获取包含所述目标物集合的待检图像的步骤，具体包括：
将多张初始图像进行拼接处理以得到一张符合使用要求的全景正射遥感图像；
对所述全景正射遥感图像进行裁剪以获取裁剪图像，通过图像增强算法对所述裁剪图像进行图像增强处理以得到待检图像。
5.根据权利要求4所述的目标物计数方法，其特征在于，在通过图像增强算法对所述裁剪图像进行图像增强处理以得到待检图像的步骤之后，所述方法还包括：
将所述待检图像输入到训练好的检测模型中，以通过所述检测模型对所述待检图像中的所述目标物集合进行识别。
6.根据权利要求5所述的目标物计数方法，其特征在于，通过所述检测模型对所述待检图像中的所述目标物集合进行识别的步骤，具体包括：
获取所述目标物集合在所述待检图像中的位置信息，根据所述位置信息，生成所述目标物集合的点坐标、将所述点坐标连接的区域框及与所述区域框对应的标识信息；
判断多张所述待检图像中是否同时存在一标识信息相同的区域框；
若是，将所述待检图像中存在与其它待检图像标识信息相同的区域框及与该区域框对应的目标物集合删除，以得到至少一轮廓完整的目标物集合。
7.一种目标物计数系统，其特征在于，所述系统包括：
样本训练模块，用于通过摄像装置采集目标物的样本图像，对所述样本图像进行处理以获取所述目标物的样本集，并对所述样本集进行训练；
图像处理模块，用于通过摄像装置采集目标区域内目标物集合的初始图像，对所述初始图像进行处理以获取包含所述目标物集合的待检图像，其中，所述目标物集合为所述目标物呈规则状的的堆垛；
第一计算模块，用于根据所述样本集与所述待检图像，计算所述待检图像中所述目标物集合最顶层目标物的数量，以及计算所述待检图像中所述目标物集合的层高值；
第二计算模块，用于将所述目标物集合的顶层目标物的数量与层高值相乘以得到所述待检图像中的目标物数量，将所有所述待检图像中的目标物数量求和以得到所述目标区域内目标物的总数量；
对所述样本集进行训练，包括：
确定一符合实际检测效果的惩罚项
，
为两个区域框的中心点之间的距离，计算公式为：
；
其中，
为计算两个中心点之间的欧氏距离d；b，
分别为预测框和真实框的中心点；c为能够同时包含预测框和真实框的最小闭包区域的对角线距离；
则DIOU定义为：
；
计算最终的损失，计算公式为：
。
8.根据权利要求7所述的目标物计数系统，其特征在于，所述图像处理模块具体用于：
通过摄像装置采集目标区域内目标物集合的初始图像；
将多张初始图像进行拼接处理以得到一张符合使用要求的全景正射遥感图像；
对所述全景正射遥感图像进行裁剪以获取裁剪图像，通过图像增强算法对所述裁剪图像进行图像增强处理以得到待检图像。
9.一种存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-6任意一项所述方法的步骤。
10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210232734.7A CN114708192A (zh) | 2022-03-10 | 2022-03-10 | 一种目标物计数方法、系统、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210232734.7A CN114708192A (zh) | 2022-03-10 | 2022-03-10 | 一种目标物计数方法、系统、存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114708192A true CN114708192A (zh) | 2022-07-05 |
Family
ID=82169342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210232734.7A Pending CN114708192A (zh) | 2022-03-10 | 2022-03-10 | 一种目标物计数方法、系统、存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708192A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115019216A (zh) * | 2022-08-09 | 2022-09-06 | 江西师范大学 | 实时地物检测和定位计数方法、系统及计算机 |
-
2022
- 2022-03-10 CN CN202210232734.7A patent/CN114708192A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115019216A (zh) * | 2022-08-09 | 2022-09-06 | 江西师范大学 | 实时地物检测和定位计数方法、系统及计算机 |
| CN115019216B (zh) * | 2022-08-09 | 2022-10-21 | 江西师范大学 | 实时地物检测和定位计数方法、系统及计算机 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11657567B2 (en) | Method for the automatic material classification and texture simulation for 3D models | |
| Yu et al. | High-resolution deep image matting | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| Daniel et al. | Video visualization | |
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
| WO2020059706A1 (ja) | 学習用データ収集装置、学習用データ収集方法、及びプログラム | |
| CN113160053B (zh) | 一种基于位姿信息的水下视频图像复原与拼接方法 | |
| CN111680681B (zh) | 排除非正常识别目标的图像后处理方法及系统及计数方法 | |
| CN112800887B (zh) | 一种柱状目标物识别系统 | |
| CN113822844A (zh) | 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质 | |
| CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
| CN114708192A (zh) | 一种目标物计数方法、系统、存储介质及计算机设备 | |
| CN110084132B (zh) | 基于无人机的木料货场木料信息获取方法、系统、装置 | |
| CN116052090A (zh) | 图像质量评估方法、模型训练方法、装置、设备及介质 | |
| CN113469216B (zh) | 零售终端海报识别与完整性判断方法、系统及存储介质 | |
| CN114821274A (zh) | 一种用于识别分合指示牌的状态的方法和设备 | |
| CN112037128B (zh) | 一种全景视频拼接方法 | |
| CN113673478A (zh) | 基于深度全景拼接的港口大型设备检测与识别方法 | |
| CA3136674C (en) | Methods and systems for crack detection using a fully convolutional network | |
| CN113255405A (zh) | 车位线识别方法及其系统、车位线识别设备、存储介质 | |
| CN118097562B (zh) | 一种海藻增殖情况远程监测方法 | |
| CN113420724B (zh) | 一种无人机遥感入河排口识别方法及装置 | |
| CN117011688B (zh) | 一种水下结构病害的识别方法、系统及存储介质 | |
| CN116052440B (zh) | 一种车辆意图加塞行为识别方法、装置、设备及存储介质 | |
| CN116246216A (zh) | 一种建筑拆除爆破用炸药的识别方法、装置以及处理设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |