CN112465794A - 一种基于YOLOv4和嵌入式平台的高尔夫球检测方法 - Google Patents

一种基于YOLOv4和嵌入式平台的高尔夫球检测方法 Download PDF

Info

Publication number
CN112465794A
CN112465794A CN202011425522.8A CN202011425522A CN112465794A CN 112465794 A CN112465794 A CN 112465794A CN 202011425522 A CN202011425522 A CN 202011425522A CN 112465794 A CN112465794 A CN 112465794A
Authority
CN
China
Prior art keywords
golf ball
yolov4
data set
detection method
ball detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011425522.8A
Other languages
English (en)
Inventor
吴飞
蒋贵祥
王烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Kalman Navigation Technology Co ltd
Original Assignee
Wuxi Kalman Navigation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Kalman Navigation Technology Co ltd filed Critical Wuxi Kalman Navigation Technology Co ltd
Priority to CN202011425522.8A priority Critical patent/CN112465794A/zh
Publication of CN112465794A publication Critical patent/CN112465794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域和深度学习领域，具体涉及一种基于YOLOv4和嵌入式平台的高尔夫球检测方法。它先制作高尔夫球数据集；接着，在电脑端搭建Darknet框架所需软件环境，嵌入式设备烧录系统镜像必需软件；然后，对数据集的高尔夫球目标框运行K‑means++聚类；接着，使用YOLOv4模型对高尔夫数据集进行训练；之后，将电脑端训练好的YOLOv4权重转化为ONNX格式；之后，将ONNX格式文件转换为TensorRT引擎文件；最后，使用引擎文件对高尔夫球进行识别即可。采用该方法可基本避免漏检的情况，模型部署的难度较小，较Darknet框架运行的速度更快。

Description

一种基于YOLOv4和嵌入式平台的高尔夫球检测方法
技术领域
本发明涉及图像处理领域和深度学习领域，具体涉及一种基于YOLOv4和嵌入式平台的高尔夫球检测方法。
背景技术
随着人工智能的发展，基于深度学习的图像处理已逐渐走入人们的生活，机场、车站的人脸验证，无人驾驶的目标检测，都是基于多块高端显卡搭建的图形处理工作站进行计算，再通过网络将检测结果传回。虽然识别准确率高，误差小，但费用昂贵，受限于网络传输质量，在现实生活中存在着部署困难、延迟高的问题。高尔夫球场在短时间内会积累大量的高尔夫球，主要通过人工方式捡球，球场面积大，捡球工作效率低下，同时捡球影响到球场的持续运行。为了提高捡球效率，高尔夫球场会采用图形处理方法来对高尔夫球进行检测。
目前，由于高尔夫球体积小，同时存在着草坪遮挡等问题，传统图形处理方法如颜色、模板匹配等会出现严重的误检、漏检情况。现有技术中提出的改进是采用基于深度学习的主流目标检测方法，主要有Inception-resnet、SSD、YOLO。这些算法对识别效果有改善，但对小目标存在漏检的情况。而且，运行速度较好的YOLO算法需要基于Darknet框架运行，模型部署的难度较大。另外，Darknet框架在嵌入式平台的运行速度较慢。
发明内容
本发明要解决的技术问题是提供一种基于YOLOv4和嵌入式平台的高尔夫球检测方法，采用该方法可基本避免漏检的情况，模型部署的难度较小，较Darknet框架运行的速度更快。
为解决上述问题，提供以下技术方案：
本发明的基于YOLOv4和嵌入式平台的高尔夫球检测方法的特点是包括如下步骤：
第一步，制作高尔夫球数据集，添加负样本。
第二步，在电脑端搭建Darknet框架所需软件环境，嵌入式设备烧录系统镜像必需软件。
第三步，对高尔夫球数据集目标框运行K-means++聚类。
第四步，使用YOLOv4模型对高尔夫数据集进行训练，Loss损失降低到0.1或者训练6000个batch自动结束。
第五步，将电脑端训练好的YOLOv4权重转化为ONNX（Open Neural NetworkExchange）格式。
第六步，将ONNX格式文件转换为TensorRT引擎文件。
第七步，使用引擎文件对高尔夫球进行识别，即可直接检测出高尔夫球在图片中的位置坐标、类别和置信度。
其中，第一步中，通过摄像头采集高尔夫球在草坪上的视频，将采集的视频转化为图片格式，利用Labelimg软件标注成VOC格式得到高尔夫球数据集，同时，采集不包含高尔夫球的图片，做数据集负样本；采集的视频包括浅草、深草处，保证采集到的图片包含无遮挡和有遮挡的情况，将白色石块、花朵以及形状和颜色类似高尔夫球的杂物一同拍摄，提升数据集的质量。
第二步中，在电脑端安装Ubuntu16.04系统，选择OpenCV3.3.1、CUDA10.0和cuDNN7.0软件，同时，下载Darknet文件夹，修改配置文件并进行编译。
嵌入式设备根据NVIDIA官方教程，利用SD卡烧录系统镜像。其中，选择的JetPack版本为4.4，包含CUDA10.2、cuDNN8、TensorRT7，通过PIP方式安装开放神经网络交换工具（ONNX1.4.1）。
第三步中，所述高尔夫球目标框为Bounding Box，它是由目标左上角、右上角、左下角、右下角四个坐标点组成，聚类时转换成目标框的长和宽。
第四步中，使用YOLOv4模型对高尔夫数据集进行训练，根据batch数量大于2000*类别数的原则，将batch数量设置为6000，Loss损失降低到0.1或者达到6000个batch自动结束训练；所述batch为每一轮训练的图片数量，由人为决定，设置为64。
第五步中，所述ONNX是用于表示深度学习模型的标准。
第六步中，所述TensorRT为NVIDIA 设备用于高性能深度学习推理的SDK。
所述嵌入式设备为Jetson Nano嵌入式开发板。
采取以上方案，具有以下优点：
由于本发明的基于YOLOv4和嵌入式平台的高尔夫球检测方法先制作高尔夫球数据集，添加负样本；接着，在电脑端搭建Darknet框架所需软件环境，嵌入式设备烧录系统镜像必需软件；然后，对数据集的高尔夫球目标框运行K-means++聚类；接着，使用YOLOv4模型对高尔夫数据集进行训练，Loss损失降低到0.1或者训练6000个batch自动结束；之后，将电脑端训练好的YOLOv4权重转化为ONNX格式；之后，将ONNX格式文件转换为TensorRT引擎文件；最后，使用引擎文件对高尔夫球进行识别，即可直接检测出高尔夫球在图片中的位置坐标、类别和置信度。这种方式基于YOLOv4算法对目标进行检测，有效地解决了小目标检测的问题。而且，这方式在嵌入式设备上运行YOLOv4不依赖Darknet框架，降低了模型部署的难度，只需使用TensorRT引擎便可实现推理。另外，对应Darknet框架在嵌入式设备上实现了3.1倍的速度提升。
附图说明
图1是本发明的基于YOLOv4和嵌入式平台的高尔夫球检测方法的流程框架图。
具体实施方式
以下结合附图对本发明做进一步详细说明。
如图1所示，本发明的基于YOLOv4和嵌入式平台的高尔夫球检测方法的包括如下步骤：
第一步，制作高尔夫球数据集，添加负样本。
通过摄像头采集高尔夫球在草坪上的视频，将采集的视频转化为图片格式，利用Labelimg软件标注成VOC格式得到高尔夫球数据集，同时，采集不包含高尔夫球的图片，做数据集负样本。采集的视频包括浅草、深草处，保证采集到的图片包含无遮挡和有遮挡的情况，将白色石块、花朵以及形状和颜色类似高尔夫球的杂物一同拍摄，提升数据集的质量。
第二步，在电脑端搭建Darknet框架所需软件环境，嵌入式设备烧录系统镜像必需软件。
在电脑端安装Ubuntu16.04系统，选择OpenCV3.3.1、CUDA10.0和cuDNN7.0软件，同时，下载Darknet文件夹，修改配置文件并进行编译。
所述嵌入式设备为Jetson Nano嵌入式开发板。Jetson Nano嵌入式开发板根据NVIDIA官方教程，利用SD卡烧录系统镜像。其中，选择的JetPack版本为4.4，包含CUDA10.2、cuDNN8、TensorRT7，通过PIP方式安装开放神经网络交换工具（ONNX1.4.1）。
第三步，对标注后的高尔夫球目标框运行K-means++聚类。高尔夫球相较于人、座椅等常见物体体积很小，原有K-means聚类产生的anchor不适用于高尔夫球。K-means++聚类算法能够改善分类结果的误差，计算出9组锚点代替原网络结构（yolov4.cfg）文件中的anchor。
所述高尔夫球目标框为Bounding Box，它是由目标左上角、右上角、左下角、右下角四个坐标点组成，聚类时转换成目标框的长和宽。
第四步，使用YOLOv4模型对高尔夫数据集进行训练，Loss损失降低到0.1或者训练6000个batch自动结束。
使用YOLOv4模型对高尔夫数据集进行训练，根据batch数量大于2000*类别数的原则，将batch数量设置为6000，loss损失降低到0.1或者达到6000个batch自动结束训练。所述batch为每一轮训练的图片数量，由人为决定，设置为64。
第五步，将电脑端训练好的yolov4.weights权重转化为ONNX（Open NeuralNetwork Exchange）格式。ONNX是用于表示深度学习模型的标准。
ONNX可以方便在主流深度学习框架中迁移模型，是一种中间表达格式框架。
第六步，将ONNX中间格式文件通过TensorRT转化为yolov4.trt的引擎文件。
推理时直接加载yolov4.trt，无需原始yolov4.weights或yolov4.onnx。TensorRT为NVIDIA 设备用于高性能深度学习推理的SDK。
第七步，使用引擎文件对高尔夫球进行识别，即可直接检测出高尔夫球在图片中的位置坐标、类别和置信度。

Claims (8)

1.一种基于YOLOv4和嵌入式平台的高尔夫球检测方法，其特征在于包括如下步骤：
第一步，制作高尔夫球数据集，添加负样本；
第二步，在电脑端搭建Darknet框架所需软件环境，嵌入式设备烧录系统镜像必需软件；
第三步，对高尔夫球数据集目标框运行K-means++聚类；
第四步，使用YOLOv4模型对高尔夫数据集进行训练，Loss损失降低到0.1或者训练6000个batch自动结束；
第五步，将电脑端训练好的YOLOv4权重转化为ONNX（Open Neural Network Exchange）格式；
第六步，将ONNX格式文件转换为TensorRT引擎文件；
第七步，使用引擎文件对高尔夫球进行识别，即可直接检测出高尔夫球在图片中的位置坐标、类别和置信度。
2.如权利要求1所述的基于YOLOv4和嵌入式平台的高尔夫球检测方法，其特征在于第一步中，通过摄像头采集高尔夫球在草坪上的视频，将采集的视频转化为图片格式，利用Labelimg软件标注成VOC格式得到高尔夫球数据集，同时，采集不包含高尔夫球的图片，做数据集负样本；采集的视频包括浅草、深草处，保证采集到的图片包含无遮挡和有遮挡的情况，将白色石块、花朵以及形状和颜色类似高尔夫球的杂物一同拍摄，提升数据集的质量。
3.如权利要求1所述的基于YOLOV4和嵌入式平台的高尔夫球检测方法，其特征在于第二步中，在电脑端安装Ubuntu16.04系统，选择OpenCV3.3.1、CUDA10.0和cuDNN7.0软件，同时，下载Darknet文件夹，修改配置文件并进行编译；
嵌入式设备根据NVIDIA官方教程，利用SD卡烧录系统镜像；其中，选择的JetPack版本为4.4，包含CUDA10.2、cuDNN8、TensorRT7，通过PIP方式安装开放神经网络交换工具（ONNX1.4.1）。
4.如权利要求1所述的基于YOLOv4和嵌入式平台的高尔夫球检测方法，其特征在于第三步中，所述高尔夫球目标框为Bounding Box，它是由目标左上角、右上角、左下角、右下角四个坐标点组成，聚类时转换成目标框的长和宽。
5.如权利要求1所述的基于YOLOv4和嵌入式平台的高尔夫球检测方法，其特征在于第四步中，使用YOLOv4模型对高尔夫数据集进行训练，根据batch数量大于2000*类别数的原则，将batch数量设置为6000，loss损失降低到0.1或者达到6000个batch自动结束训练；所述batch为每一轮训练的图片数量，由人为决定，设置为64。
6.如权利要求1所述的基于YOLOv4和嵌入式平台的高尔夫球检测方法，其特征在于第五步中，所述ONNX是用于表示深度学习模型的标准。
7.如权利要求1所述的基于YOLOv4和嵌入式平台的高尔夫球检测方法，其特征在于第六步中，所述TensorRT为NVIDIA 设备用于高性能深度学习推理的SDK。
8.如权利要求1~7中任一项所述的基于YOLOv4和嵌入式平台的高尔夫球检测方法，其特征在于所述嵌入式设备为Jetson Nano嵌入式开发板。
CN202011425522.8A 2020-12-10 2020-12-10 一种基于YOLOv4和嵌入式平台的高尔夫球检测方法 Pending CN112465794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011425522.8A CN112465794A (zh) 2020-12-10 2020-12-10 一种基于YOLOv4和嵌入式平台的高尔夫球检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011425522.8A CN112465794A (zh) 2020-12-10 2020-12-10 一种基于YOLOv4和嵌入式平台的高尔夫球检测方法

Publications (1)

Publication Number Publication Date
CN112465794A true CN112465794A (zh) 2021-03-09

Family

ID=74800163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011425522.8A Pending CN112465794A (zh) 2020-12-10 2020-12-10 一种基于YOLOv4和嵌入式平台的高尔夫球检测方法

Country Status (1)

Country Link
CN (1) CN112465794A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668672A (zh) * 2021-03-16 2021-04-16 深圳市安软科技股份有限公司 基于TensorRT的目标检测模型加速方法及装置
CN113362299A (zh) * 2021-06-03 2021-09-07 南通大学 一种基于改进YOLOv4的X光安检图像检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829428A (zh) * 2019-01-31 2019-05-31 兰州交通大学 基于改进YOLOv2的视频图像行人检测方法及系统
CN110503098A (zh) * 2019-08-29 2019-11-26 西安电子科技大学 一种快速实时性轻量级的目标检测方法及设备
CN110782435A (zh) * 2019-10-17 2020-02-11 浙江中烟工业有限责任公司 一种基于深度学习模型的烟虫检测方法
CN110990658A (zh) * 2019-11-15 2020-04-10 西安交通大学 一种输电线路图像处理算法在嵌入式系统上实现的方法
US20200117952A1 (en) * 2018-10-11 2020-04-16 James Carroll Target object position prediction and motion tracking
CN111080620A (zh) * 2019-12-13 2020-04-28 中远海运科技股份有限公司 一种基于深度学习的道路病害检测方法
CN111126251A (zh) * 2019-12-20 2020-05-08 深圳市商汤科技有限公司 图像处理方法、装置、设备和存储介质
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
CN111581679A (zh) * 2020-05-06 2020-08-25 台州智必安科技有限责任公司 一种基于深度网络的防范屏幕拍照方法
CN111881984A (zh) * 2020-07-30 2020-11-03 北京环境特性研究所 一种基于深度学习的目标检测方法和装置
CN111985451A (zh) * 2020-09-04 2020-11-24 南京航空航天大学 一种基于YOLOv4的无人机场景检测方法
KR102185907B1 (ko) * 2020-02-21 2020-12-02 (유)아홉 골프 가이드 장치

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200117952A1 (en) * 2018-10-11 2020-04-16 James Carroll Target object position prediction and motion tracking
CN109829428A (zh) * 2019-01-31 2019-05-31 兰州交通大学 基于改进YOLOv2的视频图像行人检测方法及系统
CN110503098A (zh) * 2019-08-29 2019-11-26 西安电子科技大学 一种快速实时性轻量级的目标检测方法及设备
CN110782435A (zh) * 2019-10-17 2020-02-11 浙江中烟工业有限责任公司 一种基于深度学习模型的烟虫检测方法
CN110990658A (zh) * 2019-11-15 2020-04-10 西安交通大学 一种输电线路图像处理算法在嵌入式系统上实现的方法
CN111080620A (zh) * 2019-12-13 2020-04-28 中远海运科技股份有限公司 一种基于深度学习的道路病害检测方法
CN111126251A (zh) * 2019-12-20 2020-05-08 深圳市商汤科技有限公司 图像处理方法、装置、设备和存储介质
KR102185907B1 (ko) * 2020-02-21 2020-12-02 (유)아홉 골프 가이드 장치
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
CN111581679A (zh) * 2020-05-06 2020-08-25 台州智必安科技有限责任公司 一种基于深度网络的防范屏幕拍照方法
CN111881984A (zh) * 2020-07-30 2020-11-03 北京环境特性研究所 一种基于深度学习的目标检测方法和装置
CN111985451A (zh) * 2020-09-04 2020-11-24 南京航空航天大学 一种基于YOLOv4的无人机场景检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"基于嵌入式设备与深度学习模型的智能小车的设计与研究", 数字技术与应用, vol. 38, no. 5, pages 161 - 162 *
白士磊;殷柯欣;朱建启;: "轻量级YOLOv3的交通标志检测算法", 计算机与现代化, no. 09 *
陆晔;孙晓凯;李梦媛;: "基于"检测+分类"模型融合的物体识别应用分析", 电信科学, no. 1 *
陈浩: "基于深度学习的多目标识别系统研究与实现", 中国优秀硕士学位论文全文数据库（信息科技辑）, no. 2020, pages 29 - 42 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668672A (zh) * 2021-03-16 2021-04-16 深圳市安软科技股份有限公司 基于TensorRT的目标检测模型加速方法及装置
CN113362299A (zh) * 2021-06-03 2021-09-07 南通大学 一种基于改进YOLOv4的X光安检图像检测方法
CN113362299B (zh) * 2021-06-03 2023-09-12 南通大学 一种基于改进YOLOv4的X光安检图像检测方法

Similar Documents

Publication Publication Date Title
CN110852347B (zh) 采用改进YOLO v3的火灾检测方法
CN107169435A (zh) 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
CN109034044A (zh) 一种基于融合卷积神经网络的行人再识别方法
CN108154102A (zh) 一种道路交通标志识别方法
CN109643125A (zh) 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟
CN108710863A (zh) 基于深度学习的无人机航拍场景语义分割方法及系统
CN107239790A (zh) 一种基于深度学习的服务机器人目标检测与定位方法
CN109949316A (zh) 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN102053563A (zh) 模拟机飞行训练数据采集及质量评估系统
CN109801265B (zh) 一种基于卷积神经网络的实时输电设备异物检测系统
CN112465794A (zh) 一种基于YOLOv4和嵌入式平台的高尔夫球检测方法
CN109325495A (zh) 一种基于深度神经网络建模的作物图像分割系统及方法
CN109241820A (zh) 基于空间探索的无人机自主拍摄方法
CN112464766B (zh) 一种农田地头自动识别方法及系统
CN107665351A (zh) 基于难样本挖掘的机场检测方法
CN109045676B (zh) 一种象棋识别学习算法和基于该算法的机器人智动化系统与方法
CN108629368A (zh) 一种基于联合深度融合的多模态地基云分类方法
CN110136130A (zh) 一种检测产品缺陷的方法及装置
CN104463168B (zh) 一种基于遥感影像的空废宅基地信息自动提取方法
CN107463954A (zh) 一种模糊异谱图像的模板匹配识别方法
KR102002632B1 (ko) Ｉｏｔ 기반 과수 모니터링 시스템 및 방법
CN107392251A (zh) 一种使用分类图片提升目标检测网络性能的方法
CN109886267A (zh) 一种基于最优特征选择的低对比度图像显著性检测方法
CN109101926A (zh) 基于卷积神经网络的空中目标检测方法
Petso et al. Automatic animal identification from drone camera based on point pattern analysis of herd behaviour

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination