CN114120206A - 一种基于移动端的车端目标检测方法及装置 - Google Patents
一种基于移动端的车端目标检测方法及装置 Download PDFInfo
- Publication number
- CN114120206A CN114120206A CN202111513627.3A CN202111513627A CN114120206A CN 114120206 A CN114120206 A CN 114120206A CN 202111513627 A CN202111513627 A CN 202111513627A CN 114120206 A CN114120206 A CN 114120206A
- Authority
- CN
- China
- Prior art keywords
- model
- target detection
- training
- image data
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000002360 preparation method Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 1
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 1
- 208000026139 Memory disease Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006984 memory degeneration Effects 0.000 description 1
- 208000023060 memory loss Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于移动端的车端目标检测方法及装置。本发明首先获取并标注车端感知的目标图像数据；然后，训练yolov5s网络模型，得到目标检测模型；将所述目标检测模型进行格式转换，并载入移动端；最后，实时获取车端感知的图像数据，并发送至移动端，移动端利用目标检测模型进行车端图像检测并输出检测结果。通过本技术方案，使得在安卓移动端可以实现车端目标检测，弥补了车端目标检测算法便捷性的不足。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于移动端的车端目标检测方法及装置。
背景技术
在图像识别领域，目标检测作为最基础的视觉任务是必不可少的一环。目前，一般的目标检测任务依靠计算机或嵌入式设备实现，无法很好满足便捷性方面的需求。而无处不在的手机可以作为很好的承载设备，因此，将目标检测应用于移动端是非常合适的方法。
发明内容
本发明针对现有技术中存在的不足，提供一种基于移动端的车端目标检测方法及装置，用以解决现有目标检测视觉任务在便捷性上的缺失问题。
本发明解决上述技术问题的技术方案如下：
第一方面，本发明提供一种基于移动端的车端目标检测方法，包括以下步骤：
S1，获取并标注车端感知的目标图像数据；
S2，训练yolov5s网络模型，得到目标检测模型；
S3，将所述目标检测模型进行格式转换，并载入移动端；
S4，实时获取车端感知的图像数据，并发送至移动端，移动端利用目标检测模型进行车端图像检测并输出检测结果。
进一步的，步骤S2中，训练yolov5s网络模型所采用的训练数据为经处理的目标图像数据和标注的XML信息，处理后的目标图像数据为1280*1280px大小的图像。
进一步的，步骤S2包括训练yolov5s网络模型，得到FP32的best.pt格式模型文件。
进一步的，所述的将所述目标检测模型进行格式转换，并载入移动端，包括将FP32的best.pt格式模型文件转换为FP16的best.tflite格式模型文件，并将所述best.tflite格式模型文件载入移动端。
第二方面，本发明提供一种基于移动端的车端目标检测装置，包括：
训练数据准备模块，用于获取并标注车端感知的目标图像数据；
模型训练模块，用于训练yolov5s网络模型，得到目标检测模型；
模型转换及载入模块，用于将所述目标检测模型进行格式转换，并载入移动端；
检测识别模块，利用目标检测模型进行车端图像检测并输出检测结果。
进一步的，训练yolov5s网络模型所采用的训练数据为经处理的目标图像数据和标注的XML信息，处理后的目标图像数据为1280*1280px大小的图像。
进一步的，所述模型训练模块，用于训练yolov5s网络模型，得到FP32的best.pt格式模型文件。
进一步的，所述模型转换及载入模块，用于将FP32的best.pt格式模型文件转换为FP16的best.tflite格式模型文件，并将所述best.tflite格式模型文件载入移动端。
第三方面，一种电子设备，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器中存储的计算机软件程序，进而实现本发明第一方面所述的一种基于移动端的车端目标检测方法。
第四方面，一种非暂态计算机可读存储介质，该存储介质中存储有用于实现本发明第一方面所述的一种基于移动端的车端目标检测方法的计算机软件程序。
本发明的有益效果是：首先采集并标注车端目标图像数据；接着将准备好的数据送入yolov5s网络模型中进行训练，将训练完成的模型转换为安卓移动端所需格式并部署到安卓手机上，打开检测软件便可调用摄像头直接进行图像检测。通过以上步骤，使得在安卓移动端可以实现车端目标检测，弥补了车端目标检测算法便捷性的不足。
附图说明
图1为本发明实施例提供的一种基于移动端的车端目标检测方法流程示意图；
图2为本发明实施例提供的一种基于移动端的车端目标检测装置结构示意图。
图3为本发明提供的一种电子设备结构示意图；
图4为本发明提供的一种计算机可读存储介质结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，本发明实施例提供一种基于移动端的车端目标检测方法，包括以下步骤：
S1，获取并标注车端感知的目标图像数据。
对不同类型的各个车道进行图像采集，对车端感知的目标进行信息标注。
S2，训练yolov5s网络模型，得到目标检测模型。
要实现移动端的目标检测网络部署，首先要训练一个轻量型的网络，因此采用网络模型最小的yolov5s，通过训练后得到检测车端目标检测模型。本实施例使用的训练数据皆为1280*1280px大小的图像和经过标注的xml信息。
S3，将所述目标检测模型进行格式转换，并载入移动端。
由于需要将模型部署到手机端，所以对网络模型的参数大小有极高要求。因此将训练得到的FP32(单精度)best.pt检测模型转换为FP16(半精度)的best.tflite网络模型。
S4，实时获取车端感知的图像数据，并发送至移动端，移动端利用目标检测模型进行车端图像检测并输出检测结果。
本实施例中的车端目标检测模型是基于yolov5的卷积神经网络。由于是单级检测网络，在实时性上有着很好的性能。同时选取网络模型规格最小的yolov5s模型，并在转换为移动端模型时进行FP16(半精度)的量化，进一步降低的模型的参数量，将内存损耗降到最小。在本发明中，FP16已经能满足车端目标检测的实时性要求，而INT8(整型)虽然模型参数量比FP16更小，但是牺牲了一定的精度，因此最终采用FP16量化方式。
如图2所示，本发明实施例提供一种基于移动端的车端目标检测装置，包括：
训练数据准备模块，用于获取并标注车端感知的目标图像数据；
模型训练模块，用于训练yolov5s网络模型，得到目标检测模型；
模型转换及载入模块，用于将所述目标检测模型进行格式转换，并载入移动端；
检测识别模块，利用目标检测模型进行车端图像检测并输出检测结果。
进一步的，训练yolov5s网络模型所采用的训练数据为经处理的目标图像数据和标注的XML信息，处理后的目标图像数据为1280*1280px大小的图像。
进一步的，所述模型训练模块，用于训练yolov5s网络模型，得到FP32的best.pt格式模型文件。
进一步的，所述模型转换及载入模块，用于将FP32的best.pt格式模型文件转换为FP16的best.tflite格式模型文件，并将所述best.tflite格式模型文件载入移动端。
请参阅图3，图3为本发明实施例提供的电子设备的实施例示意图。如图3所示，本发明实施例提了一种电子设备500，包括存储器510、处理器520及存储在存储器520上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现以下步骤：
S1，获取并标注车端感知的目标图像数据；
S2，训练yolov5s网络模型，得到目标检测模型；
S3，将所述目标检测模型进行格式转换，并载入移动端；
S4，实时获取车端感知的图像数据，并发送至移动端，移动端利用目标检测模型进行车端图像检测并输出检测结果。
请参阅图4，图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图4所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现如下步骤：
S1，获取并标注车端感知的目标图像数据；
S2，训练yolov5s网络模型，得到目标检测模型；
S3，将所述目标检测模型进行格式转换，并载入移动端；
S4，实时获取车端感知的图像数据，并发送至移动端，移动端利用目标检测模型进行车端图像检测并输出检测结果。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种基于移动端的车端目标检测方法，其特征在于，包括以下步骤：
S1，获取并标注车端感知的目标图像数据；
S2，训练yolov5s网络模型，得到目标检测模型；
S3，将所述目标检测模型进行格式转换，并载入移动端；
S4，实时获取车端感知的图像数据，并发送至移动端，移动端利用目标检测模型进行车端图像检测并输出检测结果。
2.根据权利要求1所述的方法，其特征在于，步骤S2中，训练yolov5s网络模型所采用的训练数据为经处理的目标图像数据和标注的XML信息，处理后的目标图像数据为1280*1280px大小的图像。
3.根据权利要求1所述的方法，其特征在于，步骤S2包括训练yolov5s网络模型，得到FP32的best.pt格式模型文件。
4.根据权利要求3所述的方法，其特征在于，所述的将所述目标检测模型进行格式转换，并载入移动端，包括将FP32的best.pt格式模型文件转换为FP16的best.tflite格式模型文件，并将所述best.tflite格式模型文件载入移动端。
5.一种基于移动端的车端目标检测装置，其特征在于，包括：
训练数据准备模块，用于获取并标注车端感知的目标图像数据；
模型训练模块，用于训练yolov5s网络模型，得到目标检测模型；
模型转换及载入模块，用于将所述目标检测模型进行格式转换，并载入移动端；
检测识别模块，利用目标检测模型进行车端图像检测并输出检测结果。
6.根据权利要求5所述的装置，其特征在于，训练yolov5s网络模型所采用的训练数据为经处理的目标图像数据和标注的XML信息，处理后的目标图像数据为1280*1280px大小的图像。
7.根据权利要求5所述的装置，其特征在于，所述模型训练模块，用于训练yolov5s网络模型，得到FP32的best.pt格式模型文件。
8.根据权利要求7所述的装置，其特征在于，所述模型转换及载入模块，用于将FP32的best.pt格式模型文件转换为FP16的best.tflite格式模型文件，并将所述best.tflite格式模型文件载入移动端。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器中存储的计算机软件程序，进而实现权利要求1-4任一项所述的一种基于移动端的车端目标检测方法。
10.一种非暂态计算机可读存储介质，其特征在于，该存储介质中存储有用于实现权利要求1-4任一项所述的一种基于移动端的车端目标检测方法的计算机软件程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111513627.3A CN114120206A (zh) | 2021-12-08 | 2021-12-08 | 一种基于移动端的车端目标检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111513627.3A CN114120206A (zh) | 2021-12-08 | 2021-12-08 | 一种基于移动端的车端目标检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114120206A true CN114120206A (zh) | 2022-03-01 |
Family
ID=80364220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111513627.3A Pending CN114120206A (zh) | 2021-12-08 | 2021-12-08 | 一种基于移动端的车端目标检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114120206A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082751A (zh) * | 2022-05-07 | 2022-09-20 | 长春工业大学 | 一种基于改进YOLOv4的可移动机器人目标检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242002A (zh) * | 2020-01-10 | 2020-06-05 | 上海大学 | 基于计算机视觉的共享单车规范化停放判定方法 |
| CN112001477A (zh) * | 2020-06-19 | 2020-11-27 | 南京理工大学 | 一种基于深度学习的目标检测YOLOv3的模型优化算法 |
| CN113190877A (zh) * | 2021-04-29 | 2021-07-30 | 网易（杭州）网络有限公司 | 一种模型加载方法、装置、可读存储介质及电子设备 |
-
2021
- 2021-12-08 CN CN202111513627.3A patent/CN114120206A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242002A (zh) * | 2020-01-10 | 2020-06-05 | 上海大学 | 基于计算机视觉的共享单车规范化停放判定方法 |
| CN112001477A (zh) * | 2020-06-19 | 2020-11-27 | 南京理工大学 | 一种基于深度学习的目标检测YOLOv3的模型优化算法 |
| CN113190877A (zh) * | 2021-04-29 | 2021-07-30 | 网易（杭州）网络有限公司 | 一种模型加载方法、装置、可读存储介质及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 明柳梦少: "yolov5s_android:安卓设备运行的yolov5s", Retrieved from the Internet <URL:《微信公众号：明柳梦少》> * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082751A (zh) * | 2022-05-07 | 2022-09-20 | 长春工业大学 | 一种基于改进YOLOv4的可移动机器人目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190060817A (ko) | 이미지 기반의 차량 손상 판정 방법과 장치, 및 전자기기 | |
| CN108174289B (zh) | 一种影像资料处理方法、装置、介质和电子设备 | |
| CN109726620B (zh) | 一种视频火焰检测方法及装置 | |
| CN111415338A (zh) | 目标检测模型的构建方法及系统 | |
| CN112381092B (zh) | 跟踪方法、装置及计算机可读存储介质 | |
| CN111932462B (zh) | 图像降质模型的训练方法、装置和电子设备、存储介质 | |
| CN112001200A (zh) | 识别码识别方法、装置、设备、存储介质和系统 | |
| CN116778148A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN113066088A (zh) | 工业检测中的检测方法、检测装置和存储介质 | |
| CN115223166A (zh) | 图片预标注方法、图片标注方法及装置、电子设备 | |
| CN112052702A (zh) | 一种识别二维码的方法和装置 | |
| CN109493280B (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN110399344A (zh) | 选取重复图像的方法及装置 | |
| CN113468905A (zh) | 图形码识别方法、装置、计算机设备和存储介质 | |
| CN110222652B (zh) | 行人检测方法、装置及电子设备 | |
| CN114120206A (zh) | 一种基于移动端的车端目标检测方法及装置 | |
| CN111126493B (zh) | 深度学习模型的训练方法、装置、电子设备及存储介质 | |
| CN112734689A (zh) | 垫片质量检测方法、系统、装置和存储介质 | |
| CN116596903A (zh) | 缺陷识别方法、装置、电子设备及可读存储介质 | |
| CN109829004B (zh) | 基于无人车的数据处理方法、装置、设备以及存储介质 | |
| CN114550129B (zh) | 一种基于数据集的机器学习模型处理方法和系统 | |
| CN114219725A (zh) | 一种图像处理方法、终端设备及计算机可读存储介质 | |
| CN110991322A (zh) | 情绪识别模型的更新处理方法、装置、电子设备与介质 | |
| US11804037B1 (en) | Method and system for generating image sample having specific feature | |
| CN116863456B (zh) | 视频文本识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |