CN113627315A - 一种从边缘端相机到算法推理过程数据预处理的方法 - Google Patents
一种从边缘端相机到算法推理过程数据预处理的方法 Download PDFInfo
- Publication number
- CN113627315A CN113627315A CN202110900913.9A CN202110900913A CN113627315A CN 113627315 A CN113627315 A CN 113627315A CN 202110900913 A CN202110900913 A CN 202110900913A CN 113627315 A CN113627315 A CN 113627315A
- Authority
- CN
- China
- Prior art keywords
- data
- edge
- processing
- end camera
- lodging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000007781 pre-processing Methods 0.000 title claims abstract description 28
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000004140 cleaning Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 abstract description 8
- 230000007547 defect Effects 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种从边缘端相机到算法推理过程数据预处理的方法，包括以下步骤：S1、数据处理开始，具体场景选择不同规格的相机；S11、判断相机分辨率是否满足要求，若分辨率不满足要求，则返回S1，若分辨率满足要求，则转至S12；S12、判断功率是否满足要求，若功率不满足要求，则返回S1。本发明提供了从边缘端相机到算法推理过程数据预处理的方法，在精准农业，高精度数据测绘等工业领域适用，根据具体对应的场景，采用SPV数据采集方法、MPP数据处理方法、LM数据标注方法多维度对数据质量进行管控，克服了在现有测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高导致落地困难的缺陷。
Description
技术领域
本发明涉及数据预处理技术领域，具体为一种从边缘端相机到算法推理过程数据预处理的方法。
背景技术
随着深度学习的普及和商用化，当大量的深度学习算法需要在对多场景化的数据进行模型训练和学习时，只有对从边缘端拿到高质量的图像数据进行训练才能更有力的对同模型的准确率提升至最大化，实现高精确率算法的关键技术之一就是对场景化的数据针对不同的业务类型进行数据划分和预处理，根据不同的数据划分手段和数据预处理手段，有效的对原始数据进行数据清洗。
现有的测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高，导致落地困难，在测绘、精准农业等场景下，数据预处理手段在深度学习下应用的技术储备几乎为零，在没有较为完整的数据预处理方案的情况下，将深度学习算法应用到端侧场景领域很难达到高精度、高效率，不能满足作业场景的业务需求，所以我们提出一种从边缘端相机到算法推理过程数据预处理的方法，用于解决上述所提到的问题。
发明内容
本发明的目的在于提供一种从边缘端相机到算法推理过程数据预处理的方法，以解决上述背景技术中现有的测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高，导致落地困难，在测绘、精准农业等场景下，数据预处理手段在深度学习下应用的技术储备几乎为零，在没有较为完整的数据预处理方案的情况下，将深度学习算法应用到端侧场景领域很难达到高精度、高效率，不能满足作业场景的业务需求问题。
为实现上述目的，本发明提供如下技术方案：一种从边缘端相机到算法推理过程数据预处理的方法，包括以下步骤：
S1、数据处理开始，具体场景选择不同规格的相机；
S11、判断相机分辨率是否满足要求，若分辨率不满足要求，则返回S1，若分辨率满足要求，则转至S12；
S12、判断功率是否满足要求，若功率不满足要求，则返回S1，若功率满足要求，则转至S13；
S13、判断帧率是否满足要求，若帧率不满足要求，则返回S1，若帧率满足要求，则转至S2；
S2、根据用户需求的业务场景频率进行数据采集；
S3、记录不同场景下采集的数据量并且对其进行数据类型划分；
S4、每个类型数据下采用SV方法进行数据分割；
S5、针对分割数据进行数据清洗；
S6、数据进行均衡化处理；
S7、采用LM方法对数据进行标注。
优选的，所述步骤S2中的业务场景包括农业倒伏场景和全站仪棱镜场景。
优选的，所述农业倒伏场景包括倒伏程度、时间类型、气候类型、地域类型和作物类型。
优选的，所述全站仪棱镜场景包括运动状态、有无干扰、气候类型、业务场景和时间类型。
优选的，所述步骤S7中的数据标注包括人工标注和模型自动化标注。
优选的，所述步骤S5中的数据清洗包括人工清洗和相似度匹配算法清洗。
优选的，所述气候类型为亚热带季风和亚热带湿润气候，温带海洋性气候，温带季风气候和温带中的一种。
优选的，所述倒伏程度为根倒伏和茎倒伏中的一种。
与现有技术相比，本发明的有益效果是：
1、可以通过选择不同规格的相机进而适应多种场景；
2、通过数据采集、数据类型划分、数据分割、数据清洗、数据均衡化处理和数据标注实现对数据的预处理。
本发明提供了从边缘端相机到算法推理过程数据预处理的方法，在精准农业，高精度数据测绘等工业领域适用，根据具体对应的场景，采用SPV数据采集方法、MPP数据处理方法、LM数据标注方法多维度对数据质量进行管控，克服了在现有测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高导致落地困难的缺陷。
附图说明
图1为本发明的工作流程图；
图2为本发明中数据场景化采集的示意图；
图3为本发明中农业倒伏场景的示意图；
图4为本发明中全站仪棱镜场景的示意图；
图5为本发明中数据标注的示意图；
图6为本发明中数据清洗的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例一
请参阅图1至图6，本发明提供的一种实施例：一种从边缘端相机到算法推理过程数据预处理的方法，包括以下步骤：
S1、数据处理开始，具体场景选择不同规格的相机；
S11、判断相机分辨率是否满足要求，若分辨率不满足要求，则返回S1，若分辨率满足要求，则转至S12；
S12、判断功率是否满足要求，若功率不满足要求，则返回S1，若功率满足要求，则转至S13；
S13、判断帧率是否满足要求，若帧率不满足要求，则返回S1，若帧率满足要求，则转至S2；
S2、根据用户需求的业务场景频率进行数据采集；
S3、记录不同场景下采集的数据量并且对其进行数据类型划分；
S4、每个类型数据下采用SV方法进行数据分割；
S5、针对分割数据进行数据清洗；
S6、数据进行均衡化处理；
S7、采用LM方法对数据进行标注。
实施例二
请参阅图1至图6，本发明提供的一种实施例：一种从边缘端相机到算法推理过程数据预处理的方法，包括以下步骤：
S1、数据处理开始，具体场景选择不同规格的相机；
S11、判断相机分辨率是否满足要求，若分辨率不满足要求，则返回S1，若分辨率满足要求，则转至S12；
S12、判断功率是否满足要求，若功率不满足要求，则返回S1，若功率满足要求，则转至S13；
S13、判断帧率是否满足要求，若帧率不满足要求，则返回S1，若帧率满足要求，则转至S2；
S2、根据用户需求的业务场景频率进行数据采集，业务场景包括农业倒伏场景和全站仪棱镜场景，农业倒伏场景包括倒伏程度、时间类型、气候类型、地域类型和作物类型，倒伏程度为根倒伏和茎倒伏中的一种，全站仪棱镜场景包括运动状态、有无干扰、气候类型、业务场景和时间类型，气候类型为亚热带季风和亚热带湿润气候，温带海洋性气候，温带季风气候和温带中的一种；
S3、记录不同场景下采集的数据量并且对其进行数据类型划分；
S4、每个类型数据下采用SV方法进行数据分割；
S5、针对分割数据进行数据清洗，数据清洗包括人工清洗和相似度匹配算法清洗；
S6、数据进行均衡化处理；
S7、采用LM方法对数据进行标注，数据标注包括人工标注和模型自动化标注。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (8)
1.一种从边缘端相机到算法推理过程数据预处理的方法，其特征在于，包括以下步骤：
S1、数据处理开始，具体场景选择不同规格的相机；
S11、判断相机分辨率是否满足要求，若分辨率不满足要求，则返回S1，若分辨率满足要求，则转至S12；
S12、判断功率是否满足要求，若功率不满足要求，则返回S1，若功率满足要求，则转至S13；
S13、判断帧率是否满足要求，若帧率不满足要求，则返回S1，若帧率满足要求，则转至S2；
S2、根据用户需求的业务场景频率进行数据采集；
S3、记录不同场景下采集的数据量并且对其进行数据类型划分；
S4、每个类型数据下采用SV方法进行数据分割；
S5、针对分割数据进行数据清洗；
S6、数据进行均衡化处理；
S7、采用LM方法对数据进行标注。
2.根据权利要求1所述的一种从边缘端相机到算法推理过程数据预处理的方法，其特征在于：所述步骤S2中的业务场景包括农业倒伏场景和全站仪棱镜场景。
3.根据权利要求2所述的一种从边缘端相机到算法推理过程数据预处理的方法，其特征在于：所述农业倒伏场景包括倒伏程度、时间类型、气候类型、地域类型和作物类型。
4.根据权利要求2所述的一种从边缘端相机到算法推理过程数据预处理的方法，其特征在于：所述全站仪棱镜场景包括运动状态、有无干扰、气候类型、业务场景和时间类型。
5.根据权利要求1所述的一种从边缘端相机到算法推理过程数据预处理的方法，其特征在于：所述步骤S7中的数据标注包括人工标注和模型自动化标注。
6.根据权利要求1所述的一种从边缘端相机到算法推理过程数据预处理的方法，其特征在于：所述步骤S5中的数据清洗包括人工清洗和相似度匹配算法清洗。
7.根据权利要求4所述的一种从边缘端相机到算法推理过程数据预处理的方法，其特征在于：所述气候类型为亚热带季风和亚热带湿润气候，温带海洋性气候，温带季风气候和温带中的一种。
8.根据权利要求3所述的一种从边缘端相机到算法推理过程数据预处理的方法，其特征在于：所述倒伏程度为根倒伏和茎倒伏中的一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110900913.9A CN113627315B (zh) | 2021-08-06 | 2021-08-06 | 一种从边缘端相机到算法推理过程数据预处理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110900913.9A CN113627315B (zh) | 2021-08-06 | 2021-08-06 | 一种从边缘端相机到算法推理过程数据预处理的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113627315A true CN113627315A (zh) | 2021-11-09 |
| CN113627315B CN113627315B (zh) | 2024-04-30 |
Family
ID=78383098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110900913.9A Active CN113627315B (zh) | 2021-08-06 | 2021-08-06 | 一种从边缘端相机到算法推理过程数据预处理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113627315B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107041168A (zh) * | 2014-12-02 | 2017-08-11 | 索尼公司 | 用于适应视频捕捉帧率的传感器配置切换 |
| CN111311544A (zh) * | 2020-01-19 | 2020-06-19 | 无锡赛默斐视科技有限公司 | 一种基于深度学习的地板缺陷检测方法 |
| CN113012111A (zh) * | 2021-02-25 | 2021-06-22 | 北京麦飞科技有限公司 | 一种基于边缘计算的水稻倒伏程度分级监测方法 |
-
2021
- 2021-08-06 CN CN202110900913.9A patent/CN113627315B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107041168A (zh) * | 2014-12-02 | 2017-08-11 | 索尼公司 | 用于适应视频捕捉帧率的传感器配置切换 |
| CN111311544A (zh) * | 2020-01-19 | 2020-06-19 | 无锡赛默斐视科技有限公司 | 一种基于深度学习的地板缺陷检测方法 |
| CN113012111A (zh) * | 2021-02-25 | 2021-06-22 | 北京麦飞科技有限公司 | 一种基于边缘计算的水稻倒伏程度分级监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙红: "农业信息成像感知与深度学习应用研究进展", 农业机械学报 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113627315B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11630972B2 (en) | Assembly body change detection method, device and medium based on attention mechanism | |
| CN110781262B (zh) | 基于视觉slam的语义地图的构建方法 | |
| CN111768432A (zh) | 基于孪生深度神经网络的动目标分割方法及系统 | |
| CN115994137B (zh) | 一种基于物联网应用服务系统的数据管理方法 | |
| CN110830450A (zh) | 基于统计的异常流量监测方法、装置、设备及存储介质 | |
| CN113313763B (zh) | 一种基于神经网络的单目相机位姿优化方法及装置 | |
| CN113420745B (zh) | 基于图像的目标识别方法、系统、存储介质及终端设备 | |
| CN114343504A (zh) | 扫地机器人的清扫策略生成方法、装置、设备及存储介质 | |
| CN111583282A (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN111695627A (zh) | 路况检测方法、装置、电子设备及可读存储介质 | |
| WO2012032889A1 (ja) | 物体識別向けの学習装置、学習システム、学習方法、及び学習プログラム | |
| CN114022525A (zh) | 基于深度学习的点云配准方法、装置、终端设备及介质 | |
| CN112581483B (zh) | 基于自学习的植物叶片叶脉分割方法和装置 | |
| WO2022036981A1 (zh) | 机器人及其地图构建方法和装置 | |
| Hossny et al. | Towards autonomous image fusion | |
| CN116704490B (zh) | 车牌识别方法、装置和计算机设备 | |
| CN113627315A (zh) | 一种从边缘端相机到算法推理过程数据预处理的方法 | |
| CN113936019A (zh) | 一种基于卷积神经网络技术的大田作物产量估算方法 | |
| CN111046831B (zh) | 家禽识别方法、装置及服务器 | |
| CN113743434A (zh) | 一种目标检测网络的训练方法、图像增广方法及装置 | |
| CN111783726A (zh) | 基于人工智能和bim的放牧牲畜离群视频采集方法 | |
| CN116311218A (zh) | 基于自注意力特征融合的带噪植株点云语义分割方法及系统 | |
| CN109165587A (zh) | 智能图像信息抽取方法 | |
| CN114169398A (zh) | 基于随机森林算法的光伏直流电弧故障识别方法及装置 | |
| CN114037737A (zh) | 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |