CN113627315B - 一种从边缘端相机到算法推理过程数据预处理的方法 - Google Patents
一种从边缘端相机到算法推理过程数据预处理的方法 Download PDFInfo
- Publication number
- CN113627315B CN113627315B CN202110900913.9A CN202110900913A CN113627315B CN 113627315 B CN113627315 B CN 113627315B CN 202110900913 A CN202110900913 A CN 202110900913A CN 113627315 B CN113627315 B CN 113627315B
- Authority
- CN
- China
- Prior art keywords
- data
- requirement
- returning
- scene
- meets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000007781 pre-processing Methods 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 230000007547 defect Effects 0.000 claims abstract description 3
- 238000004140 cleaning Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 abstract description 6
- 238000013506 data mapping Methods 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种从边缘端相机到算法推理过程数据预处理的方法,包括以下步骤:S1、数据处理开始,具体场景选择不同规格的相机;S11、判断相机分辨率是否满足要求,若分辨率不满足要求,则返回S1,若分辨率满足要求,则转至S12;S12、判断功率是否满足要求,若功率不满足要求,则返回S1。本发明提供了从边缘端相机到算法推理过程数据预处理的方法,在精准农业,高精度数据测绘等工业领域适用,根据具体对应的场景,采用SPV数据采集方法、MPP数据处理方法、LM数据标注方法多维度对数据质量进行管控,克服了在现有测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高导致落地困难的缺陷。
Description
技术领域
本发明涉及数据预处理技术领域,具体为一种从边缘端相机到算法推理过程数据预处理的方法。
背景技术
随着深度学习的普及和商用化,当大量的深度学习算法需要在对多场景化的数据进行模型训练和学习时,只有对从边缘端拿到高质量的图像数据进行训练才能更有力的对同模型的准确率提升至最大化,实现高精确率算法的关键技术之一就是对场景化的数据针对不同的业务类型进行数据划分和预处理,根据不同的数据划分手段和数据预处理手段,有效的对原始数据进行数据清洗。
现有的测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高,导致落地困难,在测绘、精准农业等场景下,数据预处理手段在深度学习下应用的技术储备几乎为零,在没有较为完整的数据预处理方案的情况下,将深度学习算法应用到端侧场景领域很难达到高精度、高效率,不能满足作业场景的业务需求,所以我们提出一种从边缘端相机到算法推理过程数据预处理的方法,用于解决上述所提到的问题。
发明内容
本发明的目的在于提供一种从边缘端相机到算法推理过程数据预处理的方法,以解决上述背景技术中现有的测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高,导致落地困难,在测绘、精准农业等场景下,数据预处理手段在深度学习下应用的技术储备几乎为零,在没有较为完整的数据预处理方案的情况下,将深度学习算法应用到端侧场景领域很难达到高精度、高效率,不能满足作业场景的业务需求问题。
为实现上述目的,本发明提供如下技术方案:一种从边缘端相机到算法推理过程数据预处理的方法,包括以下步骤:
S1、数据处理开始,具体场景选择不同规格的相机;
S11、判断相机分辨率是否满足要求,若分辨率不满足要求,则返回S1,若分辨率满足要求,则转至S12;
S12、判断功率是否满足要求,若功率不满足要求,则返回S1,若功率满足要求,则转至S13;
S13、判断帧率是否满足要求,若帧率不满足要求,则返回S1,若帧率满足要求,则转至S2;
S2、根据用户需求的业务场景频率进行数据采集;
S3、记录不同场景下采集的数据量并且对其进行数据类型划分;
S4、每个类型数据下采用SV方法进行数据分割;
S5、针对分割数据进行数据清洗;
S6、数据进行均衡化处理;
S7、采用LM方法对数据进行标注。
优选的,所述步骤S2中的业务场景包括农业倒伏场景和全站仪棱镜场景。
优选的,所述农业倒伏场景包括倒伏程度、时间类型、气候类型、地域类型和作物类型。
优选的,所述全站仪棱镜场景包括运动状态、有无干扰、气候类型、业务场景和时间类型。
优选的,所述步骤S7中的数据标注包括人工标注和模型自动化标注。
优选的,所述步骤S5中的数据清洗包括人工清洗和相似度匹配算法清洗。
优选的,所述气候类型为亚热带季风和亚热带湿润气候,温带海洋性气候,温带季风气候和温带中的一种。
优选的,所述倒伏程度为根倒伏和茎倒伏中的一种。
与现有技术相比,本发明的有益效果是:
1、可以通过选择不同规格的相机进而适应多种场景;
2、通过数据采集、数据类型划分、数据分割、数据清洗、数据均衡化处理和数据标注实现对数据的预处理。
本发明提供了从边缘端相机到算法推理过程数据预处理的方法,在精准农业,高精度数据测绘等工业领域适用,根据具体对应的场景,采用SPV数据采集方法、MPP数据处理方法、LM数据标注方法多维度对数据质量进行管控,克服了在现有测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高导致落地困难的缺陷。
附图说明
图1为本发明的工作流程图;
图2为本发明中数据场景化采集的示意图;
图3为本发明中农业倒伏场景的示意图;
图4为本发明中全站仪棱镜场景的示意图;
图5为本发明中数据标注的示意图;
图6为本发明中数据清洗的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“设置有”、“连接”等,应做广义理解,例如“连接”,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例一
请参阅图1至图6,本发明提供的一种实施例:一种从边缘端相机到算法推理过程数据预处理的方法,包括以下步骤:
S1、数据处理开始,具体场景选择不同规格的相机;
S11、判断相机分辨率是否满足要求,若分辨率不满足要求,则返回S1,若分辨率满足要求,则转至S12;
S12、判断功率是否满足要求,若功率不满足要求,则返回S1,若功率满足要求,则转至S13;
S13、判断帧率是否满足要求,若帧率不满足要求,则返回S1,若帧率满足要求,则转至S2;
S2、根据用户需求的业务场景频率进行数据采集;
S3、记录不同场景下采集的数据量并且对其进行数据类型划分;
S4、每个类型数据下采用SV方法进行数据分割;
S5、针对分割数据进行数据清洗;
S6、数据进行均衡化处理;
S7、采用LM方法对数据进行标注。
实施例二
请参阅图1至图6,本发明提供的一种实施例:一种从边缘端相机到算法推理过程数据预处理的方法,包括以下步骤:
S1、数据处理开始,具体场景选择不同规格的相机;
S11、判断相机分辨率是否满足要求,若分辨率不满足要求,则返回S1,若分辨率满足要求,则转至S12;
S12、判断功率是否满足要求,若功率不满足要求,则返回S1,若功率满足要求,则转至S13;
S13、判断帧率是否满足要求,若帧率不满足要求,则返回S1,若帧率满足要求,则转至S2;
S2、根据用户需求的业务场景频率进行数据采集,业务场景包括农业倒伏场景和全站仪棱镜场景,农业倒伏场景包括倒伏程度、时间类型、气候类型、地域类型和作物类型,倒伏程度为根倒伏和茎倒伏中的一种,全站仪棱镜场景包括运动状态、有无干扰、气候类型、业务场景和时间类型,气候类型为亚热带季风和亚热带湿润气候,温带海洋性气候,温带季风气候和温带中的一种;
S3、记录不同场景下采集的数据量并且对其进行数据类型划分;
S4、每个类型数据下采用SV方法进行数据分割;
S5、针对分割数据进行数据清洗,数据清洗包括人工清洗和相似度匹配算法清洗;
S6、数据进行均衡化处理;
S7、采用LM方法对数据进行标注,数据标注包括人工标注和模型自动化标注。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (3)
1.一种从边缘端相机到算法推理过程数据预处理的方法,其特征在于,包括以下步骤:
S1、数据处理开始,具体场景选择不同规格的相机;
S11、判断相机分辨率是否满足要求,若分辨率不满足要求,则返回S1,若分辨率满足要求,则转至S12;
S12、判断功率是否满足要求,若功率不满足要求,则返回S1,若功率满足要求,则转至S13;
S13、判断帧率是否满足要求,若帧率不满足要求,则返回S1,若帧率满足要求,则转至S2;
S2、根据用户需求的业务场景频率进行数据采集,所述业务场景包括农业倒伏场景和全站仪棱镜场景,所述农业倒伏场景包括倒伏程度、时间类型、气候类型、地域类型和作物类型,所述全站仪棱镜场景包括运动状态、有无干扰、气候类型、业务场景和时间类型;
S3、记录不同场景下采集的数据量并且对其进行数据类型划分;
S4、每个类型数据下采用SV方法进行数据分割;
S5、针对分割数据进行数据清洗,数据清洗包括人工清洗和相似度匹配算法清洗;
S6、数据进行均衡化处理;
S7、采用LM方法对数据进行标注,数据标注包括人工标注和模型自动化标注,对数据质量进行管控,克服了在现有测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高导致落地困难的缺陷。
2.根据权利要求1所述的一种从边缘端相机到算法推理过程数据预处理的方法,其特征在于:所述气候类型为亚热带季风和亚热带湿润气候,温带海洋性气候,温带季风气候和温带中的一种。
3.根据权利要求1所述的一种从边缘端相机到算法推理过程数据预处理的方法,其特征在于:所述倒伏程度为根倒伏和茎倒伏中的一种。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110900913.9A CN113627315B (zh) | 2021-08-06 | 2021-08-06 | 一种从边缘端相机到算法推理过程数据预处理的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110900913.9A CN113627315B (zh) | 2021-08-06 | 2021-08-06 | 一种从边缘端相机到算法推理过程数据预处理的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113627315A CN113627315A (zh) | 2021-11-09 |
CN113627315B true CN113627315B (zh) | 2024-04-30 |
Family
ID=78383098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110900913.9A Active CN113627315B (zh) | 2021-08-06 | 2021-08-06 | 一种从边缘端相机到算法推理过程数据预处理的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627315B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107041168A (zh) * | 2014-12-02 | 2017-08-11 | 索尼公司 | 用于适应视频捕捉帧率的传感器配置切换 |
CN111311544A (zh) * | 2020-01-19 | 2020-06-19 | 无锡赛默斐视科技有限公司 | 一种基于深度学习的地板缺陷检测方法 |
CN113012111A (zh) * | 2021-02-25 | 2021-06-22 | 北京麦飞科技有限公司 | 一种基于边缘计算的水稻倒伏程度分级监测方法 |
-
2021
- 2021-08-06 CN CN202110900913.9A patent/CN113627315B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107041168A (zh) * | 2014-12-02 | 2017-08-11 | 索尼公司 | 用于适应视频捕捉帧率的传感器配置切换 |
CN111311544A (zh) * | 2020-01-19 | 2020-06-19 | 无锡赛默斐视科技有限公司 | 一种基于深度学习的地板缺陷检测方法 |
CN113012111A (zh) * | 2021-02-25 | 2021-06-22 | 北京麦飞科技有限公司 | 一种基于边缘计算的水稻倒伏程度分级监测方法 |
Non-Patent Citations (1)
Title |
---|
农业信息成像感知与深度学习应用研究进展;孙红;农业机械学报;第51卷(第5期);正文第1-10页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113627315A (zh) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110781262B (zh) | 基于视觉slam的语义地图的构建方法 | |
CN109389044B (zh) | 基于卷积网络与多任务学习的多场景人群密度估计方法 | |
CN107105310A (zh) | 一种视频直播中人物形象替换方法、装置和一种录播系统 | |
CN112581483B (zh) | 基于自学习的植物叶片叶脉分割方法和装置 | |
CN107749048B (zh) | 图像矫正系统及方法、色盲图像矫正系统及方法 | |
CN111982103A (zh) | 一种权值优化的点线综合视觉惯性里程计方法 | |
CN112102146B (zh) | 脸部图像处理方法、装置、设备及计算机存储介质 | |
CN113627315B (zh) | 一种从边缘端相机到算法推理过程数据预处理的方法 | |
CN114708475A (zh) | 一种用于3d场景理解的点云多模态特征融合网络方法 | |
CN114526728A (zh) | 一种基于自监督深度学习的单目视觉惯导定位方法 | |
CN114022525A (zh) | 基于深度学习的点云配准方法、装置、终端设备及介质 | |
WO2022036981A1 (zh) | 机器人及其地图构建方法和装置 | |
CN113378830A (zh) | 一种基于域适应的可自主学习数据标签生成方法 | |
CN114998570B (zh) | 一种对象检测框的确定方法、装置、存储介质及电子装置 | |
CN115239794B (zh) | 道路积水面积检测方法、装置及电子设备 | |
CN116363628A (zh) | 标志检测方法、装置、非易失性存储介质及计算机设备 | |
CN102004537B (zh) | 系统上下电控制装置和方法 | |
CN112566043B (zh) | Mac地址的识别方法和装置、存储介质及电子设备 | |
CN114882072A (zh) | 一种多通道图像特征融合的高速相关滤波目标追踪方法 | |
CN113032597A (zh) | 一种基于图像处理的输电设备分类方法及系统 | |
CN113269678A (zh) | 接触网输电线路的故障点定位方法 | |
CN111754474A (zh) | 一种基于图像清晰度的能见度识别的方法及设备 | |
CN112561956A (zh) | 视频目标跟踪方法、装置、电子设备及存储介质 | |
CN112270357A (zh) | Vio视觉系统及方法 | |
CN113723468B (zh) | 一种三维点云的物体检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |