CN113869307A - 一种跨类别果实数据集自动标注系统和方法 - Google Patents

一种跨类别果实数据集自动标注系统和方法 Download PDF

Info

Publication number
CN113869307A
CN113869307A CN202111086204.8A CN202111086204A CN113869307A CN 113869307 A CN113869307 A CN 113869307A CN 202111086204 A CN202111086204 A CN 202111086204A CN 113869307 A CN113869307 A CN 113869307A
Authority
CN
China
Prior art keywords
fruit
image
detection
target domain
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111086204.8A
Other languages
English (en)
Inventor
史云
李会宾
张保辉
吴文斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Cloud View Information Technology Co ltd
Institute of Agricultural Resources and Regional Planning of CAAS
Original Assignee
Suzhou Cloud View Information Technology Co ltd
Institute of Agricultural Resources and Regional Planning of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Cloud View Information Technology Co ltd, Institute of Agricultural Resources and Regional Planning of CAAS filed Critical Suzhou Cloud View Information Technology Co ltd
Priority to CN202111086204.8A priority Critical patent/CN113869307A/zh
Publication of CN113869307A publication Critical patent/CN113869307A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种跨类别果实数据集自动标注方法，包括：S1，获取源域果实图像和目标域果实图像，标注源域果实图像，构建已标注源域果实数据集；S2，基于已标注源域果实数据集，利用生成对抗网络和果实检测网络，实现跨类果实图像的检测，获取目标域果实图像数据中目标果实检测框信息。本发明还提出一种跨类别果实数据集自动标注系统。本发明能够实现对异类无标注果实数据集的自动标注功能，可应用于不同类别的果实数据集标注工作，从而节省劳动力成本并提高工作效率。

Description

一种跨类别果实数据集自动标注系统和方法
技术领域
本发明属于计算机视觉和智慧农业领域，具体涉及一种跨类别果实数据集自动标注系统和方法。
背景技术
近年来，随着现代化信息技术的快速发展，计算机技术在农业领域的应用需求也日益增长，智慧农业正在被重视并发展。其中，在现代化智慧果园中，智能化栽培和机器作业是可持续果业发展的有效途径，有利于降低经济和环境成本并提高果园生产效率，是智慧农业的核心部分。在果园自然环境下，高性能的果实视觉检测技术是果实定位、果实估产、果实自动化采摘等果园智能化工作的重要技术基础。因此，能否准确检测到采集图像中目标果实具体的位置和类别信息，直接影响着果园中相关工作的质量和效率。
相比于传统视觉检测技术，近年来基于深度学习的果实检测技术精度高、鲁棒性好等优点，已逐渐被广泛应用到现代果园工作中。然而基于深度学习的果实检测模型通常需要制作大量带有标注的果实图像数据集支撑检测模型的训练学习，需要耗费昂贵的人工劳动进行图像数据标注，整个过程耗时耗力。因此，基于深度学习的果实检测技术在实际应用过程中，如何减少数据集标注工作量是一个关键问题。
发明内容
本发明要解决的问题：当前基于深度学习的果实检测技术在实际应用过程中，多数需要采集实际场景下的果实图像数据并进行大量的数据标注工作，应用于后续果实检测模型的训练学习。由于图像中多数目标果实尺度小且密集，标注难度大，需要耗费大量的人工劳动进行数据标注工作，整个过程耗时耗力且工作效率低下。
针对以上需要解决的问题，本发明实现了一种跨类别果实数据集自动标注方法，包括：S1，获取源域果实图像和目标域果实图像，标注源域果实图像，构建已标注源域果实数据集；S2，基于已标注源域果实数据集，利用生成对抗网络和果实检测网络，实现跨类果实图像的检测，获取目标域果实图像数据中目标果实检测框信息。
本发明还提出了一种跨类别果实数据集自动标注系统，包括：数据采集模块，其获取源域果实图像和目标域果实图像，标注源域果实图像，构建已标注源域果实数据集；果实检测模块，其基于已标注源域果实数据集，利用生成对抗网络和果实检测网络，实现跨类果实图像的检测，获取目标域果实图像数据中目标果实检测框信息。
本发明的有益效果为：与现有技术相比，本发明提出的一种基于深度学习的果实数据集自动标注系统可在已标注果实数据集基础上，实现对异类无标注果实数据集的自动标注功能，可应用于不同类别的果实数据集标注工作，从而节省劳动力成本并提高工作效率。
附图说明
为了更容易理解本发明，将通过参照附图中示出的具体实施方式更详细地描述本发明。这些附图只描绘了本发明的典型实施方式，不应认为对本发明保护范围的限制。
图1为本发明的系统的结构图。
图2本发明的数据采集模块实现的流程图。
图3本发明的果实检测模块实现的流程图。
图4本发明的标签生成模块实现的流程图。
图5本发明的结果存储模块实现的流程图。
具体实施方式
下面参照附图描述本发明的实施方式，以便于本领域的技术人员可以更好的理解本发明并能予以实施，但所列举的实施例不作为本发明的限定，在不冲突的情况下，下述的实施例及实施例中的技术特征可以相互组合，其中相同的部件用相同的附图标记表示。
本发明实施例提供的系统在基于一套已标注源域果实数据集(比如已标注柑橘数据集，记为DS)基础上，通过一种基于深度学习的果实数据集自动标注系统，实现无标注目标域果实数据集(比如无标注苹果数据集，记为DT)的自动标注。
图1显示了一个实施例的结构示意图，如图所示，本发明的系统包括：数据输入模块，果实检测模块，标签生成模块和结果存储模块。
数据采集模块利用外部相机图像采集设备，采集田间果实图像数据。具体地，采集田间果实视频序列，逐帧读取果实视频序列帧，并输入到后续果实检测模型处理。数据采集模块完成的功能如图2所示，具体包括以下步骤：
步骤S110：开启外部相机图像采集设备，采集田间源域IS和目标域IT果实图像。
步骤S120：开启相机视频流，准备读取视频帧数据。
步骤S130：逐帧读取田间源域果实IS和目标域果实IT视频帧数据保存至本地并输出到步骤S210，对已采集的源域果实图像IS进行手动标注，构建已标注源域果实数据集DS。
再次参看图1，果实检测模块利用生成对抗网络和果实检测网络，实现跨类果实图像的检测。首先，利用生成对抗网络实现不同类别果实图像(源域和目标域)之间的图像转换操作，构建已标注目标域合成果实数据集；其次，利用已标注目标域合成数据集训练果实检测网络，学习目标域果实图像检测能力；最后，利用训练好的目标域果实检测模型获取目标域果实图像数据种目标果实检测框信息。
具体地，果实检测模块利用现有已标注源域果实数据集DS和无标注目标域果实数据集DT，训练生成对抗网络Mgan和目标检测网络Mdetect，实现对无标注目标域果实图像IT的检测。具体地，果实检测模块实施的步骤如图3所示，具体包括以下步骤：
步骤S210：利用源域果实图像IS和目标域果实图像IT构建图像训练集，输入生成对抗网络模型Mgan比如DiscoGAN,DualGAN,CycleGAN训练学习不同类别果实图像域之间的图像映射关系，并根据公式ISyn＝Mgan(IS)实现源域果实图像到目标域果实图像的图像转换操作，获取合成目标域果实图像ISyn。
步骤S220：联合已标注源域果实数据集DS标签数据和合成目标域果实图像数据ISyn，构建已标注合成目标域果实数据集DSyn，并输入目标检测网络模型Mdetect比如Faster-RCNN,SSD,Yolov3训练学习，获取目标域果实图像检测能力。
步骤S230：从步骤S130读取无标注目标域果实数据集果实图像数据IT并进行图像预处理操作，该操作包括图像尺度缩放、像素值归一化等。
步骤S240：从步骤S230读取经过预处理操作的目标域果实图像数据IT，并输入目标检测模型Mdetect进行前向推理操作。根据公式
Figure BDA0003265644020000051
Figure BDA0003265644020000052
将目标域果实图像IT中置信度分数值低于置信度阈值σ的检测框滤除，初步获取目标域果实图像检测框信息
Figure BDA0003265644020000053
其中
Figure BDA0003265644020000054
Figure BDA0003265644020000055
N表示单张图像中果实检测框的总数，xmin,ymin,xmax,ymax分别表示单个目标检测框在对应图像像素坐标系中左上角点横坐标、左上角点纵坐标、右下角点横坐标和右下角点纵坐标，Conf表示单个目标检测框置信度得分，cls表示单个目标框类别分数信息，σ表示置信度阈值参数。
步骤S250：从步骤S240中读取初步获取的目标域果实图像检测框
Figure BDA0003265644020000056
选取置信度得分最大值框bboxMaxScore，根据NMS计算公式
Figure BDA0003265644020000057
Figure BDA0003265644020000058
依次将剩余检测框与置信度得分最大值框bboxMaxScore进行比较，若检测框之间重合度大于IoU阈值δ则进行滤除，并更新现有图像检测框结果
Figure BDA0003265644020000059
重复步骤S250操作直到无相关检测框重叠度大于IoU阈值，并输出目标域果实图像检测框结果。
再次参看图1，本发明的系统包括标签生成模块，标签生成模块将果实检测框参数信息转换为图像标签格式，获取果实图像标签数据。具体地，标签生成模块从果实检测模块获取目标域果实图像检测框参数信息，根据标签格式将检测框参数信息进行解析并转换成相应图像标签格式，实现果实图像标签数据的自动生成。标签生成模块实施的步骤如图4所示，具体包括以下步骤：
步骤S310：读取步骤S250输出的无标注目标域各帧图像检测框结果
Figure BDA0003265644020000061
步骤S320：解析目标域果实图像检测框位置参数信息和果实类别参数信息，根据如下公式
Figure BDA0003265644020000062
width＝xmaxxmin和higth＝ymax-ymin，
将各帧果实图像检测框格式bbox＝(xmin,ymin,xmax,ymax,Conf，cls)转换为对应图像标签格式label＝(xcenter,ycenter,width,higth,cls)。
步骤S330：将步骤S320转换好的图像标签数据参数信息label写入本地文本文件。
再次参看图1，本发明的系统包括结果存储模块，结果存储模块对生成果实图像标签数据进行存储。结果存储模块从标签生成模块获取转换好的图像标签数据，将其保存至本地文件夹；同时记录相机设备采集的果实图像本地路径信息，以文本形式进行记录。结果存储模块实现的功能如图5所示，具体包括以下步骤：
步骤S410：从步骤S330读取各帧无标注目标域果实图像标签数据参数信息label，写入标签文本文件。
步骤S420：存储各帧无标注目标域果实图像数据至本地文件夹。
步骤S430：存储各帧无标注目标域果实图像对应图像标签数据至本地文件夹。
以上所述的实施例，只是本发明较优选的具体实施方式，本说明书使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (10)

1.一种跨类别果实数据集自动标注方法，其特征在于，包括：
S1，获取源域果实图像和目标域果实图像，标注源域果实图像，构建已标注源域果实数据集；
S2，基于已标注源域果实数据集，利用生成对抗网络和果实检测网络，实现跨类果实图像的检测，获取目标域果实图像数据中目标果实检测框信息。
2.根据权利要求1所述的方法，其特征在于，步骤S2还包括：
S21，利用生成对抗网络实现不同类别果实图像之间的图像转换操作，构建已标注目标域合成果实数据集；
S22，利用已标注目标域合成数据集训练果实检测网络，获得目标域果实检测模型；
S23，利用训练好的目标域果实检测模型获取目标域果实图像数据种目标果实检测框信息。
3.根据权利要求2所述的方法，其特征在于，
在步骤S21中，针对源域果实图像和目标域果实图像构建图像训练集，利用生成对抗网络模型训练学习不同类别果实图像域之间的图像映射关系，实现源域果实图像到目标域果实图像的图像转换操作，获取合成目标域果实图像；
在步骤S22中，联合已标注源域果实数据集和合成目标域果实图像数据，构建已标注合成目标域果实数据集，并输入目标检测网络模型进行训练学习。
4.根据权利要求3所述的方法，其特征在于，
步骤S23中，针对目标域果实图像检测框，选取置信度得分最大值框，将剩余检测框与置信度得分最大值框进行比较，若检测框之间重合度大于阈值则进行滤除。
5.根据权利要求1所述的方法，其特征在于，还包括：
S3，解析目标域果实图像检测框位置参数信息和果实类别参数信息；将各帧果实图像检测框格式转换为对应图像标签格式。
6.一种跨类别果实数据集自动标注系统，其特征在于，包括：
数据采集模块，其获取源域果实图像和目标域果实图像，标注源域果实图像，构建已标注源域果实数据集；
果实检测模块，其基于已标注源域果实数据集，利用生成对抗网络和果实检测网络，实现跨类果实图像的检测，获取目标域果实图像数据中目标果实检测框信息。
7.根据权利要求6所述的系统，其特征在于，果实检测模块完成如下操作：
S21，利用生成对抗网络实现不同类别果实图像之间的图像转换操作，构建已标注目标域合成果实数据集；
S22，利用已标注目标域合成数据集训练果实检测网络，获得目标域果实检测模型；
S23，利用训练好的目标域果实检测模型获取目标域果实图像数据种目标果实检测框信息。
8.根据权利要求7所述的系统，其特征在于，果实检测模块完成如下操作：
在步骤S21中，针对源域果实图像和目标域果实图像构建图像训练集，利用生成对抗网络模型训练学习不同类别果实图像域之间的图像映射关系，实现源域果实图像到目标域果实图像的图像转换操作，获取合成目标域果实图像；
在步骤S22中，联合已标注源域果实数据集标签数据和合成目标域果实图像数据，构建已标注合成目标域果实数据集，并输入目标检测网络模型进行训练学习。
9.根据权利要求8所述的系统，其特征在于，果实检测模块完成如下操作：
步骤S23中，针对目标域果实图像检测框，选取置信度得分最大值框，将剩余检测框与置信度得分最大值框进行比较，若检测框之间重合度大于阈值则进行滤除。
10.根据权利要求6所述的系统，其特征在于，还包括：
标签生成模块，其解析目标域果实图像检测框位置参数信息和果实类别参数信息；将各帧果实图像检测框格式转换为对应图像标签格式。
CN202111086204.8A 2021-09-16 2021-09-16 一种跨类别果实数据集自动标注系统和方法 Pending CN113869307A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111086204.8A CN113869307A (zh) 2021-09-16 2021-09-16 一种跨类别果实数据集自动标注系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111086204.8A CN113869307A (zh) 2021-09-16 2021-09-16 一种跨类别果实数据集自动标注系统和方法

Publications (1)

Publication Number Publication Date
CN113869307A true CN113869307A (zh) 2021-12-31

Family

ID=78996297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111086204.8A Pending CN113869307A (zh) 2021-09-16 2021-09-16 一种跨类别果实数据集自动标注系统和方法

Country Status (1)

Country Link
CN (1) CN113869307A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084887A (zh) * 2020-08-19 2020-12-15 北京影谱科技股份有限公司 一种基于注意力机制的自适应视频分类方法及系统
CN112149722A (zh) * 2020-09-11 2020-12-29 南京大学 一种基于无监督域适应的图像自动标注方法
CN112419263A (zh) * 2020-11-20 2021-02-26 上海电力大学 一种基于类间覆盖比的多类别非极大抑制方法及系统
CN113378830A (zh) * 2021-05-06 2021-09-10 北京工业大学 一种基于域适应的可自主学习数据标签生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084887A (zh) * 2020-08-19 2020-12-15 北京影谱科技股份有限公司 一种基于注意力机制的自适应视频分类方法及系统
CN112149722A (zh) * 2020-09-11 2020-12-29 南京大学 一种基于无监督域适应的图像自动标注方法
CN112419263A (zh) * 2020-11-20 2021-02-26 上海电力大学 一种基于类间覆盖比的多类别非极大抑制方法及系统
CN113378830A (zh) * 2021-05-06 2021-09-10 北京工业大学 一种基于域适应的可自主学习数据标签生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘树春，贺盼，马建奇: "《深度实践OCR 基于深度学习的文字识别》", 31 May 2020, 《北京：机械工业出版社》 *

Similar Documents

Publication Publication Date Title
CN112101357B (zh) 一种rpa机器人智能元素定位拾取方法及系统
CN110796143A (zh) 一种基于人机协同的场景文本识别方法
CN109522900B (zh) 自然场景文字识别方法及装置
CN113408584B (zh) Rgb-d多模态特征融合3d目标检测方法
AU2020103716A4 (en) Training method and device of automatic identification device of pointer instrument with numbers in natural scene
CN113177549B (zh) 一种基于动态原型特征融合的少样本目标检测方法及系统
CN115424282A (zh) 一种非结构化文本表格识别方法和系统
CN113378830B (zh) 一种基于域适应的可自主学习数据标签生成方法
CN111932431A (zh) 基于水印分解模型的可见水印去除方法和电子设备
Han et al. Adaptive feature representation for visual tracking
CN114677596A (zh) 一种基于注意力模型的遥感图像船舶检测方法和装置
CN107330363B (zh) 一种快速的互联网广告牌检测方法
CN112883795A (zh) 一种基于深度神经网络的表格快速自动提取方法
CN116092108A (zh) 一种实体文档扫描生成pdf文件的方法、系统及存储介质
CN110580462B (zh) 一种基于非局部网络的自然场景文本检测方法和系统
CN113869307A (zh) 一种跨类别果实数据集自动标注系统和方法
CN116912673A (zh) 一种基于水下光学图像的目标检测方法
CN115482463A (zh) 一种生成对抗网络矿区土地覆盖识别方法及系统
CN111178409B (zh) 基于大数据矩阵稳定性分析的图像匹配与识别系统
CN113850249A (zh) 一种图表信息格式化提取方法
Meena Deshpande License plate detection and recognition using yolo v4
CN116543146B (zh) 一种基于窗口自注意与多尺度机制的图像密集描述方法
CN116030272B (zh) 一种基于信息抽取的目标检测方法、系统和装置
CN118052770A (zh) 一种基于半监督训练策略的表面缺陷检测方法
CN112818965B (zh) 多尺度影像目标检测方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100081 No. 12 South Main Street, Haidian District, Beijing, Zhongguancun

Applicant after: INSTITUTE OF AGRICULTURAL RESOURCES AND REGIONAL PLANNING, CHINESE ACADEMY OF AGRICULTURAL SCIENCES

Applicant after: Suzhou Zhongnong Shuzhi Technology Co.,Ltd.

Address before: 100081 No. 12 South Main Street, Haidian District, Beijing, Zhongguancun

Applicant before: INSTITUTE OF AGRICULTURAL RESOURCES AND REGIONAL PLANNING, CHINESE ACADEMY OF AGRICULTURAL SCIENCES

Applicant before: Suzhou Cloud View Information Technology Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20211231

RJ01 Rejection of invention patent application after publication