CN116310806A - 一种基于图像识别的智慧农业一体化管理系统及方法 - Google Patents

一种基于图像识别的智慧农业一体化管理系统及方法 Download PDF

Info

Publication number
CN116310806A
CN116310806A CN202310174507.8A CN202310174507A CN116310806A CN 116310806 A CN116310806 A CN 116310806A CN 202310174507 A CN202310174507 A CN 202310174507A CN 116310806 A CN116310806 A CN 116310806A
Authority
CN
China
Prior art keywords
picture
image
shooting
shot
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310174507.8A
Other languages
English (en)
Other versions
CN116310806B (zh
Inventor
谢海军
李鹏生
朱明超
张小凤
张连波
赵慧元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Ximeng Electronic Technology Co ltd
Beijing Institute of Technology Zhuhai
Original Assignee
Zhuhai Ximeng Electronic Technology Co ltd
Beijing Institute of Technology Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Ximeng Electronic Technology Co ltd, Beijing Institute of Technology Zhuhai filed Critical Zhuhai Ximeng Electronic Technology Co ltd
Priority to CN202310174507.8A priority Critical patent/CN116310806B/zh
Publication of CN116310806A publication Critical patent/CN116310806A/zh
Application granted granted Critical
Publication of CN116310806B publication Critical patent/CN116310806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Environmental Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及农业管理技术领域。具体为一种基于图像识别的智慧农业一体化管理系统及方法，所述智慧农业一体化管理系统包括轨道智能摄像设备、数据采集模块、数据分析模块和农业管理模块；所述轨道智能摄像设备对所有目标进行不同方位的拍摄；所述数据采集模块是采集摄像设备拍摄的图片信息并且对图片中的特征进行提取；所述数据分析模块是对摄像设备拍摄的图片进行处理筛选得到最佳图像信息并且对拍摄目标的成熟覆盖度进行分析；所述农业管理模块是对摄像设备以及采摘机器人进行管理当营养不足或者总展露面积小于设定阈值时告警提示。本发明通过在有限的数量上获取果实的最大展露面积，一定程度上减少了后续对水果的成熟度或者灾害检查时的误差。

Description

一种基于图像识别的智慧农业一体化管理系统及方法
技术领域
本发明涉及农业管理技术领域，具体为一种基于图像识别的智慧农业一体化管理系统及方法。
背景技术
当今农业机械的研制正朝着自动化、智能化的方向发展。计算机技术、信息采集与处理技术、自动控制与智能控制技术在农业机械化及自动化领域的应用越来越广泛。在农业一体化主要体现在将现代科学技术与农业种植相结合，实现农业的无人化、自动化、智能化的管理，解放了劳动力、把技术变成生产工具，替代了传统的人，从而实现农业稳定产出能力，解决生产效率问题；从而确保了农产品标准化，提高了农产品品质；实现土地多空间使用、减少农资产品使用、采用智能化减少了人力成本等等整体成本投入，从而提高了农产品的竞争力。
在现有的技术下，利用图像识别的技术对是水果的成熟度进行检测，由于在拍摄的过程中会存在水果被树叶遮挡的情况，会导致无法获取到水果最大的拍摄面积；在后续对水果的成熟度或者灾害检查时会存在一定的误差。
发明内容
本发明的目的在于提供一种基于图像识别的智慧农业一体化管理系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于图像识别的智慧农业一体化管理方法，所述智慧农业一体化管理方法包括以下具体步骤：
S100、通过轨道智能摄像设备获取到所要拍摄目标的图片，将所述拍摄目标的图片进行分析处理；
S200、对分析处理后的拍摄目标的图片进行筛选得到最佳拍摄目标的图片信息，通过最佳拍摄目标的图片信息以及大数据分析轨道智能摄像设备的摆放位置；
S300、根据最佳拍摄目标的图片信息，通过图像识别技术获取拍摄目标的成熟覆盖度，根据拍摄目标的成熟覆盖度派遣采摘机器人进行采摘，并且分析判断拍摄目标的营养情况进行告警处理。
进一步的，所述S100中对拍摄的图片进行处理的具体方法如下：
S110、通过轨道智能摄像设备获取任意一个拍摄目标的I张图片，其中I为常数，由于是轨道智能摄像设备对果树上的果实进行拍摄，其中拍摄的图片即为不同果实是轨道智能摄像设备在不同位置情况下的拍摄的图片；对I张拍摄的图片进行特征点的提取后进行定位标记，根据所述图片信息的像素点进行特征提取是为了区分出拍摄的图片中的树叶和果实的颜色特征，对属于果实的颜色特征进行提取，并且在提取后对果实进行定位标记；
S120、利用边缘检测算法对拍摄目标的图片进行边缘化处理，在图片进行边缘化处理后，大幅度的减少了数据量并且剔除了不相关的信息，保留了拍摄图片重要的结构属性，根据图片的结构能够有效的计算出在拍摄的图片中果实所展露面积的大小；i＝1、2、3，、、、，I。
进一步的，所述S120中对拍摄的图片进行边缘化处理的具体方法如下：
S121、对轨道智能摄像设备采集的拍摄图片进行平面归一化和灰度转换预处理，根据下列公式将预处理后中任意一张的拍摄图片转换到频率域：
Figure BDA0004100347060000021
P’(k，v)＝P’(x，y)H(x，y)
Figure BDA0004100347060000022
其中P’(x，y)表示为预处理后的任意一张拍摄图片的二维图像，(x，y)表示为二维图像的像素值，P’(k，v)表示为拍摄图片的二维图像对应的频率域图像，(k，v)表示为频率域图像的频率变量，H(x，y)表示为频率域滤波函数，
Figure BDA0004100347060000023
表示为对预处理的二维图像P’(x，y)引用FFT以为运算后得到的图像，m表示为图像的行数，j表示为图像的列数；
S122、根据公式
Figure BDA0004100347060000024
抑制频率域图像中的周期性噪声得到图像F(x，y)；
S123、通过公式
Figure BDA0004100347060000025
将滤波后的图像从频率域变换到空间域的图像；其中，/>
Figure BDA0004100347060000031
表示为对图像F(x，y)引用FFT以为运算后得到的图像；
S124、对图像P(x，y)进行边缘检测后得到图像
Figure BDA0004100347060000032
Figure BDA0004100347060000033
进一步的，所述S200中对分析处理后的拍摄图片进行筛选得到最佳图片的具体方法如下：
S201、根据对拍摄图片特征提取后进行定位标记，当存在标记目标所处于拍摄图片的数量小于设定阈值时取消对该目标的标记；拍摄图片的边缘化处理后，直接获取到任意一个拍摄目标图片中标记目标的长和宽为(Lni，Dni)，n＝1、2、3，、、、，N，ni表示为第i张拍摄的图片中有n个标记目标，Lni表示为第i张拍摄的图片中第n个标记目标的长，Dni表示为第i张拍摄的图片中第n个标记目标的宽；根据所述标记目标的长和宽，通过计算得到每个拍摄图片中N个标记目标展露的面积为sni＝Lni×Dni；
S202、选取任意个数的标记目标记为A、B、C、W，根据公式sni＝Lni×Dni分别得到A、B、C、W四个标记目标在不同摄像图片中的展露面积大小分别为sAi、sBi、sCi、sWi；对A、B、C、W四个标记目标按照展露面积由大到小对分别拍摄图片进行排序，对排序后的拍摄图片进行遍历后得到最佳拍摄图片记为r，r∈i；其中遍历的过程为按照A标记目标展露面积由大到小逐一查找B、C、W三个标记目标拍摄图片信息相同的所在位置排序累加和最小的图片即为最佳拍摄图片；
S203、S203、通过数据库获取所有历史最佳拍摄图片的总展露面积，任意选取两个历史最佳拍摄图片的总展露面积进行相差得到Se，其中Se为正数，表示为任意两个历史最佳拍摄图片的总展露面积的第e个差值，e＝1、2、3，、、、，E，E为常数；根据最佳拍摄图片r获取到拍摄目标中所有标记目标的总展露面积为
Figure BDA0004100347060000034
将总展露面积S传输到数据库中与历史最佳拍摄图片的总展露面积进行对比，当所述总展露面积S与历史最佳拍摄图片的总展露面积相差超过/>
Figure BDA0004100347060000035
时进行告警提醒，令工人人员调节智能摄像头的角度；由于果树上果实的每次着生位置是存在变化的，所以处于同一个角度的智能摄像设备拍摄到的果树结果时期的最佳拍摄图片不一定使得果树上果实的总展露面积为最大，对智能摄像的角度进行调整使得总展露面积S与历史最佳拍摄图片的总展露面积相差在设定的阈值内。
进一步的，所述S300中获取最佳拍摄目标图片的成熟覆盖度的具体方法如下：
S301、由于使用RGB模型对果实成熟区分效果并不明显，需要通过下列公式将拍摄图片中标记目标的R、G、B数值分量映射到HSI模型中：
Figure BDA0004100347060000041
Figure BDA0004100347060000042
Q＝(R+G+B)/3
其中在HIS颜色模型中，H表示为色调，S表示为饱和度，Q表示为强度；
S302、成熟后的果实在H分量直方图中有明显的规律，H值越接近1远离0；未成熟的果实在H分量直方图中，H值越接近0远离1；其中如苹果、无花果等成熟后的果实的颜色为暖色调的水果；当任意拍摄目标中标记目标的H值超过设定的阈值时，判断该标记目标为成熟果实，对任意拍摄目标中成熟果实的累计数量为γ，未成熟果实累计数量为β；通过计算得到所述任意拍摄目标的成熟覆盖度为
Figure BDA0004100347060000043
对成熟覆盖度超过设定阈值的拍摄目标派遣机器人进行采摘；
S303、当存在成熟覆盖度超过设定阈值的拍摄目标的数量大于σ时，成熟覆盖度小于设定阈值的拍摄目标存在营养不足的情况，对系统终端进行告警提醒，其中σ为常数。
一种基于图像识别的智慧农业一体化管理系统，所述智慧农业一体化管理系统包括轨道智能摄像设备、数据采集模块、数据分析模块和农业管理模块；所述轨道智能摄像设备对所有目标进行不同方位的拍摄，其中所有目标进行不同方位的拍摄指轨道智能摄像设备在不同方位对不同果树的不同果实进行多方位的拍摄；所述数据采集模块是对轨道智能摄像头拍摄的图片信息进行采集并且对图片中的特征进行提取；所述数据分析模块是对轨道智能摄像头拍摄的图片进行处理筛选得到最佳图像信息，通过最佳图像信息对拍摄目标的成熟覆盖度进行分析；所述农业管理模块是对摄像设备以及采摘机器人进行管理并且出现营养不足的情况时进行告警提示。
进一步的，所述数据采集模块包括图片信息采集单元、特征提取单元和数据存储单元；所述图片信息采集单元是对轨道智能摄像头拍摄的图片进行信息采集；所述特征提取单元是通过颜色特征对果实进行提取识别；所述数据存储单元是对采集的图片信息以及提取识别出的果实信息进行存储。
进一步的，所述数据分析模块包括图像处理单元、图像筛选单元和成熟覆盖度分析单元；所述图像处理单元是对定位标记的果实进行边缘化处理，通过边缘检测算法对果实进行处理后，能够得到果实的打字轮廓，方便对果实展露的面积进行计算；所述图像筛选单元是对同一个拍摄目标的所有拍摄图片中筛选出一张最佳的拍摄图片；所述成熟覆盖度分析单元是对拍摄目标上的果实的成熟覆盖度进行分析，通过成熟覆盖度能够判断得到果实的成熟情况以及果树的营养情况。
进一步的，所述农业管理模块包括轨道智能摄像设备管控单元、采摘机器人管理单元和告警单元；所述轨道智能摄像设备管控单元是对轨道智能摄像设备进行管控，使其能够定期对目标进行拍摄并且能够在对目标进行拍摄时对摄像头进行角度调整在设备出现故障后能够第一时间发现进行维修处理；所述采摘机器人管理单元是当拍摄目标的成熟覆盖度超过设定阈值时，派遣采摘机器人对成熟的果实进行采摘；所述告警单元是当出现拍摄目标存在营养不足的情况或者最佳拍摄图片的总展露面积小于设定阈值时进行告警提醒。
与现有技术相比，本发明所达到的有益效果是：本发明通过对果树进行不同方位的拍摄分析获取到最佳拍摄图片，最佳拍摄图片在有限果实的数量上展露了果实的最大面积，一定程度上减少了后续图像识别技术对水果的成熟度或者灾害检查时的误差；并且通过轨道智能摄像头对果实进行定期拍摄以及采摘机器人对成熟的果实进行采摘，减少了整体的成本，解放了劳动力。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是一种基于图像识别的智慧农业一体化管理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供技术方案：一种基于图像识别的智慧农业一体化管理方法，所述智慧农业一体化管理方法包括以下具体步骤：
S100、通过轨道智能摄像设备获取到所要拍摄目标的图片，将所述拍摄目标的图片进行分析处理；
S200、对分析处理后的拍摄目标的图片进行筛选得到最佳拍摄目标的图片信息，通过最佳拍摄目标的图片信息以及大数据分析轨道智能摄像设备的摆放位置；
S300、根据最佳拍摄目标的图片信息，通过图像识别技术获取拍摄目标的成熟覆盖度，根据拍摄目标的成熟覆盖度派遣采摘机器人进行采摘，并且分析判断拍摄目标的营养情况进行告警处理。
进一步的，所述S100中对拍摄的图片进行处理的具体方法如下：
S110、通过轨道智能摄像设备获取任意一个拍摄目标的I张图片，其中I为常数，由于是轨道智能摄像设备对果树上的果实进行拍摄，其中拍摄的图片即为不同果实是轨道智能摄像设备在不同位置情况下的拍摄的图片；对I张拍摄的图片进行特征点的提取后进行定位标记，根据所述图片信息的像素点进行特征提取是为了区分出拍摄的图片中的树叶和果实的颜色特征，对属于果实的颜色特征进行提取，并且在提取后对果实进行定位标记；
S120、利用边缘检测算法对拍摄目标的图片进行边缘化处理，在图片进行边缘化处理后，大幅度的减少了数据量并且剔除了不相关的信息，保留了拍摄图片重要的结构属性，根据图片的结构能够有效的计算出在拍摄的图片中果实所展露面积的大小；i＝1、2、3，、、、，I。
进一步的，所述S120中对拍摄的图片进行边缘化处理的具体方法如下：
S121、对轨道智能摄像设备采集的拍摄图片进行平面归一化和灰度转换预处理，根据下列公式将预处理后中任意一张的拍摄图片转换到频率域：
Figure BDA0004100347060000061
P’(k，v)＝P’(x，y)H(x，y)
Figure BDA0004100347060000062
其中P’(x，y)表示为预处理后的任意一张拍摄图片的二维图像，(x，y)表示为二维图像的像素值，P’(k，v)表示为拍摄图片的二维图像对应的频率域图像，(k，v)表示为频率域图像的频率变量，H(x，y)表示为频率域滤波函数，
Figure BDA0004100347060000071
表示为对预处理的二维图像P’(x，y)引用FFT以为运算后得到的图像，m表示为图像的行数，j表示为图像的列数；
S122、根据公式
Figure BDA0004100347060000072
抑制频率域图像中的周期性噪声得到图像F(x，y)；
S123、通过公式
Figure BDA0004100347060000073
将滤波后的图像从频率域变换到空间域的图像；其中，/>
Figure BDA0004100347060000074
表示为对图像F(x，y)引用FFT以为运算后得到的图像；
S124、对图像P(x，y)进行边缘检测后得到图像
Figure BDA0004100347060000075
Figure BDA0004100347060000076
进一步的，所述S200中对分析处理后的拍摄图片进行筛选得到最佳图片的具体方法如下：
S201、根据对拍摄图片特征提取后进行定位标记，当存在标记目标所处于拍摄图片的数量小于设定阈值时取消对该目标的标记；拍摄图片的边缘化处理后，直接获取到任意一个拍摄目标图片中标记目标的长和宽为(Lni，Dni)，n＝1、2、3，、、、，N，ni表示为第i张拍摄的图片中有n个标记目标，Lni表示为第i张拍摄的图片中第n个标记目标的长，Dni表示为第i张拍摄的图片中第n个标记目标的宽；根据所述标记目标的长和宽，通过计算得到每个拍摄图片中N个标记目标展露的面积为sni＝Lni×Dni；
S202、设置有10张拍摄目标图片，选取4的标记目标记为A、B、C、W，根据公式sni＝Lni×Dni分别得到A、B、C、W四个标记目标在不同摄像图片中的展露面积大小分别为sAi、sBi、sCi、sWi；对A、B、C、W四个标记目标按照展露面积由大到小对分别拍摄图片序号进行排序得到A标记目标的拍摄图片的排序为{3、1、6、2、9、5、8、4、7、10}，B标记目标的拍摄图片的排序为{4、5、2、6、9、1、8、3、7、10}，C标记目标的拍摄图片的排序为{3、7、4、9、1、2、6、5、10、8}，W标记目标的拍摄图片的排序为{5、2、3、9、10、7、6、1、4、8}；拍摄图片序号为3，其位置排序累加为1+8+1+3＝13；拍摄图片序号为1，其位置排序累加为2+6+5+8＝21；拍摄图片序号为6，其位置排序累加为3+4+7+7＝21；拍摄图片序号为2，其位置排序累加为4+3+7+2＝16；拍摄图片序号为9，其位置排序累加为5+5+4+4＝18；拍摄图片序号为5，其位置排序累加为6+2+8+1＝17；拍摄图片序号为8，其位置排序累加为7+7+10+10＝34；拍摄图片序号为4，其位置排序累加为8+1+3+9＝21；拍摄图片序号为7，其位置排序累加为9+9+2+6＝26；拍摄图片序号为10，其位置排序累加为10+10+10+5＝35；按照排序位置累加由小到大得到最佳的拍摄图片序号为3；
S203、通过数据库获取所有历史最佳拍摄图片的总展露面积，任意选取两个历史最佳拍摄图片的总展露面积进行相差得到{5、4、3、2、4、7、1、6、3、5、2}，根据最佳拍摄图片r获取到拍摄目标中所有标记目标的总展露面积为
Figure BDA0004100347060000081
将总展露面积S传输到数据库中与历史最佳拍摄图片的总展露面积进行对比，当所述总展露面积S与历史最佳拍摄图片的总展露面积相差超过/>
Figure BDA0004100347060000082
时进行告警提醒，令工人人员调节智能摄像头的角度；由于果树上果实的每次着生位置是存在变化的，所以处于同一个角度的智能摄像设备拍摄到的果树结果时期的最佳拍摄图片不一定使得果树上果实的总展露面积为最大，对智能摄像的角度进行调整使得总展露面积S与历史最佳拍摄图片的总展露面积相差在设定的阈值内。
进一步的，所述S300中获取拍摄目标的成熟覆盖度的具体方法如下：
S301、由于使用RGB模型对果实成熟区分效果并不明显，需要通过下列公式将拍摄图片中标记目标的R、G、B数值分量映射到HSI模型中：
Figure BDA0004100347060000083
Figure BDA0004100347060000084
Q＝(R+G+B)/3
其中在HIS颜色模型中，H表示为色调，S表示为饱和度，Q表示为强度；
S302、成熟后的果实在H分量直方图中有明显的规律，H值越接近1远离0；未成熟的果实在H分量直方图中，H值越接近0远离1；其中如苹果、无花果等成熟后的果实的颜色为暖色调的水果；当任意拍摄目标中标记目标的H值超过设定的阈值为0.7时，判断该标记目标为成熟果实，对任意拍摄目标中成熟果实的累计数量为γ＝12，未成熟果实累计数量为β＝5；通过计算得到所述任意拍摄目标的成熟覆盖度为
Figure BDA0004100347060000091
对成熟覆盖度超过设定阈值为0.6的拍摄目标派遣机器人进行采摘；
S303、设置所有拍摄目标的数量为100，当存在成熟覆盖度超过设定阈值的拍摄目标的数量大于σ＝80时，成熟覆盖度小于设定阈值为0.6的拍摄目标存在营养不足的情况，对系统终端进行告警提醒，其中σ为常数。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于图像识别的智慧农业一体化管理方法，其特征在于：所述智慧农业一体化管理方法包括以下具体步骤：
S100、通过轨道智能摄像设备获取到所要拍摄目标的图片，将所述拍摄目标的图片进行分析处理；
S200、对分析处理后的拍摄目标的图片进行筛选得到最佳拍摄目标的图片信息，通过最佳拍摄目标的图片信息以及大数据分析轨道智能摄像设备的摆放位置；
S300、根据最佳拍摄目标的图片信息，通过图像识别技术获取拍摄目标的成熟覆盖度，根据拍摄目标的成熟覆盖度派遣采摘机器人进行采摘，并且分析判断拍摄目标的营养情况进行告警处理。
2.根据权利要求1所述的一种基于图像识别的智慧农业一体化管理方法，其特征在于：所述S100中对拍摄的图片进行处理的具体方法如下：
S110、通过轨道智能摄像设备获取任意一个拍摄目标的I张图片，其中I为常数；对I张拍摄的图片进行特征点的提取后进行定位标记；
S120、利用边缘检测算法对拍摄目标的图片进行边缘化处理。
3.根据权利要求2所述的一种基于图像识别的智慧农业一体化管理方法，其特征在于：所述S120中对拍摄的图片进行边缘化处理的具体方法如下：
S121、对轨道智能摄像设备采集的拍摄图片进行平面归一化和灰度转换预处理，根据下列公式将预处理后中任意一张的拍摄图片转换到频率域：
Figure FDA0004100347050000011
P′(k，v)＝P′(x，y)H(x，y)
Figure FDA0004100347050000012
其中P′(x，y)表示为预处理后的任意一张拍摄图片的二维图像，(x，y)表示为二维图像的像素值，P′(k，v)表示为拍摄图片的二维图像对应的频率域图像，(k，v)表示为频率域图像的频率变量，H(x，y)表示为频率域滤波函数，
Figure FDA0004100347050000013
表示为对预处理的二维图像P′(x，y)引用FFT以为运算后得到的图像，m表示为图像的行数，j表示为图像的列数；
S122、根据公式
Figure FDA0004100347050000021
抑制频率域图像中的周期性噪声得到图像F(x，y)；
S123、通过公式
Figure FDA0004100347050000022
将滤波后的图像从频率域变换到空间域的图像；其中，/>
Figure FDA0004100347050000023
表示为对图像F(x，y)引用FFT以为运算后得到的图像；
S124、对图像P(x，y)进行边缘检测后得到图像
Figure FDA0004100347050000024
Figure FDA0004100347050000025
4.根据权利要求3所述的一种基于图像识别的智慧农业一体化管理方法，其特征在于：所述S200中对分析处理后的拍摄图片进行筛选得到最佳图片的具体方法如下：
S201、根据对拍摄图片特征提取后进行定位标记，当存在标记目标所处于拍摄图片的数量小于设定阈值时取消对该目标的标记；拍摄图片的边缘化处理后，直接获取到任意一个拍摄目标图片中标记目标的长和宽为(Lni，Dni)，n＝1、2、3，、、、，N，ni表示为第i张拍摄的图片中有n个标记目标，Lni表示为第i张拍摄的图片中第n个标记目标的长，Dni表示为第i张拍摄的图片中第n个标记目标的宽；根据所述标记目标的长和宽，通过计算得到每个拍摄图片中N个标记目标展露的面积为sni＝Lni×Dni；
S202、选取任意个数的标记目标记为A、B、C、W，根据公式sni＝Lni×Dni分别得到A、B、C、W四个标记目标在不同摄像图片中的展露面积大小分别为sAi、sBi、sCi、sWi；对A、B、C、W四个标记目标按照展露面积由大到小对分别拍摄图片进行排序，对排序后的拍摄图片进行遍历后得到最佳拍摄图片记为r，r∈i；
S203、通过数据库获取所有历史最佳拍摄图片的总展露面积，任意选取两个历史最佳拍摄图片的总展露面积进行相差得到Se，其中Se为正数，表示为任意两个历史最佳拍摄图片的总展露面积的第e个差值，e＝1、2、3，、、、，E，E为常数；根据最佳拍摄图片r获取到拍摄目标中所有标记目标的总展露面积为
Figure FDA0004100347050000026
将总展露面积S传输到数据库中与历史最佳拍摄图片的总展露面积进行对比，当所述总展露面积S与历史最佳拍摄图片的总展露面积相差超过/>
Figure FDA0004100347050000031
时进行告警提醒。
5.根据权利要求4所述的一种基于图像识别的智慧农业一体化管理方法，其特征在于：所述S300中获取最佳拍摄目标图片的成熟覆盖度的具体方法如下：
S301、通过下列公式将拍摄图片中标记目标的R、G、B数值分量映射到HSI模型中：
Figure FDA0004100347050000032
Figure FDA0004100347050000033
Q＝(R+G+B)/3
其中在HIS颜色模型中，H表示为色调，S表示为饱和度，Q表示为强度；
S302、成熟后的果实在H分量直方图中有明显的规律，H值越接近1远离0；未成熟的果实在H分量直方图中，H值越接近0远离1；当任意拍摄目标中标记目标的H值超过设定的阈值时，判断该标记目标为成熟果实，对任意拍摄目标中成熟果实的累计数量为γ，未成熟果实累计数量为β；通过计算得到所述任意拍摄目标的成熟覆盖度为
Figure FDA0004100347050000034
对成熟覆盖度超过设定阈值的拍摄目标派遣机器人进行采摘；
S303、当存在成熟覆盖度超过设定阈值的拍摄目标的数量大于σ时，成熟覆盖度小于设定阈值的拍摄目标存在营养不足的情况，对系统终端进行告警提醒。
6.一种应用权利要求1-5中任意一项所述的基于图像识别的智慧农业一体化管理方法的智慧农业一体化管理系统，其特征在于：所述智慧农业一体化管理系统包括轨道智能摄像设备、数据采集模块、数据分析模块和农业管理模块；所述轨道智能摄像设备对所有目标进行不同方位的拍摄；所述数据采集模块是对轨道智能摄像头拍摄的图片信息进行采集并且对图片中的特征进行提取；所述数据分析模块是对轨道智能摄像头拍摄的图片进行处理筛选得到最佳图像信息，通过最佳图像信息对拍摄目标的成熟覆盖度进行分析；所述农业管理模块是对摄像设备以及采摘机器人进行管理并且出现营养不足的情况时进行告警提示。
7.根据权利要求6所述的智慧农业一体化管理系统，其特征在于：所述数据采集模块包括图片信息采集单元、特征提取单元和数据存储单元；所述图片信息采集单元是对轨道智能摄像头拍摄的图片进行信息采集；所述特征提取单元是通过颜色特征对果实进行提取识别；所述数据存储单元是对采集的图片信息以及提取识别出的果实信息进行存储。
8.根据权利要求7所述的智慧农业一体化管理系统，其特征在于：所述数据分析模块包括图像处理单元、图像筛选单元和成熟覆盖度分析单元；所述图像处理单元是对定位标记的果实进行边缘化处理；所述图像筛选单元是对同一个拍摄目标的所有拍摄图片中筛选出一张最佳的拍摄图片；所述成熟覆盖度分析单元是对拍摄目标上的果实的成熟覆盖度进行分析。
9.根据权利要求8所述的智慧农业一体化管理系统，其特征在于：所述农业管理模块包括轨道智能摄像设备管控单元、采摘机器人管理单元和告警单元；所述轨道智能摄像设备管控单元是对轨道智能摄像设备进行管控；所述采摘机器人管理单元是当拍摄目标的成熟覆盖度超过设定阈值时，派遣采摘机器人对成熟的果实进行采摘；所述告警单元是当出现拍摄目标存在营养不足的情况或者最佳拍摄图片的总展露面积小于设定阈值时进行告警提醒。
CN202310174507.8A 2023-02-28 2023-02-28 一种基于图像识别的智慧农业一体化管理系统及方法 Active CN116310806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310174507.8A CN116310806B (zh) 2023-02-28 2023-02-28 一种基于图像识别的智慧农业一体化管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310174507.8A CN116310806B (zh) 2023-02-28 2023-02-28 一种基于图像识别的智慧农业一体化管理系统及方法

Publications (2)

Publication Number Publication Date
CN116310806A true CN116310806A (zh) 2023-06-23
CN116310806B CN116310806B (zh) 2023-08-29

Family

ID=86784526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310174507.8A Active CN116310806B (zh) 2023-02-28 2023-02-28 一种基于图像识别的智慧农业一体化管理系统及方法

Country Status (1)

Country Link
CN (1) CN116310806B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116849183A (zh) * 2023-07-07 2023-10-10 深圳市微米生物技术有限公司 一种高效环保的蝇蛆养殖用智能繁衍箱

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0527373A1 (de) * 1991-08-05 1993-02-17 Siemens Aktiengesellschaft Detektorsystem
JPH11191159A (ja) * 1997-12-25 1999-07-13 Casio Comput Co Ltd 画像出力装置およびそのプログラム記録媒体
JP2005091159A (ja) * 2003-09-17 2005-04-07 Seirei Ind Co Ltd 穀粒選別装置
CN1799068A (zh) * 2003-07-08 2006-07-05 佳能株式会社 图像配准方法改进
KR20080018397A (ko) * 2006-08-24 2008-02-28 한국문화콘텐츠진흥원 실시간 화상 기반의 3차원 모델링을 지원하는 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록 매체
CN101923652A (zh) * 2010-07-23 2010-12-22 华中师范大学 一种基于肤色和特征部位联合检测的色情图片识别方法
WO2014194020A1 (en) * 2013-05-30 2014-12-04 Facebook, Inc. Tag suggestions for images on online social networks
CN107316043A (zh) * 2017-07-04 2017-11-03 上海大学 一种采摘机器人的堆叠蘑菇快速识别方法
CN108064560A (zh) * 2016-11-14 2018-05-25 广东技术师范学院 基于Kinect景深相机的水果自动采摘系统及方法
CN109800619A (zh) * 2017-11-16 2019-05-24 湖南生物机电职业技术学院 成熟期柑橘果实图像识别方法
CN110070545A (zh) * 2019-03-20 2019-07-30 重庆邮电大学 一种城镇纹理特征密度自动提取城镇建成区的方法
CN110349207A (zh) * 2019-07-10 2019-10-18 国网四川省电力公司电力科学研究院 一种复杂环境下的视觉定位方法
CN110751163A (zh) * 2018-07-24 2020-02-04 杭州海康威视数字技术股份有限公司 目标定位方法及其装置、计算机可读存储介质和电子设备
CN111199192A (zh) * 2019-12-23 2020-05-26 中国农业大学 一种采用平行线取样的田间红提葡萄整体成熟度检测方法
CN111260616A (zh) * 2020-01-13 2020-06-09 三峡大学 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法
CN111798433A (zh) * 2020-07-08 2020-10-20 贵州师范大学 基于无人机遥感的高原山区成熟火龙果实识别与计数方法
WO2021147221A1 (zh) * 2020-01-22 2021-07-29 平安科技（深圳）有限公司 文本识别方法、装置、电子设备及存储介质
CN113191334A (zh) * 2021-05-31 2021-07-30 广西师范大学 一种基于改进CenterNet的植物冠层密集叶片计数方法
KR20220007030A (ko) * 2020-07-09 2022-01-18 주식회사 크레스콤 관심영역별 골 성숙 분포를 이용한 성장 분석 예측 장치 및 방법
CN114049574A (zh) * 2022-01-11 2022-02-15 易旺(北京)企业管理有限公司 茶叶成熟度检测方法、茶叶采摘方法及相关设备
CN114387520A (zh) * 2022-01-14 2022-04-22 华南农业大学 一种用于机器人采摘的密集李子精准检测方法及其系统
JP2022085623A (ja) * 2020-11-27 2022-06-08 株式会社日立製作所 移動体着陸制御システム及び移動体着陸制御方法
CN114677296A (zh) * 2022-03-18 2022-06-28 西南交通大学 一种适用于窄间隙mag堆焊熔池图像的多特征提取方法
CN114708543A (zh) * 2022-06-06 2022-07-05 成都信息工程大学 一种考场监控视频图像中考生定位方法
CN114724140A (zh) * 2022-04-06 2022-07-08 中科合肥智慧农业协同创新研究院 一种基于yolo v3的草莓成熟度检测方法、装置
CN114926459A (zh) * 2022-06-21 2022-08-19 上海市计量测试技术研究院 图像质量评价方法、系统及计算机可读介质
CN115457542A (zh) * 2022-06-15 2022-12-09 南京农业大学 一种基于改进YOLOv4果园复杂环境下葡萄成熟度的检测方法
CN115588190A (zh) * 2022-11-07 2023-01-10 武汉理工大学 一种成熟果实识别和采摘点定位方法及装置

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0527373A1 (de) * 1991-08-05 1993-02-17 Siemens Aktiengesellschaft Detektorsystem
JPH11191159A (ja) * 1997-12-25 1999-07-13 Casio Comput Co Ltd 画像出力装置およびそのプログラム記録媒体
CN1799068A (zh) * 2003-07-08 2006-07-05 佳能株式会社 图像配准方法改进
JP2005091159A (ja) * 2003-09-17 2005-04-07 Seirei Ind Co Ltd 穀粒選別装置
KR20080018397A (ko) * 2006-08-24 2008-02-28 한국문화콘텐츠진흥원 실시간 화상 기반의 3차원 모델링을 지원하는 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록 매체
CN101923652A (zh) * 2010-07-23 2010-12-22 华中师范大学 一种基于肤色和特征部位联合检测的色情图片识别方法
WO2014194020A1 (en) * 2013-05-30 2014-12-04 Facebook, Inc. Tag suggestions for images on online social networks
CN108064560A (zh) * 2016-11-14 2018-05-25 广东技术师范学院 基于Kinect景深相机的水果自动采摘系统及方法
CN107316043A (zh) * 2017-07-04 2017-11-03 上海大学 一种采摘机器人的堆叠蘑菇快速识别方法
CN109800619A (zh) * 2017-11-16 2019-05-24 湖南生物机电职业技术学院 成熟期柑橘果实图像识别方法
CN110751163A (zh) * 2018-07-24 2020-02-04 杭州海康威视数字技术股份有限公司 目标定位方法及其装置、计算机可读存储介质和电子设备
CN110070545A (zh) * 2019-03-20 2019-07-30 重庆邮电大学 一种城镇纹理特征密度自动提取城镇建成区的方法
CN110349207A (zh) * 2019-07-10 2019-10-18 国网四川省电力公司电力科学研究院 一种复杂环境下的视觉定位方法
CN111199192A (zh) * 2019-12-23 2020-05-26 中国农业大学 一种采用平行线取样的田间红提葡萄整体成熟度检测方法
CN111260616A (zh) * 2020-01-13 2020-06-09 三峡大学 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法
WO2021147221A1 (zh) * 2020-01-22 2021-07-29 平安科技（深圳）有限公司 文本识别方法、装置、电子设备及存储介质
CN111798433A (zh) * 2020-07-08 2020-10-20 贵州师范大学 基于无人机遥感的高原山区成熟火龙果实识别与计数方法
KR20220007030A (ko) * 2020-07-09 2022-01-18 주식회사 크레스콤 관심영역별 골 성숙 분포를 이용한 성장 분석 예측 장치 및 방법
JP2022085623A (ja) * 2020-11-27 2022-06-08 株式会社日立製作所 移動体着陸制御システム及び移動体着陸制御方法
CN113191334A (zh) * 2021-05-31 2021-07-30 广西师范大学 一种基于改进CenterNet的植物冠层密集叶片计数方法
CN114049574A (zh) * 2022-01-11 2022-02-15 易旺(北京)企业管理有限公司 茶叶成熟度检测方法、茶叶采摘方法及相关设备
CN114387520A (zh) * 2022-01-14 2022-04-22 华南农业大学 一种用于机器人采摘的密集李子精准检测方法及其系统
CN114677296A (zh) * 2022-03-18 2022-06-28 西南交通大学 一种适用于窄间隙mag堆焊熔池图像的多特征提取方法
CN114724140A (zh) * 2022-04-06 2022-07-08 中科合肥智慧农业协同创新研究院 一种基于yolo v3的草莓成熟度检测方法、装置
CN114708543A (zh) * 2022-06-06 2022-07-05 成都信息工程大学 一种考场监控视频图像中考生定位方法
CN115457542A (zh) * 2022-06-15 2022-12-09 南京农业大学 一种基于改进YOLOv4果园复杂环境下葡萄成熟度的检测方法
CN114926459A (zh) * 2022-06-21 2022-08-19 上海市计量测试技术研究院 图像质量评价方法、系统及计算机可读介质
CN115588190A (zh) * 2022-11-07 2023-01-10 武汉理工大学 一种成熟果实识别和采摘点定位方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIANBO ZHANG: "Intra-class Part Swapping for Fine-Grained Image Classification", 《2021 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》 *
蔡明军;聂高乾;周辉;丁莉芬;: "基于机器视觉的苹果缺陷识别自动分拣包装系统", 自动化应用, no. 08 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116849183A (zh) * 2023-07-07 2023-10-10 深圳市微米生物技术有限公司 一种高效环保的蝇蛆养殖用智能繁衍箱

Also Published As

Publication number Publication date
CN116310806B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Farjon et al. Detection and counting of flowers on apple trees for better chemical thinning decisions
Sannakki et al. Diagnosis and classification of grape leaf diseases using neural networks
CN110455340B (zh) 一种基于大数据的农产品种植环境检测系统
CN110569786B (zh) 一种基于无人机数据采集的果树识别和数量监测方法及系统
Pereira et al. Recent advances in image processing techniques for automated harvesting purposes: A review
CN116310806B (zh) 一种基于图像识别的智慧农业一体化管理系统及方法
CN113297925A (zh) 一种果蔬全链条质量智能预警方法及系统
Ji et al. In-field automatic detection of maize tassels using computer vision
Steward et al. Machine-vision weed density estimation for real-time, outdoor lighting conditions
CN113298537A (zh) 基于物联网的稻米全链条质量信息智能检测系统及方法
Changyi et al. Apple detection from apple tree image based on BP neural network and Hough transform
CN115861721B (zh) 基于图像数据的畜禽养殖喷雾设备状态识别方法
CN114818909A (zh) 一种基于作物长势特征的杂草检测方法和装置
CN114723667A (zh) 一种农业精细化种植及灾害预防控制系统
Boatswain Jacques et al. Towards a machine vision-based yield monitor for the counting and quality mapping of shallots
CN110544237B (zh) 基于图像分析的油茶病虫害模型训练方法和识别方法
KR20180096966A (ko) 형태적 연산과 연결 연산을 이용한 벼 모종 자동 개수 세는 방법
CN114972234B (zh) 一种食用菌品质监测方法及系统
CN114266975B (zh) 无人机遥感图像的荔枝果实检测与计数方法
Kanwal et al. Overlapped apple fruit yield estimation using pixel classification and hough transform
de Ocampo et al. Integrated Weed Estimation and Pest Damage Detection in Solanum melongena Plantation via Aerial Vision-based Proximal Sensing.
WO2021225528A1 (en) System and method for ai-based improvement of harvesting operations
Pereira et al. Fruit recognition and classification based on SVM method for production prediction of peaches-preliminary study
CN113344968A (zh) 一种果园水果识别与产量统计系统和方法
Li et al. Application of computer vision for lettuce seeds germination detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant