CN114764833A - 植物生长曲线确定方法、装置、电子设备及介质 - Google Patents

植物生长曲线确定方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN114764833A
CN114764833A CN202110037822.7A CN202110037822A CN114764833A CN 114764833 A CN114764833 A CN 114764833A CN 202110037822 A CN202110037822 A CN 202110037822A CN 114764833 A CN114764833 A CN 114764833A
Authority
CN
China
Prior art keywords
depth
target
growth curve
image
plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110037822.7A
Other languages
English (en)
Inventor
卢志德
郭锦斌
林子甄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Futaihua Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Futaihua Industry Shenzhen Co Ltd
Priority to CN202110037822.7A priority Critical patent/CN114764833A/zh
Priority to US17/571,078 priority patent/US11972562B2/en
Publication of CN114764833A publication Critical patent/CN114764833A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种植物生长曲线确定方法、装置、电子设备及存储介质，所述方法包括：获取不同时间点的待检测植物的彩色图像及深度图像；将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像；利用预设检测模型检测所述彩色图像，得到目标边界框；根据所述对齐图像确定所述目标边界框中所有像素点的深度值；对所述深度值进行去噪处理，得到目标深度值；确定所述目标边界框在所述彩色图像中的面积比；根据所述目标深度值，所述面积比以及相应的时间点确定植物生长曲线。本申请能够提高对植物生长曲线确定的准确度。

Description

植物生长曲线确定方法、装置、电子设备及介质
技术领域
本申请涉及图像分析技术领域，尤其涉及一种植物生长曲线确定方法、装置、电子设备及介质。
背景技术
目前，需要依赖于人工对每株植物进行监测和日常测量，进而根据监测和测量的数据来确定植物的生长曲线。然而，采用人工监测和测量的方式耗时、劳动密集且成本高，此外，还容易导致对植物生长曲线的测量不准确。因此，如何准确地确定植物生长曲线成了亟需解决的问题。
发明内容
鉴于以上内容，有必要提供一种植物生长曲线确定方法、装置、电子设备及介质，能够更效率并且更准确地确定植物生长曲线。
本申请的第一方面提供一种植物生长曲线确定方法，应用于电子设备中，所述电子设备与摄像装置相连接，所述植物生长曲线确定方法包括：
获取不同时间点的待检测植物的彩色图像及深度图像；
将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像；
利用预先训练完成的目标检测模型检测所述彩色图像，得到目标边界框，其中，所述目标边界框框选所述待检测植物；
计算所述目标边界框在所述彩色图像中的面积比；
根据所述对齐图像确定所述目标边界框中所有像素点的深度值；
对所述深度值进行去噪处理，得到目标深度值；
根据所述目标深度值和相应的时间点生成所述植物的第一生长曲线，以及根据所述面积比和相应的时间点生成所述植物的第二生长曲线。
在一种可能的实现方式中，生成所述第一生长曲线的方法包括：
建立第一直角坐标系；
根据所述目标深度值和相应的时间点在所述第一直角坐标系中确定多个第一目标坐标点；
连接所述多个第一目标坐标点得到所述第一生长曲线。
在一种可能的实现方式中，生成所述第二生长曲线的方法包括：
建立第二直角坐标系；
根据所述面积比和相应的时间点在所述第二直角坐标系中确定多个第二目标坐标点；
连接所述多个第二目标坐标点得到所述第二生长曲线。
在一种可能的实现方式中，所述将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像包括：
获取所述深度图像上的深度像素点；
将所述深度像素点与第一矩阵相乘，得到所述深度像素点在深度摄像头坐标系中的深度坐标；
将所述深度像素点的深度坐标与第二矩阵相乘，得到所述深度像素点在世界坐标系中的世界坐标；
将所述深度像素点的世界坐标与第三矩阵相乘，得到所述深度像素点在彩色摄像头坐标系中的彩色坐标；
将所述深度像素点的彩色坐标系中的彩色坐标与第四矩阵相乘，得到所述深度像素点在彩色图像中的像素点；
根据所述像素点得到所述对齐图像。
在一种可能的实现方式中，所述第一矩阵为深度摄像头的内参矩阵的逆矩阵，所述第二矩阵为深度摄像头坐标系转换到世界坐标系的外参矩阵，所述第三矩阵为世界坐标系转换到彩色摄像头坐标系的外参矩阵，所述第四矩阵为彩色摄像头的内参矩阵。
在一种可能的实现方式中，所述确定所述目标边界框在所述彩色图像中的面积比包括：
计算所述彩色图像的面积；
计算所述目标边界框的面积；
根据所述目标边界框的面积以及所述彩色图像的面积确定所述面积比。
在一种可能的实现方式中，所述对所述深度值进行去噪处理，得到目标深度值包括：
比对所述目标边界框中的像素点的深度值与预设深度值；
若所述像素点的深度值不等于所述预设深度值，设定所述像素点的深度值为所述目标深度值；
若所述像素点的深度值等于所述预设深度值，将所述像素点的深度值上设定为噪声点，并且删除所述噪声点。
本申请的第二方面提供一种植物生长曲线确定装置，运行于电子设备中，所述植物生长曲线确定装置包括：
获取模块，用于获取不同时间点的待检测植物的彩色图像及深度图像；
处理模块，用于将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像；
检测模块，用于利用预先训练完成的目标检测模型检测所述彩色图像，得到目标边界框，其中，所述目标边界框框选所述待检测植物；
确定模块，用于计算所述目标边界框在所述彩色图像中的面积比；
所述确定模块，还用于根据所述对齐图像确定所述目标边界框中所有像素点的深度值；
所述处理模块，还用于对所述深度值进行去噪处理，得到目标深度值；
所述确定模块，还用于根据所述目标深度值和相应的时间点生成所述植物的第一生长曲线，以及根据所述面积比和相应的时间点生成所述植物的第二生长曲线。
本申请的第三方面提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现所述植物生长曲线确定方法。
本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述植物生长曲线确定方法。
本申请提供的植物生长曲线确定方法、装置、电子设备及存储介质，可以准确地确定植物的生长曲线，对植物进行有效监管，并且可以减少种植成本，提高作物产量和质量，有利于确定植物的最佳种植方式。
附图说明
图1是本申请植物生长曲线确定方法的较佳实施例的流程图。
图2是本申请植物生长曲线确定装置的较佳实施例的功能模块图。
图3是本申请实现植物生长曲线确定方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本申请进行详细描述。
如图1所示，是本申请植物生长曲线确定方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
所述植物生长曲线确定方法应用于一个或者多个电子设备3中，所述电子设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(DigitalSignal Processor，DSP)、嵌入式设备等。
所述电子设备3可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。
所述电子设备3还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
在本申请的至少一个实施例中，本申请应用于电子设备中，所述电子设备与摄像装置通信连接。
S10，获取不同时间点的待检测植物的彩色图像及深度图像。
在本实施方式中，所述彩色图像是指RGB三通道彩色图像，所述深度图像是指将从所述摄像装置到拍摄场景中各点的距离作为像素值的图像。
在本实施方式中，所述摄像装置包括两个摄像头，分别为彩色摄像头及深度摄像头。所述摄像装置可以安装在便于拍摄所述检测植物的正上方。利用所述彩色摄像头拍摄所述待检测植物可以得到所述彩色图像，利用所述深度摄像头拍摄所述待检测植物可以得到所述深度图像。所述摄像装置将拍摄的所述彩色图像和所述深度图像发送至所述电子设备。
在本实施方式中，所述摄像装置在不同时间点获取所述待检测植物的彩色图像及深度图像。具体地，设定所述摄像装置拍摄所述待检测植物的多个时间点，其中，所述多个时间点间隔相同。示例性的，设定所述摄像装置初始拍摄时间为1月1日12:00，设定所述摄像装置拍摄时间间隔为24小时。所述摄像装置初始拍摄时间与拍摄时间间隔可以根据用户的需求进行设定，本申请对此不作限制。
通过上述实施方式，能够快速获取到包含所述待检测植物的彩色图像及深度图像。
作为一种可选的实施方式，所述步骤S10之前，所述植物生长曲线确定方法还包括：
训练目标检测模型，例如，所述目标检测模型可以为Single Shot MultiBoxDetector目标检测模型。
具体的，训练所述目标检测模型的过程包括：获取样本植物彩色图像；使用残差卷积网络对所述样本植物彩色图像进行特征提取，获得特征信息；根据所述特征信息，使用特征金字塔网络生成第一特征图；根据所述第一特征图，使用区域候选网络生成候选区域；根据预设交并比阈值，对所述候选区域进行筛选，保留交并比大于所述预设交并比阈值的候选区域，获得目标区域，其中所述交并比为锚框与真实边界框的相交面积与相并面积之比；将所述第一特征图以及所述目标区域输入至感兴趣区域池化层，获得与所述目标区域对应的第二特征图；根据所述第二特征图，对所述目标区域的边界框以及类别进行回归，获得训练好的目标检测模型。
S11，将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像。
在本实施方式中，所述对齐图像是指将所述深度图像中的所有深度像素点映射到所述彩色图像中而生成的图像。
在本实施方式中，所述电子设备将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像包括：
获取所述深度图像上的深度像素点；
将所述深度像素点与第一矩阵相乘，得到所述深度像素点在深度摄像头坐标系中的深度坐标；
将所述深度像素点的深度坐标与第二矩阵相乘，得到所述深度像素点在世界坐标系中的世界坐标；
将所述深度像素点的世界坐标与第三矩阵相乘，得到所述深度像素点在彩色摄像头坐标系中的彩色坐标；
将所述深度像素点的彩色坐标系中的彩色坐标与第四矩阵相乘，得到所述深度像素点在彩色图像中的像素点；
根据所述像素点得到所述对齐图像。
其中，所述第一矩阵为深度摄像头的内参矩阵的逆矩阵，所述第二矩阵为深度摄像头坐标系转换到世界坐标系的外参矩阵，所述第三矩阵为世界坐标系转换到彩色摄像头坐标系的外参矩阵，所述第四矩阵为彩色摄像头的内参矩阵。所述深度摄像头坐标系，所述彩色摄像头坐标系以及所述世界坐标系可以从开源系统上获取，也可以用户根据应用场景任意设置，本申请对此不作限制。
通过上述实施方式，能够生成包含深度值的对齐图像，以便后续能够准确地确定所述待检测植物的生长曲线。
S12，利用预先训练完成的目标检测模型检测所述彩色图像，得到目标边界框，其中，所述目标边界框框选所述待检测植物。
通过预先训练完成的目标检测模型获得的目标边界框准确度比较高，同时能够快速检测出所述目标边界框，提高检测效率。
S13，计算所述目标边界框在所述彩色图像中的面积比。
可以理解的是，随着植物的生长，所拍摄到的植物面积会增大，在图像中所述目标候选框占用的面积也会变大。本申请中，通过所述目标边界框在所述彩色图像中的面积比来体现植物的生长趋势。
在本实施方式中，所述电子设备确定所述目标边界框在所述彩色图像中的面积比包括：
计算所述彩色图像的面积；
计算所述目标边界框的面积；
根据所述边界框的面积以及所述彩色图像的面积确定所述面积比。
S14，根据所述对齐图像确定所述目标边界框中所有像素点的深度值。
在本实施方式中，所述深度值是指像素点对应到所述待检测植物上的特征点距离摄像装置的高度。
所述电子设备确定每个像素点在所述对齐图像上的目标位置，在所述对齐图像中获取所述目标位置上的深度值，并将所述深度值作为每个像素点的深度值。
通过所述对齐图像能够准确快速地确定所述所有像素点的深度值。
S15，对所述深度值进行去噪处理，得到目标深度值。
由于图像常受到成像设备与外部环境噪声干扰等影响，因此需要对所述深度值进行去噪处理。
在本实施方式中，所述电子设备对所述深度值进行去噪处理，得到目标深度值包括：
比对所述目标边界框中的像素点的深度值与预设深度值，其中所述预设深度值的大小可以根据用户的实际需求进行设定或修改，例如，可以设置所述预设深度值为零；
若所述像素点的深度值不等于所述预设深度值，将所述像素点的深度值设定为所述目标深度值；
若所述像素点的深度值等于所述预设深度值，设定所述像素点的深度值为噪声点，并且删除所述噪声点。
通过对所述深度值进行去噪处理，得到目标深度值，能够确保所述目标深度值中没有包含干扰信息，进而能够准确地确定所述待检测植物的生长曲线。
S16，根据所述目标深度值和相应的时间点生成所述植物的第一生长曲线，以及根据所述面积比和相应的时间点生成所述植物的第二生长曲线。
在本实施方式中，所述电子设备根据所述目标深度值和所述时间点生成所述植物的第一生长曲线包括：
建立第一直角坐标系，其中，所述第一直角坐标系以O为原点，以时间为X轴，深度值为Y轴；
根据所述目标深度值和相应的时间点在所述第一直角坐标系中确定多个第一目标坐标点，其中，所述第一目标坐标点的纵坐标为所述目标深度值，所述第一目标坐标点的横坐标为所述时间点；
连接所述多个第一目标坐标点得到所述第一生长曲线。
在本实施方式中，所述电子设备根据所述面积比和所述时间点生成所述植物的第二生长曲线包括：
建立第二直角坐标系，其中，所述第二直角坐标系以O为原点，以时间为X轴，面积比为Y轴；
根据所述面积比和相应的时间点在所述第二直角坐标系中确定多个第二目标坐标点，其中，所述第二目标坐标点的纵坐标为所述面积比，所述第二目标坐标点的横坐标为所述时间点；
连接所述多个第二目标坐标点得到所述第二生长曲线。
在图1所描述的方法流程中，可以通过获取不同时间点的待检测植物的彩色图像及深度图像，将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像，利用预先训练完成的检测模型检测所述彩色图像，得到目标边界框，计算所述目标边界框在所述彩色图像中的面积比，根据所述对齐图像确定所述目标边界框中所有像素点的深度值，并对所述深度值进行去噪处理，得到目标深度值，根据所述目标深度值和相应的时间点生成所述植物的第一生长曲线，以及根据所述面积比和相应的时间点生成所述植物的第二生长曲线，可以准确的确定植物的生长曲线，对植物进行监管，并且可以减少种植成本，提高作物产量和质量。
如图2所示，是本申请植物生长曲线确定装置2的较佳实施例的功能模块图。所述植物生长曲线确定装置2包括获取模块201、处理模块202、检测模块203、确定模块204。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
在本实施方式中，本申请运行于电子设备中，所述电子设备与摄像装置相连接。
所述获取模块201控制所述摄像装置对所述待检测植物进行拍摄的时间点，得到所述待检测植物的彩色图像及深度图像。
在本实施方式中，所述彩色图像是指RGB三通道彩色图像，所述深度图像是指将从所述摄像装置到场景中各点的距离作为像素值的图像。
在本实施方式中，所述获取模块201控制所述摄像装置对所述待检测植物进行拍摄的时间点，得到所述待检测植物的彩色图像及深度图像包括：
在本实施方式中，所述摄像装置包括双摄像头，分别为彩色摄像头及深度摄像头。所述摄像装置可以安装在便于拍摄所述检测植物的正上方。利用所述彩色摄像头拍摄所述待检测植物可以得到所述彩色图像，利用所述深度摄像头拍摄所述待检测植物可以得到所述深度图像。所述摄像装置将拍摄的所述彩色图像和所述深度图像发送至所述电子设备。
设定所述摄像装置拍摄所述待检测植物的多个时间点，其中，所述多个时间点间隔相同。示例性的，设定所述摄像装置初始拍摄时间为1月1日12:00，设定所述摄像装置拍摄时间间隔为24小时。所述摄像装置初始拍摄时间与拍摄时间间隔可以根据用户的需求进行设定，本申请对此不作限制；
通过上述实施方式，能够快速获取到包含所述待检测植物的彩色图像及深度图像。
所述处理模块202将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像。
在本实施方式中，所述处理模块202将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像包括：
获取所述深度图像上的深度像素点；
将所述深度像素点与第一矩阵相乘，得到所述深度像素点在深度摄像头坐标系中的深度坐标；
将所述深度像素点的深度坐标与第二矩阵相乘，得到所述深度像素点在世界坐标系中的世界坐标；
将所述深度像素点的世界坐标与第三矩阵相乘，得到所述深度像素点在彩色摄像头坐标系中的彩色坐标；
将所述深度像素点的彩色坐标系中的彩色坐标与第四矩阵相乘，得到所述深度像素点在彩色图像中的像素点；
根据所述像素点得到所述对齐图像。
其中，所述第一矩阵为深度摄像头的内参矩阵的逆矩阵，所述第二矩阵为深度摄像头坐标系转换到世界坐标系的外参矩阵，所述第三矩阵为世界坐标系转换到彩色摄像头坐标系的外参矩阵，所述第四矩阵为彩色摄像头的内参矩阵。所述深度摄像头坐标系，所述彩色摄像头坐标系以及所述世界坐标系可以从开源系统上获取，也可以用户根据应用场景任意设置，本申请对此不作限制。
通过上述实施方式，能够生成包含深度值的对齐图像，以便后续确定所述待检测植物的生长曲线。
所述检测模块203利用预先训练完成的目标检测模型检测所述彩色图像，得到目标边界框，其中，所述目标边界框框选所述待检测植物。
通过预先训练完成的目标检测模型能够快速检测出所述目标边界框，提高检测效率。
所述确定模块204计算所述目标边界框在所述彩色图像中的面积比。
在本实施方式中，所述确定模块204计算所述目标边界框在所述彩色图像中的面积比包括：
计算所述彩色图像的面积；
计算所述目标边界框的面积；
根据所述边界框的面积以及所述彩色图像的面积确定所述面积比。
所述确定模块204根据所述对齐图像确定所述目标边界框中所有像素点的深度值。
在本实施方式中，所述深度值是指像素点对应到所述待检测植物上的特征点距离摄像装置的高度。
在本实施方式中，所述确定模块204根据所述对齐图像确定所述目标边界框中所有像素点的深度值包括：
所述电子设备确定每个像素点在所述对齐图像上的目标位置，进一步地，所述电子设备从所述对齐图像上获取所述目标位置上的深度值，作为每个像素点的深度值。
通过所述对齐图像能够准确快速确定所述所有像素点的深度值。
所述处理模块202对所述深度值进行去噪处理，得到目标深度值。
在本实施方式中，所述处理模块202对所述深度值进行去噪处理，得到目标深度值包括：
比对所述目标边界框中的像素点的深度值与预设深度值，其中所述预设深度值的大小可以根据用户的实际需求进行设定或修改，例如，可以设置为零值；
若所述像素点的深度值不等于所述预设深度值，将所述像素点的深度值设定为所述目标深度值；
若所述像素点的深度值等于所述预设深度值，设定所述像素点的深度值为噪声点，并且删除所述噪声点。
通过对所述深度值进行去噪处理，得到目标深度值，能够确保所述目标深度值中没有包含干扰信息，进而能够准确地确定所述待检测植物的生长曲线。
所述确定模块204根据所述目标深度值和相应的时间点生成所述植物的第一生长曲线，以及根据所述面积比和相应的时间点生成所述植物的第二生长曲线。
在本实施方式中，所述确定模块204根据所述目标深度值和所述时间点生成所述植物的第一生长曲线包括：
建立第一直角坐标系，其中，所述第一直角坐标系以O为原点，以时间为X轴，深度值为Y轴；
根据所述目标深度值和相应的时间点在所述第一直角坐标系中确定多个第一目标坐标点，其中，所述第一目标坐标点的纵坐标为所述目标深度值，所述第一目标坐标点的横坐标为所述时间点；
连接所述多个第一目标坐标点得到所述第一生长曲线。
在本实施方式中，所述确定模块204根据所述面积比和所述时间点生成所述植物的第二生长曲线包括：
建立第二直角坐标系，其中，所述第二直角坐标系以O为原点，以时间为X轴，面积比为Y轴；
根据所述面积比和相应的时间点在所述第二直角坐标系中确定多个第二目标坐标点，其中，所述第二目标坐标点的纵坐标为所述面积比，所述第二目标坐标点的横坐标为所述时间点；
连接所述多个第二目标坐标点得到所述第二生长曲线。
作为一种可选的实施方式，所述获取模块201，还用于获取样本植物彩色图像；
所述植物生长曲线确定装置2还可以包括：
提取模块，用于使用残差卷积网络对所述样本植物彩色图像进行特征提取，获得特征信息；
生成模块，用于根据所述特征信息，使用特征金字塔网络生成第一特征图；
所述生成模块，还用于根据所述第一特征图，使用区域候选网络生成候选区域；
筛选模块，用于根据预设交并比阈值，对所述候选区域进行筛选，获得目标区域；
输入模块，用于将所述第一特征图以及所述目标区域输入至感兴趣区域池化层，获得与所述目标区域对应的第二特征图；
回归模块，用于根据所述第二特征图，对所述目标区域的边界框以及类别进行回归，获得训练好的目标检测模型。
在图2所描述的植物生长曲线确定装置2中，可以通过获取不同时间点的待检测植物的彩色图像及深度图像，将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像，利用预先训练完成的检测模型检测所述彩色图像，得到目标边界框，计算所述目标边界框在所述彩色图像中的面积比，根据所述对齐图像确定所述目标边界框中所有像素点的深度值，并对所述深度值进行去噪处理，得到目标深度值，根据所述目标深度值和相应的时间点生成所述植物的第一生长曲线，以及根据所述面积比和相应的时间点生成所述植物的第二生长曲线，可以准确的确定植物的生长曲线，对植物进行监管，并且可以减少种植成本，提高作物产量和质量。
如图3所示，是本申请实现植物生长曲线确定方法的较佳实施例的电子设备的结构示意图。
在本申请的一个实施例中，所述电子设备3包括，但不限于，存储器31、处理器32，以及存储在所述存储器31中并可在所述处理器32上运行的计算机程序，例如植物生长曲线确定程序。
本领域技术人员可以理解，所述示意图仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备3还可以包括输入输出设备、网络接入设备、总线等。
所述处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器32是所述电子设备3的运算核心和控制中心，利用各种接口和线路连接整个电子设备3的各个部分，及执行所述电子设备3的操作系统以及安装的各类应用程序、程序代码等。
所述处理器32执行所述电子设备3的操作系统以及安装的各类应用程序。所述处理器32执行所述应用程序以实现上述各个植物生长曲线确定方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述处理器32执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备3中的执行过程。例如，所述计算机程序可以被分割成获取模块201、处理模块202、检测模块203、确定模块204。
所述存储器31可用于存储所述计算机程序和/或模块，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块，以及调用存储在存储器31内的数据，实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器31可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述存储器31可以是电子设备3的外部存储器和/或内部存储器。进一步地，所述存储器31可以是具有实物形式的存储器，如内存条、TF卡(Trans-flash Card)等等。
所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)。
结合图1，所述电子设备3中的所述存储器31存储多个指令以实现一种植物生长曲线确定方法，所述处理器32可执行所述多个指令从而实现：
获取不同时间点的待检测植物的彩色图像及深度图像；
将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像；
利用预先训练完成的目标检测模型检测所述彩色图像，得到目标边界框，其中，所述目标边界框框选所述待检测植物；
计算所述目标边界框在所述彩色图像中的面积比；
根据所述对齐图像确定所述目标边界框中所有像素点的深度值；
对所述深度值进行去噪处理，得到目标深度值；
根据所述目标深度值和相应的时间点生成所述植物的第一生长曲线，以及根据所述面积比和相应的时间点生成所述植物的第二生长曲线。
具体地，所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布图像到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种植物生长曲线确定方法，其特征在于，所述植物生长曲线确定方法包括：
获取不同时间点的待检测植物的彩色图像及深度图像；
将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像；
利用预先训练完成的目标检测模型检测所述彩色图像，得到目标边界框，其中，所述目标边界框框选所述待检测植物；
计算所述目标边界框在所述彩色图像中的面积比；
根据所述对齐图像确定所述目标边界框中所有像素点的深度值；
对所述深度值进行去噪处理，得到目标深度值；
根据所述目标深度值和相应的时间点生成所述植物的第一生长曲线，以及根据所述面积比和相应的时间点生成所述植物的第二生长曲线。
2.如权利要求1所述的植物生长曲线确定方法，其特征在于，生成所述第一生长曲线的方法包括：
建立第一直角坐标系；
根据所述目标深度值和相应的时间点在所述第一直角坐标系中确定多个第一目标坐标点；
连接所述多个第一目标坐标点得到所述第一生长曲线。
3.如权利要求1所述的植物生长曲线确定方法，其特征在于，生成所述第二生长曲线的方法包括：
建立第二直角坐标系；
根据所述面积比和相应的时间点在所述第二直角坐标系中确定多个第二目标坐标点；
连接所述多个第二目标坐标点得到所述第二生长曲线。
4.如权利要求1所述的植物生长曲线确定方法，其特征在于，所述将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像包括：
获取所述深度图像上的深度像素点；
将所述深度像素点与第一矩阵相乘，得到所述深度像素点在深度摄像头坐标系中的深度坐标；
将所述深度像素点的深度坐标与第二矩阵相乘，得到所述深度像素点在世界坐标系中的世界坐标；
将所述深度像素点的世界坐标与第三矩阵相乘，得到所述深度像素点在彩色摄像头坐标系中的彩色坐标；
将所述深度像素点的彩色坐标系中的彩色坐标与第四矩阵相乘，得到所述深度像素点在彩色图像中的像素点；
根据所述像素点得到所述对齐图像。
5.如权利要求4所述的植物生长曲线确定方法，其特征在于，所述第一矩阵为深度摄像头的内参矩阵的逆矩阵，所述第二矩阵为深度摄像头坐标系转换到世界坐标系的外参矩阵，所述第三矩阵为世界坐标系转换到彩色摄像头坐标系的外参矩阵，所述第四矩阵为彩色摄像头的内参矩阵。
6.如权利要求1所述的植物生长曲线确定方法，其特征在于，所述计算所述目标边界框在所述彩色图像中的面积比包括：
计算所述彩色图像的面积；
计算所述目标边界框的面积；
根据所述目标边界框的面积以及所述彩色图像的面积确定所述面积比。
7.如权利要求1所述的植物生长曲线确定方法，其特征在于，所述对所述深度值进行去噪处理，得到目标深度值包括：
比对所述目标边界框中的像素点的深度值与预设深度值；
若所述像素点的深度值不等于所述预设深度值，将所述像素点的深度值设定为所述目标深度值；或
若所述像素点的深度值等于所述预设深度值，设定所述像素点的深度值为噪声点，并且删除所述噪声点。
8.一种植物生长曲线确定装置，运行于电子设备中，其特征在于，所述植物生长曲线确定装置包括：
获取模块，用于获取不同时间点的待检测植物的彩色图像及深度图像；
处理模块，用于将所述彩色图像与所述深度图像进行对齐处理，得到对齐图像；
检测模块，用于利用预先训练完成的目标检测模型检测所述彩色图像，得到目标边界框，其中，所述目标边界框框选所述待检测植物；
确定模块，用于计算所述目标边界框在所述彩色图像中的面积比；
所述确定模块，还用于根据所述对齐图像确定所述目标边界框中所有像素点的深度值；
所述处理模块，还用于对所述深度值进行去噪处理，得到目标深度值；
所述确定模块，还用于根据所述目标深度值和相应的时间点生成所述植物的第一生长曲线，以及根据所述面积比和相应的时间点生成所述植物的第二生长曲线。
9.一种电子设备，其特征在于，所述电子设备包括：
内存，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现如权利要求1至权利要求7中任意一项所述的植物生长曲线确定方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至权利要求7中任意一项所述的植物生长曲线确定方法。
CN202110037822.7A 2021-01-12 2021-01-12 植物生长曲线确定方法、装置、电子设备及介质 Pending CN114764833A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110037822.7A CN114764833A (zh) 2021-01-12 2021-01-12 植物生长曲线确定方法、装置、电子设备及介质
US17/571,078 US11972562B2 (en) 2021-01-12 2022-01-07 Method for determining plant growth curve and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110037822.7A CN114764833A (zh) 2021-01-12 2021-01-12 植物生长曲线确定方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN114764833A true CN114764833A (zh) 2022-07-19

Family

ID=82322060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110037822.7A Pending CN114764833A (zh) 2021-01-12 2021-01-12 植物生长曲线确定方法、装置、电子设备及介质

Country Status (2)

Country Link
US (1) US11972562B2 (zh)
CN (1) CN114764833A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824581A (zh) * 2023-06-08 2023-09-29 中国科学院空间应用工程与技术中心 空间水稻叶尖检测与生长轨迹生成方法、系统和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8855405B2 (en) * 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
AU2016287397B2 (en) * 2015-06-30 2021-05-20 Climate Llc Systems and methods for image capture and analysis of agricultural fields
AU2018320964B2 (en) * 2017-08-25 2023-04-13 The Board Of Trustees Of The University Of Illinois Apparatus and method for agricultural data collection and agricultural operations
CN108323295B (zh) * 2017-12-05 2019-12-03 江苏大学 一种基于多尺度生境信息的苗期作物水肥检测和控制方法及装置
CN108376419B (zh) * 2017-12-11 2020-06-26 江苏大学 一种盆栽生菜的综合长势监测方法及装置
US11464177B2 (en) * 2018-12-10 2022-10-11 Climate Llc Image-based irrigation recommendations
CN109978904A (zh) 2019-03-19 2019-07-05 南开大学 基于图像技术的挺水植物生长信息提取方法
CN111862194B (zh) 2020-08-04 2022-06-03 江苏云脑数据科技有限公司 基于计算机视觉的深度学习植物生长模型分析方法及系统

Also Published As

Publication number Publication date
US11972562B2 (en) 2024-04-30
US20220222813A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
CN108154105B (zh) 水下生物检测与识别方法、装置、服务器及终端设备
WO2021136386A1 (zh) 数据处理方法、终端和服务器
US20230214989A1 (en) Defect detection method, electronic device and readable storage medium
CN111325217B (zh) 数据处理方法、装置、系统和介质
CN112233076B (zh) 基于红色圆标靶图像处理的结构振动位移测量方法及装置
CN113658192B (zh) 一种多目标行人的轨迹获取方法、系统、装置及介质
WO2022179549A1 (zh) 一种标定方法、装置、计算机设备和存储介质
CN113393487B (zh) 运动目标检测方法、装置、电子设备及介质
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN114820758A (zh) 植物生长高度测量方法、装置、电子设备及介质
CN110599520B (zh) 一种旷场实验数据分析方法、系统及终端设备
CN114862929A (zh) 三维目标检测方法、装置、计算机可读存储介质及机器人
CN114511820A (zh) 货架商品检测方法、装置、计算机设备及存储介质
CN116433559A (zh) 产品外观缺陷检测方法、电子设备及存储介质
CN111667504A (zh) 一种人脸追踪方法、装置及设备
CN114764833A (zh) 植物生长曲线确定方法、装置、电子设备及介质
CN111652168B (zh) 基于人工智能的群体检测方法、装置、设备及存储介质
CN115690747B (zh) 车辆盲区检测模型测试方法、装置、电子设备及存储介质
CN113155784A (zh) 水体透明度检测方法、终端设备及存储介质
CN112581444A (zh) 一种异常检测方法、装置及设备
CN109035306A (zh) 动目标自动检测方法及装置
CN113034449B (zh) 目标检测模型训练方法、装置及通信设备
TWI755250B (zh) 植物生長曲線確定方法、裝置、電子設備及存儲媒體
CN114663681A (zh) 用于对指针式仪表进行读数的方法及其相关产品
CN114764814A (zh) 植物高度确定方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination