CN116887955A - 在精确农业中使用反向散射成像的系统和方法 - Google Patents

在精确农业中使用反向散射成像的系统和方法 Download PDF

Info

Publication number
CN116887955A
CN116887955A CN202080108368.3A CN202080108368A CN116887955A CN 116887955 A CN116887955 A CN 116887955A CN 202080108368 A CN202080108368 A CN 202080108368A CN 116887955 A CN116887955 A CN 116887955A
Authority
CN
China
Prior art keywords
image
fruit
crop
images
scanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080108368.3A
Other languages
English (en)
Inventor
A·科图雷
B·奥兹坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
American Science and Engineering Inc
Original Assignee
American Science and Engineering Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Science and Engineering Inc filed Critical American Science and Engineering Inc
Publication of CN116887955A publication Critical patent/CN116887955A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098—Plants or trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/20—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by using diffraction of the radiation by the materials, e.g. for investigating crystal structure; by using scattering of the radiation by the materials, e.g. for investigating non-crystalline materials; by using reflection of the radiation by the materials
    • G01N23/203—Measuring back scattering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45106—Used in agriculture, tree trimmer, pruner
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Mechanical Engineering (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Wood Science & Technology (AREA)
  • Botany (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

提供了通过使用至少一个X射线扫描仪来确定作物质量的系统和方法。该方法包括获得作物的至少两个扫描图像，其中至少两个图像中的第一个是沿着相对于作物的第一平面获得的，并且至少两个图像中的第二个是沿着相对于作物的第二平面获得的，并且其中第一平面相对于第二平面有角度地移位，配准第一图像和第二图像，校正配准的第一和第二图像，并且从校正的第一和第二图像确定作物的质量。

Description

在精确农业中使用反向散射成像的系统和方法
相关申请的交叉引用
本申请是2018年3月7日提交的题为“Backscatter Imaging for PrecisionAgriculture”的美国专利申请号15/758134的部分继续申请，其是2016年9月7日提交的相同标题的PCT/US2016/050545的371国家阶段申请，其优先权依赖于2016年5月18日提交的美国专利临时申请号62/337971和2015年9月8日提交的美国专利临时申请号62/215456。
此外，本申请涉及2019年10月18日提交的题为“Backscatter Imaging forPrecision Agriculture”并于2020年7月14日授权为美国专利号10712293的美国专利申请号16/656965，其是2018年3月7日提交的相同标题的美国专利申请号15/758134的继续申请，其是2016年9月7日提交的相同标题的PCT/US2016/050545的371国家阶段申请，其优先权依赖于2016年5月18日提交的美国专利临时申请号62/337971和2015年9月8日提交的美国专利临时申请号62/215456。所有上述参考申请的内容，包括其附件，通过引用结合于此。
技术领域
本发明涉及用于从X射线反向散射成像和表征中获得农业上重要的作物数据的设备和方法。
背景技术
在过去的10000年里，作物是在非系统收集的数据基础上种植的。既然人类已经利用了穿透植被的电磁辐射，更系统地评估作物的体内状况应该是可能的，但下文所述的障碍阻碍了它们迄今的应用。
精准农业描述了一种管理技术，该技术基于作为位置和时间的函数在田间测量的作物和土壤数据。随着时间的推移，数据与其在田地中的位置之间的相关性用于制定农场管理决策，以最大化总体回报。数据收集可以包括四个主要方面的信息：农场环境、土壤、植物或最终作物。如果有某种方法可以提供各种不同作物(尤其是特色作物)的许多关键领域的具体和准确数据，就可以在作物产量和质量方面获得很大的价值。特色作物包括高价值的果实、蔬菜和坚果，它们用作直接销售给消费者的食物或药物，因此需要极高的美学品质。对于这些作物，精确的产量预测和植物健康都具有很高的价值。对作物产量的早期和准确测量能够为收获、包装和储存准备设备和资源，并能够对作物进行准确定价。对于以树和藤蔓为基础的特色作物，年复一年的植物维护和健康也是至关重要的。年复一年地收集产量数据和植物健康状况将使预测工具能够用于施肥、浇水以及收获计划。
作物产量估计是多种农作物管理中的一项重要任务，包括果园，比如苹果。果实作物比如苹果、柑橘、葡萄等由富含淀粉且密度相对较低的植物(叶、枝和茎)和紧密且水分饱和的果实构成。当前的估计技术依赖于使用人类的统计采样来提供产量估计，这是耗时、劳动密集且不准确的。
根据Wang等人的“Automated Crop Yield Estimation for Apple Orchards,”13th International Symposium on Experimental Robotics(ISER 2012)，其通过引用并入本文。
准确的产量预测有助于种植者在疏果强度和收获劳动力规模方面做出更好的决策，从而提高果实质量并降低运营成本。这也有利于包装行业，因为管理人员可以使用评估结果来优化包装和存储容量。典型的产量估计是基于历史数据、天气条件和工人在多个采样点人工计算果实(比如苹果)产量来进行的。这一过程耗时耗力，有限的样本量通常不足以反映整个果园的产量分布，尤其是在空间变异性高的果园。因此，当前的产量估计实践是不准确和低效的，并且改进当前的实践将是对工业的重要结果。Ibid,p.1。
虽然X射线散射已被观察了一段时间，但X射线量子被电子散射的机制首先是由康普顿在以下中描述：“On the Mechanism of X-Ray Scattering,”Proc.Nat.Acad.Sci.,vol.11,pp.303-06(1925)，其在此引入作为参考，此后被称为“康普顿散射”。先前使用X射线反向散射来表征植物材料的建议仅限于农产品已经采摘并在受控条件下处理的应用。这些包括加工过程中食品的实际处理，如Cruvinel等人在以下中讨论：“Compton ScatterTomography for Agricultural Measurements,”Eng.Aric.Jaboticabal,vol.26,pp.151-60(2006)以及Boyden等人的美国专利号7734012，二者都通过引用并入本文。
果实种植者希望自动化系统来进行作物产量估计。当前的技术集中于视觉成像系统。基于视觉环境的估计是具有挑战性的，因为可变的照明、由树叶引起的遮挡和多个计数。由于难以查看整个作物，树叶遮挡可能会导致多次计数。视觉成像处理也可以有利地是计算密集型的。
根据本发明，将X射线反向散射应用于未收割的并且在田地中存活的作物提供了特别的益处，但需要本领域中迄今未知的专门技术。下面将详细描述这些专门技术和益处。
发明内容
结合系统、工具和方法描述和说明了以下实施例和其方面，这些实施例和方面是示例性和说明性的，而不是限制范围。本申请公开了许多实施例。
在一些实施例中，本说明书公开了一种用于估计作物重量的方法，其中，所述作物包括至少一行植物，并且其中，所述至少一行植物包括至少一个结果的藤蔓和/或树枝，该方法包括：用X射线从至少两侧照射作物的预定区域；获得至少一行植物的扫描图像；对每个收集的扫描图像执行对比度增强和去噪；执行所有对比度增强的去噪图像的全局配准；通过分离和丢弃所述至少一行植物中至少一个结果的藤蔓和/或树枝的边缘来获得代表单独藤蔓和/或树枝的分割图像；执行所获得的分割图像的局部配准；对每个分割图像执行聚类分段函数；使用距离校准处理所得的分段图像；以及通过使用距离校准图像来估计作物的重量。
本说明书公开了一种用于估计作物重量的方法，其中，所述作物包括至少一行植物，并且其中，所述至少一行植物包括至少一个结果的藤蔓和/或树枝，该方法包括：用X射线从至少两侧照射作物的预定区域；获得至少一行植物的扫描图像；对每个收集的扫描图像执行对比度增强和去噪；执行所有对比度增强的去噪图像的全局配准；通过从所述图像中分离藤蔓和/或树枝来获得代表单独藤蔓和/或树枝的分割图像；执行所获得的分割图像的局部配准；对每个分割图像执行聚类分段函数；使用距离校准处理所得的分段图像；以及通过使用距离校准图像来估计作物的重量。
可选地，收集至少一行植物的扫描图像数据的步骤包括在相同的预定方向上翻转通过用X射线照射作物的预定区域而产生的扫描图像。
可选地，从所述图像中分离藤蔓和/或树枝包括通过丢弃至少一行植物中至少一个结果的藤蔓和/或树枝的边缘从所述图像中切下分离的藤蔓和/或树枝。
可选地，执行局部配准包括获得示出同一藤蔓和/或树枝的不同视图的图像对之间的对准。
可选地，该方法还包括使用距离校准图像预测作物的产量。
可选地，获得至少一行植物的扫描图像包括：从原始数据文件中提取图像数据；创建每个预定义区域的示意图；在示意图上绘制运载用于用X射线照射作物的扫描设备的车辆的运动；以及通过将一个或多个GPS坐标的至少一个时间戳与捕获示意图上的点时的至少一个时间戳相关来确定示意图上的点的GPS坐标。可选地，该方法还包括基于车辆的运动方向沿着相应的方向定位植物行，并且在预定方向上翻转所定位的植物行，以在每个获得的扫描图像中获得一行中一致的植物序列。可选地，该方法还包括通过使用预定义的归一化条来归一化每个获得的扫描图像。可选地，该方法还包括扫描每个预定区域的GPS坐标，以获得所述区域中植物行之间的距离。
可选地，该方法还包括识别和注释分段图像。
可选地，该方法还包括确定用于处理每个分割图像的聚类处理技术。
可选地，该方法还包括通过使用粗略聚类分段方法来处理分割图像。
可选地，聚类分段函数是经典聚类分段函数或深度学习聚类分段函数。
可选地，通过确定在预定时间段内由果实反向散射的X射线信号的变化来确定悬挂在植物上的果实的估计重量。可选地，果实包括葡萄、浆果、柑橘、苹果、甜瓜和西红柿中的一种。可选地，从果实反向散射的X射线信号与果实的质量和果实离产生用于照射果实的X射线的扫描系统的距离成比例。可选地，从果实反向散射的X射线信号与果实离扫描系统的距离的平方成比例。可选地，通过对穿过作物从果实反向散射的X射线信号的信号强度进行积分来确定果实的总质量。可选地，该方法还包括通过同时使用两个X射线扫描仪扫描果实来执行双视图数据采集。可选地，该方法还包括通过使用具有多次采集的单个X射线扫描仪扫描果实来执行双视图数据采集。可选地，X射线扫描仪位于田地结果区域的外部，扫描仪位于一行果实植物的相对侧。可选地，该方法还包括收集果实的图像，并通过使用像素或特征水平的距离归一化过程来分析所述图像。
本说明书还公开了一种通过使用至少一个X射线扫描仪来确定作物质量的方法，该方法包括：获得作物的至少两个扫描图像，其中至少两个扫描图像中的第一个是沿着相对于作物的第一平面获得的，并且至少两个扫描图像中的第二个是沿着相对于作物的第二平面获得的，并且其中第一平面相对于第二平面有角度地移位；配准第一扫描图像和第二扫描图像；校正配准的第一和第二扫描图像；以及从校正的第一和第二扫描图像确定作物的质量。
可选地，第一平面相对于第二平面有角度地移位90度至270度之间的角度。
可选地，第一平面和第二平面彼此平行。
可选地，配准第一扫描图像和第二扫描图像包括通过相对于第一扫描图像和第二扫描图像中的至少一个翻转和平移另一个来匹配第一扫描图像和第二扫描图像。
可选地，获得作物的至少两个扫描图像包括使用两个X射线扫描仪同时扫描作物。
可选地，获得作物的至少两个扫描图像包括使用单个X射线扫描仪扫描作物并执行多次扫描。
可选地，校正配准的第一扫描图像和第二扫描图像包括针对多个预定义参数校正所述扫描图像。
可选地，校正配准的第一扫描图像和第二扫描图像包括校正所述扫描图像的对比度、亮度、强度或比例中的一个或多个。
可选地，从校正的第一和第二扫描图像确定作物的质量包括识别扫描图像中的一个或多个果实聚类，并且逐个像素地分析聚类的强度。可选地，该方法还包括在预定时间段内对聚类的分析强度进行求和并使其相关。
本说明书还公开了一种用于确定作物质量的系统，包括：至少一个X射线扫描仪，用于获得作物的至少两个扫描图像，其中至少两个扫描图像中的第一个是沿着相对于作物的第一平面获得的，并且至少两个扫描图像中的第二个是沿着相对于作物的第二平面获得的，并且其中第一平面相对于第二平面有角度地移位；以及与X射线扫描仪耦合的控制器，其中控制器适于：配准第一和第二图像；校正配准的第一和第二图像；并且从校正的第一和第二扫描图像确定作物的质量。
可选地，第一平面相对于第二平面有角度地移位90度至270度之间的角度。
可选地，第一平面和第二平面彼此平行。
可选地，配准第一扫描图像和第二扫描图像包括通过相对于第一图像和第二图像中的至少一个翻转和平移另一个来匹配第一图像和第二图像。
可选地，该系统包括两个X射线扫描仪，用于同时获得作物的至少两个扫描图像。
可选地，至少一个X射线扫描仪用于扫描作物至少两次，以获得作物的至少两个扫描图像。
可选地，校正配准的第一和第二扫描图像包括针对多个预定义参数校正所述图像。
可选地，校正配准的第一和第二扫描图像包括针对对比度、亮度、强度或比例中的一个或多个来校正所述图像。
可选地，从校正的第一和第二扫描图像确定作物的质量包括识别图像中的一个或多个果实聚类，并且逐个像素地分析聚类的强度。
可选地，该系统还包括在预定时间段内对聚类的分析强度进行求和并使其相关。
本说明书还公开了一种用于估计作物重量的系统，其中作物包括至少一行植物，并且其中该至少一行植物包括结果的藤蔓和/或树枝，该系统包括：至少一个X射线扫描仪，用于从至少两侧用X射线照射作物的预定区域；以及与至少一个X射线扫描仪耦合的控制器，其中控制器适于：获得至少一行植物的扫描图像；对每个收集的扫描图像执行对比度增强和去噪；执行对比度增强、去噪图像的全局配准；通过从所述图像中分离藤蔓和/或树枝来获得分割图像；执行所获得的分割图像的局部配准；对预定义的一组分割图像执行聚类分段函数；使用距离校准处理分段图像；并且通过使用距离校准图像来估计作物的重量。
可选地，收集至少一行植物的扫描图像数据包括在相同的预定方向上翻转通过用X射线照射作物的预定区域而产生的扫描图像。
可选地，获得分割图像包括通过从图像中丢弃藤蔓和/或树枝的边缘来从所述图像中切下分离的藤蔓和/或树枝。
可选地，执行局部配准包括获得示出同一植物的不同视图的图像对之间的对准。
可选地，该系统用于使用距离校准图像来预测作物的产量。
可选地，获得至少一行植物的扫描图像包括：从原始数据文件中提取图像数据；创建每个预定义区域的示意图；在示意图上绘制运载用于用X射线照射作物的扫描设备的车辆的运动；以及通过将一个或多个GPS坐标的至少一个时间戳与捕获示意图上的点时的至少一个时间戳相关来确定示意图上的点的GPS坐标。
可选地，控制器基于车辆的运动方向沿着相应的方向定位植物行；并且在预定方向上翻转所有定位的植物行，以在每个获得的扫描图像中获得一行中一致的植物序列。
可选地，控制器通过使用预定义的归一化条来归一化每个获得的扫描图像。
可选地，控制器指示X射线扫描仪扫描每个预定区域的GPS坐标，以获得所述区域中植物行之间的距离。
可选地，控制器识别并注释分段图像。
可选地，控制器通过使用粗略聚类分段方法来处理分割图像。
可选地，控制器执行聚类分段函数，作为经典聚类分段函数或深度学习聚类分段函数。
可选地，控制器确定用于处理每个分割图像的聚类处理技术。
可选地，控制器通过确定在预定时间段内由果实反向散射的X射线信号的变化来确定悬挂在植物上的果实的重量。
可选地，果实包括葡萄、浆果、柑橘、苹果、甜瓜和西红柿中的一种。
可选地，从果实反向散射的X射线信号与果实的质量和果实离产生用于照射果实的X射线的扫描系统的距离成比例。可选地，从果实反向散射的X射线信号与果实离扫描系统的距离的平方成比例。
可选地，通过对穿过作物从果实反向散射的X射线信号的信号强度进行积分来确定果实的总质量。
根据本发明的实施例，提供了一种用于远程表征活体植物的方法。该方法具有以下步骤：a)产生第一束穿透辐射；b)扫描束过活体植物；c)检测来自第一束穿透辐射的来自活植物的康普顿散射，以产生第一散射信号；以及d)处理散射信号以获得活体植物的一个或多个特征。
在实施例中，应当注意，康普顿反向散射X射线表征，尤其是成像，对低有效原子序数的材料敏感，例如水和有机材料。
本发明的一些实施例可以使用在一维上准直的光束。其他实施例可以使用这样的光束，其中该光束在两个维度上是准直的，称为笔形光束。本发明的一些实施例可以导出特征，例如含水量、根结构、树枝结构、木质部大小、果实大小、果实形状、果实聚集体积、聚类大小和形状、果实成熟度和活体植物的一部分的图像。在一些实施例中，穿透辐射可以包括X射线。在其他实施例中，X射线可以包括范围在50keV和220keV之间的光子。
本发明的其他实施例可以使用并行感测模态获取数据。在一些实施例中，感测模态可以包括可见光、微波、太赫兹和超声波中的至少一种。其他实施例可以使用使用并行感测模态获得的数据，用于相对于活体植物的参照系配准活体植物的图像。在本发明的一些实施例中，可以用从运输工具发射的笔形光束照射活体植物。在其他实施例中，可以从活体植物上方照射活体植物。进一步的实施例可以包括从相对于活体植物水平移位的位置照射活体植物。在其他实施例中，光束可以在部署在铰接臂上的扫描头中产生。其他实施例可以进一步具有设置在机器人臂上的抓取器和具有笔形射束准直的X射线源。进一步实施例可以包括获得活体植物的根的特征。在本发明的其他实施例中，穿透辐射可以同时发射到两个半空间中。在其他实施例中，扫描可以包括电子地引导穿透辐射束。
在本发明的其他实施例中，辐射可以穿过限定的孔径。在进一步实施例中，可以在扫描光束的过程中调整限定孔径。在其他实施例中，散射可被光谱解析。这种分辨率可以通过调制第一束穿透辐射的光谱内容或者对不同的光谱特征有差别地敏感的检测来实现。
在本发明的其他实施例中，可以基于独特的光谱特征来区分有机特征。在本发明的进一步实施例中，笔形束在活体植物的参照系中的位置和方向中的至少一个可以被监测，并且笔形束可以在闭环中被操纵，以保持笔形束在活体植物的参照系中的指定路径。在本发明的其他实施例中，散射信号的图像可以相对于活体植物的参照系进行配准。在本发明的其他实施例中，第一和第二束穿透辐射都可以用于产生第二散射信号，并且第二散射信号可被处理以导出活体植物的第二特征。在本发明的其他实施例中，至少一个导出特征与水吸收相关。在本发明的进一步实施例中，第一和第二散射信号可以用于导出植物的三维特征。该导出的三维特征可以是立体图像。在本发明的其他实施例中，第一和第二散射信号可以用于生成活体植物相对于其他活体植物整体的空间坐标、活体植物相对于活体植物基部的空间坐标或者果实相对于活体植物另一部分的空间坐标。在进一步实施例中，抓取器可以安装在机器人臂上，并且闭环反馈控制系统可以用于定位抓取器。在本发明的某些实施例中，可以从运输工具扫描第一和第二束。在本发明的其他实施例中，第一和第二束可以各自相对于相应的第一和第二中心射线进行扫描，并且可以相对移位一定角度。该角度可以在45度和135度之间的范围内。在本发明的进一步实施例中，第一和第二散射信号可以用于生成位于运输工具和活体植物之间的除活体植物之外的至少一个物体的空间坐标，并且使用这些坐标，可以生成地形图。
根据本发明的另一实施例，提供了一种用于测量地面含水量的方法。该方法具有以下步骤：a)产生穿透辐射束；b)在地面上扫描束；c)检测来自穿透辐射束的来自地面的康普顿散射；以及d)处理来自相对于参考样本的康普顿散射的散射信号，以导出地面的含水量。
根据本发明的又一实施例，提供了一种用于引导机器人运动的方法。该方法具有以下步骤：a)产生第一束穿透辐射；b)将第一束扫描过活体植物；c)检测源自穿透辐射的第一束的来自活植物的康普顿散射，以产生散射信号；d)处理散射信号以获得活体植物的特征；以及e)使用植物的导出特征来引导机器人的抓取器抓取活体植物的一部分。
进一步实施例可以包括用抓取器收获植物。在本发明的其他实施例中，抓取器可以安装在机器人臂上，并且系统可以使用闭环反馈控制系统来定位抓取器。
本说明书的上述和其他实施例将在下面提供的附图和详细描述中更深入地描述。
附图说明
当结合附图考虑时，通过参考详细描述，将会更好地理解本说明书的这些和其他特征和优点，并且将会进一步理解这些和其他特征和优点。
图1示出了水对电磁辐射的相对吸收作为波长或光子能量的函数的图；
图2示出了根据本说明书实施例的水平反向散射扫描设备的后视图；
图3示出了根据本说明书的实施例的双面扫描设备；
图4示出了根据本说明书实施例的自上而下反向散射扫描设备的视图；
图5示出了根据本说明书的实施例的示例性双能量探测器扫描设备；
图6示出了根据本说明书的实施例的农业场景的示例性X射线反向散射图像；
图7示出了描述根据本说明书的实施例的扫描方法的步骤的流程图；
图8示出了描述根据本说明书的实施例的用于引导机器人运动的方法的步骤的第二流程图；
图9示出了根据本说明书的实施例的使用扇形束照明的扇形束扫描设备；
图10示出了根据本说明书实施例的使用来自扫描过程的体积信息来量化果实的曲线图；
图11是根据本说明书实施例的列出可以应用反向散射成像的特色作物的示例性类型的表格；
图12A是示出根据本说明书实施例的用于估计作物重量和预测作物产量的方法的流程图；
图12B是示出根据本说明书实施例的收集一行植物的图像数据的步骤的流程图；
图12C示出了根据本说明书实施例的归一化之前和之后的图像数据的曲线图；
图13A是根据本说明书实施例的对比度增强前后的扫描图像；
图13B是根据本说明书实施例的去噪前后的对比度增强图像；
图14A是在其上执行全局配准的图像；
图14B示出了根据本说明书实施例的示出全局配准结果的图像；
图15A示出了根据本说明书实施例的成功的分割图像；
图15B示出了根据本说明书实施例的示出假阳性的分割图像；
图16A示出了根据本说明书实施例的在应用本地配准之后的分割图像；
图16B示出了根据本说明书实施例的分割图像上的粗略特征注释；
图16C示出了根据本说明书实施例的通过使用粗略特征注释的分割图像的配准；
图16D示出了根据本说明书实施例的通过使用粗略特征注释的分割图像的侧面的特写图示；
图17A示出了根据本说明书实施例的聚类注释图像；
图17B示出了根据本说明书实施例的粗略分段网络；
图17C示出了当对50个收获前数据图像执行训练时粗略分段网络中每个时期的训练损失的图；
图17D示出了示出当对具有5个验证集的50个收获前数据图像执行训练时粗略分段网络中每个时期的验证损失的图；
图17E是示出根据本说明书实施例的将距离校准应用于通过从两个相对侧扫描物体而获得的图像的框图；
图17F示出了根据本说明书实施例的校正因子C相对于强度比的曲线图；
图18A示出了根据本说明书实施例的从开花前季节到收获季节的果实照片以及相应的果实X射线反向散射图像；
图18B示出了根据本说明书实施例的对应于图18A所示的果实照片的反向散射X射线扫描图像；
图18C是根据本说明书实施例的用于在预定时间段内跟踪单独果实藤蔓的重量以及相应的扫描图像相关性的表格；
图18D示出了根据本说明书实施例的在一段时间内对应于多个果实藤蔓的藤蔓重量对扫描数据的曲线；
图18E示出了根据本说明书实施例的对应于图18D中所示的曲线的藤蔓重量对扫描数据的归一化曲线；
图19A是示出根据本说明书实施例的散射强度和聚类大小之间的关系的图；
图19B是示出根据本说明书实施例的散射信号与扫描仪和果实之间的距离之间的关系的图；
图20A示出了根据本说明书的实施例的区域分析方法；
图20B是示出根据本说明书实施例的在不同的应用校正因子值下绘制在y轴2020上的地面真实聚类重量和绘制在X轴2021上的X射线反向散射强度之间的相关性的图；
图21A示出了根据本说明书实施例的用于扫描作物以预测悬挂果实重量的扫描系统；
图21B示出了根据本说明书实施例的在图22A的扫描系统中采用的对比块；
图21C示出了根据本说明书实施例的通过使用对比块获得的扫描图像；
图21D示出了根据本说明书实施例示出相对于一天中的不同时间跨场的对比块变化的图；以及
图22是示出根据本说明书实施例的用于确定植物/藤蔓/树枝上的果实/蔬菜的悬挂重量的方法的流程图。
具体实施方式
正如本发明人第一次认识到，约50-220keV能量范围内的康普顿散射X射线辐射是作物大小和产量的理想探针，因为这种辐射有效地从水中散射，并且在康普顿X射线反向散射成像中以明亮的对比度出现。X射线穿透低密度物体，比如树叶或树枝，相应地示出较少的反向散射信号。穿透植物并产生对水含量敏感的信号的能力使得反向散射X射线成像能够提供比其他技术比如可见光、红外线或雷达成像更高精度的数据。
下面的描述提供了关于将反向散射成像应用于精确农业领域的各种挑战的详细教导，包括产量估计、作物和植物在一季和一年中的生长、水管理、机器人收割以及数据融合和管理。
这里应注意的是，作物产量的反向散射成像可以有利地应用于具有孤立或丛生果实的任何作物，包括树、藤蔓或植物。根据本发明的一些实施例，作物的类型、大小和形状可以不同，但扫描方法可以保持相同，包括成像仪在植物上的线性平移。
较大的苹果树和柑橘树通常生长在户外，而较小的植物如西红柿、南瓜、甜瓜等可以在温室或室外种植。在本发明的实施例中，相同的基础反向散射系统可以用于多种应用，对于特定的应用，可以修改诸如波束光谱内容或停留时间的参数。此外，作物类型应用通常在需要多少扫描时间和功率方面有所不同。例如，扫描未受管理苹果树或柑橘树可能比受管理树需要更多的功率和更慢的扫描速度。未受管理树具有更大的高度和直径，这需要比受管理树更大的树高度和直径的成像，需要更高的功率和能量。这对应着更高的功率和能量。受管理果园有受管理树，其树枝附接到棚架。未受管理果园有未受管理树，其没有棚架结构。
本说明书针对多个实施例。提供以下公开是为了使本领域普通技术人员能够实践本说明书。本说明书中使用的语言不应被解释为对任何一个具体实施例的一般性否定，也不应被用来将权利要求限制在其中使用的术语的含义之外。在不脱离本说明书的精神和范围的情况下，这里定义的一般原理可以应用于其他实施例和应用。此外，所使用的术语和措辞是为了描述示例性实施例的目的，不应被认为是限制性的。因此，本说明书将符合最宽的范围，包括与所公开的原理和特征一致的许多替代、修改和等同物。为了清楚起见，没有详细描述与本说明书相关的技术领域中已知的技术材料相关的细节，以免不必要地模糊本说明书。
在本申请的说明书和权利要求中，词语“包括”、“包含”和“具有”中的每个及其形式不一定限于该词语可能关联的列表中的成员。这里应注意的是，除非明确指出，否则结合特定实施例描述的任何特征或部件可以与任何其他实施例一起使用和实现。
虽然X射线反向散射已被用于许多材料的表征，但使用反向散射技术在体内表征作物一直被认为是不可能的，因为反向散射技术易于产生运动引起的几何不规则性和变化，这在当前的应用中是不可接受的，因为用户缺乏对样品的位置和稳定性的控制。如果散射技术没有控制和规律性，就不可能获得正确的作物产量估计。作物产量估计是多种作物管理中的一项重要任务，例如苹果、葡萄和黄瓜。准确的产量预测有助于种植者在疏果强度和收获劳动力规模方面做出更好的决策，从而提高果实质量并降低运营成本。管理人员可以使用估计结果来优化包装和存储容量。能够评估产品大小和数量的扫描仪适用于作物总产量估计；水、肥料和杀虫剂的空间分布图；疾病、昆虫或其他作物损失原因的检测、损害评估和绘图；作物生长速度和发育的时间分析；以及测试肥料或杀虫剂的功效。
果实作物比如苹果、柑橘、葡萄和其他由富含淀粉的低密度特征(叶、枝和茎)和紧密且水分饱和的果实构成。约100keV能量范围内的X射线辐射有效地从水中散射，并且在康普顿X射线反向散射成像中表现为明亮的对比。X射线穿透低密度物体，比如树叶或树枝，相应地示出较少的反向散射信号。
除了图像中的作物数量，3D位置也有助于防止重复计数，以及更好地了解农药和化肥的目标位置。可以通过包括多个X射线照射角度来估计3D位置。此外，可以记录X射线源的精确位置。为了校正地面高度的不均匀性，优选记录源的位置和方向的感测。在某些实施例中，全球定位系统(GPS)也可用于田间定位，可选地结合GPS用于施肥和施用杀虫剂。
本发明的实施例可以将多个感测系统结合到移动运输工具上，以实现用于作物产量估计的准确、快速、自动的检测系统。实施例可以包括X射线系统与位置和方向感测的组合，这防止了从作物行的两侧扫描时的双重计数。
进一步的实施例可以包括X射线系统，其包括可以用于计算作物的3D位置的多个视角。在一些实施例中，X射线成像系统在源和检测器的设计方面被优化，以便最大化灵敏度，从而提高检查速度。具体而言，可以使用源和区域检测器的编码孔径配置来实现快速扫描速率。在Huang等人的美国专利号5940469中可以找到对使用编码孔径X射线反向散射检测技术的完整描述，该专利在此引入作为参考。
确定作物的产量需要在特定的光谱范围内，以特定的空间分辨率测量散射强度，所有这些都随所涉及的作物而变化。示例是葡萄栽培，其产量可以通过以1-4mm的分辨率测量140-220keV范围内的散射变化来确定。为了以1千米/小时的速度从1米左右的距离筛选生长中的作物，需要500-600光子/球面度/秒/根赫兹的检测灵敏度。这被认为是不可能的，在本发明人认识到用于从移动的检查平台产生康普顿反向散射信号的笔形束X射线源能够实现必要的灵敏度之前，本发明穿透果实和扫描仪之间的介入生长的独特能力也是如此，如下面详细描述。
对于通常需要覆盖的大面积区域(通常是平方英里的扫描)，扫描笔形束可能不可行。例如，从1m的间隔距离获得1mm2的分辨率意味着10-6sr的角度分辨率，或者旋转环中0.06°的孔径。基于5×108光子/秒/cm2/mA的入射通量、1米的间隔距离和代表性的光束光谱的信噪比计算表明，对于由旋转孔径产生的笔形束，每像素至少2.5μs的停留时间。这意味着孔径环的旋转速度为每秒3000转。
包括1米高的果实的场景(其以3米的间距成行填充10英亩的方形)包含约1010个像素，因此需要24小时用笔形束扫描这样的田地。在许多情况下，这种扫描无法提供对农业洞察有用的时间尺度数据。使用编码孔径技术的扇形射束或替代地锥形射束可以有利地用于增加通量，从而将扫描速率提高100倍以上。在扇形光束的情况下，这简单地来源于约100个共线像素的同时检测。
例如，在葡萄栽培领域中，基于160keV的X射线源，在1000W的耗散下，使用具有8个以1800rpm旋转的辐条的斩波轮，在两个方向上同时扫描以获得双边数据，沿着行以2.18mph的速度运动，可以在0.3小时内扫描1英亩的具有130英寸行距的方形葡萄园。
定义：“运输工具”是指以承载在地面接触构件上的平台为特征的任何装置，比如车轮、履带、踏板、滑道等，用于将设备从一个位置运输到另一个位置。
这里和任何所附权利要求中使用的词语“拖车”是指适于由机动车辆或运输工具在下面表面上拖动的运输工具，在这里可以称为“牵引车”。
这里和任何所附权利要求中所使用的词语“图像”是指任何多维表示，无论是有形的还是其他可感知的形式，或者其他形式，由此一些特性(振幅、相位等)的值与对应于物理空间中物体的维度坐标的多个位置中的每个相关，尽管不必一一映射到那里。因此，例如，一些场的空间分布的图形显示，或是标量或是矢量，例如亮度或颜色，或者X射线散射强度等，构成图像。计算机内存或全息介质中的一组数字比如3D全息数据集也是如此。类似地，“成像”是指以一个或多个图像的形式呈现指定的物理特征。
术语“X射线源”应表示产生X射线的装置，包括但不限于X射线管或被高能粒子撞击的轫致辐射靶，而不考虑用于产生X射线的机构，包括但不限于直线加速器等。
“半空间”是指一个假想平面将三维空间分成的两部分中的每一部分。
“活体植物”是指未收获的植物，也就是说，活体植物仍附着在为其生长提供营养的来源上。此外，为了本说明书的目的，如果植物物质在生长过程中消耗能量，那么它应被称为是“活体的”。
“抓取器”在本领域中也称为“臂端工具”，是用于保持和操纵物体的远程操作装置。它可以是爪子、袋子、吸引装置等，这在本领域中是众所周知的，并且包含在本发明的范围内。
“机器人臂”是将抓取器联接到基座的致动机械联动装置，其中基座可以是车辆或其他运输工具。
如本文所用，术语“部分”指的是物体，应包括物体的一部分或全部。
“扫描仪”是一种用于移动光束传播方向的装置。例如，在美国专利号9014339(Grodzins等人的“Versatile X-Ray Beam Scanner”)中描述了可以与X射线束一起使用的扫描仪的示例，并且包括机械扫描仪，例如旋转环、如在美国专利号9099279(Rommel等人的“X-Ray Tube with Rotating Anode Aperture”)中描述的具有旋转阳极孔径的X射线管，或者例如在美国专利号6282260(Grodzins的“Unilateral Hand-held X-Ray InspectionApparatus”)中描述的电子扫描仪。所有这些扫描仪都在本发明的范围内。
术语“扫描头”用于更一般地指代引导光束的硬件，并且例如可以包括由扫描仪扫描的辐射源。
“扫描设备”指的是一种系统，用于基于在场景上扫描的辐射(例如X射线)来表征被扫描的物体或场景。扫描设备可以包括用于检测散射辐射的检测器，并且还可以包括用于运输扫描头和检测器以及诸如电源、传感器等辅助设备的运输工具。
“扇形光束”是在横向于光束传播方向的一个维度上准直的光束。
“笔形束”是在横向于光束传播方向的两个维度上准直的光束。
“有机特征”是有机物(比如植物)的特征，它将有机物与无机物区分开来。有机特征可包括但不限于含水量、根结构、树枝结构、木质部大小、果实大小、果实形状、果实聚集体积、聚类大小、聚类形状和果实成熟度。
“地面真实藤蔓”是在预定时间段内被监测的藤蔓，在收获和称重之前和之后被成像。
在各种实施例中，本说明书的系统包括计算设备，其具有一个或多个处理器或中央处理单元、一个或多个诸如RAM、硬盘或任何其他光或磁介质的计算机可读存储介质、诸如输入/输出控制器的控制器、至少一个通信接口和系统存储器。系统存储器包括至少一个随机存取存储器(RAM)和至少一个只读存储器(ROM)。在实施例中，存储器包括用于存储原始X射线数据、扫描图像、已处理图像和与这些图像相关的数据的数据库。多个功能和操作元件与中央处理单元(CPU)通信，以使计算设备能够操作。在各种实施例中，计算设备可以是传统的独立计算机，或者可替代地，计算设备的功能可以分布在多个计算机系统和架构的网络和/或云计算系统上。在一些实施例中，存储在一个或多个非易失性存储器中的多个程序指令或代码序列的执行使得计算设备的CPU能够执行各种功能和过程，例如，接收诸如图像数据的原始X射线数据，并应用各种处理步骤(例如但不限于对比度增强、去噪、全局配准、局部配准、聚类处理、聚类分段、深度学习过程、校准以及重量估计)，用于提供图像和其他数据，例如但不限于作物重量或产量信息，以在屏幕上显示。在替代实施例中，可以使用硬连线电路来代替或结合用于实现本申请中描述的系统和方法的过程的软件指令。因此，所描述的系统和方法不限于硬件和软件的任何特定组合。
反向散射成像利用照射物体的X射线辐射的笔形束，并检测来自物体的康普顿散射辐射。反向散射成像的对比度取决于材料的成分。由于康普顿散射产生和X射线吸收的两种竞争效应，由包括氢、碳、氮和氧的低原子序数材料构成的生物材料在反向散射X射线成像中具有很强的对比度。康普顿散射截面与原子序数(Z)成正比增加，因此Z越高的材料散射越多。然而，光电吸收与Z4/E3成比例，因此对于较高的Z，特别是在较低的能量下，光电吸收阻止康普顿散射的X射线离开靶材料。约50-220keV能量范围内的康普顿散射X射线辐射是作物大小和产量的理想探针，因为这种辐射有效地从水中散射，并且在康普顿X射线反向散射成像中表现为明亮的对比。该能量用于土壤的深度渗透和/或植物根部的成像。虽然描述了在50-220keV范围内的操作，但该范围是以示例的方式提供的，并且没有限制的意图。
水蒸气的吸收光谱在图1中绘制为波长(以米为单位)或光子能量(以eV为单位)的函数，突出可见光谱的短波区域中的显著衰减，在X射线区域中由光电效应所主导。因此，更短波长的辐射不会像农业环境中所要求的那样，从任何相当远的距离对作物进行检测、成像或任何表征。因为在更短的波长下成像性能变得越来越差，所以康普顿散射X射线成像的辐射穿透、散射和成像性能满足实现产量估计的良好性能所需的所有标准是违反直觉的。
作物产量的反向散射成像可以有利地应用于具有孤立或丛生果实的任何作物，包括树、藤蔓或植物。根据本发明的一些实施例，作物的类型、大小和形状可以不同，但扫描方法可以保持相同，包括成像仪在植物上的线性平移。
较大的苹果树和柑橘树通常生长在户外，而较小的植物如西红柿、南瓜、甜瓜等可以在温室或室外种植。在本发明的实施例中，相同的基础反向散射系统可以用于多种应用，对于特定的应用，可以修改诸如波束光谱内容或停留时间的参数。
根据本发明的某些实施例，在图2中通常用数字101表示的扫描设备具有位于臂组件末端的扫描头。扫描设备101可以用于水平扫描或自上而下扫描。
图2示出了根据本发明实施例的水平反向散射扫描设备101的后视图。在该实施例中，扫描头100安装在机器人104的臂102上。此外，抓取器106也耦合到机器人104的臂102。机器人104可以承载在运输工具108上，可以是自推进的，或者可以是自主的或被引导的。在本发明的一些实施例中，如上所述，运输工具108是拖拉机、卡车或机动手推车。此外，运输工具可以具有扫描电子设备113和一个或多个传感器110。在一些实施例中，水平反向散射扫描设备101可以有利地使用康普顿反向散射X射线成像，其对低原子序数敏感，包括水和有机材料。康普顿反向散射X射线成像可以有利地用于检测果实112，其通常包含浓缩量的水。
在一些实施例中，为了执行位置感测，多个数据流的位置，例如X射线、可见光、微波、亚毫米波和红外线，可被共同配准。在一些实施例中，位置感测设备116可以在任何给定时间确定运输工具108的位置。该位置优选以成像所需的最小特征尺寸的1/5的精度来确定。在一些实施例中，还可以记录运输工具108的方位，以保持X射线源114相对于作物的相对照射角度和位置。
在本发明的一些实施例中，图像分辨率与X射线源功率成比例，与扫描速度成反比。作物类型应用通常在需要多少扫描时间和功率方面有所不同。例如，扫描未受管理苹果或柑橘树可能比受管理树需要更多的功率和更慢的扫描速度。未受管理树具有更大的高度和直径，这需要比受管理树更大的树高度和直径的成像，需要更高的功率和能量。这对应于更高的功率和能量。受管理果园有受管理树，其中树枝附接到棚架。未受管理果园有未受管理树，其没有棚架。
由轫致辐射产生的X射线束包含能量高达端点能量的光子，该端点能量等于撞击轫致辐射靶的最高能量电子的能量。当X射线束在本文中仅由能量表征时，该能量指的是该束的终点能量。因此，如果第一X射线束的端点能量超过第二X射线束的端点能量，则称第一X射线束的能量高于第二X射线束的能量。
相对于周围的树枝和叶材料，成熟的作物由相对高浓度的水、碳和氮构成，这里称为“介入材料”。进一步参考图2，对于撞击果实112的笔形束120，对于入射X射线的一些但不是全部光谱，康普顿散射信号将随着果实的半径而增加，因为如容易计算的，在作物中发生多个散射和吸收过程。笔形束120在这里也可以称为“输入束”或“扫描束”。当扫描束120穿过构成作物的植物127的厚度时，输入束120的一部分从植物127散射。就其散射X射线而言，植物127在本文中也可称为“物体”，且就输入束120穿过植物127而言，其也可称为“材料”。
被果实112散射输入束120的辐射，这里也称为散射辐射130(或“反向散射的X射线”)，现在必须返回穿过相同的中间材料，以便返回到检测器125。反向散射的X射线130的每个光子具有比引起散射的入射束120的光子更低的能量，并且将被外出的介入材料衰减。“外出的介入材料”指的是散射辐射130在到达检测器125的途中穿过植物127的路径。康普顿散射引起能量转移效应是散射角和能量的函数。对于树叶和小直径作物，例如柑橘或苹果，散射的辐射不会穿过果实本身的厚度而强烈衰减，然而，对于非常大的作物，例如甜瓜，反向散射的X射线的显著衰减可能发生在果实本身内。在任一情况下，相对于介入材料的低散射，果实的高散射强调检测到的散射信号中的果实。
在一些实施例中，水平反向散射扫描设备101可以通过从运输工具108的侧面扫描来扫描植物、果实或树。这种配置可以具有一个扫描仪100或双扫描仪，如图3所示。
图3描述了根据本发明实施例的双面水平反向散射扫描设备，通常用数字201表示。在本发明的一些实施例中，多个反向散射X射线扫描头203、205定位成非常接近植物127，并且允许作物可以生长的区域的全景。X射线源228产生由扫描仪203和205扫描的X射线，以产生用于一次扫描多行(例如扫描仪的每一侧)的扫描光束222。在采用多向光束的情况下，屏蔽235防止反向检测器203检测到散射。
用于X射线成像的扫描设备(例如双面水平反向散射扫描设备201)在这里也可以称为“X射线成像器”。当运输工具108运动时，X射线成像器201可以连续或间歇地操作。例如，在本发明的范围内，成像系统可以采用飞点/笔形束222、扇形束成像或编码孔径成像。根据本发明的各种实施例，可以在双扫描仪配置201中收集三维信息。在其他实施例中，可以通过包括单个系统来收集三维信息，该单个系统通过以周期性间隔旋转成像系统201来以可变角度获取图像。在一些实施例中，在运输工具108上包括具有不同视角的多个成像扫描仪203、205，其中运输工具108连续记录多个角度的反向散射信号或编码孔径成像，可以用于获取3D信息。除了X射线检测器230(本文中也称为X射线传感器)，在某些实施例中可以包括额外的感测，以提供关于运输工具108在作物127的参照系内的位置和方向的准确信息。这提供了对光束222的取向的控制，或者提供了使用跟踪的位置来记录获取的图像内的反向散射信号(如图6所示)。这可以有利地提高测量作物127的尺寸和/或作物127的体积的能力。Ghz/Thz辐射、热/IR和超声波技术也可以与X射线数据结合，以产生扫描场景的3D图像。
图4示出了根据本发明实施例的自上而下的反向散射扫描设备的视图，该设备通常由数字301表示。自上而下的反向散射扫描设备301具有包括作物127的视场310。在一些实施例中，可以为具有多种高度的作物提供可调节高度的台架303。自上而下扫描可用于草莓等植物。根据本发明的实施例，如果扫描设备301的高度增加，则可以一次获得多个结果。在本发明的一些实施例中，联接到运输工具108的扫描头305联接到现有的喷洒设备，以降低种植者的实施成本。
扫描头100可以发射覆盖约4-5英尺宽度的X射线。X射线检测器230的大检测面积将增加检测到的通量，从而增加扫描速率。棉花、甜瓜等作物可能没有足够的空间从顶部进行侧面照明。可以增加X射线通量以提高扫描速率，但如果通过增加孔径尺寸来获得额外的通量，则是以图像分辨率为代价的。对于典型的设备301，可以使用尺寸高达4mm的光束孔径。在一些实施例中，对于具有重复形状的点目标的成像，编码孔径成像系统可以允许更有效的成像。在果实作物的情况下，其中物体在形状上是相同的，但在尺寸和位置上是变化的，可以使用编码孔径X射线成像系统来有效地确定视场中物体的位置和尺寸。因为成像系统允许对整个区域进行照明，所以在编码孔径系统中传送给作物的通量可以高得多。这可以有利地增加系统的扫描速率。
图5示出了根据本发明实施例的示例性双扫描仪扫描设备，通常由数字401表示。可从运输工具108扫描第一和第二光束403和406。在本发明的其他实施例中，第一和第二光束可以各自相对于相应的第一和第二中心光线405和407进行扫描，并且可以相对位移一定角度。虽然在所示实施例中第一和第二中心光线405和407平行，但在其他实施例中，第一和第二中心光线405和407之间的角度可以在45度和135度之间的范围内。光束403和406的发射被适当地定相，使得到达检测器230的散射光子的来源是明确的。
图6示出了根据本发明实施例产生的农业场景的示例性X射线反向散射图像，通常由数字501表示。在本发明的一些实施例中，作物产量绘图可以由四条信息构成；果实大小、果实数量、种植位置和日期/时间。果实503可以在图像501中突出显示，以帮助获取上述特征数据。为了有助于历史数据，在一些实施例中，扫描设备可以耦合到GPS单元，以监测果实或植物的位置。数据可被收集、关联并存储在数据库中。可以为种植者生成报告，以向种植者反映收集的数据。根据本发明的实施例，利用相同植物/树的历史数据，可以有利地逐年跟踪作物健康。
根据某些实施例，除了用于产量和植物健康的反向散射成像数据之外，可以组合其他数据源来建立对本地环境的全面理解。这些可以有利地包括温度、湿度、土壤条件等。
在一些实施例中，软件可以具有易于理解的图形用户界面，该界面允许种植者在易于阅读的界面中访问和示出各种信息。在某些实施例中，可以包括植物和作物的历史数据的报告和图形表示。该数据可以包括植物健康、作物健康、作物产量、单个植物健康和生长以及各种其他数据。
现在参考图7和8的流程图描述根据本发明实施例的方法。图7示出了根据本发明实施例的流程图，其描述了用于扫描活体植物的方法的步骤，通常由数字601表示。具体地，用于扫描的方法601可以识别活体植物的特征，例如有机特征，其中被认为是有机的特征如上所述。在本发明的一些实施例中，软件算法可以改进噪声抑制、双重计数分辨率和作物尺寸/分布估计。此外，算法可用于通过绘制田地来指示哪些作物需要更多或更少的水/肥料。
在第一步骤602，产生穿透辐射束。应理解，在本发明的任何实施例的范围内，可以对源进行时间调制。在过程604，所产生的光束扫描过活体植物。在过程606，使用至少一个散射检测器来执行康普顿散射的检测。在本发明的一些实施例中，使用多个散射检测器125(如图2所示)或其他方式来执行检测，使得一个信号优先记录高能散射，而第二信号优先记录低能散射。高能散射和低能是相对于彼此定义的术语，并且在本文中用于表示通过改变入射X射线的能量分布或者通过检测到的散射的能量分辨率来提供能量分辨率，所有这些都是根据已知的多能量技术。在采用能量分辨率的情况下，在过程608计算来自低能散射检测的反向散射信号与高能散射检测的比率。该计算在美国专利号8442186中进一步解释，该专利在此引入作为参考。应当理解，这里使用的术语“比率”包括加权或校正比率、对数差等。一旦计算出低能量与高能量散射信号的比率，就将其与阈值进行比较，以确定活体植物的特征(608)。
在本发明的优选实施例中，在图像中逐像素地将不同能谱的检测之间的比率R与指定的阈值进行比较，允许对图像中的每个像素进行确定。然而，在用于植物检查的实际系统中，由于在单个像素的积分时间内可以检测到的散射光子的数量有限，X射线强度通常不足以允许以所需的精度计算单个像素的R值。为此，可以分析由许多像素构成的图像的子区域，例如10×10区域，并且根据来自该子区域中所有像素的总的反向散射信号计算R的值。
在本发明的其他实施例中，软件算法可以用于尺寸估计、处理和消除重复计数，以及确定3D中的作物位置。在一些实施例中，尺寸估计算法用于确定扫描图像中的特征。
在一些实施例中，软件算法可以用于尺寸估计。反向散射X射线在图像中产生高对比度、孤立的散射特征。利用已知的孔径响应函数，可以使用软件算法对果实大小进行去卷积。利用去卷积的图像，可以估计果实的大小。
此外，算法可用于拒绝不紧凑和孤立的特征。这些特征可能包括树枝、茎或叶。在进一步的实施例中，图像处理软件可以与位置数据相结合，以利用来自一行两侧扫描的数据来消除重复计数。实施例还可以使用3D重建算法，使用X射线照射的传输工具和多角度视图的位置和方向信息。
在本发明的其他实施例中，通过监测植物树干中的含水量来确定植物健康。通过改变反向散射源的能量水平，可以在形成层中的树皮下方看到植物的含水量。通过树与树之间的比较，成像处理算法可以计算出哪棵树的水分较少，哪棵树是健康的。类似地，根据本发明的实施例，使用更高的能量并将扫描指向根系，反向散射可以穿透不太致密的土壤以确定一些根结构。扫描还可以确定土壤是否足够潮湿，适合植物生长。土壤越不密实，反向散射信号就能穿透得越深，以便更好地检查根系。
此外，在其他实施例中，算法可用于跟踪根结构和整体植物健康。对于像草莓这样的植物，根系靠近地表，因为根比土壤含有更多的水分，所以根很突出，可以类似地映射到树枝。在某些实施例中，测量根的长度和厚度，并与植物成熟度的历史参考值进行比较，从而确定植物的健康状况。
本发明的其他实施例可以扫描土壤含水量。在一些实施例中，该算法可以具有湿和干土壤样本的局部邻近地区的相对于含水量的历史参考水平。从土壤扫描的图像中，可以监测含水量信号水平，以确定地面对于植物来说是否足够湿润。
在精准农业行业中，随着植物的生长，确定作物的健康状况非常重要。根据一些实施例，为了帮助作物健康，可以沿着发育过程进行反向散射扫描。
在一些实施例中，扫描可以在出芽后使用。对于苹果和柑橘作物，后出芽通常发生在果实直径只有几毫米的时候。在这一阶段，如果果实有病(太小或形状不规则)或果实聚类，可将其剔除。如果果实聚类，可以剔除以减少聚类中的果实数量，从而防止果实在生长后期受损。在一些实施例中，在出芽后阶段的扫描可用于确定果实计数和定位聚类。
扫描可以定位果实聚类，也可以计数新出现的果实。在较小的植物中，可以扫描根结构来确定植物的适当发育。图像处理程序可以确定根部是否足够强壮和发达以使果实成熟。
在其他实施例中，可以在生长中期使用扫描。出芽后不久，树倾向于挑选果实作为自己的适者生存。在这个自我剔除过程之后，树通常会保留剩余的果实直到成熟。当果实在30到40毫米之间时扫描作物，比如苹果或柑橘，将为种植者提供成熟时的准确产量估计。在这个扫描阶段，种植者可以准确了解在挑选阶段损失了多少果实。
在其他实施例中，扫描用于确定作物健康。由于果实主要由水构成，具有很强的反向散射信号，因此可以在果实生长过程中监测作物的健康状况。此外，树枝结构可以作为确定树健康的另一种机制来监测。通过将能量从较高能量(例如>100KeV)改变到较低能量(例如50KeV),可以评估树冠，因为在其他实施例中，较软的X射线可以导致更多的信号返回到叶子。此外，在进一步实施例中，通过将反向散射与光学成像融合并使用信号处理，可以从含水量(用反向散射X射线扫描)和光学角度更精确地评估树冠，以确定颜色和大小。
在某些实施例中，还可以使用反向散射扫描来确定作物的成熟度。就在成熟之前(例如采摘前几周)，反向散射扫描可以获得实际作物产量，包括可以计算的数量和大小，因此种植者可以确定采摘所需的劳动力(或通过反向散射自动化)、所需的包装材料量、确定市场价格，并且可以在采摘前知道利润和损失。
随着果实成熟，果实的含水量显著增加，可达到果实体积的85％-90％。这种过量的水允许反向散射返回的信号给出果实的更精确的表示。有了这些更新的信息，可以更准确地确定尺寸、形状和计数，从而为种植者提供非常准确的作物产量信息(例如作物产量)。
这一产量信息使种植者能够准确地计划和确定采摘果实所需的劳动力、所需的包装材料、设定市场价格以及利润和损失。
本发明的实施例还可以有利地用于疾病检测。疾病是种植者的主要问题，因为它降低了作物的总体利润。疾病也可以指寄生虫或昆虫的损害/感染。通过对作物进行多个季节内的反向散射扫描，健康的植物将在果实和树枝中有足够的水分。通过改变能量水平，还可以检查树冠的含水量。在某些实施例中，可以发现一些幼虫和昆虫，但它们需要足够大的尺寸和密度以便反向散射拾取。
本发明的实施例还可以用于监测和跟踪植物发育和健康。这可以包括但不限于树枝结构和绘图、树叶绘图、根绘图和树干结构。
在本发明的某些实施例中，通过使用反向散射扫描，图像处理可以绘制一季中和一年中的树枝生长结构。这是植物健康的很好指标，因为树枝通常在季节中以不同的速度生长，这取决于植物/树的品种。了解年复一年的生长情况可以为种植者提供有价值的信息，以确定植物/树木是否需要更换，或者植物是否需要更多或更少的肥料和/或水。
随着植物在季节期间成熟，树冠开始变薄，并且通常在季节发展的早期树冠变厚，并且在大约季节中期树冠可能变满。在该季节期间，在某些实施例中，可以通过反向散射扫描来绘制树叶，以确保树冠生长正常。可以将植物树冠与邻近的植物以及田地中的其他植物进行比较，以确定可能是植物疾病、昆虫、寄生虫、浇水问题或肥料问题导致的任何模式。反向散射图像可以针对叶片大小和含水量(信号返回幅度)进行处理。
植物根系对植物健康至关重要。在一些实施例中，通过使用高能(例如>140Kev),扫描仪可以扫描诸如草莓的植物周围的地面，并获得近表面根结构的图像。根富含水分，会很突出。通过处理图像并向种植者提供根信息，种植者则可以决定是否需要在生长早期替换植物，以便植物仍有时间结果。如果没有本发明的实施例，种植者可能不得不等到生长季节的后期才确定根健康状况，这时注意到植物生长受阻可能为时已晚。
植物树干的内部包含心材，它是以前木质部生长的死亡物质，不包含在植物中运输的水。根据某些实施例，因为心材和木质部中的水含量和密度不同，所以树干的成像可以区分这两层。心材和木质部中的反向散射信号的尺寸和相对强度可以用作树健康的量度。
本发明的实施例可以用于检测地面水和水吸收。在本发明的某些实施例中，X射线反向散射信号由土壤中的含水量调制。反向散射信号也可能被土壤衰减，使系统无法检测深度超过>3-4英寸的水含量。根据某些实施例，X射线反向散射信号的深度灵敏度将取决于土壤成分和密度。反向散射成像系统可以绘制出土壤中含水量的相对变化。含水量低的土壤会有微弱的反向散射信号，表明该地区是干燥的。测量含水量的一个示例方法如下：对具有不同湿度条件的土壤进行参考样本扫描。参考扫描可用于构建反向散射信号和水含量的相关或查找表。在土壤成分保持不变的情况下，参考扫描可用于计量相对含水量。
此外，根据某些实施例，X射线反向散射信号可以用作植物含水量的度量。例如，可以用反向散射X射线系统对植物的树干和树枝进行成像，以确定植物是否接收了足够的水，并且还指示阻止吸收水的疾病状况。树的水分运输发生在树干外径的边材或木质部。相对散射强度和木质部尺寸的下降可能表明水分不足或疾病。对于像西红柿这样的小植物，整个茎运输水分。对于更健康的植物来说，这种信号水平将高于没有通过树干接收同样多的水的植物。
在其他实施例中，可以使用算法来跟踪树干和树枝含水量。在一些实施例中，该算法可以分段和检测植物的树枝和树干系统。然后，该算法可以检查树干的两侧，并确定边缘的亮度，以计算出与树干中心部分相比的含水量。在一些实施例中，算法和扫描仪可以工作来跟踪树干的周围木质部相对于含水量的一致性。根据本发明的一些实施例，由于树干图像的中心的木质部横截面可能比图像边缘处的木质部横截面更薄，在图像边缘处，由于树干的弯曲，木质部的深度更深，因此边缘在信号返回中可能更亮。这将指示树干的湿度水平。通过具有潮湿和不潮湿的参考树干图像，可以进行比较以确定树干的健康状况。
图8描绘了根据本发明实施例的第二流程图701，其具有用于引导机器人运动的方法的步骤。这是与图3所示的过程类似的过程的流程图，除了在这种情况下，该方法使用经处理的散射信号来引导机器人的抓取器抓取活体植物710。产生(602)穿透辐射束并扫描(604)活体植物。检测(606)来自活体植物的康普顿散射，并且处理(608)所得到的散射信号，以导出活体植物的特征，并且可能与从其他感测模态导出的输入相结合，用于引导机器人的抓取器抓取植物或其一部分。
图11提供了表格，其列出了可以应用反向散射成像的特色作物的示例性类型。植物的高度和宽度用于估计所需的成像条件。参考功率是源中消耗的功率，即流向目标的电子流(mA)乘以目标电势(kV)的乘积。
苹果树或柑橘树的果实既可以作为一个果实生长，也可以在一个小区域内生长成两个或更多果实的聚类。通常聚类会导致计数不准确，最糟糕的情况会损坏果实，因此它们不能在成熟时出售。在使用反向散射技术的早期阶段，在一些实施例中，种植者可以准确地定位这些聚类并修剪或剔除它们，从而可以收获成熟的果实。在一些实施例中，可以通过在立体模式下使用两个同步反向散射源对树进行两次正交扫描来精确定位。根据一些实施例，为了使用两个正交源并获得正确的成像，源扫描是交错的，因此当一个源发射X射线时，另一个源不发射。例如，在美国专利号7400701(Cason的“Backscatter InspectionPortal”)中描述了X射线源交错技术，该专利通过引用结合于此。在一些实施例中，每条扫描线使用笔形束源产生一条图像线。为了产生扫描笔形束，在某些实施例中使用预准直器和斩波轮。根据某些实施例，每个斩波轮具有被称为轮辐的多个狭缝，并且每个轮辐产生一行图像数据。通过图像处理，这允许每个系统收集每个源数据上每棵树的时间和空间同步数据。这允许更准确地定位果实，并且还允许系统通过用户界面和数据库向操作者指示聚类位于何处。在某些实施例中，机器人采摘系统可被准确地告知聚类在哪里，然后机械采摘臂可以通过闭环控制系统采摘不需要的果实。
在某些实施例中，对于像葡萄那样成聚类生长的果实，反向散射系统可以获得体积信息，以允许种植者确定作物的体积，而不仅仅是单独果实计数。这些信息可以帮助种植者了解作物产量，更好地计划采摘、包装和确定市场价格。
根据某些实施例，由扫描系统产生的反向散射图像返回的果实尺寸与示出器上的信号强度和果实图像的尺寸成比例。假设果实是对称的，通过图像处理可以确定几何形状和大小，并由此确定体积。在某些实施例中，该软件还可以跟踪特定植物、作物位置和度量的逐年累计。
当果实成熟时，它含有大量的水，允许向扫描系统发出强散射信号。在图像中，散射信号示出为明亮的球体。树枝变得更暗，树冠层的回波是无关紧要的信号回波。使用图像处理，树干和树枝可被分段出来，所以只有果实保留下来。从这个图像中，可以收集和存储果实的大小、体积和计数，以便向种植者报告统计数据。
在一些实施例中，为了检测和定位果实，需要图像处理。在某些实施例中，算法可以接收未成熟果实的图像，以通过使用各种分段方法来移除树枝和树叶来确定果实健康和果实聚类。诸如细胞映射算法的算法可用于跟踪和分段出果实。在一些实施例中，该算法可以集中在作为果实的明亮圆形球体上。可以监测尺寸的圆度，并确定尺寸以确保果实彼此相差在20％以内。该算法还可以记录哪些果实和成聚类果实的位置。该算法可以进一步报告所有问题，例如超出尺寸要求的果实、畸形果实和聚类果实。
在一些实施例中，算法也可以用于树冠检测。在一些实施例中，树冠检测算法将使用双能量方法将树冠从植物的其他部分拉出。叶片返回水平(液体含量)、大小和形状将随树冠的密度而定。此外，在一些实施例中，视觉相机可用于辅助叶片的大小、形状和颜色。
本发明的实施例也可以用于机器人引导710(如图8所示)。这可能包括2D或3D中的初始目标映射、闭环反馈引导和机器人收割。闭环反馈引导可以包括振荡光束引导和图像引导。
迄今为止，特色作物机器人收割的两个关键挑战包括引导以及目标作物的无损抓取。由于植物叶子产生的视觉混乱，视觉引导方法是无效的。对于与背景树叶颜色相同的作物，视觉瞄准尤其具有挑战性。因为特色作物是直接卖给顾客的，机器人收割不会碰伤或损坏果实。过去曾使用过摇晃树木的方法，但会导致瘀伤。用于操纵器控制的作物成像的光学方法受到来自树叶的障碍物的限制。
在本发明的实施例中，反向散射成像用于改善引导和操纵器控制。首先，可以生成完整植物的初始2D图像，以生成用于收获的目标图。在某些实施例中，可以类似于断层摄影的方式使用来自多个视图的成像来生成作物的3D图。利用每株植物上作物的2D或3D坐标，该系统可以规划有效运动以收获作物的轨迹。接下来，在本发明的某些实施例中，可以使用闭环反馈系统来产生对目标作物的快速引导。最后，可以使用反向散射成像系统来引导末端执行器抓取果实进行收获。使用反向散射信号进行轨迹规划和最终引导的本发明的实施例不会因树叶产生的杂波而失真。与视觉图像的分析相比，反向散射图像的数据分析可被简化。此外，本发明的实施例可以不受环境变化的影响，并且可以在白天或夜晚照明、可变温度条件、雾或雨的情况下工作。由树叶上的水分产生的反向散射信号可以增加来自树叶的散射的均匀背景，但不会阻止反向散射图像的产生。
本发明的实施例可以用于初始目标映射，特别是2D或3D位置检测。典型的作物比如苹果、桔子、草莓都是以孤立果实出现的。结果，它们表现为反向散射信号的单个孤立点发射器。在这种情况下，根据本发明的某些实施例，可以在收割之前或收割期间，通过使用在与植物相关的各个角度拍摄的多个反向散射成像来生成作物的3D地图。如前所述，可以通过将两个或更多个扫描仪安装在启用了跟踪系统的车辆上来生成3D地图。然后，单个植物或树的作物的空间坐标可用于生成机器人收割的目标地图。
根据某些实施例，初始图像数据可以用于避免树枝。车辆还可以包括用于机器人操纵适于收割作物的末端执行器的装置。定制的末端执行器可以根据需要收割的每种作物的形状和大小进行定制。可选地，本发明的实施例可以包括相对于作物以不同角度安装的两个或更多个反向散射成像系统。在本发明的某些实施例中，反向散射成像系统可以处于不同的角度，视图之间至少为45度，优选为90度，以便生成作物的3D透视图。
本发明的实施例还可以提供闭环反馈引导，包括图像引导。在某些实施例中，在生成目标坐标之后，系统可以使用闭环反馈控制系统，其使用两种方法中的一种，以便将操纵器定位在果实附近。本发明的一些实施例采用的一种方法可以利用作物的快速2D或3D成像。机器人收割系统可用于从多个视图中的一个创建植物的快速局部反向散射图像。
本发明的实施例还可以使用振荡光束引导，以使用3D位置信息将机器人操纵器移动到目标附近。在一些实施例中，当臂接近目标时，它可以在闭环反馈系统中被引导。为了快速准确地最终引导至特定的选定目标，产生和处理图像所需的时间将是重要的。机器人臂可以配备具有笔形束准直或扇形束准直的X射线源。
在本发明的一些实施例中，输出光束将撞击目标并产生反向散射信号。通过改变准直的位置或角度，可以在所示的运动中振荡光束的位置，以产生随时间变化的反向散射信号。该位置可以在一个或多个维度上变化。由振荡输入光束产生的信号幅度与光束在目标上的位置相关。
在一些实施例中，为了保持对目标的最佳接近，当运输工具108(图2所示)接近目标时，通过服务于运输工具108的位置和方向，反向散射信号幅度被主动保持在最大值。在一些实施例中，通过将信号保持在最大幅度，机器人操纵器将沿直线接近目标。基于图像的以及静态笔形束数据可以基于机器人运动的速度和与目标的接近度结合使用。根据本发明的某些实施例，当采摘臂移近待采摘的果实时，它可以不断更新位置，并向采摘臂提供关于采摘臂位置和果实位置的新控制数据。
在一些实施例中，当臂非常接近果实(几乎接触)时，反向散射图像可以用于控制抓取器运动。基于反向散射数据中的果实的形状、大小和方向，它可以打开采摘机构来包围果实。一旦果实被采摘，机器人可以轻轻地将果实放入容器中，以免损坏果实。诸如声音或IR范围传感器之类的感测机构可以告诉机器人果实在容器中有多深，以便它可被轻轻地放入，而不会掉落并撞到其他果实。
在一些实施例中，利用3D坐标映射，系统可以适于选择性地仅收获植物最靠近机器人的一侧，以防止由操纵器穿过植物造成的植物损坏。这是基于确定植物中央茎干的位置，并且仅收获相对于机器人的距离比在每个特定高度到中央茎干的距离短的产品来实现的。使用3D坐标映射，可以有利地连续收割植物，而不会中断。该系统可以有利地能够连续操作，一周7天一天24小时扫描，有利地只需要很少的操作员干预或监督。摄像机可以有利地位于机器人上，以允许操作者监测进度，并在遇到问题时进行干预。
图9示出了使用扇形束照射的扇形束扫描设备，通常由数字901表示，用于加速获取产量估计和其他作物表征。在本发明的一些实施例中，反向散射成像的速度可能受到笔形束准直发射的通量的限制。在某些实施例中，为了增加照射物体的通量，反向散射成像系统可以有利地使用扇形束照射。在一些实施例中，扫描设备901可以估计田地中作物112的总体积。在某些实施例中，照射扇形束910有利地定位在竖直方向上，并扫描被检查的物体。沿着照射线(它是扇形束的横截面)的X射线反向散射总量被立即检测到，并产生散射信号。根据某些实施例，从扫描得到的数据可以是沿着运输工具108的路径的总反向散射位置对信号的1D曲线。
图10示出了曲线1001，其表示使用来自扫描过程的体积信息来量化果实。通过对曲线1001下的面积1005进行积分并将其与用于检测果实112的可调阈值1010(如图2所示)进行比较，可以从反向散射信号对位置的1D曲线1001中推断出体积信息。根据某些实施例，从面积1005得出的体积可以与果实的总质量相关。在某些实施例中，可调阈值1010可以有利地拒绝诸如树干、树冠和树枝信号之类的物体。
在实施例中，本说明书提供了一种用于定量测量位于至少一个植物、树枝和/或藤蔓上的诸如悬挂果实的作物的一部分的重量的方法。虽然这里描述的实施例是参考悬挂的果实，但应该注意的是，本说明书不限于这样的实施例，并且可以使用这里提供的方法对任何作物进行称重。在实施例中，诸如上述的反向散射X射线扫描系统可用于扫描植物或其任何部分，诸如树枝和/或藤蔓，以获得扫描图像，扫描图像可被分析以确定在植物、树枝和/或藤蔓的田地中悬挂的果实的重量。在各种实施例中，从悬挂的果实产生的反向散射信号与果实的质量以及果实离扫描系统的距离成比例。由入射X射线照射的果实产生的反向散射信号大约与果实离扫描系统的距离的平方成比例。在实施例中，反向散射信号强度在被成像的果实上被积分，作为果实总质量的测量值。在实施例中，可以通过使用本说明书的方法来估计果实的重量，例如但不限于葡萄、浆果、柑橘、苹果、甜瓜和西红柿。在实施例中，本说明书的方法可用于确定任何棚架果实或藤蔓果实的重量，其可在两侧被扫描。在实施例中，本说明书的方法可用于确定任何非棚架果实或藤蔓果实的重量，其可在两侧被扫描。
下面的描述可互换地描述了用于收集作物数据的方法和用于分析数据的图像处理任务，所述图像处理任务由与一个或多个X射线扫描仪耦合的控制器执行，所述X射线扫描仪用于通过用来自多个方向的X射线照射所述作物并获得扫描图像来收集作物数据。
在各种实施例中，控制器是包括输入/输出单元、至少一个通信接口和系统存储器的计算设备。系统存储器包括至少一个随机存取存储器(RAM)和至少一个只读存储器(ROM)。这些元件与中央处理单元(CPU)通信，以实现控制器的操作。在各种实施例中，控制器可以是传统的独立计算机，或者可替代地，控制器的功能可以分布在多个计算机系统和架构的网络上。
在一些实施例中，用于作物的一部分的重量的定量测量的多个程序指令序列的执行使得控制器的CPU能够或促使其执行各种功能和过程，例如执行用于在屏幕上显示的断层图像重建。在替代实施例中，可以使用硬连线电路来代替或结合用于实现本申请中描述的系统和方法的过程的软件指令。因此，所描述的系统和方法不限于硬件和软件的任何特定组合。
在实施例中，本说明书提供了一种通过同时使用两个X射线扫描仪从作物的两个不同侧面扫描植物、树枝、藤蔓和/或果实来执行双视图数据采集的方法。在另一实施例中，双视图数据采集可以通过使用单个X射线扫描仪在两个不同侧上扫描果实来执行，该单个X射线扫描仪被操作来采集多个扫描。更具体地，X射线扫描仪位于田地的结果区域(果实正在生长或预期生长的作物区域)之外，在一行植物的相对侧。在实施例中，来自每个视点(X射线扫描仪位置)的扫描数据通过使用位置传感器或辅助摄像机视图来配准。由于悬挂的果实产生的反向散射信号与果实的质量以及果实与扫描系统的距离成比例，因此了解X射线扫描仪在任何给定时间的位置都是有用的。可以记录扫描仪的方向和位置，以保存X射线源相对于果实的相对照射角度和位置。在实施例中，一旦收集了果实的扫描图像，就可以通过使用像素或特征级别的距离归一化过程来分析所述图像。在实施例中，来自两个图像的相同像素可被比较并用于校正距离的变化。在另一实施例中，在执行特征水平距离校正的情况下，扫描的果实可以与强度相结合，然后进行距离校正。
在各种实施例中，通过使用图像分段来分析扫描的果实数据，以估计重量和预测田地中果实的产量。图12A是示出根据本说明书实施例的用于估计作物重量和预测作物产量的方法的流程图。在步骤1202，用X射线照射预定区域/块中的作物，并且收集至少一行植物的图像数据，所有图像在预定方向上翻转。在实施例中，作物是果实作物，包括具有生长在所述藤蔓上的果实的藤蔓，例如葡萄。将参照后续附图描述图12A。在实施例中，数据例如但不限于图像数据、GPS坐标数据、扫描速度数据和/或倾斜/测斜仪数据存储在原始数据文件中。
图12B是示出根据本说明书实施例的收集一行植物的图像数据的步骤的流程图。在步骤1242，从原始数据文件中提取图像数据。在步骤1244，从原始数据文件中提取被扫描的每个块的GPS坐标，包括所述块中植物行之间的距离。在步骤1246，创建每个块的示意图。在步骤1248，携带用于用X射线照射作物的扫描设备的车辆(例如但不限于拖拉机)的移动或运输被绘制在示意图上。在步骤1250，确定具有最接近从原始图像数据进行距离校正后获得的图像时间戳的时间戳的点的GPS坐标。更具体地，通过将一个或多个GPS坐标的至少一个时间戳与捕获示意地图上的点时的至少一个时间戳相关，来确定示意地图上的点的GPS坐标。
在实施例中，一旦收集了果实的扫描图像，就可以通过使用像素或特征水平的距离归一化过程来分析所述图像。在实施例中，来自两个图像的相同像素可被比较并用于校正距离的变化。在另一实施例中，在执行特征水平距离校正的情况下，扫描的果实可以与强度相结合，然后进行距离校正。在实施例中，特征水平距离校正允许改变以匹配所述图像的各个特征的配准和放大；而像素水平距离校正不允许所述图像的透视、配准或放大的变化。在实施例中，为了执行特征水平距离校正，从图像中分段出预定义特征，并且关于所述图像的驱动方向、配准和放大倍率来匹配分段特征，从而导致所述图像的逐像素距离校正。
在步骤1252，植物/藤蔓行沿着基于车辆运动方向的相应方向定位。在步骤1254，定位的植物/树枝/藤蔓行的图像在预定方向上翻转，以便在每个图像的行中获得相同/一致的植物/树枝/藤蔓序列。在步骤1256，通过使用预定义的归一化条来归一化每个图像。在实施例中，一片HDPE塑料(塑料构件)位于扫描仪视场的顶部，使得X射线扫描束撞击塑料片并产生用于每个图像的校准/归一化的信号。在实施例中，HDPE塑料构件可以是对比块，如图21A-21B所示并在下面描述。图12C示出了根据本说明书实施例的归一化之前和之后的图像数据的曲线。曲线1260和1262示出了在归一化之前和之后对应于图像的每个像素行的扫描图像的测量强度数据，其中执行所述归一化以校正相对于扫描器的源强度或检测器响应可能发生的任何变化。
返回参考图12A，在步骤1204，相对于每个收集的扫描图像执行对比度增强和去噪，以便实现更好的配准和分段。在实施例中，通过使用任何公知的对比度增强技术来处理图像以增强图像对比度。在实施例中，通过使用一种或多种已知的图像处理技术来执行图像的对比度增强，例如但不限于直方图均衡化，其中通过变换强度图像中的值来增强图像的对比度，使得输出图像的直方图近似匹配指定的直方图。在另一实施例中，可以采用对比度受限的自适应直方图均衡化技术，其中增强图像的小数据区域(区块)的对比度，使得每个输出区域的直方图近似匹配指定的直方图。可以限制对比度增强，以避免放大图像中可能存在的噪声。在实施例中，指定的直方图是完整图像中所有像素的最终数据直方图。
图13A示出了根据本说明书实施例的对比度增强前后的扫描图像。在用对比度增强算法处理扫描图像1302时，获得对比度增强的图像1304。从图像1304的一部分1308的分解图像1306可以看出，图像中的噪声也随着对比度水平的增强而增强。在实施例中，通过移除位于预定阈值以下的所有图像像素来消除对比度增强图像中的噪声。在实施例中，具有少于三个大于阈值的相邻像素的所有图像像素也被移除。在实施例中，去噪阈值被选择为包括图像中的相关特征，例如但不限于树叶、聚类和警戒线。
图13B示出了根据本说明书实施例的去噪前后的对比度增强图像。图像1310是对比度增强图像，其被去噪以获得图像1312。图13B中还示出了对比度增强和去噪之前的图像1314。在对图像1314应用对比度增强技术之后，获得对比度增强图像1316，其在去噪时产生图像1318。
返回参考图12A，在步骤1206，执行所有收集的扫描图像的全局配准。在实施例中，每个图像的全局配准是通过从第一图像中选择预定义部分并在第二图像中找到该部分的最佳相关性来执行的。在实施例中，最佳相关性是提供两幅图像之间的期望配准的位置，并且可以通过使用诸如但不限于最小二乘拟合的技术来获得。在实施例中，图像的水平缩放在全局配准过程中被校正。图14A示出了已经对其执行了全局配准的图像。在实施例中，图像1402的左部被选择并与通过翻转图像1402获得的第二图像相关。点或区域1404表示两个图像具有最好或最佳重叠的点或区域。该图示出了应用水平和竖直移位时两幅图像的配准质量。
在一些实施例中，不执行全局配准1106的步骤。图14B示出了根据本说明书实施例的示出全局配准结果的图像1410。在一些实施例中，全局配准在图像1410的中间区域1412中提供了期望的结果，然而，所述图像的边缘/侧面1414示出了偏移数据的累积。因此，在一些实施例中，执行本地配准的过程。在实施例中，同时对整行图像(包括多个植物、树枝和/或藤蔓)执行全局配准；而在分段后，对每个植物、树枝或藤蔓一次一个地进行局部配准。在实施例中，同时对整行图像(包括多个藤蔓)执行全局配准；而局部配准是在分段后一次一个地在每个藤蔓上执行的。因此，局部配准更准确，因为它允许速度变化，如图14B所示。
返回参考图12A，在步骤1208，从收集的扫描图像中切下单独的植物/树枝/藤蔓，并且丢弃所述植物/树枝/藤蔓的边缘以获得分割图像。在实施例中，例如在葡萄栽培领域中，例如，当单独收集地面真实藤蔓的数据时，执行分割。在实施例中，来自至少一行植物的个体植物/藤蔓/树枝通过使用诸如茎或干的特征来分离。例如，藤蔓可以通过每种植物的树干来识别。在实施例中，可以通过强制执行藤蔓之间的最小距离来消除假阳性。在实施例中，植物/树枝/藤蔓分割的已知方法，例如但不限于，识别像素的竖直列并对其应用各种可用的过滤器，没有产生期望的结果。这是由于多种原因，例如：图像中的杆和桩以及长的悬垂聚类被识别为树干，图像中倾斜的树干没有被识别，图像中丢失的藤蔓没有每次都被识别，以及图像中地面拓扑和竖直放大率的大变化。在各种实施例中，当植物之间的距离(例如但不限于藤蔓)大于或小于预定值时，对图像中的植物/树枝/藤蔓的起始点的人工识别、大量的人工检查和进行校正产生了期望的结果。在实施例中，期望结果的基准是植物/树枝/藤蔓之间的实际距离，该距离是从作物种植时(在示例中是藤蔓种植时)得知的。因此，测量或确定的植物/树枝/藤蔓之间的距离不能小于作物种植时的实际距离。因此，在葡萄栽培的情况下，测量或确定的藤蔓之间的距离不能小于藤蔓种植时的实际距离。图15A示出了根据本说明书的实施例的成功的藤蔓分割图像1510。图15B示出了根据本说明书的实施例的示出假阳性的藤蔓植物分割图像1520。
返回参考图12A，在步骤1210，执行所有分割图像的局部配准(并且在示例中是藤蔓分割图像的局部配准)。在实施例中，执行分割图像的局部配准，以便获得示出不同植物视图的图像对之间的精确对准。这是通过使用示出相对植物视图的图像实现距离校准，使用之前在开花前季节拍摄的相应图像减去警戒线，以及使用示出该季节早期植物视图的图像帮助聚类分段来实现的。所述减法从配准的图像中去除了由于警戒线引起的任何强烈背景。在各种实施例中，预定义的配准算法(包括用于图像移位和放大中的一个或多个的步骤)用于分割图像的所述局部配准，以便获得没有失真的结果。
图16A示出了根据本说明书实施例的在应用局部配准之后的分割图像(例如藤蔓分割图像)。图像1602示出了应用于收获前和收获后图像的局部配准。图像1604示出了应用于开花前和收获后图像的局部配准。图像1606示出了应用于果实集和收获后图像的局部配准。
在实施例中，不是配准成对的图像，而是修改所有图像使得它们是一致的，以便为执行数据分析创建一致的竖直缩放，从而提高图像配准过程的效率。在实施例中，使用“粗略注释”方法，其采用手动注释警戒线、主干、地面边界和水管，并且可以包括拉直警戒线、使用主干水平对准图像、使用拉直警戒线竖直对准图像以及通过保持警戒线和地面之间的距离恒定来竖直缩放图像。图16B示出了根据本说明书实施例的分割图像(例如藤蔓分割图像)上的粗略特征注释。图像1610示出了在应用粗略特征注释之前，识别出树干的藤蔓分割图像。图像1612示出了在应用粗略特征注释之后的相同藤蔓分割图像。图像1614示出了通过使用粗略特征注释配准的相同的藤蔓分割图像，其中已经识别了警戒线的高度。图16C示出了根据本说明书实施例的通过使用粗略特征注释来配准藤蔓分割图像。图像1616和1618展示了使警戒线变平的藤蔓的规则化。图16D示出了根据本说明书实施例的通过使用粗略特征注释的藤蔓分割图像的侧面的特写视图。图像1620和1622分别示出了从第一方向/侧和第二相反方向/侧的藤蔓聚类的特写视图。
返回参考图12A，在步骤1212，确定用于处理每个分割图像的聚类处理技术。在步骤1214，对预定义的一组配准的分割图像执行聚类分段函数。在实施例中，对预定义的一组配准的分割图像执行经典的聚类分段函数。在替代实施例中，对预定义的一组配准的分割图像执行深度学习聚类分段函数。在实施例中，使用基于一组预定义规则的经典聚类分段算法来处理预定义的一组配准的分割图像。在实施例中，分割图像被聚类，以便能够进行基于聚类的数据分析，并且还训练神经网络在数据分析期间识别聚类。在实施例中，在预定距离内的至少一个植物聚类被识别和注释。在实施例中，在预定距离内的至少一个藤蔓聚类被识别和注释。
在实施例中，当使用深度学习聚类分段函数时，识别和注释由深度学习算法来执行，该算法被训练来识别手动选择的聚类中的期望特征。图17A示出了根据本说明书实施例的聚类注释图像。使用聚类分段函数处理图像1710，以产生聚类注释图像1720。图像1720中所示的不同阴影表示各种手动注释。
在实施例中，通过使用“粗略分段分析”方法来处理分割图像(例如藤蔓分割图像),在该方法中，使用粗略分段网络来执行图像的粗略分段分析。图17B示出了根据本说明书实施例的粗略分段网络。图像1730是田地中藤蔓的输入扫描图像，而图像1732描绘了包括预定义多类分段的期望输出图像。在实施例中，分段类别的示例包括柱子、警戒接地线、管道和背景。图像1734描绘了应用于图像1730的分段类别。图17C示出了表示当在50个收获前数据藤蔓图像上执行训练时粗略分段网络中每个时期的训练损失的图表。图17D示出了表示当对具有5个验证集的50个收获前数据藤蔓图像执行训练时粗略分段网络中每个时期的验证损失的图表。在各种实施例中，粗略分段识别果实藤蔓田地的主要特征，例如但不限于：地面、树干、警戒线和/或水管。图17C和17D中描绘的图证明了本说明书的方法允许识别这些特征。
回头参考图12A，在步骤1218，使用距离校准来处理聚类的图像。在步骤1220，确定作物的重量估计和产量预测。在实施例中，聚类图像的单个像素强度是从两侧对作物特征的扫描中测量的。图17E是示出了根据本说明书实施例的应用于通过从两个相对侧扫描物体而获得的图像的距离校准的框图。如图所示，第一X射线系统1750从第一侧扫描作物聚类1752，而第二X射线系统1754从第二相对侧扫描作物聚类1752。扫描系统1750、1754距作物聚类1752的中心的距离是相同的，并且在图17E中标记为“L”。第一扫描系统1750离聚类1752的第一侧1756的距离在图中标记为“d”。在通过使用从两侧扫描聚类1752来测量聚类图像的各个像素强度之后，基于从第一侧测量的强度I1和从第二侧测量的强度I2的比率来应用校正。在实施例中：
I1＝I0/(d/L)2 (1)
I2＝I0/((2L–d)/L)2 (2)
在实施例中，当I1>I2时，距离校正因子‘C’被确定为：
其中，“R”代表强度比且等于I1/I2。
图17F示出了根据本说明书实施例的校正因子C相对于强度比的曲线。从图17F中可以看出，校正因子C的曲线1758随着强度比的增加而减小。
在实施例中，通过确定在预定时间段内由果实反向散射的X射线信号的变化来实现对悬挂在田地中的藤蔓上的果实重量的估计，所述预定时间段例如是任何给定作物的任何给定年份的开花前季节(即从4月下旬)到收获季节(即10月下旬)。基于时间的作物图像比较能够实现作物产量预测。在早期季节(收获前)，准确测量生长在植物/树枝/藤蔓上的果实/蔬菜的质量(通常称为悬挂重量)可以预测收获产量。在各种实施例中，通过使用早期季节悬挂重量以及生长率的测量来进行产量估计。
图18A是根据本说明书实施例的从开花前季节(即四月下旬)到收获季节(即十月下旬)的果实照片以及相应的果实X射线反向散射图像。照片1802示出了在四月下旬拍摄的果实聚类的开花前视图；照片1804示出了五月下旬的果实聚类，而照片1806示出了四周后的果实聚类；照片1808示出了7月下旬的果实聚类；照片1810示出了10月下旬接近收获时间的果实聚类。相应的反向散射X射线扫描图像示出在图18B中，其中图像1812对应于照片1810中示出的果实聚类；图像1814对应于照片1808中所示的果实聚类；图像1816对应于照片1806中所示的果实聚类；图像1818对应于照片1804中所示的果实聚类；图像1820对应于照片1802中所示的果实聚类。在实施例中，图像和相应的果实聚类之间的示例性相关性范围从扫描图像1812和照片1810中所示的果实聚类之间的80％到扫描图像1818和照片1804中所示的果实聚类之间的64％。
图18C是根据本说明书实施例的在预定时间段内跟踪单个藤蔓的重量以及相应的扫描图像相关性的表格。表格1830包括用于记录日期的列1832，在该日期获得果实藤蔓/聚类的重量和扫描图像；列1834，用于记录果实藤蔓/聚类的收获阶段；列1836，用于记录果实藤蔓/聚类的相应平均重量；以及列1838，用于记录与果实藤蔓/聚类的相应扫描图像相关性。从表格1830中可以观察到，从5月到7月，果实藤蔓/聚类的重量增加，之后重量几乎没有变化，直到11月收获。此外，在5月和11月的最终收获之间，保持相应的扫描图像和果实藤蔓/聚类之间的相关性。图18D示出了根据本说明书实施例的在从5月到10月的时间段内对应于多棵果实藤蔓的藤蔓重量对扫描数据的曲线。图18E示出了根据本说明书实施例的对应于图18D中所示的曲线的藤蔓重量对扫描数据的归一化曲线。
本领域普通技术人员应理解，在一些实施例中，对应于作物的X射线扫描图像的数据，例如但不限于降水、一年中的时间、温度、地理坐标、风速和日照，被存储在与控制器耦合的数据库中，并且通过采用处理技术，比如(例如)人工智能和大数据分析，被用于确定悬挂果实的重量和/或一年中不同时间/月份的作物产量的持续预测。
在实施例中，反向散射信号随着被扫描的果实的聚类大小的增加而增加。图19A是示出根据本说明书实施例的散射强度和聚类大小之间的关系的图。如图像1910所示，曲线1912描绘了随着在x轴1916上绘制的被扫描的果实聚类的厚度的增加，在y轴1914上绘制的散射强度的增加。
在实施例中，反向散射信号随着X射线扫描仪和被扫描的果实聚类之间距离的增加而减小。图19B是示出根据本说明书实施例的散射信号与扫描仪和果实之间的距离之间的关系的图。如在图像1920中所见，曲线1922描绘了随着X-射线扫描仪和被扫描的果实聚类之间的距离的增加，在y-轴1924上绘制的散射信号强度的降低，在x轴1926上绘制。在图像1920中可以看出，当扫描最远距离的果实聚类时，散射信号强度下降到最大强度的约10％,该最远距离离扫描仪约3英尺。据观察，距离扫描仪的距离以及被扫描的果实聚类大小给反向散射信号增加了噪声。在各种实施例中，假设果实聚类大小在被扫描的区域中随机分布，平均聚类大小能够消除反向散射信号中由于扫描仪和聚类之间的距离增加而产生的噪声。在各种实施例中，对应于作物聚类的收获产量数据基于来自该聚类的反向散射信号的总强度。在实施例中，相对于所述反向散射强度绘制的收获产量数据随着作物而变化，因为果实聚类的成分随着作物而变化，当X射线被水反向散射时，反向散射信号强度与果实中的其他物质相比是不同的。
在实施例中，由于反向散射信号强度随着扫描仪和果实之间距离的增加而降低，并且信号强度与果实重量没有很强的相关性，所以在预定数量的地面真实藤蔓上使用与果实重量具有改善的相关性的替代图像特征。在实施例中，一行藤蔓包括约120根藤蔓。地面真实藤蔓是在预定的时间段内被监测的藤蔓，并且这些藤蔓在收获和称重之前和之后被成像。在实施例中，区域分析方法用于提供特征尺寸、数字形状和方向。图20A示出了根据本说明书实施例的区域分析方法。在如图20A所示的实施例中，图像2010是在地面真实收获之前获取的；图像2012是在地面真实收获之后获取的；图像2014是在对图像2012和图像2010执行图像归一化，然后从归一化图像2010中减去归一化图像2012之后获得的；图像2016描绘了阈值特征，而图像2018描绘了对诸如但不限于面积、周长、方向、强度和数量的特征的感兴趣区域分析的结果。
图20B示出了根据本说明书实施例的在所应用的校正因子的不同值下，y轴2020上绘制的地面事实聚类重量和x轴2021上绘制的X射线反向散射强度之间的相关性的曲线图。可以看出，曲线2022在校正因子“R”＝0.8048时表现出最佳相关性。曲线2204在校正因子“R”＝0.5668时表现出最差相关性，而曲线2206在校正因子“R”＝0.4353时表现出中等相关性。在各种实施例中，涉及以下步骤的处理变化产生少于期望的相关结果，所述步骤例如但不限于：开花前图像减法、对应于给定放大因子的强度校正、使用简单的内插从下方和上方填充警戒线区域、将像素行乘以基于距警戒线的距离的因子以及将每个像素的强度提高到幂。
图21A示出了根据本说明书实施例的用于扫描作物以预测悬挂果实重量的扫描系统。在一些实施例中，观察到当使用诸如图21A所示的扫描系统2102时，信号强度发生约20％的变化。因为X射线扫描系统的性能随着操作温度的变化而变化，所以在实施例中，在扫描系统2102的区域2104中插入对比块，因为对比块能够随着X射线扫描系统的温度校正X射线束输出强度和探测器灵敏度。图21B示出了根据本说明书实施例的在图21A的扫描系统中采用的对比块。在实施例中，对比块2106是塑料(HDPE)块，其被插入扫描系统2102的视场中。图22C示出了根据本说明书实施例的通过使用对比块获得的扫描图像。图21D示出了根据本说明书实施例的表示相对于一天中的不同时间跨视场的对比块区域的强度变化的图。
在各种实施例中，本说明书提供了一种准确评估生长在植物/树枝/藤蔓上的果实/蔬菜的质量的方法，该质量通常被称为悬挂重量。图22是示出根据本说明书实施例的用于确定植物/树枝/藤蔓上的果实/蔬菜的悬挂重量的方法的流程图。
在步骤2202，获得包括果实/蔬菜聚类的植物/树枝/藤蔓的至少两个X射线扫描图像。在实施例中，所述图像从至少两个相对的侧/方向获得，如图17E所示。在实施例中，本说明书提供了通过使用两个X射线扫描仪同时扫描聚类来执行双视图数据采集的方法。在另一实施例中，双视图数据采集可以通过使用具有多次采集的单个X射线扫描仪扫描聚类来执行。
在实施例中，两个获得的扫描图像彼此偏移90至270度的角度，这可以通过从第一侧或平面拍摄第一图像和从第二侧或平面拍摄第二图像来实现。在实施例中，所述图像之间的优选偏移是180度，使得拍摄图像的侧面基本彼此平行。
在步骤2204，两个图像被配准，这包括结合/匹配所述图像。在实施例中，通过相对于一个图像翻转和平移另一个图像来配准两个图像，如上面参考图12A所述。在本说明书中描述的图像配准方法是在两个获得的图像彼此平行的假设下执行的。在所获得的对应于聚类两侧的扫描图像彼此不平行的实施例中，可以采用各种不同的配准方法来正确匹配图像。
在步骤2206，针对诸如对比度或比例的一个或多个预定义参数来校正匹配的图像。传统的反向散射X射线扫描应用被用于检测隐藏的威胁元素，例如但不限于枪支和其他武器。在这种情况下，扫描图像需要足够清晰以近似所述武器的形状。然而，在本说明书中，扫描图像需要比常规应用更清晰，因为聚类的悬挂重量的精确计算取决于所述图像的清晰度。因此，至少针对对比度、亮度、强度和比例来校正配准的图像。在实施例中，对所述匹配的图像执行特征水平校正和距离校正，如参考图12A和12B所述。
在步骤2208，通过识别图像中的所述聚类并逐个像素地分析聚类的强度，计算校正图像中捕获的果实/蔬菜聚类的重量。在预定义的时间段内对分析的强度求和，并进行相关以获得重量。在实施例中，如参照图12A、18A-18D描述，通过确定在预定时间段内由聚类反向散射的X射线信号的变化来实现对果实/蔬菜聚类的重量的估计，所述预定时间段例如是从任何给定年份的4月下旬的开花前季节到10月下旬的收获季节。由于果实/蔬菜可能彼此重叠，使得难以确定体积，所以对成像的聚类进行体积估计通常会导致不准确的结果。因此，根据本说明书的方法，成像的果实/蔬菜聚类的质量/重量通过使用图像的像素强度来确定。
上述示例仅仅是本说明书的系统和方法的许多应用的说明。尽管本文仅描述了本说明书的多个实施例，但应当理解，在不脱离本说明书的精神或范围的情况下，本说明书可以许多其他具体形式来体现。因此，本示例和实施例被认为是说明性的而非限制性的，并且说明书可以在所附权利要求的范围内修改。

Claims (60)

1.一种用于估计作物重量的方法，其中，所述作物包括至少一行植物，并且其中，所述至少一行植物包括至少一个结果的藤蔓和/或树枝，所述方法包括：
用X射线从至少两侧照射作物的预定区域；
获得至少一行植物的扫描图像；
对每个收集的扫描图像执行对比度增强和去噪；
执行所有对比度增强的去噪图像的全局配准；
通过从所述图像中分离藤蔓和/或树枝来获得代表单独藤蔓和/或树枝的分割图像；
执行所获得的分割图像的局部配准；
对每个分割图像执行聚类分段函数；
使用距离校准处理所得的分段图像；以及
通过使用距离校准图像来估计作物的重量。
2.根据权利要求1所述的方法，其中，收集至少一行植物的扫描图像数据的步骤包括在相同的预定方向上翻转通过用X射线照射作物的预定区域产生的扫描图像。
3.根据权利要求1所述的方法，其中，从所述图像中分离藤蔓和/或树枝包括通过丢弃所述至少一行植物中的至少一个结果的藤蔓和/或树枝的边缘从所述图像中切下分离的藤蔓和/或树枝。
4.根据权利要求1所述的方法，其中，执行局部配准包括获得示出同一藤蔓和/或树枝的不同视图的图像对之间的对准。
5.根据权利要求1所述的方法，还包括使用所述距离校准图像预测作物产量。
6.根据权利要求1所述的方法，其中，获得至少一行植物的扫描图像包括：
从原始数据文件中提取图像数据；
创建每个预定义区域的示意图；
在示意图上绘制运载用于用X射线照射作物的扫描设备的车辆的运动；以及
通过将一个或多个GPS坐标的至少一个时间戳与捕获示意图上的点时的至少一个时间戳相关来确定示意图上的点的GPS坐标。
7.根据权利要求6所述的方法，还包括基于所述车辆的移动方向沿着相应的方向定位植物行，并且在预定义方向上翻转所定位的植物行，以在每个获得的扫描图像中获得一行中一致的植物序列。
8.根据权利要求6所述的方法，还包括通过使用预定义的归一化条来归一化每个获得的扫描图像。
9.根据权利要求6所述的方法，还包括扫描每个预定区域的GPS坐标，以获得所述区域中的植物行之间的距离。
10.根据权利要求1所述的方法，还包括识别和注释所述分段图像。
11.根据权利要求1所述的方法，还包括确定用于处理每个分割图像的聚类处理技术。
12.根据权利要求1所述的方法，还包括通过使用粗略聚类分段方法来处理所述分割图像。
13.根据权利要求1所述的方法，其中，所述聚类分段函数是经典聚类分段函数或深度学习聚类分段函数。
14.根据权利要求1所述的方法，其中，通过确定在预定时间段内由果实反向散射的X射线信号的变化来确定悬挂在植物上的果实的估计重量。
15.根据权利要求14所述的方法，其中，所述果实包括葡萄、浆果、柑橘、苹果、甜瓜和西红柿中的一种。
16.根据权利要求14所述的方法，其中，从果实反向散射的X射线信号与果实的质量以及果实离产生用于照射果实的X射线的扫描系统的距离成比例。
17.根据权利要求16所述的方法，其中，从果实反向散射的X射线信号与果实离所述扫描系统的距离的平方成比例。
18.根据权利要求16所述的方法，其中，通过对穿过作物从果实反向散射的X射线信号的信号强度进行积分来确定果实的总质量。
19.根据权利要求14所述的方法，还包括通过使用两个X射线扫描仪同时扫描果实来执行双视图数据采集。
20.根据权利要求14所述的方法，还包括通过使用具有多次采集的单个X射线扫描仪扫描果实来执行双视图数据采集。
21.根据权利要求14所述的方法，其中，X射线扫描仪位于田地结果区域的外部，扫描仪位于一行果实植物的相对侧。
22.根据权利要求14所述的方法，还包括收集果实的图像，并通过使用像素或特征水平的距离归一化过程来分析所述图像。
23.一种通过使用至少一个X射线扫描仪来确定作物质量的方法，该方法包括：
获得作物的至少两个扫描图像，其中至少两个扫描图像中的第一个是沿着相对于作物的第一平面获得的，并且至少两个扫描图像中的第二个是沿着相对于作物的第二平面获得的，并且其中第一平面相对于第二平面有角度地移位；
配准第一扫描图像和第二扫描图像；
校正配准的第一和第二扫描图像；以及
从校正的第一和第二扫描图像确定作物的质量。
24.根据权利要求23所述的方法，其中，所述第一平面相对于所述第二平面有角度地移位90度和270度之间的角度。
25.根据权利要求23所述的方法，其中，所述第一平面和第二平面相互平行。
26.根据权利要求23所述的方法，其中，配准所述第一扫描图像和第二扫描图像包括通过相对于第一扫描图像和第二扫描图像中的至少一个翻转和平移另一个来匹配第一扫描图像和第二扫描图像。
27.根据权利要求23所述的方法，其中，获得作物的至少两个扫描图像包括使用两个X射线扫描仪同时扫描作物。
28.根据权利要求23所述的方法，其中，获得作物的至少两个扫描图像包括使用单个X射线扫描仪扫描作物并执行多次扫描。
29.根据权利要求23所述的方法，其中，校正配准的第一扫描图像和第二扫描图像包括针对多个预定义参数校正所述扫描图像。
30.根据权利要求23所述的方法，其中，校正配准的第一扫描图像和第二扫描图像包括针对对比度、亮度、强度或比例中的一个或多个来校正所述扫描图像。
31.根据权利要求23所述的方法，其中，从校正的第一和第二扫描图像确定作物的质量包括识别所述扫描图像中的一个或多个果实聚类，并逐个像素地分析聚类的强度。
32.根据权利要求31所述的方法，还包括在预定时间段内对聚类的分析强度进行求和并使其相关。
33.一种用于确定作物质量的系统，包括：
至少一个X射线扫描仪，用于获得作物的至少两个扫描图像，其中至少两个扫描图像中的第一个是沿着相对于作物的第一平面获得的，并且至少两个扫描图像中的第二个是沿着相对于作物的第二平面获得的，并且其中第一平面相对于第二平面有角度地移位；以及
与X射线扫描仪耦合的控制器，其中控制器适于：
配准第一和第二图像；
校正配准的第一和第二图像；并且
从校正的第一和第二扫描图像确定作物的质量。
34.根据权利要求33所述的系统，其中，所述第一平面相对于所述第二平面有角度地移位90度和270度之间的角度。
35.根据权利要求33所述的系统，其中，所述第一平面和第二平面相互平行。
36.根据权利要求33所述的系统，其中，配准所述第一扫描图像和第二扫描图像包括通过相对于第一图像和第二图像中的至少一个翻转和平移另一个来匹配第一图像和第二图像。
37.根据权利要求33所述的系统，包括两个X射线扫描仪，用于同时获得作物的至少两个扫描图像。
38.根据权利要求33所述的系统，其中，所述至少一个X射线扫描仪用于扫描作物至少两次，以获得作物的至少两个扫描图像。
39.根据权利要求33所述的系统，其中，校正配准的第一和第二扫描图像包括针对多个预定义参数校正所述图像。
40.根据权利要求33所述的系统，其中，校正配准的第一和第二扫描图像包括针对对比度、亮度、强度或比例中的一个或多个来校正所述图像。
41.根据权利要求33所述的系统，其中，根据校正的第一和第二扫描图像确定作物的质量包括识别图像中的一个或多个果实聚类，并逐个像素地分析聚类的强度。
42.根据权利要求33所述的系统，还包括在预定时间段内对聚类的分析强度进行求和并使其相关。
43.一种用于估计作物重量的系统，其中，所述作物包括至少一行植物，并且其中，所述至少一行植物包括结果的藤蔓和/或树枝，所述系统包括：
至少一个X射线扫描仪，用于从至少两侧用X射线照射作物的预定区域；以及
与至少一个X射线扫描仪耦合的控制器，其中，所述控制器适于：
获得至少一行植物的扫描图像；
对每个收集的扫描图像执行对比度增强和去噪；
执行对比度增强、去噪图像的全局配准；
通过从所述图像中分离藤蔓和/或树枝来获得分割图像；
执行所获得的分割图像的局部配准；
对预定义的一组分割图像执行聚类分段函数；
使用距离校准处理分段图像；并且
通过使用距离校准图像来估计作物的重量。
44.根据权利要求43所述的系统，其中，收集至少一行植物的扫描图像数据包括在相同的预定义方向上翻转通过用X射线照射作物的预定义区域而生成的扫描图像。
45.根据权利要求43所述的系统，其中，获得分割图像包括通过从图像中丢弃藤蔓和/或树枝的边缘来从所述图像中切下分离的藤蔓和/或树枝。
46.根据权利要求43所述的系统，其中，执行局部配准包括获得示出同一植物的不同视图的成对图像之间的对准。
47.根据权利要求43所述的系统，用于使用所述距离校准图像预测作物产量。
48.根据权利要求43所述的系统，其中，获得至少一行植物的扫描图像包括：
从原始数据文件中提取图像数据；
创建每个预定义区域的示意图；
在示意图上绘制运载用于用X射线照射作物的扫描设备的车辆的运动；以及
通过将一个或多个GPS坐标的至少一个时间戳与捕获示意图上的点时的至少一个时间戳相关来确定示意图上的点的GPS坐标。
49.根据权利要求43所述的系统，其中，所述控制器基于车辆的运动方向沿着相应的方向定位植物行；并且在预定方向上翻转所有定位的植物行，以在每个获得的扫描图像中获得一行中一致的植物序列。
50.根据权利要求43所述的系统，其中，所述控制器通过使用预定义的归一化条对每个获得的扫描图像进行归一化。
51.根据权利要求43所述的系统，其中，所述控制器指示所述X射线扫描仪扫描每个预定区域的GPS坐标，以获得所述区域中植物行之间的距离。
52.根据权利要求43所述的系统，其中，所述控制器识别并注释所述分段图像。
53.根据权利要求43所述的系统，其中，所述控制器通过使用粗略聚类分段方法来处理所述分割图像。
54.根据权利要求43所述的系统，其中，所述控制器执行所述聚类分段函数，作为经典聚类分段函数或深度学习聚类分段函数。
55.根据权利要求43所述的方法，其中，所述控制器确定用于处理每个分割图像的聚类处理技术。
56.根据权利要求43所述的系统，其中，所述控制器通过确定在预定时间段内由果实反向散射的X射线信号的变化来确定悬挂在植物上的果实的重量。
57.根据权利要求43所述的系统，其中，所述果实包括葡萄、浆果、柑橘、苹果、甜瓜和西红柿中的一种。
58.根据权利要求43所述的系统，其中，从果实反向散射的X射线信号与果实的质量以及果实离产生用于照射果实的X射线的扫描系统的距离成比例。
59.根据权利要求57所述的系统，其中，从果实反向散射的X射线信号与果实离所述扫描系统的距离的平方成比例。
60.根据权利要求43所述的系统，其中，通过对穿过作物从果实反向散射的X射线信号的信号强度进行积分来确定果实的总质量。
CN202080108368.3A 2020-12-17 2020-12-17 在精确农业中使用反向散射成像的系统和方法 Pending CN116887955A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/065704 WO2022132160A1 (en) 2020-12-17 2020-12-17 Systems and methods for using backscatter imaging in precision agriculture

Publications (1)

Publication Number Publication Date
CN116887955A true CN116887955A (zh) 2023-10-13

Family

ID=82059768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080108368.3A Pending CN116887955A (zh) 2020-12-17 2020-12-17 在精确农业中使用反向散射成像的系统和方法

Country Status (5)

Country Link
EP (1) EP4263147A1 (zh)
CN (1) CN116887955A (zh)
AU (1) AU2020481684A1 (zh)
GB (1) GB2615952A (zh)
WO (1) WO2022132160A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090257555A1 (en) * 2002-11-06 2009-10-15 American Science And Engineering, Inc. X-Ray Inspection Trailer
US8041006B2 (en) * 2007-04-11 2011-10-18 The Invention Science Fund I Llc Aspects of compton scattered X-ray visualization, imaging, or information providing
WO2011069024A1 (en) * 2009-12-03 2011-06-09 Rapiscan Systems, Inc. Time of flight backscatter imaging system
US9335313B2 (en) * 2011-12-30 2016-05-10 Pioneer Hi Bred International Inc. Immature ear photometry in maize
EP3347707B1 (en) * 2015-09-08 2022-07-13 American Science & Engineering, Inc. Backscatter imaging for precision agriculture

Also Published As

Publication number Publication date
WO2022132160A1 (en) 2022-06-23
AU2020481684A1 (en) 2023-06-29
EP4263147A1 (en) 2023-10-25
GB202307995D0 (en) 2023-07-12
GB2615952A (en) 2023-08-23

Similar Documents

Publication Publication Date Title
US10712293B2 (en) Backscatter imaging for precision agriculture
Di Gennaro et al. A low-cost and unsupervised image recognition methodology for yield estimation in a vineyard
Zhang et al. Imaging technologies for plant high-throughput phenotyping: a review
Tardaguila et al. Smart applications and digital technologies in viticulture: A review
US11927551B2 (en) Systems and methods for using backscatter imaging in precision agriculture
Arnó et al. Leaf area index estimation in vineyards using a ground-based LiDAR scanner
EP3032946B1 (en) Method for automatic phenotype measurement and selection
Sanz et al. Relationship between tree row LIDAR-volume and leaf area density for fruit orchards and vineyards obtained with a LIDAR 3D Dynamic Measurement System
Andújar et al. Potential of a terrestrial LiDAR-based system to characterise weed vegetation in maize crops
Farooque et al. Performance evaluation of multiple ground based sensors mounted on a commercial wild blueberry harvester to sense plant height, fruit yield and topographic features in real-time
Rivera et al. LiDAR applications in precision agriculture for cultivating crops: A review of recent advances
WO2016025848A1 (en) Apparatus and methods for in-field data collection and sampling
Chang et al. An automated yield monitoring system II for commercial wild blueberry double-head harvester
Andújar et al. A LiDAR-based system to assess poplar biomass
Gregorio et al. Sensing crop geometry and structure
Taghadomi-Saberi et al. Improving field management by machine vision-a review
Zabawa et al. Image-based analysis of yield parameters in viticulture
Mostafa et al. Using LiDAR technique and modified Community Land Model for calculating water interception of cherry tree canopy
CN116887955A (zh) 在精确农业中使用反向散射成像的系统和方法
Hoffmeister Laser scanning approaches for crop Monitoring
Saha et al. Estimation of leaf area of sweet cherry trees trained as spindle using ground based 2D mobile LiDAR system
Pal et al. Applications of remote sensing and GIS in fruit crops: A review
Sun et al. Height estimation for blueberry bushes using LiDAR based on a field robotic platform
Reis Evaluation of phenotyping methods for maize
Farooque Performance evaluation of a commercial wild blueberry harvester using precision agriculture technologies and mathematical modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination