CN109564155B - 信号处理装置,信号处理方法及程序 - Google Patents

信号处理装置,信号处理方法及程序 Download PDF

Info

Publication number
CN109564155B
CN109564155B CN201780048106.0A CN201780048106A CN109564155B CN 109564155 B CN109564155 B CN 109564155B CN 201780048106 A CN201780048106 A CN 201780048106A CN 109564155 B CN109564155 B CN 109564155B
Authority
CN
China
Prior art keywords
value
ndvi
signal processing
vegetation
relative value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780048106.0A
Other languages
English (en)
Other versions
CN109564155A (zh
Inventor
大谷孝英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109564155A publication Critical patent/CN109564155A/zh
Application granted granted Critical
Publication of CN109564155B publication Critical patent/CN109564155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • G01N2021/1797Remote sensing in landscape, e.g. crops
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及使得能够容易地确认植被的生长状况的信号处理装置、信号处理方法和程序。在本发明中:NDVI相对值计算部根据基于感测图像计算的、并且表示草的生长状况的植被指数来计算相对于所述指数的平均值的相对值;并且显示处理部基于所述相对值来执行处理以显示表示检查对象的生长状况的图像。另外:NDVI平均值计算部对于整个草计算对表示草的生长状况的归一化差异植被指数NDVI求平均而获得的NDVI平均值;并且相关系数计算部计算将NDVI平均值与预定的NDVI指定值进行匹配的相关系数。然后,NDVI相对值计算部通过对于对草执行测量的每个测量单元应用所述相关系数来计算相对于NDVI平均值的NDVI相对值。例如,本技术可以应用于检查草的植被的植被检查装置。

Description

信号处理装置,信号处理方法及程序
技术领域
本公开涉及信号处理装置、信号处理方法及程序。特别地,本公开涉及其中可以容易地确认植被的生长状况的信号处理装置、信号处理方法及程序。
背景技术
过去,归一化差异植被指数(NDVI)已被用作指示植物的分布条件或活动程度的指数。
在PTL 1中,例如,已经公开了基于从捕获了作物的RGB图像和近红外线图像获得的NDVI图像来计算作物的生长指数的信息处理系统。
[引用列表]
[专利文献]
[PTL 1]
JP 2014-183788A
发明内容
[技术问题]
但是,例如,在执行植被检查时环境条件改变的情况下,NDVI波动。因此,在一些情况下,难以确认常规NDVI图像中植被的生长状况。
本公开是考虑到这种情况而做出的,并且旨在使得能够容易地确认植被的生长状况。
[问题的解决方案]
根据本公开的一方面的信号处理装置,包括:相对值计算部,被配置为根据指示检查对象的状态的指数来计算相对于所述指数的平均值的相对值,所述指数是基于感测信号计算的;以及显示处理部,被配置为执行允许显示基于所述相对值的指示检查对象的状态的图像的处理。
根据本公开的另一方面的信号处理方法或程序包括以下步骤:根据指示检查对象的状态的植被指数来计算相对于所述植被指数的平均值的相对值,所述植被指数是基于感测信号计算的;以及执行允许显示基于所述相对值的指示检查对象的状态的图像的处理。
根据本公开的另一方面,根据指示检查对象的生长状况的状态来计算相对于植被指数的平均值的相对值,所述相对值是基于感测信号计算的;以及执行允许显示基于所述相对值的指示检查对象的状态的图像的处理。
[发明的有益效果]
根据本公开的一个方面,可以容易地确认植被的生长状况。
附图说明
图1是图示对其应用本技术的植被检查装置的实施例的配置示例的框图。
图2是图示IR(近红外)像素的布置示例的图。
图3是图示信号处理块的配置示例的框图。
图4是描述在信号处理块中执行的信号处理的流程图。
图5是图示常规NDVI图像的示例和相对NDVI图像的示例的图。
图6是图示在每个感兴趣区域中生成相对NDVI图像的示例的图。
图7是图示植被检查系统的配置示例的框图。
图8是图示对其应用本技术的计算机的实施例的配置示例的框图。
具体实施方式
在下文中,将参考附图详细描述对其应用本技术的具体实施例。
<植被检查装置的实施例>
图1是图示对其应用本技术的植被检查装置的实施例的配置示例的框图。
如图1中所示,植被检查装置11在照射诸如太阳光之类的环境光的状态下执行对作为检查对象的草的检查。然后,植被检查装置11在显示部12上显示指示诸如草状态或活动程度之类的生长状况的图像(例如,下面描述的相对NDVI图像)。
例如,植被检查装置11包括光学系统21、孔径光阑22、光谱传感器23、信号处理块24和控制块25。另外,光谱传感器23具有分光器31(spectroscope)和感测设备32。
光学系统21具有一个或多个透镜。例如,光学系统21收集入射到植被检查装置11的光,诸如其中环境光在草上反射的反射光之类。另外,光学系统21在光谱传感器23的感测设备32的检测器平面上提供拍摄主体的图像。
孔径光阑22控制经由光学系统21收集到光谱传感器23中的光的量。由此,孔径光阑22调整由光谱传感器23获取的图像的曝光。
光谱传感器23检测环境光在草上反射的反射光的多个不同波长区域中的分量。具体而言,光谱传感器23通过使用分光器31将反射光分离成多个波长区域中的光。另外,光谱传感器23为信号处理块24提供检测信号,在检测信号中在感测设备32的每个像素中检测各个波长区域的光的亮度(光谱拆分分量)。
分光器31具有这样的配置,其中对于感测设备32的每个像素,布置透射预定波长区域的光的多个滤光器。然后,分光器31通过使用相应的滤光器分离照射在感测设备32的检测器平面上的光。要注意的是,上述滤光器被称为将可见光分离成每种颜色的滤色器。
在图1中,图示了布置为分光器31的滤光器的示例。例如,将使得垂直像素数×水平像素数为2×4的八个像素定义为测量单元。另外,以与构成测量单元的每个像素对应的方式布置透射各个不同波长区域中的光的八种滤光器。具体而言,以与测量单元的八个像素对应的方式按照与短波长对应的次序,布置透射第一蓝光的滤光器B1、透射第二蓝光的滤光器B2、透射第一绿光的滤光器G1、透射第二绿光的滤光器G2、透射第一红光的滤光器R1、透射第二红光的滤光器R2、透射第一红外光的滤光器IR1,以及透射第二红外光的滤光器IR2。
在使用上述八个像素的滤光器作为一个测量单元的同时,分光器31具有这样的配置,其中用于n个测量单元的滤光器(n是等于或大于1的自然数)连续地布置在感测设备32的检测器平面的整个平面中。要注意的是,滤光器的测量单元不限于将八个像素定义为一个测量单元的配置。在滤光器的测量单元中,可以采用其它模式,诸如将四个像素(R,G,B,IR)定义为一个测量单元的配置。
例如,在所谓的拜耳布置并且其中布置有R像素、G像素和B像素的配置中,可以使用其中一部分像素被IR像素代替的布置示例。具体而言,在拜耳布置中像素数量充足的G像素中,如图2A所示,可以使用其中布置在R像素的行中的G像素被IR像素代替的滤光器。另外,可以使用其中可见度低的B像素被IR像素代替的滤光器。在这种情况下,如图2B所示,可以使用其中不是所有B像素被IR像素代替而是B像素的一部分被IR像素代替的配置。
感测设备32是例如具有如下配置的图像拾取设备,在所述配置中多个像素以矩阵图案(pattern)布置在检测器平面中。另外,感测设备32检测由每个像素中的分光器31的每个滤光器光谱拆分的光谱拆分分量的亮度。另外,感测设备32根据每个光谱拆分分量的亮度输出检测信号(感测信号)。
要注意的是,除了通过平面获得对象的区域传感器之外,作为感测设备32,还可以使用通过线获得对象的线传感器。另外,即使在感测设备32中R像素和IR像素仅一个接一个地布置的情况下,也提供用于移动传感器或测量对象的机制,从而扫描对象。
信号处理块24对从光谱传感器23输出的检测信号(即,由感测设备32感测的传感图像)执行信号处理。由此,信号处理块24生成指示其中检查草的生长状况的结果的图像并在显示部12上显示该图像。要注意的是,下面将参考图3描述信号处理块24的详细配置。
控制块25对构成植被检查装置11的每个块(诸如感测设备32和信号处理块24)执行控制,使得可以在植被检查装置11中优选地检查草的生长状况。
如上所述配置的植被检查装置11可以通过使用在数值上指示生长状况的归一化差异植被指数NDVI来检查草的生长状况。另外,植被检查装置11可以获取由归一化差异植被指数NDVI构成的NDVI图像,作为检查草的生长状况的结果。通过使用在感测设备32中检测到红光的像素的像素值R和其中检测到近红外光的像素的像素值IR计算下面的公式(1)来获得归一化差异植被指数NDVI。
[数学表达式1]
Figure BDA0001965792170000051
在这里,归一化差异植被指数NDVI用作茎和叶生长的指数。要注意的是,近红外光的反射率(reflectance)(像素值IR)和红光的反射率(像素值R)是通过获得诸如天空之类的区域中的红光强度和近红外线强度作为入射光强度、并且通过获得RGB图像中的对象区域中以及不是对象区域的区域中的近红外线图像的红光强度和近红外线强度作为反射光强度来计算的。另外,在近红外光和红光的反射率中,可以通过使用具有已知反射率的漫射板作为参考来测量入射光强度。另外,可以基于入射光强度与对象的反射亮度之比来计算反射系数,并且然后可以通过将反射系数转换为反射率来获得近红外光的反射率和红光的反射率。另外,植被检查装置11通过仅在对象区域中使用NDVI的平均值、色散、高阶色散等来计算NDVI图像。通过该处理,仅根据从对象区域中的像素获得的信息来计算NDVI图像。由此,可以以更高的准确度计算NDVI图像。
顺便提及,植被检查装置11在室外环境中执行草的检查。因此,例如,由光谱传感器23检测的检测信号可以例如根据诸如太阳的位置、天气(晴天/阴天)或草粒的方向之类的环境条件的改变而波动。在该结果中,通过使用从光谱传感器23直接输出的检测信号来生成NDVI图像。在这种情况下,设想在一些情况下,由于对NDVI图像给予检测信号的波动的影响,难以确定草的生长状况。
为了解决上述问题,在植被检查装置11中,通过信号处理块24对检测信号执行信号处理,使得由于环境条件的改变引起的检测信号的波动对NDVI图像的影响被抑制。该处理允许容易地确认植被的生长状况。例如,可以容易地区分优选地生长草的位置或不优选地生长草的位置。
图3是图示信号处理块24的配置示例的框图。
如图3所示,信号处理块24包括NDVI平均值计算部41、相关系数计算部42、NDVI相对值计算部43和显示处理部44。
通过使用通过图1所示的感测设备32实际感测草而获取的检测信号,NDVI平均值计算部41计算通过将整个草的归一化差异植被指数NDVI求平均而获得的NDVI平均值Na并为相关系数计算部42提供NDVI平均值Na。
例如,NDVI平均值计算部41计算在从光谱传感器23输出的检测信号中包括的红光的像素值R中在草区域中检测到的红光的所有像素值R的平均值Ra。类似地,NDVI平均值计算部41计算在从光谱传感器23输出的检测信号中包括的近红外光的像素值IR中在草区域中检测到的近红外光的所有像素值IR的平均值IRa。另外,NDVI平均值计算部41可以基于下面的公式(2)从红光的平均值Ra和近红外光的平均值IRa获取整个草的NDVI平均值Na。
[数学表达式2]
Figure BDA0001965792170000061
相关系数计算部42计算相关系数α,通过该相关系数α,NDVI平均值计算部41获得的NDVI平均值Na与预定的NDVI指定值Nd匹配,并为NDVI相对值计算部43提供相关系数α。在这里,假设在植被检查装置11中归一化差分植被指数NDVI相对于整个草的平均值是被确定为先前指定值的NDVI指定值Nd。另外,如下面的公式(3)表示的,NDVI指定值Nd通过使用红光的平均值Ra、近红外光的平均值IRa和相关系数α来表示。
[数学表达式3]
Figure BDA0001965792170000071
另外,根据公式(3),使得作为原始NDVI平均值Na的归一化差异植被指数NDVI的平均值与NDVI指定值Nd进行匹配的相关系数α由下面的公式(4)表示。
[数学表达式4]
Figure BDA0001965792170000072
对于通过图1所示的感测设备32实际感测草所获取的检测信号的每个测量单元(例如,基于每个像素而不是整个NDVI图像的感测信号),NDVI相对值计算部43应用由相关系数计算部42计算出的相关系数α,并计算相对于NDVI平均值Na的NDVI相对值Nr。要注意的是,NDVI平均值Na用于描述相关系数α,并且对于获得NDVI相对值Nr的操作不是必需的。具体而言,如下面的公式(5)所表示的,对于感测设备32的每个测量单元(x,y),NDVI相对值计算部43可以基于红光的像素值R(x,y)和红外光的像素值IR(x,y)获得NDVI相对值Nr(x,y)。
[数学表达式5]
Figure BDA0001965792170000073
显示处理部44基于由NDVI相对值计算部43计算出的NDVI相对值Nr生成NDVI图像,并执行显示处理,其中NDVI图像显示在显示部12上。例如,显示处理部44根据每个测量单元(x,y)中的NDVI相对值Nr(x,y)来映射颜色集,如热图,从而生成NDVI图像。要注意的是,如上所述,NDVI相对值Nr(x,y)是相对于NDVI平均值Na的。在下文中,将从NDVI相对值Nr(x,y)生成的NDVI图像适当地称为相对NDVI图像。
如上所述,配置植被检查装置11,并且在显示部12上显示指示检查草的生长状况的结果的相对NDVI图像。
另外,在植被检查装置11中,例如,可以在归一化差异植被指数NDVI的改变大的部分中设置NDVI指定值Nd(例如,当检查对象是草时,设置为0.5至0.7)。由此,通过使用NDVI指定值Nd作为参考来计算NDVI相对值Nr。因此,可以生成相对NDVI图像,其中容易确认归一化差异植被指数NDVI的改变大的部分,即,草的生长状况的改变大的部分。生成上述相对NDVI图像,从而与直接使用归一化差异植被指数NDVI的常规NDVI图像相比,植被检查装置11可以更容易地确认草的生长状况。
另外,在常规NDVI图像中不能被可视地确认的水平下,植被检查装置11可以通过使用NDVI相对值Nr来对草的生长状况实现量化和可视化。即,植被检查装置11将NDVI平均值Na与NDVI指定值Nd(总是恒定的)匹配,从而使从感测设备32输出的检测信号经历信号归一化。由此,植被检查装置11可以抑制由于环境条件的改变而给予检测信号的影响,并且可以生成容易确认草的生长状况的相对NDVI图像。
<关于信号处理>
接下来,将参考图4所示的流程图描述在信号处理块24中执行的信号处理。
在步骤S11中,例如,从感测设备32向信号处理块24提供一个相对NDVI图像的检测信号。然后,NDVI平均值计算部41获取该检测信号。在步骤S12中,NDVI平均值计算部41从感测设备32提供的检测信号中获得红光的平均值Ra和近红外光的平均值IRa。另外,NDVI平均值计算部41基于上述公式(2)计算NDVI平均值Na。
在步骤S13中,相关系数计算部42基于上述公式(4)计算将NDVI平均值计算部41在步骤S11中获得的NDVI平均值Na与NDVI指定值Nd匹配的相关系数α。
在步骤S14中,NDVI相对值计算部43对从感测设备32提供的检测信号的每个测量单元应用在步骤S12中由相关系数计算部42获得的相关系数α,并且基于上述公式(5)计算NDVI相对值Nr。
在步骤S15中,显示处理部44基于在步骤S13中由NDVI相对值计算部43对于每个测量单元获得的NDVI相对值Nr来生成相对NDVI图像,并且执行在显示部12上显示相对NDVI图像的显示处理。
在步骤S15的处理之后,完成信号处理块24中的信号处理。
如上所述,信号处理块24可以抑制由于环境条件的改变而给予检测信号的影响,并且生成比常规NDVI图像更容易确认草的生长状况的相对NDVI图像。
在图5中,例如,图示了常规NDVI图像的示例和相对NDVI图像的示例。
在图5的上侧,图示了常规NDVI图像,并且在图5的下侧,图示了相对NDVI图像。通过使用相同的检测信号,生成图5中所示的常规NDVI图像和相对NDVI图像两者。
例如,植被检查装置11可以仅在显示部12上显示相对NDVI图像。可替代地,植被检查装置11可以在显示部12上同时显示常规NDVI图像和相对NDVI图像,同时部署成将它们进行比较。另外,植被检查装置11可以通过用户操作在常规NDVI图像和相对NDVI图像之间切换显示。另外,常规NDVI图像和相对NDVI图像不限于它们的同时显示或它们的切换显示。例如,植被检查装置11可以同时或在切换时显示由普通图像拾取装置拍摄的实时图像、其它图像等。
植被检查装置11根据通过感测获得的图像计算归一化差异植被指数NDVI。由此,植被检查装置11可以显示草的分布或活动程度作为热图,如图5的上侧所示。如上所述,植被检查装置11还获得NDVI相对值Nr,以便使其相对于NDVI平均Na。由此,如图5的下侧所示,植被检查装置11可以生成相对NDVI图像,其强调指示草的生长状况令人满意的部分以及草的生长状况不令人满意的部分。例如,植被检查装置11适当地设置NDVI指定值Nd,从而生成相对NDVI图像,使得草的生长状况不令人满意的部分是显著的。
在这里,关于热图的彩色显示,例如,作为草的生长状况的令人满意的部分和不令人满意的部分的突出(highlight),可以显示草的生长状况的令人满意的部分以具有蓝色。可以显示草的生长状况的不令人满意的部分以具有红色。另外,根据预定标准,可以仅在草的生长状况的令人满意的部分或不令人满意的部分上进行彩色显示。要注意的是,突出不限于彩色显示,并且可以进一步改变图像的阴影、亮度或饱和度,从而呈现突出。可以通过用户的设置或操作来切换显示模式的程度。特别地,用户改变NDVI指定值Nd或者将NDVI指定值Nd乘以相关系数α,从而改变如何突出草的生长状况的不令人满意的部分。
顺便提及,在图5中,在整个草上生成相对NDVI图像。另外,植被检查装置11可以在关注指定区域的同时在每个指定的感兴趣区域中生成相对NDVI图像。
如图6A所示,例如,植被检查装置11可以指定阳光照射在草上的阳光区域(没有阴影线的区域)和阳光不照射在草上的阴影区域(带阴影线的区域)。另外,植被检查装置11可以单独地生成阳光区域和阴影区域的相应的相对NDVI图像。
具体而言,植被检查装置11可以从光谱传感器23感测到的整个草中基于亮度设置感兴趣区域,并且允许信号处理块24在每个感兴趣区域中执行信号处理。在这种情况下,NDVI平均值计算部41计算关于草的感兴趣区域的NDVI平均值Na。相关系数计算部42计算关于草的感兴趣区域的相关系数α。另外,NDVI相对值计算部43可以在草的每个感兴趣区域中计算相对于NDVI平均值Na的NDVI相对值Nr。
通过该处理,植被检查装置11可以更特别地检查每个感兴趣区域中(例如,在阳光区域和阴影区域中的每一个中)的草的生长状况。要注意的是,感兴趣区域的指定不限于阳光区域和阴影区域。可以指定任意区域,例如,指定锦标赛质量球场的一半等。
另外,如图6B所示,植被检查装置11可以在整个图像中区分草区域(没有阴影线的区域)和除草以外的区域(带阴影线的区域)。另外,植被检查装置11可以仅指定草区域作为感兴趣区域并且生成草区域的相对NDVI图像。在这个时候,草区域的指定可以基于标准图像识别或基于归一化差异植被指数NDVI来执行。如上所述,植被检查装置11可以自动确定和指定感兴趣区域。另外,植被检查装置11可以例如根据用户的设置将整个图像中的任意区域指定为感兴趣区域。
要注意的是,在本实施例中,将参考归一化差异植被指数NDVI进行描述。另外,在植被检查装置11中,可以使用除归一化差异植被指数NDVI之外的植被指数(例如,RVI(比率植被指数)、GNDVI(绿色NDVI)等)。另外,除了如上所述的草之外,植被检查装置11还可以覆盖森林、农作物等,作为要检查生长状况的检查对象。
作为其它植被指数,例如,可以使用通过执行下面的公式(6)的运算而计算的比率植被指数(RVI)、通过执行下面的公式(7)的运算而计算的差异植被指数(DVI)等。
[数学表达式6]
Figure BDA0001965792170000111
[数学表达式7]
DVI=IR-R…(7)
但是,要注意的是,在公式(6)和(7)中,IR表示近红外区域的反射率(检测近红外光的像素的像素值),并且R表示可见区域中红色的反射率(检测红光的像素的像素值)。要注意的是,在这里,仅例示了其中使用IR和R作为参数的植被指数。另外,当然可以通过使用可见区域中除红色之外的其它光的反射率等作为参数来测量其它植被指数。此外,光谱比不限于R和IR的组合。
另外,除了由植被检查装置11之类的装置单独配置的装置之外,例如,本技术可以应用于通过网络连接的植被检查系统。
如图7所示,例如,植被检查系统51具有通过网络54连接用于植被检查的图像拾取装置52和信号处理装置53的配置。
图像拾取装置52包括图1中所示的光谱传感器23。图像拾取装置52检测关于环境光在草上反射的反射光的多个不同波长区域中的分量。另外,图像拾取设备52通过网络54将指示检测结果的检测信号发送到信号处理装置53。
信号处理装置53具有与图1所示的信号处理块24的功能类似的功能。信号处理装置53接收从图像拾取装置52通过网络54发送的用于植被检查的检测信号。另外,信号处理装置53执行其中生成如上所述的相对NDVI图像的信号处理。然后,信号处理装置53将相对NDVI图像累积在连接到网络54的累积装置(未示出)中,从而观察草的生长状况的改变。
如上所述,根据本技术,可以通过网络54检查远程位置的草,并且草的管理者可以在任何地方执行草的管理。虽然未在图中示出,但是多个图像拾取装置52连接到网络54,从而管理者可以一维地管理在多个位置中的草。另外,管理者可以通过使用其中多个图像拾取装置52彼此链接的多相机来观察草的生长状况。另外,管理者可以通过使用诸如所谓的无人机之类的UAV(无人驾驶飞行器)在移动的同时观察草的生长状况。
要注意的是,在本实施例中,通过使用诸如草之类的植物作为检查对象来描述基于植物的光反射的植被指数。根据本技术,除了植物之外的对象可以用作检查对象。通过使用除植被指数以外的指数,本技术可以应用于各种检查对象的检查。另外,植被指数是指示植物生长状况的指数,并且此外,例如,即使不直接将状况视为生长状况,如光合作用的状况等,也可以用于间接地对生长状况作出贡献并掌握植物状况。
要注意的是,参考上述流程图描述的每个处理不必总是按照流程图中描述的时间序列顺序执行。因此,处理包括并行或离散执行的各处理(例如,并行处理或基于对象的处理)。另外,程序可以由单个CPU或多个CPU以分布式方式处理。另外,在本说明书中,系统表示由多个装置配置的整个装置。
上述一系列处理(信号处理方法)可以由硬件执行或者可以由软件执行。当通过软件执行一系列处理时,构成软件的程序从记录有该程序的程序记录介质安装到计算机。在这种情况下,计算机包括嵌入专用硬件的计算机和能够通过安装各种程序来执行各种功能的通用个人计算机。
图8是图示依据程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在计算机中,CPU(中央处理单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103经由总线104互连。
输入/输出接口105还连接到总线104。输入部106、输出部107、存储分108、通信部109和驱动器110连接到输入/输出接口105。输入部106由键盘、鼠标、麦克风等构成。输出部107由显示器、扬声器等构成。存储部108由硬盘、非易失性存储器等构成。通信部109由网络接口等构成。驱动器110驱动可移动介质111,诸如磁盘、光盘、磁光盘或半导体存储器之类。
在如上所述配置的计算机中,例如,CPU 101通过输入/输出接口105和总线104在RAM 103上加载存储在存储部108中的程序,并执行该程序,从而执行一系列处理。
由计算机(CPU 101)执行的程序可以被记录在例如可移动介质111中并被提供,所述可移动介质111是包括磁盘(包括软盘)、光盘(CD-ROM(光盘只读存储器)、DVD(数字通用光盘)等)、磁光盘、半导体存储器等的封装介质。另外,可替代地,可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供程序。
在计算机中,当可移动介质111安装在驱动器110上时,程序可以经由输入/输出接口105安装到存储部108中。而且,程序可以由通信部109经由有线或无线传输介质接收并安装到存储部108中。此外,程序可以预先安装到ROM 102或存储部108中。
要注意的是,本技术还可以采用以下配置。
(1)一种信号处理装置,包括:
相对值计算部,被配置为根据指示检查对象的状态的指数来计算相对于所述指数的平均值的相对值,所述指数是基于感测信号计算的;以及
显示处理部,被配置为执行允许显示基于所述相对值的指示检查对象的状态的图像的处理。
(2)如以上(1)所述的信号处理装置,还包括:
平均值计算部,被配置为计算所述指数的所述平均值,所述平均值是通过在整个检查对象中对所述指数求平均而获得的;以及
相关系数计算部,被配置为计算将由平均值计算部计算的所述指数的所述平均值与预定的指定值进行匹配的相关系数,其中
相对值计算部对于对检查对象执行测量的每个测量单元,应用所述相关系数并且计算相对于所述指数的所述平均值的所述指数的所述相对值。
(3)如以上(2)所述的信号处理装置,其中
感测信号至少包括根据近红外光和红光的亮度的检测值,以及
相对值计算部将通过从近红外光的检测值中减去红光的检测值乘以所述相关系数而得的值所获得的值,除以将通过红光的检测值乘以所述相关系数所获得的值与近红外光的检测值相加所获得的值,从而计算出所述相对值。
(4)如以上(1)至(3)中任一项所述的信号处理装置,还包括:
光谱传感器,被配置为对环境光被检查对象反射的反射光检测多个不同波长区域中的分量。
(5)如以上(4)所述的信号处理装置,其中
光谱传感器具有感测设备以及分光器,在所述感测设备中,多个像素以矩阵图案布置在检测器平面中,在所述分光器中,对于感测设备的每个像素,布置透射预定波长区域中的光的多个滤光器。
(6)如以上(2)至(5)中任一项所述的信号处理装置,其中
显示处理部基于由相对值计算部对于每个测量单元计算的所述指数的所述相对值来生成指示检查对象的状态的图像,并允许显示部显示该图像。
(7)如以上(2)至(6)中任一项所述的信号处理装置,其中
平均值计算部指定在包括感测信号的感测图像上映出(project)的检查对象的预定区域作为感兴趣区域,并计算感兴趣区域中的所述指数的所述平均值。
(8)如以上(7)所述的信号处理装置,其中
相关系数计算部获得关于感兴趣区域的所述相关系数,以及
相对值计算部计算感兴趣区域中所述指数的所述相对值。
(9)如以上(7)所述的信号处理装置,其中
在检查对象上照射太阳光的阳光区域和在检查对象上未照射太阳光的阴影区域被指定为感兴趣区域。
(10)如以上(7)所述的信号处理装置,其中
将映出有整个感测图像中的检查对象的区域指定为感兴趣区域。
(11)如以上(7)所述的信号处理装置,其中
根据用户的设置来指定整个感测图像中的任意区域作为感兴趣区域。
(12)如以上(1)至(11)中任一项所述的信号处理装置,其中
检查对象是植物,以及
所述状态指示植物的生长状况。
(13)如以上(12)所述的信号处理装置,其中
所述指数是基于植物对光的反射的植被指数。
(14)如以上(13)所述的信号处理装置,其中
植被指数是NDVI(归一化差异植被指数)。
(15)一种信号处理方法,包括以下步骤:
根据指示检查对象的状态的植被指数来计算相对于所述植被指数的平均值的相对值,所述植被指数是基于感测信号计算的;以及
执行允许显示基于所述相对值的指示检查对象的状态的图像的处理。
(16)一种用于使计算机执行信号处理的程序,所述信号处理包括以下步骤:
根据指示检查对象的状态的植被指数来计算相对于所述植被指数的平均值的相对值,其中所述植被指数是基于感测信号计算的;以及
执行允许显示基于所述相对值的指示检查对象的状态的图像的处理。
此外,本公开的实施例不限于上述实施例,并且可以在不脱离本公开的范围的情况下进行各种修改。
[标号列表]
11植被检查装置,12显示部,21光学系统,22孔径光阑,23光谱传感器,24信号处理块,25控制块,31分光器,32感测设备,41 NDVI平均值计算部,42相关系数计算部,43 NDVI相对值计算部,44显示处理部,51植被检查系统,52图像拾取装置,53信号处理装置,54网络

Claims (15)

1.一种信号处理装置,包括:
相对值计算部,被配置为根据指示检查对象的状态的指数来计算相对于所述指数的平均值的相对值,所述指数是基于感测信号计算的;
显示处理部,被配置为执行允许显示基于所述相对值的指示检查对象的状态的图像的处理;
平均值计算部,被配置为计算所述指数的所述平均值,所述平均值是通过在整个检查对象中对所述指数求平均而获得的;以及
相关系数计算部,被配置为计算将由平均值计算部计算的所述指数的所述平均值与预定的指定值进行匹配的相关系数,其中
相对值计算部对于对检查对象执行测量的每个测量单元,应用所述相关系数并且计算相对于所述指数的所述平均值的所述指数的所述相对值。
2.如权利要求1所述的信号处理装置,其中
感测信号至少包括根据近红外光和红光的亮度的检测值,以及
相对值计算部将通过从近红外光的检测值中减去红光的检测值乘以所述相关系数而得的值所获得的值,除以将通过红光的检测值乘以所述相关系数所获得的值与近红外光的检测值相加所获得的值,从而计算出所述相对值。
3.如权利要求1所述的信号处理装置,还包括:
光谱传感器,被配置为对环境光被检查对象反射的反射光检测多个不同波长区域中的分量。
4.如权利要求3所述的信号处理装置,其中
光谱传感器具有感测设备以及分光器,在所述感测设备中,多个像素以矩阵图案布置在检测器平面中,在所述分光器中,对于感测设备的每个像素,布置透射预定波长区域中的光的多个滤光器。
5.如权利要求1所述的信号处理装置,其中
显示处理部基于由相对值计算部对于每个测量单元计算的所述指数的所述相对值来生成指示检查对象的状态的图像,并允许显示部显示该图像。
6.如权利要求1所述的信号处理装置,其中
平均值计算部指定在包括感测信号的感测图像上映出的检查对象的预定区域作为感兴趣区域,并计算感兴趣区域中的所述指数的所述平均值。
7.如权利要求6所述的信号处理装置,其中
相关系数计算部获得关于感兴趣区域的所述相关系数,以及
相对值计算部计算感兴趣区域中所述指数的所述相对值。
8.如权利要求6所述的信号处理装置,其中
在检查对象上照射太阳光的阳光区域和在检查对象上未照射太阳光的阴影区域被指定为感兴趣区域。
9.如权利要求6所述的信号处理装置,其中
将映出有整个感测图像中的检查对象的区域指定为感兴趣区域。
10.如权利要求6所述的信号处理装置,其中
根据用户的设置来指定整个感测图像中的任意区域作为感兴趣区域。
11.如权利要求1所述的信号处理装置,其中
检查对象是植物,以及
所述状态指示植物的生长状况。
12.如权利要求11所述的信号处理装置,其中
所述指数是基于植物对光的反射的植被指数。
13.如权利要求12所述的信号处理装置,其中
植被指数是NDVI(归一化差异植被指数)。
14.一种信号处理方法,包括以下步骤:
根据指示检查对象的状态的植被指数来计算相对于所述植被指数的平均值的相对值,所述植被指数是基于感测信号计算的
执行允许显示基于所述相对值的指示检查对象的状态的图像的处理;
计算所述指数的所述平均值,所述平均值是通过在整个检查对象中对所述指数求平均而获得的;以及
计算将由平均值计算部计算的所述指数的所述平均值与预定的指定值进行匹配的相关系数,其中
对于对检查对象执行测量的每个测量单元,应用所述相关系数并且计算相对于所述指数的所述平均值的所述指数的所述相对值。
15.一种其上存储有程序的计算机可读存储介质,所述程序包括指令,所述指令在由处理器执行时,使所述处理器执行信号处理,所述信号处理包括以下步骤:
根据指示检查对象的状态的植被指数来计算相对于所述植被指数的平均值的相对值,其中所述植被指数是基于感测信号计算的;
执行允许显示基于所述相对值的指示检查对象的状态的图像的处理;
计算所述指数的所述平均值,所述平均值是通过在整个检查对象中对所述指数求平均而获得的;以及
计算将由平均值计算部计算的所述指数的所述平均值与预定的指定值进行匹配的相关系数,其中
对于对检查对象执行测量的每个测量单元,应用所述相关系数并且计算相对于所述指数的所述平均值的所述指数的所述相对值。
CN201780048106.0A 2016-08-17 2017-08-03 信号处理装置,信号处理方法及程序 Active CN109564155B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016159862 2016-08-17
JP2016-159862 2016-08-17
PCT/JP2017/028289 WO2018034166A1 (ja) 2016-08-17 2017-08-03 信号処理装置および信号処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN109564155A CN109564155A (zh) 2019-04-02
CN109564155B true CN109564155B (zh) 2022-03-11

Family

ID=61197238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048106.0A Active CN109564155B (zh) 2016-08-17 2017-08-03 信号处理装置,信号处理方法及程序

Country Status (5)

Country Link
US (1) US11047793B2 (zh)
EP (2) EP3502663B1 (zh)
JP (1) JP6872137B2 (zh)
CN (1) CN109564155B (zh)
WO (1) WO2018034166A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7218365B2 (ja) * 2018-06-06 2023-02-06 株式会社Nttドコモ 情報処理装置
CN113474635A (zh) * 2019-03-01 2021-10-01 索尼集团公司 图像处理设备、图像处理方法和程序
US20220405863A1 (en) * 2019-11-18 2022-12-22 Sony Group Corporation Information processing device, information processing method, and program
WO2021192642A1 (ja) * 2020-03-25 2021-09-30 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
DE102021200400A1 (de) 2021-01-18 2022-07-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erfassung von Pflanzen oder Pflanzenbestandteilen, Computerprogrammprodukt, Erfassungseinrichtung und landwirtschaftliches Fahrzeug
WO2023177274A1 (ko) * 2022-03-18 2023-09-21 주식회사 마인스소프트 경기장 통합 운영 관리 시스템 및 통합 운영 관리 방법
CN114596234B (zh) * 2022-03-21 2022-12-16 昆明理工大学 一种复杂山地的ndvi地形阴影效应校正方法
JP2024024495A (ja) * 2022-08-09 2024-02-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び固体撮像システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350517A (ja) * 2000-06-05 2001-12-21 Hitachi Ltd 携帯型電力監視装置
JP2013231645A (ja) * 2012-04-27 2013-11-14 Ito En Ltd 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
CN105277491A (zh) * 2015-09-24 2016-01-27 中国农业科学院农业资源与农业区划研究所 叶绿素含量测量方法及装置
CN106372592A (zh) * 2016-08-29 2017-02-01 中国农业科学院农业资源与农业区划研究所 一种基于冬小麦面积指数的冬小麦种植面积计算方法
CN107271372A (zh) * 2017-06-02 2017-10-20 西北农林科技大学 一种苹果叶片叶绿素遥感估测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3824201B2 (ja) * 1999-04-09 2006-09-20 株式会社サタケ 作物の栄養診断方法
JP4314683B2 (ja) * 1999-08-12 2009-08-19 株式会社サタケ 作物の診断方法
CA2454891C (en) * 2001-07-24 2009-07-21 The Board Of Regents For Oklahoma State University A process for in-season nutrient application based on predicted yield potential
JP4219819B2 (ja) * 2002-02-13 2009-02-04 株式会社環境総合テクノス リモートセンシング高解像度データによる森林・樹木のバイオマス推定方法
US7580549B2 (en) * 2005-07-01 2009-08-25 Deere & Company Method and system for vehicular guidance using a crop image
JP5021293B2 (ja) * 2006-12-29 2012-09-05 株式会社パスコ 作物の生育状況分析方法、作物の生育状況分析装置及び作物の生育状況分析プログラム
WO2009116613A1 (ja) * 2008-03-21 2009-09-24 株式会社 伊藤園 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
JP5410323B2 (ja) * 2009-11-27 2014-02-05 国立大学法人九州大学 光学的植生指数センサ
JP5593255B2 (ja) * 2011-03-04 2014-09-17 株式会社日立製作所 植生制御装置、植物育成システム
JP5950166B2 (ja) 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
US9886016B2 (en) * 2015-01-08 2018-02-06 International Business Machines Corporation Automated irrigation control system
US10586353B2 (en) * 2015-01-09 2020-03-10 Maxell Holdings, Ltd. Plant information acquisition system, plant information acquisition device, plant information acquisition method, crop management system and crop management method
US9984455B1 (en) * 2017-06-05 2018-05-29 Hana Resources, Inc. Organism growth prediction system using drone-captured images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350517A (ja) * 2000-06-05 2001-12-21 Hitachi Ltd 携帯型電力監視装置
JP2013231645A (ja) * 2012-04-27 2013-11-14 Ito En Ltd 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
CN105277491A (zh) * 2015-09-24 2016-01-27 中国农业科学院农业资源与农业区划研究所 叶绿素含量测量方法及装置
CN106372592A (zh) * 2016-08-29 2017-02-01 中国农业科学院农业资源与农业区划研究所 一种基于冬小麦面积指数的冬小麦种植面积计算方法
CN107271372A (zh) * 2017-06-02 2017-10-20 西北农林科技大学 一种苹果叶片叶绿素遥感估测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《A data mining approach for understanding topographic control on climate-induced inter-annual vegetation variability over the United States》;Amanda B. White etc.;《ELSEVIER》;20051231;正文第4页,图1 *

Also Published As

Publication number Publication date
CN109564155A (zh) 2019-04-02
US11047793B2 (en) 2021-06-29
JP6872137B2 (ja) 2021-05-19
EP3748335A1 (en) 2020-12-09
JPWO2018034166A1 (ja) 2019-06-13
EP3502663B1 (en) 2020-09-30
EP3502663A4 (en) 2019-08-14
EP3502663A1 (en) 2019-06-26
WO2018034166A1 (ja) 2018-02-22
US20190310184A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
CN109564155B (zh) 信号处理装置,信号处理方法及程序
Cao et al. Radiometric calibration assessments for UAS-borne multispectral cameras: Laboratory and field protocols
JP6750621B2 (ja) 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
US20130235190A1 (en) Leaf area index measurement system, device, method, and program
US9202134B2 (en) Leaf area index measurement system, device, method, and program
JP2007171033A (ja) 葉面積指数の間接測定方法および間接測定システム
US20220254014A1 (en) Information processing apparatus, information processing method, program, and sensing system
US20150339540A1 (en) Image measuring method, system, device, and program
US10684166B2 (en) Information processing device, information processing method, and program
US20180188160A1 (en) Inspection apparatus, inspection method, and program
WO2022262692A1 (zh) 光谱反射率检测方法及系统
US11631242B2 (en) Information processing apparatus, information processing method, and program
CN107529726B (zh) 检查装置、检查方法和记录介质
US11570371B2 (en) Imaging apparatus, imaging method, and program
JP5921311B2 (ja) 画像処理装置及び画像処理方法
US20220139082A1 (en) Image processing device, image processing method, and program
US20180130189A1 (en) Image processing device, image processing method, and program recording medium
JP6936806B2 (ja) 画像処理方法
JP2021001777A (ja) 植物の生育状態評価方法および評価装置
Mollazade et al. Spatial mapping of moisture content in tomato fruits using hyperspectral imaging and artificial neural networks
US11768152B2 (en) Information processing system and spectroscopic measuring instrument
JP7273259B2 (ja) 植生領域判定装置及びプログラム
JP2019512944A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant