CN114586066A - 图像处理装置、图像处理方法和图像处理程序 - Google Patents

图像处理装置、图像处理方法和图像处理程序 Download PDF

Info

Publication number
CN114586066A
CN114586066A CN202080074098.9A CN202080074098A CN114586066A CN 114586066 A CN114586066 A CN 114586066A CN 202080074098 A CN202080074098 A CN 202080074098A CN 114586066 A CN114586066 A CN 114586066A
Authority
CN
China
Prior art keywords
image
image processing
camera
polarization
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202080074098.9A
Other languages
English (en)
Inventor
伊藤厚史
小川哲
中村宪一郎
森内优介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114586066A publication Critical patent/CN114586066A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098—Plants or trees
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793—Remote sensing
    • G01N2021/1797—Remote sensing in landscape, e.g. crops
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits

Abstract

提供了能够提高表示植被的指数的准确度的图像处理装置、图像处理方法和图像处理程序。图像处理装置(1)包括法线图生成单元(12)和反射特性模型生成单元(18)。法线图生成单元(12)基于获取的偏振图像来获得法线向量特性。反射特性模型生成单元(18)基于由法线图生成单元(12)获得的法线向量特性来估计反射特性模型。

Description

图像处理装置、图像处理方法和图像处理程序
技术领域
本公开内容涉及图像处理装置、图像处理方法和图像处理程序。
背景技术
远程感测是在大范围内从远距离测量目标的技术。在农业领域，远程感测经常用于从人造卫星等测量植物功能的目的。近年来，为了实现更高空间分辨率的测量，在使用以无人机为代表的无人驾驶飞行器(UAV)的测量中已经有了显著的发展。
在远程感测技术中，通常使用被称为反射光谱远程感测的技术来测量植物功能。反射光谱远程感测包括使用多光谱相机或高光谱相机对来自植物的可见光至近红外波长(400mm至2500mm)的反射光进行光谱观测。观测到的光谱数据用于估计诸如植物的内部结构、所含色素和微量成分的类型和量以及水分状态的信息。
引用列表
专利文献
专利文献1：WO 2012/073519 A
发明内容
技术问题
然而，在反射光谱远程感测中，存在取决于观测环境而发生测量值的大变化的担忧。观测环境包括诸如云的状态以及太阳的色温和角度的照射相关因素，以及远程感测成像系统的角度与目标田地表面之间的几何关系。以这种方式，由于观测环境而发生的测量值的变化难以使表示使用观测数据计算的植被的指数达到高准确度。
有鉴于此，本公开内容提供了能够达到表示植被的指数的高准确度的图像处理装置、图像处理方法和图像处理程序。
问题的解决方案
根据本公开内容，图像处理装置包括：向量分析单元，其基于获取的偏振图像来获得法线向量特性；以及特性估计单元，其基于由向量分析单元获得的法线向量特性来估计反射特性模型。
附图说明
图1是示出根据第一实施方式的图像处理系统的图。
图2是图像处理装置的框图。
图3是示出NDVI的概念的图。
图4是示出植被的反射特性的图。
图5是示出入射在无人机上的反射光的图。
图6是示出由反射特性引起的典型问题的图。
图7是示出PROSAIL模型的每个参数的说明的概要的图。
图8是示出总结了PROSAIL模型的每个参数的说明的表的图。
图9是示出区域划分处理的处理结果的示例的图。
图10是示出从植被的偏振图像获取法线图的结果的示例的图。
图11是示出LIDF的数学表示和作为其描述性分布的测量直方图的图。
图12是示出使用光谱反射图像的叶检测的结果的图。
图13是示出使用偏振图像的叶检测的结果的图。
图14是反射特性模型生成处理的流程图。
图15是示出根据第二实施方式的成像装置的示例的图。
图16是示出根据第二实施方式的修改的成像装置的示例的图。
图17是示出通过带通滤光器和RGB传感器的组合获取窄带R/IR信号的图。
图18是示出根据第三实施方式的成像装置的示例的图。
图19是示出根据第三实施方式的成像装置的另一示例的图。
图20是示出根据第四实施方式的成像装置的示例的图。
具体实施方式
下面将参照附图详细描述本公开内容的实施方式。在下面的实施方式中的每一个中，相同部分用相同的附图标记表示，并且将省略对其的重复描述。
(第一实施方式)
[根据第一实施方式的系统的配置]
图1是示出根据第一实施方式的图像处理系统的图。如图1所示，图像处理系统100包括图像处理装置1、无人机2和植被指数生成装置3。
图像处理系统100是提供用于估计植被信息的植被指数的系统，该植被信息是与被称为反射光谱远程感测的感测实现时的植被的分布、量和功能有关的信息。
无人机2配备有包括捕获光谱反射图像和偏振图像的相机的成像装置21。这里，成像装置21中包括的捕获光谱反射图像的相机和捕获偏振图像的相机可以是分开的相机或一个相机。例如，成像装置21配备有使用成像元件的相机，该成像元件能够同时获取在成像系统标准中的0度、45度、90度和135度的四个偏振角的四个偏振光束，在该成像系统标准中，特定位置被定义为偏振角中的0度。
无人机2作为植被调查对象在田地上空飞行，并且同时使用相机从空中视点获取田地的光谱反射图像和偏振图像。此后，无人机2在田地上空移动的同时，连续地捕获光谱反射图像和偏振图像，并且将一系列图像相互连接，以获取光谱反射图像组和偏振图像组，光谱反射图像组和偏振图像组将分别为覆盖田地的一部分或整个田地的光谱反射图像或偏振反射图像。
图像处理装置1是执行根据本公开内容的图像处理的信息处理装置。图像处理装置1从无人机2获取偏振图像组。这里，图像处理装置1利用无线或有线信道与无人机2连接，以获取偏振图像组的数据。偏振图像组包括针对每个偏振角的多个偏振图像。然而，由于图像处理装置1对偏振图像中的每一个执行类似的处理，因此下面将描述一个偏振图像的图像处理。
图像处理装置1从偏振图像获取每个像素中的法线向量。然后，当作为偏振图像中的法线向量的分布的法线向量特性由预定数学模型表示时，图像处理装置1获取预定数学模型中的参数。接下来，图像处理装置1使用获得的参数估计表示在由偏振图像表示的植被群落的每个点处的每个方向上的反射光的强度的反射特性模型。此后，图像处理装置1将关于估计的反射特性模型的信息输出至植被指数生成装置3。图2是图像处理装置的框图。
这里，将描述反射光谱远程感测。通过使用反射光谱远程感测，可以估计诸如植物的内部结构、植物中所含的色素、微量成分的类型和量以及水分状态的植物信息。估计的所含色素的示例包括叶绿素a、叶绿素b和类胡萝卜素。另外，估计的微量成分的示例包括氮、钾和磷。
通常使用公式来估计植物信息，该公式使用与作为测量目标的信息高度相关的波长范围的反射光谱结果作为输入。使用该式的估计有时使用被称为植被指数(VI)的指数。最典型的VI是归一化差值植被指数(NDVI)，其是图3中示出的650nm或更小的红光和800nm或更小的近红外(NIR)光的归一化比率。图3是示出NDVI的概念的图。在下文中，近红外光可以被简称为NIR。NDVI是通过利用红波段中叶绿素色素的吸收和NIR波段中植物的细胞结构的高反射特性，粗略指示植物的健康状况的指数。例如，如图3所示，可以使用NDVI来确定植物的健康状况。
VI的其他示例包括归一化差值红边(NDRE)、归一化差值水分指数(NDWI)和归一化差值建立指数(NDBI)。NDRE是量化710nm至720nm波段(被称为红边)中的光与叶绿素的含量之间相关性的指数。NDWI是波长为860nm的光与波长为1240nm的光的归一化比率，这与水分含量具有高度相关性。NDBI是波长为860nm的光与波长为2160nm的光的归一化比率，这与干产品含量高度相关。
这里，在反射光谱远程感测中，测量值可以取决于照明/成像系统与田地表面之间的几何关系而大幅变化。这是由于以下事实：与其他自然对象相比，植被群落在取决于照明准确度和观测角度的反射光的强度的特性方面是典型的。在下文中，取决于照明准确度和观测角度的反射光的强度的特性可以被简称为“反射特性”。
图4是示出植被的反射特性的图。假设来自光源的光从箭头的方向入射，由在反射表面上示出的曲线包围的区域表示在各个方向上观测到的反射光的强度。通常，在由平坦且光滑的材料形成的反射表面上，如反射特性201所示，强光在反射表面的与来自光源的照明光的入射角的法线交叉的相对侧反射。相比之下，当植被群落为目标时，反射表面通常由粗糙材料形成。在由粗糙材料形成的反射表面的情况下，如反射特性204所示，由于内部相互反射等的影响，在与光源所在方向相同的方向上的反射强度通常相对于反射表面的法线更强。另外，如图4所示，取决于反射表面的状态，可能发生具有反射特性202或203的反射。在下文中，展示了根据反射特性在各个观测方向上的反射光的强度的模型被称为“反射特性模型”，该反射特性在反射特性201至204中示出。
图5是示出入射在无人机上的反射光的图。图6是示出由反射特性引起的典型问题的图。如图5所示，当从无人机对无人机正下方的地面进行成像时，图像左端的反射光211和图像右端的反射光212相对于太阳角度以观测角跨法线N具有正/负关系。此时，在植物群落具有图4中的反射特性204的情况下，观测图像在右端与左端之间具有亮度差，如图6的捕获图像213所示。在捕获图像213中，当在页面上观看时，左端的亮度低而右端的亮度高。将这样的捕获图像213组合在一起作为没有校正的整个田地将生成图像214。在这种情况下，当亮度水平存在较大差异时，将存在具有暗区和亮区交替绘制的状态的图像，如图像214所示。认为处于这样的状态的图像214远非与实际植物群落的状态匹配的图像。以这种方式，取决于观测条件而发生测量值的变化可能导致反射光谱远程感测中的大问题。
作为校正由于反射特性而引起的测量值的这样的变化的技术，存在估计作为测量目标的田地中的植被群落的反射特性并且相应地校正测量值的方法。例如，为了根据反射特性对图像测量中的每个像素的测量值添加校正，能够设想用数学模型来表达反射特性。在这种情况下，估计数学模型的模型参数。
最常用的数学模型之一是被称为PROSAIL的数学模型。例如，“Katja Berger,Clement Atzberger,Martin Danner,Guid D'Urso,Wolfram Mauser,Francesco Vuolo,Tobias Hank,Evaluation of the PROSAILModel Capabilities for FutureHyperspectral Model Environments:AReview Study,Remote Sensing(MDPI),2018年1月10日”描述了PROSAIL模型，该模型表现了植被群落的反射特性。图7是示出PROSAIL模型的每个参数的说明的概要的图。图8是示出总结PROSAIL模型的每个参数的说明的表的图。从图7和图8可以看到，用于描述PROSAIL模型的参数包括与太阳方向、观测方向和大气有关的参数，以及与植被类型、群落状况和土壤状况有关的参数。前面的参数在观测环境中可以固定为常数。另一方面，后面的参数是田地特定值，并且难以准确地指定这些参数中的每一个。
与植被类型、群落状况和土壤状况有关的参数的示例是叶法线统计。例如，图8中的平均叶倾斜角(ALIA)和叶倾斜分布函数(LIDF)是叶法线统计的示例。ALIA是指示叶相对于天顶的倾斜角的值的平均值。LIDF是表达相对于天顶的倾斜角的分布的值。如“G.SCampbell,Derivation of an angle density function for canopies withellipsoidal leaf angle distributions,Agricultural and Forest Meteorology,1990年2月3日，第49卷，第173至176页”中所示出的，LIDF表示椭圆体的平坦度，其近似相对于植被群落中的叶中的每一个的天顶的法线角度分布。
通常，PROSAIL模型对于描述植被群落的反射特征是有效的，并且广泛用于对来自天空例如卫星观测的感测结果的分析。然而，存在用于分析的许多参数，并且这些参数的处理是复杂的。尤其是，难以从远程感测信息得到田地特定参数ALIA和LIDF。
因此，提出了这样的技术：将作为田地相关数据的在地面单独测量的信息用作用于远程感测以补充得到ALIA和LIF的参数的准确度的辅助信息。然而，这样的测量通常使用特殊采样方法，并且在这种情况下，存在成本将增加的担忧。另外，在地面上单独执行的田地相关数据的测量具有有限的测量范围，并且因此在处理中倾向于使用仅采样的测量结果。这可能导致对宽范围的目标的准确度的有限保证，使得难以在适当的范围内提高测量值的准确度。
有鉴于这些问题，根据本公开内容的图像处理装置1从偏振图像分析法线向量特性，获取表示表现法线向量特性的数学模型的法线向量特性参数，并且使用获取的法线向量特性参数估计植被群落的反射特性模型。这使得根据本公开内容的图像处理装置1可以执行植被群落的反射特性模型的容易且高准确度的获取，关于从来自天空的观测数据计算的表示植被的指数值的反射特性引起的变化的校正，从而执行表示准确植被的指数的获取。在下文中，将参照图2详细描述根据本公开内容的图像处理装置1。
图像处理装置1包括偏振图像获取单元11、法线图生成单元12、土壤分离处理单元13、植物特性提取单元14、反射特性估计单元15、叶面积指数计算单元16、反射率计算单元17和反射特性模型生成单元18。植物特性提取单元14具有椭圆模型拟合单元141和林下叶区域检测单元142。
偏振图像获取单元11获取由无人机2捕获的偏振图像。接下来，偏振图像获取单元11将获取的偏振图像输出至法线图生成单元12和土壤分离处理单元13。
法线图生成单元12从偏振图像获取单元11接收偏振图像的输入。随后，法线图生成单元12对偏振图像执行图像处理，并且逐像素地检测叶的法线。随后，法线图生成单元12生成表示法线的分布的法线图。
例如，法线图生成单元12通过将多个方向上的偏振图像应用于模型公式来计算法线信息以生成法线图。该法线图是“法线向量特性”的示例。更具体地，当将观测亮度应用于以下数学公式(1)时，法线图生成单元12从观测光的相位获得方位角。
Figure BDA0003610014000000071
这里，I是通过偏振片的观测亮度。θpol是旋转的偏振片的角度。φ是观测光的相位。Imax和Imin是拟合的幅度。
此外，法线图生成单元12通过使用由下面的数学公式(2)表示的偏振度的等式获得天顶角。偏振度表示观测光中的偏振光的比率，并且通常，偏振度随着天顶角的增加而增加。
Figure BDA0003610014000000072
计算法线图的技术的示例包括日本专利申请特许公开第2007-86720号、国际公开第2008/099589号和Lawrence B.Wolff等,Constraining Object Features UsingPolarization Reflectance Model,1991,Gary A.Atkinson等,Recovery of SurfaceOrientation From Diffuse Polarization,2006年。
获得法线图的过程不特别限制偏振的波长。此外，与根据本实施方式的法线图生成单元12一样，可以通过将RGB颜色信息与偏振信息一起使用来提高法线图的准确度。例如，Miyazaki Daisuke等.Polarization-based inverse Rendering from a singleview.ICCV03(9820987)公开了解决由于镜面反射与漫反射之间的偏振行为差异而引起的法线准确度劣化的方法。具体地，所公开的技术是这样的技术：通过执行使用各个颜色和偏振信息移除镜面反射分量的预信号处理来实现偏振行为与漫反射行为之间的匹配，从而提高法线估计准确度。法线图生成单元12也可以通过将RGB颜色信息与偏振信息一起使用来获得类似的效果。
图10是示出从植被的偏振图像获取法线图的结果的示例的图。偏振图像231是在成像系统标准中的0度方向上的偏振图像。例如，法线图生成单元12从偏振图像231生成法线图232。法线图232示出了每个像素的法线的方向。法线图233是关于参考球的法线图。
法线图生成单元12将生成的法线图输出至椭圆模型拟合单元141、林下叶区域检测单元142和反射特性估计单元15。该法线图生成单元12对应于“向量分析单元”的示例。
土壤分离处理单元13从偏振图像获取单元11接收偏振图像的输入。随后，通过图像处理，土壤分离处理单元13执行将偏振图像划分成植被区域和土壤区域的区域划分处理。下面将描述区域划分处理的细节。图9是示出区域划分处理的处理结果的示例的图。
土壤分离处理单元13通过使用一般的颜色分割技术将偏振图像中的区域划分成植被区域和土壤区域。另外，土壤分离处理单元13对偏振图像组中包括的偏振图像中的每一个执行该区域划分处理，以提高分离准确度。例如，通过对图9的偏振图像221执行区域划分处理，土壤分离处理单元13获取划分处理图像222。在划分处理图像222中，区域223是植被区域，而区域224是土壤区域。
随后，土壤分离处理单元13将偏振图像中被确定为土壤区域的区域的信号输出至反射特性估计单元15。此外，土壤分离处理单元13将偏振图像中被确定为植被区域的区域的信号输出至植物特性提取单元14的椭圆模型拟合单元141和林下叶区域检测单元142。
椭圆模型拟合单元141从法线图生成单元12接收法线图的输入。此外，椭圆模型拟合单元141从土壤分离处理单元13接收偏振图像中的植被区域的图像的信号的输入。椭圆模型拟合单元141指定与法线图的植被区域对应的区域。随后，通过使用图11中示出的关于指定区域中的法线信息的法线分布(normal distribution)，椭圆模型拟合单元141获得用于使用椭圆的数学近似模型的最佳参数。图11是示出LIDF的数学表示和作为该表示的描述性分布的测量直方图的图。具体地，椭圆模型拟合单元141获得图11中的χ作为参数。由椭圆模型拟合单元141获得的χ对应于使用椭圆的数学近似模型的LIDF。
从图11中的LIDF的数学表示计算与χ的值对应的中间输出值Λ，其是椭圆的长轴和短轴的比率，并且然后，最终计算表示天顶角分布的g(θ)。由数学表示表达的曲线由直方图240示出。在直方图240中，纵轴表示法线的频率，并且横轴表示法线的角度(弧度)。法线的角度越接近0，叶相对于地面越水平地延伸，并且法线的角度越接近1.571，叶相对于地面越垂直地延伸。
椭圆模型拟合单元141通过使用植被区域的法线图和偏振图像执行诸如光检测和测距(LiDAR)的三维感测来获取深度图。此后，椭圆模型拟合单元141选择具有由g(θ)表示的分布的χ，该分布拟合获得的深度图。以这种方式，椭圆模型拟合单元141执行LIDF参数拟合以确定比率χ的值。搜索拟合深度图的χ的方法的示例包括当与测量直方图有最高相似度时通过使用一般的全搜索、爬山技术等找到χ的方法。椭圆模型拟合单元141将获得的LIDF输出至反射特性模型生成单元18。由椭圆模型拟合单元141获得的LIDF对应于“表示法线分布的参数”的示例。
反射特性估计单元15从土壤分离处理单元13接收偏振图像中的土壤区域的图像的信号的输入。通过从土壤分离处理单元13接收偏振图像组中包括的偏振图像中的每一个的土壤区域的信号，反射特性估计单元15累积通过从各种角度对土壤区域进行成像而获得的像素数据。此外，反射特性估计单元15从法线图生成单元12接收法线图的输入。
接下来，反射特性估计单元15通过使用累积的图像数据和法线图来确定是否可以将土壤区域的反射特性视为朗伯(Lambertian)反射。朗伯反射是这样的反射模型：其将漫反射表面视为理想表面，其中反射光在所有方向上具有均匀的强度。这里，当偏振图像中的所有土壤区域均可以视为平坦时，反射特性估计单元15也可以在不使用法线图的情况下获取土壤区域的反射特性。
当土壤区域的反射特性不能视为朗伯反射时，即，当土壤区域的反射特性为非朗伯反射时，反射特性估计单元15获得表示反射特性的数学模型。例如，反射特性估计单元15将诸如Phong反射模型的双向反射分布函数(BRDF)模型应用于土壤区域的反射特性。通过该应用，反射特性估计单元15估计表示土壤区域中的反射光的数学模型中的最近似参数，并且获得表示土壤区域的反射特性的数学模型。这里，由朗伯反射的反射模型或BRDF模型表达的土壤区域的反射被称为“土壤反射特性”。
反射特性估计单元15将估计的土壤反射特性输出至反射率计算单元17。这里，虽然本实施方式是将偏振图像划分成两个区域即植被区域和土壤区域的情况，但是即使当反射特性估计单元15执行划分处理而没有将偏振图像完全划分成两个区域同时留下某个模糊区域时，也可以如下所述由反射率计算单元17计算反射率。
反射率计算单元17从反射特性估计单元15接收估计的土壤反射特性的输入。随后，反射率计算单元17使用获取的土壤反射特性计算土壤的反射率ρs。具体地，当土壤具有非朗伯反射时，反射率计算单元17例如通过以下方法之一计算反射率ρs。在一种方法中，反射率计算单元17通过采用镜面反射最小的区域中的反射来获得反射率ρs。在另一方法中，反射率计算单元17执行镜面反射的计算消除并且提取最稳定的光谱反射率作为反射率ρs。
此后，反射率计算单元17将计算的土壤反射率ρs输出至反射特性模型生成单元18。
另外，在PROSAIL模型中，被称为叶面积指数(LAI)的参数的贡献也较大。叶面积指数是通过对某一土地上方的所有叶面积进行积分并且将积分值转换成每单位土地面积的值而获得的值。一般提出的方法包括通过观测目标植被的落叶获得叶面积指数的技术，以及通过使用与通过从下方对群落进行成像的对植被群落的观测相比的光量差异信息进行补充来提高叶面积指数的准确度的技术。然而，这些技术具有有限的测量范围，并且因此在处理中倾向于使用仅采样的测量结果。这可能导致对宽范围的目标的准确度的有限保证，使得难以在适当的范围内提高测量值的准确度。因此，根据本实施方式的图像处理装置1使用偏振图像和法线图来获得叶面积指数。下面将描述由林下叶区域检测单元142和叶面积指数计算单元16进行的叶面积指数的计算。
林下叶区域检测单元142从法线图生成单元12接收法线图的输入。此外，林下叶区域检测单元142从土壤分离处理单元13接收偏振图像中的植被区域的图像的信号的输入。随后，林下叶区域检测单元142使用植被区域的图像的信号和法线图执行边缘检测和机器学习，并且估计偏振图像中的叶的数目。
图12是示出使用光谱反射图像的叶检测的结果的图。另外，图13是示出使用偏振图像的叶检测的结果的图。通过对图12中的光谱反射图像251执行边缘检测，可以获得边缘检测图像252。如边缘检测图像252所表示的，在光谱反射图像251的图像中难以检测阴影区域中的叶的存在。另一方面，林下叶区域检测单元142可以通过一个方向上的偏振光或若干偏振方向上的偏振光束的组合来检测阴影区域中存在的叶。图13的偏振图像254是具有与光谱反射图像253对应的单向偏振的偏振图像。偏振图像255是通过组合若干偏振方向上的图像而获得的图像。即，通过使用偏振图像254和偏振图像255，林下叶区域检测单元142可以检测光谱反射图像253不能检测到的阴影部分中的叶。以这种方式，林下叶区域检测单元142在多种偏振条件下对图像执行叶检测。林下叶区域检测单元142然后根据检测到的叶的数目计算叶面积密度。此后，林下区域检测单元142将叶面积密度输出至叶面积指数计算单元16。以这种方式，通过检测阴影区域中的叶，可以提高叶面积密度的准确度，从而导致提高在后续过程中由叶面积指数计算单元16计算的叶面积指数的准确度。
这里，尽管本实施方式使用了林下叶区域检测单元142使用被确定为植被区域的区域的信号并且使用法线图计算叶面积密度的方法，但是在能够容忍计算的叶面积密度的准确度的降低的情况下，林下叶区域检测单元142也可以不使用法线图而获得叶面积密度。
叶面积指数计算单元16从林下叶区域检测单元142接收偏振图像中的叶面积密度的输入。随后，叶面积指数计算单元16使用获取的叶面积密度计算叶面积指数。叶面积指数计算单元16将计算的叶面积指数输出至反射特性模型生成单元18。
这里，植物特性提取单元14、反射特性估计单元15、叶面积指数计算单元16和反射率计算单元17对应于“参数计算单元”的示例。
反射特性模型生成单元18从椭圆模型拟合单元141接收LIDF的输入。另外，反射特性模型生成单元18从反射率计算单元17接收土壤的反射率ρs的输入。此外，反射特性模型生成单元18从叶面积指数计算单元16接收叶面积指数的输入。
随后，通过使用LIDF、土壤的反射率ρs和叶面积指数，反射特性模型生成单元18获取偏振图像的每个像素中的图4中示出的反射特性模型。例如，反射特性模型生成单元18从图8中示出的PROSAIL模型的参数中的获取的信息确定PROSAIL模型中的LIDF、土壤的反射率ρs和叶面积指数。此外，可以通过实际测量获得参数215中的每一个的值，并且反射特性模型生成单元18将输入的测量值设置为参数215中的每一个的值。此外，在反射特性模型生成单元18中，参数216被设置为预定的固定值。此外，参数217是由田地的环境确定的值，并且反射特性模型生成单元18使用输入值作为参数217的值。通过以这种方式确定各个参数，反射特性模型生成单元18可以生成PROSAIL模型作为反射特性模型。反射特性模型生成单元18将生成的反射特性模型输出至植被指数生成装置3。该反射特性模型生成单元18对应于“特性估计单元”的示例。
返回到图1，下面将进行描述。植被指数生成装置3包括图像获取单元31、校正单元32、植被指数计算单元33和显示控制单元34。植被指数生成装置3通过无线或有线信道与无人机2连接。
图像获取单元31从无人机2获取光谱反射图像组的数据。然后，图像获取单元31将获取的光谱反射图像组的光谱反射图像中的每一个连同关于对应的偏振图像的信息一起输出至校正单元32。
校正单元32从图像获取单元31接收光谱反射图像组的输入。另外，校正单元32获取关于由图像处理装置1获取的反射特性模型的信息。然后，校正单元32通过使用光谱反射图像上的每个点处的反射特性模型对光谱反射图像进行校正。随后，校正单元32将校正后的光谱反射图像输出至植被指数计算单元33。
植被指数计算单元33从校正单元32接收校正后的光谱反射图像的输入。随后，植被指数计算单元33从校正后的光谱反射图像获取红光量和近红外光量，并且计算包括NDVI的VI。此后，校正后的光谱反射图像将包括计算的NDVI的VI输出至显示控制单元34。这里，尽管本实施方式将以NDVI为例进行描述，但是从由植被指数计算单元33校正的光谱反射图像计算的信息可以是另一VI。
显示控制单元34从植被指数计算单元33接收包括NDVI的VI的输入。随后，显示控制单元34控制在诸如监视器的显示装置上显示包括NDVI的VI。用户使用包括提供的NDVI的VI确定植被状况。
[用于生成反射特性模型的方法]
图14是反射特性模型生成处理的流程图。接下来，将参照图14描述反射特性模型生成处理的流程。
无人机2在飞过田地的同时捕获偏振图像。偏振图像获取单元11获取由无人机2从天空捕获的田地的偏振图像(步骤S1)。
法线图生成单元12从偏振图像获取单元11接收从天空捕获的田地的偏振图像的输入。接下来，法线图生成单元12对偏振图像执行图像处理，逐像素地检测叶的法线，并且生成法线图(步骤S2)。法线图生成单元12将生成的法线图输出至椭圆模型拟合单元、林下叶区域检测单元142和反射特性估计单元15。
土壤分离处理单元13从偏振图像获取单元11接收从天空捕获的田地的偏振图像的输入。接下来，土壤分离处理单元13通过使用颜色分割技术对偏振图像执行植被区域和土壤区域的划分处理(步骤S3)。土壤分离处理单元13将偏振图像中的植被区域的图像的信号输出至椭圆模型拟合单元和林下叶区域检测单元142。此外，土壤分离处理单元13将偏振图像中的土壤区域的图像的信号输出至反射特性估计单元15。
椭圆模型拟合单元141从法线图生成单元12接收法线图的输入。此外，椭圆模型拟合单元141从土壤分离处理单元13接收植被区域的图像的信号的输入。通过使用关于法线图中的植被区域的信息的法线分布，椭圆模型拟合单元141使用椭圆获得用于数学近似模型的最佳参数，并且计算LIDF(步骤S4)。此后，椭圆模型拟合单元141将计算的LIDF输出至反射特性模型生成单元18。
反射特性估计单元15从法线图生成单元12接收法线图的输入。此外，反射特性估计单元15从土壤分离处理单元13接收土壤区域的图像的信号的输入。随后，反射特性估计单元15使用图像数据和法线图计算土壤区域的土壤反射特性(步骤S5)。
反射率计算单元17使用由反射特性估计单元15计算的土壤反射特性计算土壤的反射率ρs(步骤S6)。反射率计算单元17将计算的土壤的反射率ρs输出至反射特性模型生成单元18。
林下叶区域检测单元142从法线图生成单元12接收法线图的输入。此外，椭圆模型拟合单元141从土壤分离处理单元13接收植被区域的图像的信号的输入。随后，林下叶区域检测单元142通过使用边缘检测和机器学习从法线图和植被区域的图像的信号获得叶的数目，并且然后使用获得的叶的数目计算叶面积密度(步骤S7)。林下叶区域检测单元142将计算的叶面积密度输出至叶面积指数计算单元16。
叶面积指数计算单元16从林下叶区域检测单元142接收叶面积密度的输入。接下来，叶面积指数计算单元16使用叶面积密度计算叶面积指数(步骤S8)。叶面积指数计算单元16将计算的叶面积指数输出至反射特性模型生成单元18。
反射特性模型生成单元18从椭圆模型拟合单元141接收LIDF的输入。另外，反射特性模型生成单元18从反射率计算单元17接收土壤的反射率ρs的输入。此外，反射特性模型生成单元18从叶面积指数计算单元16接收叶面积指数的输入。随后，反射特性模型生成单元18使用预先确定的信息和输入信息以及获取的LIDF、反射率ρs和叶面积指数来生成反射特性模型(步骤S9)。
[动作/效果]
如上所述，根据本实施方式的图像处理装置1获取通过从天空对田地进行成像而获得的偏振图像组。随后，图像处理装置1使用法线图获得LIDF。此外，图像处理装置1通过使用偏振图像中的植被区域的图像的信号并且使用法线图获得叶面积密度，并且然后计算叶面积指数。另外，图像处理装置1通过使用偏振图像中的土壤区域的图像的信号并且使用法线图计算土壤的反射率ρs。以这种方式，图像处理装置1可以使用在田地容易获得的宽范围的信息来生成反射特性模型。
在这种情况下，保证反射特性模型在田地合适的范围内具有高的准确度。另外，通过使用由根据本实施方式的图像处理装置1生成的反射特性模型来校正光谱反射图像，可以准确地抑制由于观测条件而引起的变化。因此，通过使用光谱反射图像，该光谱反射图像通过使用由根据本实施方式的图像处理装置1生成的反射特性模型来校正，可以实现准确的反射光谱远程感测。
(第二实施方式)
与安装在无人机2上的成像装置21中包括的相机被简单地分类为捕获光谱反射图像和偏振图像的相机的第一实施方式相比，下面将描述成像装置21中包括的相机的细节。
图15是示出根据第二实施方式的成像装置的示例的图。安装在无人机2上的根据本实施方式的成像装置21通过使用两个相机即获取光谱反射图像的相机和获取偏振图像的相机来执行成像。下面将描述成像装置的细节。
根据本实施方式的成像装置21包括相机301和相机311。如像素阵列302所示出的，相机301具有像素302R，每个像素302R均设置有滤色器，该滤色器透射与红色对应的窄带中的650nm附近的红光。这里，附近包括在范围的每侧上50nm的范围。该650nm附近的窄带是“第一预定窄带”的示例。此外，相机301具有像素302IR，每个像素302IR均设置有滤色器，该滤色器透射与近红外波段对应的窄带中的850nm附近的近红外光。该850nm附近的窄带是“第二预定窄带”的示例。像素302R和像素302IR以棋盘图案交替布置。相机301是同时捕获红波段和近红外波段的窄带R/IR相机。相机301获取光谱反射图像。
具体地，相机301获取曲线图303中示出的信号。曲线图303表示由相机301获取的每个波长的光透射率。在曲线图303中，纵轴表示光透射率，并且横轴表示波长。曲线304表示由像素302R获取的每个频带的光透射率，并且对应于红光透射率。此外，曲线305表示由像素302IR获取的每个波长的光透射率，并且对应于近红外光透射率。植被指数生成装置3的校正单元32可以从由相机301捕获的光谱反射图像获取作为植被指数的NDVI。该相机301对应于“第一相机”的示例。
相机311是获取偏振图像的偏振相机。如像素阵列312所示出的，相机311包括以下三种滤色器的布置。一种是选择性地透射具有红色波长分量的光的滤色器313R(在下文中被称为“红色滤光器”)。另一种是选择性地透射具有绿色波长分量的光的滤色器313G(在下文中被称为“绿色滤光器”)。又一种是选择性地透射具有蓝色波长分量的光的滤色器313B(在下文中被称为“蓝色滤光器”)。另外，相机311包括针对滤色器中的每一个的四个角度即0度、45度、90度和135度的偏振透镜312A、312B、313C和312D。在下文中，将具有0度、45度、90度和135度四个角度的偏振信号称为四向偏振信号。即，相机311具有用于颜色的三个通道，并且三个颜色通道中的每一个具有用于获取四向偏振信号的四个通道，使得可以获取总共具有12个通道的信号的图像。在本实施方式中，相机311具有布置为红色滤光器313R和蓝色滤光器313B的图像的两倍的绿色滤光器313G。然而，该滤色器的分布可以以不同的分布布置。
曲线图314示出了当由相机311捕获时每个波长的红色、绿色和蓝色的相对响应。在曲线图314中，纵轴表示相对响应，并且横轴表示波长。曲线315表示红色的响应。曲线316表示绿色的响应。曲线317表示蓝色的响应。该相机311是“第二相机”的示例。
图像处理装置1从由相机311所获取的曲线图313中表示的光形成的偏振图像获得LIDF、叶面积指数和土壤的反射率ρs，并且然后生成反射特性模型。通过使用生成的反射特性模型对从由相机301获取的曲线图303生成的NDVI进行校正，图像处理装置1的用户可以实现准确的反射光谱远程感测。
如上所述，通过使用具有包括透射窄带中的650nm附近的光的滤色器以及透射窄带中的850nm附近的光的滤色器的布置的像素的相机，可以获取红色频带和金色红外光频带中的光谱反射图像。此外，可以通过使用包括分配给三种颜色中的每一种的四个偏振方向的像素的相机执行成像来获取偏振图像。另外，通过使用偏振图像，图像处理装置1可以获取用于校正的参数中的每一个。通过该配置，图像处理系统100可以适当地校正NDVI并且可以生成准确的光谱反射图像。通过使用准确的光谱反射图像，图像处理系统的用户可以实现准确的反射光谱远程感测。
(修改)
图16是示出根据第二实施方式的修改的成像装置的示例的图。根据本修改的成像装置21与关于窄带R/IR相机的第二实施方式的不同之处在于，透射两个波长带的带通滤光器被设置在透镜的正上方或正下方，并且使用普通的RGB滤光器作为像素中的每一个上的滤色器。
根据本修改的成像装置21包括图16中示出的相机321和相机331。在相机321中，如像素阵列322所示出的，红色滤色器被设置在像素322R上，绿色滤色器被设置在像素322G上，并且蓝色滤色器被设置在像素322B上。包括像素322R、322G和322B的四个像素的组合重复地布置在相机321上。此外，相机321的透镜设置有使两个波长带通过的带通滤光器，一个波长带在对应于红色的窄带中的650nm附近，另一波长带在对应于近红外频带的窄带中的850nm附近。
在相机321中，随着光通过RGB滤光器，获得红色、蓝色和绿色，其中在曲线图323中示出了每个波长的相对透射率。曲线324表示红色的相对透射率，曲线335表示绿色的相对透射率，并且曲线336表示蓝色的相对透射率。此外，随着光通过通过两个波长带的带通滤光器，相机321获取在曲线图327中示出的频带中的光。在曲线图327中，纵轴表示透射率，并且横轴表示波长。即，相机321获取由曲线328示出的650nm附近的窄带光和由曲线329示出的850nm附近的窄带光。
图17是示出通过带通滤光器和RGB传感器的组合获取窄带R/IR信号的图。相机321的带通滤光器使由图17中示出的曲线328和曲线329示出的波长范围内的光通过。在曲线图323中，积分相对响应是由相机321获取的光量。因此，对于曲线图323中示出的光束中的红色，相机321获取与区域401和区域402对应的光，该区域401和区域402是曲线324与曲线328和曲线329交叠的部分。另外，对于曲线图323中示出的光束中的蓝色，相机321获取与区域403对应的光，该区域403是曲线326与曲线328和曲线329交叠的部分。近红外光被表示为与区域403对应的光。红光作为通过首先将透射的红光的总量乘以权重，并且然后将相乘结果除以所减少的蓝光的总量的值而获得，其中权重是通过将区域403除以区域402而获得的。即，“近红外光量＝对应于区域403的光量”。此外，“近红外光量＝透射红光总量×权重-透射蓝光总量”。
以这种方式，通过组合带通滤光器和RGB滤光器，相机321可以获取650nm附近的窄带红光和850nm附近的窄带近红外光。由于难以制造第二实施方式中描述的布置在像素上方的窄带滤色器，因此使用具有修改中描述的带通滤光器和RGB滤光器的组合的相机321将进一步有利于成像装置21的制造。
相机331具有与第二实施方式中的相机311类似的配置。相机311中的每个像素的像素阵列332类似于图15的像素阵列312。由相机331捕获的光由曲线图333表示。
同样在这种情况下，图像处理装置1从由相机331捕获的图像获得LIDF、叶面积指数和土壤的反射率ρs，并且生成反射特性模型。通过使用生成的反射特性模型对由相机321获取的NDVI进行校正，图像处理装置1的用户可以实现准确的反射光谱远程感测。
如上所述，通过使用组合带通滤光器和RGB滤光器的相机，可以获取红色波段和金色红外光波段的光谱反射图像。以这种方式，即使利用组合带通滤光器和RGB滤光器的相机，也可以获取光谱反射图像，使得图像处理系统100可以适当地校正NDVI并且生成准确的光谱反射图像。通过使用准确的光谱反射图像，图像处理系统的用户可以实现准确的反射光谱远程感测。
(第三实施方式)
第二实施方式已经描述了无人机2配备有包括两个相机的成像装置21的情况。相比之下，根据本实施方式的无人机2配备有包括三个相机的成像装置21，三个相机中的每一个分别捕获正常RGB信号、窄带R/IR信号和四向偏振信号。下面将描述安装在根据本实施方式的无人机2上的成像装置21中包括的相机的细节。
图18是示出根据第三实施方式的成像装置的示例的图。根据本实施方式的成像装置21包括相机341、351和361。
相机341是通过组合带通滤光器和RGB滤光器来获取650nm附近的窄带红光和850nm附近的窄带近红外光的相机。相机341具有与根据图16中示出的第二实施方式的修改的相机321类似的功能。具体地，相机341具有设置在透镜上方的带通滤光器，该带通滤光器使曲线图344中示出的波长范围内的光透射。此外，相机341在由像素阵列342示出的图案中的每个像素上方具有RGB滤光器，并且从由曲线图343表示的光束中获取曲线图344中示出的波长范围内的光以生成图像。该相机341是“第一相机”的示例。
相机351具有以由像素阵列352表示的图案布置在每个像素上方的RGB滤光器。相机351获取由曲线图353表示的光并且生成正常RGB图像。该相机351是“第二相机”的示例。
相机361具有像素，每个像素配备有黑白传感器并且被配置成获取四个方向上的偏振信号，如像素阵列362所示出的。即，相机361使用四个方向上的偏振信号生成黑白偏振图像。该相机361是“第三相机”的示例。
图像处理装置1使用由相机351获取的正常RGB图像和由相机361获取的偏振图像创建法线图，并且计算LIDF、反射率ρs和叶面积指数。
这里，上面已经描述了三个相机布置成行的情况。然而，相机的布置不限于此。图19是示出根据第三实施方式的成像装置的另一示例的图。例如，如图19所示，作为相机布置，相机341和相机361可以并排布置，并且另一相机即相机351可以布置在排列方向上的一侧。即，相机341、相机351和相机361可以被布置成形成三角形。
如上所述，通过使用由相机捕获的图像计算LIDF、反射率ρs和叶面积指数，该相机捕获正常RGB信号和四向偏振信号并且被包括在安装在根据本实施方式的无人机2上的摄像装置21中。以这种方式，通过使偏振信号消色，可以提高空间分辨率和每个通道的光量。
(第四实施方式)
安装在根据本实施方式的无人机2上的成像装置21将每个像素用作所有相机中的黑白传感器，并且利用滤光器获取每个信号。下面将描述安装在根据本实施方式的无人机2上的成像装置21中包括的相机的细节。
图20是示出根据第四实施方式的成像装置的示例的图。如图20所示，安装在根据本实施方式的无人机2上的成像装置21具有九个相机，即相机371至379。
相机371至379中的每一个均具有黑白传感器。在相机371、372、378和379中，用于使四个相互不同的方向上的偏振信号透射的滤光器被布置在透镜的正上方或正下方。通过这种配置，相机371至379生成由四向偏振信号捕获的偏振图像。
相机373具有布置在透镜正上方或正下方的红色滤色器。相机375具有布置在透镜正上方或正下方的绿色滤色器。相机377具有布置在透镜正上方或正下方的蓝色滤色器。相机373获取由曲线图383中的曲线384表示的红光。相机375获取由曲线图383中的曲线385表示的绿光。相机377获取由曲线图383中的曲线386表示的蓝光。即，正常RGB图像由相机373、相机357和相机377生成。
相机374包括布置在透镜正上方或正下方的带通滤光器，该带通滤光器允许对应于红色的650nm附近的窄带中的光通过。相机374获取已通过曲线图382中示出的波长带的光。
相机376包括布置在透镜正上方或正下方的带通滤光器，该带通滤光器允许对应于蓝色的850nm附近的窄带中的光通过。相机376获取已通过曲线图382中示出的波长带的光。
图像处理装置1使用由相机373、相机375和相机377生成的正常RGB图像和由相机371、相机372、相机378和相机379生成的偏振图像来计算LIDF、反射率ρs和叶面积指数，并且生成反射特性模型。
图像处理系统100中的图像处理装置1使用由相机373、相机375和相机377生成的正常RGB图像以及由相机374获取的650nm附近的窄带信号和由相机375获取的850nm附近的窄带信号来获取NDVI。此外，图像处理装置1使用由图像处理装置1生成的反射特性模型来校正获取的NDVI。
如上所述，安装在根据本实施方式的无人机2上的成像装置21包括其中RGB滤色器、四向偏振滤光器或带通滤光器与黑白传感器一起布置的相机。即使通过这样的配置，图像处理装置1也可以获取光谱反射图像和偏振图像，并且可以准确地获得反射特性模型。此外，与根据第三实施方式的成像装置21类似，根据本实施方式的成像装置21可以增加每个通道的空间分辨率和光量。
这里，尽管上面的实施方式中的每一个描述了布置不同偏振滤光器的配置，但是配置不限于此，并且安装在无人机2上的成像装置21可以通过改变单个偏振传感器的偏振角来获取四向偏振信号。在这种情况下，例如，第四实施方式中的成像装置21将具有六个相机。
此外，尽管上面的实施方式中的每一个均是使用四个方向上的偏振信号生成偏振图像的示例，但是实际上可以通过使用至少三个方向上的偏振信号的偏振图像来生成使用偏振图像的法线图。尽管如此，通过增加偏振信号的方向，可以提高法线图上的法线的准确度。例如，在第四实施方式的成像装置21的情况下，可以考虑获取三个或更多个不同偏振方向信号的相机的配置。
此外，上面的实施方式中的每一个均描述了记录来自安装在无人机2上的相机的光谱反射图像和调光图像的情况。然而，偏振图像可以由与安装在无人机2上的相机分开的、地球表面附近的相机捕获。例如，在基于卫星图像的反射光谱分析的情况下，优选的是利用地球表面附近的相机捕获偏振图像。
此外，即使当无人机2配备有用于捕获偏振图像的相机时，也能够允许与光谱反射图像的捕获分开地捕获偏振图像。例如，在捕获光谱反射图像之前，可以在与光谱反射图像的捕获中的高度不同的高度处捕获偏振图像。具体地，可以在较低的高度预先捕获田地的区域的一部分的偏振图像。此外，可以通过使用与捕获光谱反射图像的无人机2不同的无人机2来捕获偏振图像。
此外，尽管上面的实施方式中的每一个均描述了使用其中记录了植被区域和土壤区域两者的图像的情况，但是由图像处理装置1使用的图像不限于此。例如，图像处理装置1可以使用被记录为分开的图像的植被区域和土壤区域，并且可以基于植被区域的图像来获得LIDF和叶面积指数，并且基于土壤区域的图像来获得土壤的反射率ρs。在这种情况下，图像处理装置1不必包括土壤分离处理单元13。
上面已经描述了本公开内容的实施方式。然而，本公开内容的技术范围不限于上述实施方式，并且可以在不脱离本公开内容的范围的情况下进行各种修改。此外，能够允许在不同的实施方式和适当的修改中组合部件。
本说明书中描述的效果仅是示例，并且因此，可以存在其他效果，不限于例示的效果。
注意，本技术还可以具有以下配置。
(1)
一种图像处理装置，包括：
向量分析单元，所述向量分析单元基于获取的偏振图像来获得法线向量特性；以及
特性估计单元，所述特性估计单元基于由所述向量分析单元获得的所述法线向量特性来估计反射特性模型。
(2)
根据(1)所述的图像处理装置，还包括
参数计算单元，所述参数计算单元基于所述法线向量特性来计算所述反射特性模型中包括的参数，
其中，所述特性估计单元使用由所述参数计算单元计算的所述参数来估计所述反射特性模型。
(3)
根据(2)所述的图像处理装置，其中，所述参数计算单元计算表示法线分布的参数作为所述参数。
(4)
根据(3)所述的图像处理装置，其中，所述参数计算单元使用椭圆模型来计算表示所述法线分布的所述参数。
(5)
根据(2)至(4)中任一项所述的图像处理装置，其中，所述参数计算单元计算表示土壤的反射率的参数作为所述参数。
(6)
根据(2)至(5)中任一项所述的图像处理装置，其中，所述参数计算单元计算表示叶面积指数的参数作为所述参数，所述叶面积指数是单位面积内的叶占有比率。
(7)
根据(1)至(6)中任一项所述的图像处理装置，其中，所述向量分析单元从具有捕获光谱反射图像的第一相机和捕获所述偏振图像的第二相机的成像装置获取所述偏振图像。
(8)
根据(7)所述的图像处理装置，
其中，所述第一相机包括像素阵列，在所述像素阵列中交替布置有其中设置有使第一预定窄带中的红光透射的滤光器的像素以及其中设置有使第二预定窄带中的近红外光透射的滤光器的像素，并且
所述第二相机包括对于红光、绿光和蓝光中的每一种获取至少三个方向上的偏振信号的像素。
(9)
根据(7)所述的图像处理装置，
其中，所述第一相机包括像素，在所述像素中设置有使红光、绿光和蓝光中之一透射的第一滤光器，并且在所述像素中设置有使第一预定窄带的波长和第二预定窄带的波长中之一透射的与所述第一滤光器叠加的滤光器，并且
所述第二相机包括对于红光、绿光和蓝光中的每一种获取至少三个方向上的偏振信号的像素。
(10)
根据(1)至(6)中任一项所述的图像处理装置，其中，所述向量分析单元从包括第一相机、第二相机和第三相机的成像装置获取所述彩色图像和所述黑白偏振图像以将其作为所述偏振图像应用，所述第一相机捕获光谱反射图像，所述第二相机捕获彩色图像，所述第三相机捕获黑白偏振图像。
(11)
根据(1)至(6)中任一项所述的图像处理装置，其中，所述向量分析单元从配备有包括黑白传感器的相机的成像装置获取偏振图像，所述黑白传感器配备有以下任意之一：使第一预定窄带中的红光透射的滤光器；使第二预定窄带中的红外光透射的滤光器；使红光通过的滤光器；使绿光通过的滤光器；使蓝光通过的滤光器；以及使偏置分量通过的变化滤光器。
(12)
一种图像处理方法，包括：
基于获取的偏振图像来获得法线向量特性；以及
基于所述法线向量特性来估计反射特性模型。
(13)
一种使计算机执行处理的图像处理程序，所述处理包括：
基于获取的偏振图像来获得法线向量特性；以及
基于所述法线向量特性来估计反射特性模型。
参考标记列表
1 图像处理装置
2 无人机
3 植被指数生成装置
11 偏振图像获取单元
12 法线图生成单元
13 土壤分离处理单元
14 植物特性提取单元
15 反射特性估计单元
16 叶面积指数计算单元
17 反射计算单元
18 反射特性模型生成单元
21 成像装置
31 图像获取单元
32 校正单元
33 植被指数计算单元
34 显示控制单元

Claims (13)

1.一种图像处理装置，包括：
向量分析单元，所述向量分析单元基于获取的偏振图像来获得法线向量特性；以及
特性估计单元，所述特性估计单元基于由所述向量分析单元获得的所述法线向量特性来估计反射特性模型。
2.根据权利要求1所述的图像处理装置，还包括
参数计算单元，所述参数计算单元基于所述法线向量特性来计算所述反射特性模型中包括的参数，
其中，所述特性估计单元使用由所述参数计算单元计算的所述参数来估计所述反射特性模型。
3.根据权利要求2所述的图像处理装置，其中，所述参数计算单元计算表示法线分布的参数作为所述参数。
4.根据权利要求3所述的图像处理装置，其中，所述参数计算单元使用椭圆模型来计算表示所述法线分布的所述参数。
5.根据权利要求2所述的图像处理装置，其中，所述参数计算单元计算表示土壤的反射率的参数作为所述参数。
6.根据权利要求2所述的图像处理装置，其中，所述参数计算单元计算表示叶面积指数的参数作为所述参数，所述叶面积指数是单位面积内的叶占有比率。
7.根据权利要求1所述的图像处理装置，其中，所述向量分析单元从具有捕获光谱反射图像的第一相机和捕获所述偏振图像的第二相机的成像装置获取所述偏振图像。
8.根据权利要求7所述的图像处理装置，
其中，所述第一相机包括像素阵列，在所述像素阵列中交替布置有其中设置有使第一预定窄带中的红光透射的滤光器的像素以及其中设置有使第二预定窄带中的近红外光透射的滤光器的像素，并且
所述第二相机包括对于红光、绿光和蓝光中的每一种获取至少三个方向上的偏振信号的像素。
9.根据权利要求7所述的图像处理装置，
其中，所述第一相机包括像素，在所述像素中设置有使红光、绿光和蓝光中之一透射的第一滤光器，并且在所述像素中设置有使第一预定窄带的波长和第二预定窄带的波长中之一透射的滤光器以与所述第一滤光器叠加，并且
所述第二相机包括对于红光、绿光和蓝光中的每一种获取至少三个方向上的偏振信号的像素。
10.根据权利要求1所述的图像处理装置，其中，所述向量分析单元从包括第一相机、第二相机和第三相机的成像装置获取彩色图像和黑白偏振图像以将其作为所述偏振图像应用，所述第一相机捕获光谱反射图像，所述第二相机捕获所述彩色图像，所述第三相机捕获所述黑白偏振图像。
11.根据权利要求1所述的图像处理装置，其中，所述向量分析单元从配备有包括黑白传感器的相机的成像装置获取偏振图像，所述黑白传感器配备有以下任意之一：使第一预定窄带中的红光透射的滤光器；使第二预定窄带中的红外光透射的滤光器；使红光通过的滤光器；使绿光通过的滤光器；使蓝光通过的滤光器；以及使偏置分量通过的变化滤光器。
12.一种图像处理方法，包括：
基于获取的偏振图像来获得法线向量特性；以及
基于所述法线向量特性来估计反射特性模型。
13.一种使计算机执行处理的图像处理程序，所述处理包括：
基于获取的偏振图像来获得法线向量特性；以及
基于所述法线向量特性来估计反射特性模型。
CN202080074098.9A 2019-10-30 2020-09-04 图像处理装置、图像处理方法和图像处理程序 Withdrawn CN114586066A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019197849 2019-10-30
JP2019-197849 2019-10-30
PCT/JP2020/033523 WO2021084907A1 (ja) 2019-10-30 2020-09-04 画像処理装置、画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
CN114586066A true CN114586066A (zh) 2022-06-03

Family

ID=75715090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080074098.9A Withdrawn CN114586066A (zh) 2019-10-30 2020-09-04 图像处理装置、图像处理方法和图像处理程序

Country Status (4)

Country Link
US (1) US20220366668A1 (zh)
JP (1) JPWO2021084907A1 (zh)
CN (1) CN114586066A (zh)
WO (1) WO2021084907A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114440836B (zh) * 2022-01-19 2023-06-30 南京市测绘勘察研究院股份有限公司 一种附有玻璃幕墙建筑的无人机摄影测量建模方法
WO2024038330A1 (en) * 2022-08-16 2024-02-22 Precision Planting Llc Systems and methods for biomass identification
CN116609278B (zh) * 2023-07-21 2023-10-17 华东交通大学 一种农田重金属光谱数据的采集方法及系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264490B2 (en) * 2008-01-31 2012-09-11 University Of Southern California Practical modeling and acquisition of layered facial reflectance
CN101584222B (zh) * 2007-05-31 2011-10-12 松下电器产业株式会社 图像处理装置
CN102047651B (zh) * 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
IN2012DN00237A (zh) * 2009-06-11 2015-05-01 Pa Llc
US9562857B2 (en) * 2013-03-14 2017-02-07 University Of Southern California Specular object scanner for measuring reflectance properties of objects
JP5950166B2 (ja) * 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
JP6456156B2 (ja) * 2015-01-20 2019-01-23 キヤノン株式会社 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
US10049294B2 (en) * 2015-01-30 2018-08-14 X-Rite Switzerland GmbH Imaging apparatus, systems and methods
US10362280B2 (en) * 2015-02-27 2019-07-23 Sony Corporation Image processing apparatus, image processing method, and image pickup element for separating or extracting reflection component
JP6768203B2 (ja) * 2015-04-24 2020-10-14 ソニー株式会社 検査装置および検査方法、並びにプログラム
ES2929648T3 (es) * 2015-04-30 2022-11-30 Sony Group Corp Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa
US10460422B2 (en) * 2015-11-10 2019-10-29 Sony Corporation Image processing device and image processing method
CN109642787B (zh) * 2016-07-20 2021-10-29 穆拉有限公司 3d表面测量的系统与方法
JP6615723B2 (ja) * 2016-09-07 2019-12-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および対象物認識方法
JP6422924B2 (ja) * 2016-09-12 2018-11-14 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および被写体情報取得方法
CN109714948B (zh) * 2016-09-23 2022-02-01 索尼公司 控制设备、控制方法和控制系统
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
WO2019017095A1 (ja) * 2017-07-18 2019-01-24 ソニー株式会社 情報処理装置、情報処理方法、プログラム、情報処理システム
WO2019026618A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 撮像装置、撮像方法、並びにプログラム
CN108009392B (zh) * 2017-10-19 2022-01-04 桂林航天工业学院 一种浓密植被地表的遥感反射率模型构建及标定应用方法
JP7105150B2 (ja) * 2018-04-12 2022-07-22 浜松ホトニクス株式会社 非接触分光測定装置および非接触分光測定方法
CN113474635A (zh) * 2019-03-01 2021-10-01 索尼集团公司 图像处理设备、图像处理方法和程序
US20230062938A1 (en) * 2021-08-25 2023-03-02 X Development Llc Sensor fusion approach for plastics identification
US20230103668A1 (en) * 2021-10-06 2023-04-06 Bp Corporation North America Inc. Method and apparatus for implementing a high-resolution seismic pseudo-reflectivity image

Also Published As

Publication number Publication date
JPWO2021084907A1 (zh) 2021-05-06
WO2021084907A1 (ja) 2021-05-06
US20220366668A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
CN114586066A (zh) 图像处理装置、图像处理方法和图像处理程序
Huynh et al. Shape and refractive index recovery from single-view polarisation images
US8571325B1 (en) Detection of targets from hyperspectral imagery
US8897571B1 (en) Detection of targets from hyperspectral imagery
US10373339B2 (en) Hyperspectral scene analysis via structure from motion
US8897570B1 (en) Detection of targets from hyperspectral imagery
US20090033755A1 (en) Image acquisition and processing engine for computer vision
US8810658B2 (en) Estimating a visible vector representation for pixels in an infrared image
Mäkeläinen et al. 2D hyperspectral frame imager camera data in photogrammetric mosaicking
Arnold et al. UAV-based multispectral environmental monitoring
CN112052757B (zh) 火烧迹地信息提取方法、装置、设备和存储介质
De Biasio et al. UAV-based environmental monitoring using multi-spectral imaging
WO2019148122A1 (en) Multispectral filters
CN111413279A (zh) 多光谱探测的视频处理方法、装置及多光谱探测终端
Bartlett et al. Anomaly detection of man-made objects using spectropolarimetric imagery
Yang et al. Comparison of airborne multispectral and hyperspectral imagery for estimating grain sorghum yield
CN110647781B (zh) 一种基于谱图融合的农作物生长信息获取方法及装置
CN109459405B (zh) 基于窄带图像处理去除土壤背景干扰的光谱指数测量方法
Amziane et al. Frame-based reflectance estimation from multispectral images for weed identification in varying illumination conditions
CN115015258B (zh) 一种农作物长势与土壤水分关联确定方法及相关装置
CN110476412B (zh) 信息处理装置、信息处理方法和存储介质
CN115598071A (zh) 植物生长分布状态检测方法及装置
CN108007569A (zh) 一种多光谱影像辐射定标方法
Imai et al. Shadow detection in hyperspectral images acquired by UAV
US20180130189A1 (en) Image processing device, image processing method, and program recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220603