CN113874710A - 图像处理方法、图像处理装置、成像系统和程序 - Google Patents
图像处理方法、图像处理装置、成像系统和程序 Download PDFInfo
- Publication number
- CN113874710A CN113874710A CN202080038049.XA CN202080038049A CN113874710A CN 113874710 A CN113874710 A CN 113874710A CN 202080038049 A CN202080038049 A CN 202080038049A CN 113874710 A CN113874710 A CN 113874710A
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic data
- image processing
- ambient light
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 27
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 title claims description 47
- 239000000126 substance Substances 0.000 claims abstract description 38
- 238000000926 separation method Methods 0.000 claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims abstract description 34
- 230000014509 gene expression Effects 0.000 claims description 56
- 238000005457 optimization Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 11
- 229930002875 chlorophyll Natural products 0.000 claims description 4
- 235000019804 chlorophyll Nutrition 0.000 claims description 4
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical group C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 abstract description 36
- 238000010586 diagram Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 16
- 241000209094 Oryza Species 0.000 description 11
- 235000007164 Oryza sativa Nutrition 0.000 description 10
- 235000009566 rice Nutrition 0.000 description 10
- 238000002834 transmittance Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 7
- 241000196324 Embryophyta Species 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 235000019646 color tone Nutrition 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/55—Specular reflectivity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0098—Plants or trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
- G01N2201/0616—Ambient light is used
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/124—Sensitivity
- G01N2201/1244—Ambient light detector, e.g. for invalidating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
[问题]使得能够根据光谱图像来高精度地估计包含在物体中的物质的浓度。[解决方案]本图像处理方法包括：取得步骤，用于取得通过对物体成像获得的图像、成像时的环境光数据以及取决于包含在物体中的物质的浓度的反射特性数据和透射特性数据；以及分离步骤，用于使用环境光数据、反射特性数据和透射特性数据分离图像的透射光分量和反射光分量。
Description
技术领域
本发明涉及一种根据光谱图像来估计包括在物体中的物质的浓度的图像处理方法。
背景技术
最近提出了一种用于使用遥感技术来估计叶色指数的方法以实现有效和省力的农业工作。例如，专利文献1公开了一种根据由植物反射的光的光谱测量结果来估计SPAD(土壤和植物分析仪开发)值的方法。
现有技术文献
专利文献
专利文献1：日本专利公开No.2002-168771
发明内容
本发明将解决的问题
在专利文献1中公开的方法假定到达了光接收器的光仅是由植物反射的光。然而，植物的叶是半透明的物体，所以不仅由植物的叶反射的反射光到达光接收器，而且透射通过植物的叶的透射光也到达光接收器。此外，反射光和透射光的混合比(mixture ratio)根据天气(晴天、阴天等)和太阳的位置(高度和方位角)而改变。因此，在专利文献1中公开的方法难以高精度地估计物质的浓度(叶色，即SPAD值)，因为反射光和透射光的混合比随着天气或太阳位置而改变。
因此，本发明的目的是提供如下图像处理方法、图像处理装置、成像系统和程序，该图像处理方法、图像处理装置、成像系统和程序都能够根据光谱图像来高精度地估计包含在物体中的物质的浓度。
问题的解决方案
根据本发明的一个方面的图像处理方法包括：取得步骤，取得通过对物体成像获得的图像、在成像期间的环境光数据以及取决于包含在物体中的物质的浓度的反射特性数据和透射特性数据；以及分离步骤，使用环境光数据、反射特性数据和透射特性数据分离图像中的透射光分量和反射光分量。
根据本发明的另一个方面的图像处理装置包括：取得部件，取得通过对物体成像获得的图像、在成像期间的环境光数据以及取决于包含在物体中的物质的浓度的反射特性数据和透射特性数据；以及分离部件，使用环境光数据、反射特性数据和透射特性数据分离图像中的透射光分量和反射光分量。
根据本发明的另一个方面的成像系统包括：图像捕获器，被配置成捕获物体；检测器，被配置成检测当物体由图像捕获器所捕获时的环境光数据；以及图像处理装置。
根据本发明的另一个方面的程序使计算机执行图像处理方法。
将在下列的实施例中描述本发明的其他目的和特征。
本发明的效果
本发明能够提供如下图像处理方法、图像处理装置、成像系统和程序，该图像处理方法、图像处理装置、成像系统和程序都能够根据光谱图像来高精度地估计包含在物体中的物质的浓度。
附图说明
图1是根据第一实施例的图像处理系统的框图。
图2是根据第一实施例的相机捕获模型的说明图。
图3是根据第一实施例的图像处理方法的流程图。
图4是根据第一实施例的分离处理的流程图。
图5是根据第一实施例的反射特性数据和透射特性数据的说明图。
图6是根据第一实施例的其他反射特性数据和透射特性数据的说明图。
图7是根据第一实施例的分离处理的结果。
图8是根据第二实施例的图像处理系统的框图。
图9是根据第二实施例的相机捕获模型的说明图。
图10是根据第二实施例的用于取得环境光信息的模型的说明图。
图11是根据第二实施例的环境光信息的时间改变的说明图。
图12是根据第二实施例的使用标准反射板来取得环境光信息的方法的说明图。
图13是根据第二实施例的图像处理方法的流程图。
图14是根据第二实施例的取决于阈值的物质浓度估计精度中的差异的说明图。
图15是根据第二实施例的SPAD值估计结果的说明图。
具体实施方式
现在将参考附图给出根据本发明的实施例的描述。在各图中的相应的元素将由相同的附图标记指定，并且将省略其重复描述。
第一实施例
现在将参考图2给出根据本发明的第一实施例的相机捕获模型的描述。图2是根据该实施例的相机捕获模型的说明图。图2图示了由相机(图像拾取装置)200捕获的物体140。物体140由从物体140被放置的半球空间上的每一个位置入射到物体140上的环境光照亮。在图2中，环境光被分成环境光120和环境光130，环境光120照亮物体140的后表面，而环境光130照亮物体140的前表面。
物体140是半透明的物体，环境光120在物体140内被漫射和吸收，并且部分透射光(透射光121)到达相机200。另一方面，环境光130在物体140内被漫射和吸收，并且部分反射光(反射光131)到达相机200。在该实施例中，通过这种处理所反射的所谓的漫反射光将被简称作反射光，并且区别于在物体140的表面上反射的规则反射光。
因此，由相机200捕获的物体140的图像由透射光(透射光分量)121和反射光(反射光分量)131以特定比率的混合所形成。透射光121和反射光131的混合比随着环境光120和130波动而改变。具体而言，在室外环境光下的成像中，透射光121和反射光131的混合比取决于天气(晴天、阴天等)和太阳位置(高度和方位角)而改变。
当以这种方式在室外环境光下捕获图像时，透射光121和反射光131的混合比是未知的，并且取决于在成像期间的照明环境而改变。因此，难以根据在这种状态下捕获的图像来定量地估计包含在物体中的物质(叶绿素等)的浓度。该实施例能够通过根据在这种环境光下捕获的光谱图像来分离透射光121和反射光131(分离处理)以定量地估计包含在物体中的物质的浓度。在下文中，将详细描述分离处理。
首先，该实施例以公式表示了在图2中图示的相机捕获模型，例如，如以表达式(1)来进行公式表示。
[表达式1]
在表达式(1)中，In表示由相机200捕获的图像(光谱图像)的亮度值，而下标n表示光谱图像的波长数。例如，当相机200是RGB相机时，n＝{1,2,3}，并且I1、I2和I3分别指示出RGB亮度值。IR，n和IT，n表示当独立地取得透射光121和反射光131时的亮度值。IR0，n和IT0，n分别表示照亮物体140的环境光130和120的照度。Rn(c)和Tn(c)分别表示取决于包含在物体140中的物质的浓度c的光谱反射特性(反射特性数据)和光谱透射特性(透射特性数据)。在该实施例中，光谱反射特性Rn(c)和光谱透射特性Tn(c)都作为已知的库数据提前存储在诸如存储器之类的存储设备中。kR表示由物体140反射并且到达相机200的环境光130的比率，并且kT表示穿过物体140并且到达相机200的环境光120的比率。
在成像期间的环境光130和120的照度信息IR0，n和照度信息IT0，n是已知的并且由例如在图2中图示的环境光信息取得器(检测器)110取得。在该实施例中，环境光信息取得器110包括安装在两个不同方向中的环境光传感器(第一环境光传感器)111和环境光传感器(第二环境光传感器)112。环境光传感器111取得环境光120的照度信息IT0，n。环境光传感器112取得环境光130的照度信息IR0，n。
该实施例通过使用以这种方式进行公式表示的相机捕获模型执行由下列表达式(2)表示的优化(优化计算)来取得反射光(反射光分量)的比率kR、透射光(透射光分量)的比率kT以及包含在物体140中的物质的浓度c。
[表达式2]
在这个表达式(2)中，“||||2”表示L2范数。根据该实施例的分离处理意味着表达式(2)的优化计算的执行，但本发明不限于该示例。借由通过优化获得的kR、kT和c，反射光(反射光分量)和透射光(透射光分量)被分离并分别如下列表达式(3)和(4)中所示那样表达。
[表达式3]
因此，该实施例能够从透射光121和反射光131以未知混合比混合的光谱图像分离透射光121和反射光131。此外，该实施例能够定量地估计包含在物体140中的物质的浓度。
该实施例涉及如下图像处理系统(成像系统)，该图像处理系统(成像系统)根据由相机(RGB相机)200取得的图像(光谱图像)来估计物体(水稻叶)140的浓度。在该实施例中，在表达式(2)中的浓度c对应于SPAD值。
现在将参考图1给出根据该实施例的图像处理系统100的配置的描述。图1是图像处理系统100的框图。图像处理系统100包括：图像捕获器101、图像处理器(图像处理装置)102、控制器103、存储器104、通信器105、显示单元106以及环境光信息取得器110。图像捕获器101包括成像光学系统101a和图像传感器101b。图像传感器101b对经由成像光学系统101a形成的光学图像(物体图像)进行光电转换并且将图像(图像数据)输出到图像处理器102。图像处理器102具有取得部件102a和分离部件102b。
图像处理系统100能够被设置在相机200内部。可替代地，诸如图像处理系统100的图像处理器102之类的一些功能可以在远离相机200的计算机(用户PC)中或在云计算上实现。在这种情况下，相机200仅具有包括图像捕获器101的图像处理系统100的一部分。
图2图示了使用图像处理系统100在室外环境光下成像的物体140。如在图2中所图示，图像处理系统100的环境光信息取得器110包括：环境光传感器111，被配置成取得入射到物体140的后表面上的照度；以及环境光传感器112，被配置成取得入射到物体140的前表面上的照度。
现在将参考图3给出根据该实施例的图像处理方法的描述。图3是根据该实施例的图像处理方法的流程图。在图3中的每一个步骤主要由在图像处理器102中的取得部件102a或分离部件102b执行。
首先，在步骤S201中，在图像处理系统100中的图像捕获器101通过来自控制器103的信号对物体140进行成像并且取得RGB图像(光谱图像)。然后，在图像处理器102中的取得部件102a取得由图像捕获器101所捕获的图像。与步骤S201同时，在步骤S202中，环境光信息取得器110(环境光传感器111和112)基于来自控制器103的信号来取得(检测)环境光信息(环境光数据)IR0，n和IT0，n。在该实施例中，环境光信息是关于色调的信息。然后，取得部件102a取得由环境光信息取得器110所检测的环境光信息IR0，n和IT0，n。
环境光传感器111和112是通过在具有与图像捕获器101的光谱灵敏度特性相同的光谱灵敏度特性的传感器上安置漫射器而制成的，并且环境光传感器111和112取得具有与图像捕获器101的光谱波长相同的光谱波长的环境光信息。环境光传感器111和112可以包括光谱辐射计，并且利用成像光学系统的光谱透射率特性L(λ)、取得的光谱辐照度E(λ)、以及图像传感器的光谱灵敏度特性Sn(λ)，使用如下表达式(5)和(6)来取得环境光信息IR0，n和IT0，n。
[表达式4]
在表达式(5)和(6)中，ET(λ)是环境光120的照度，ER(λ)是环境光130的照度，λn，1和λn，2分别是在如下波长带中的最短波长和最长波长，具有光谱灵敏度特性Sn(λ)的图像传感器101b在该波长带中具有灵敏度。
接下来，在步骤S210中，在图像处理器102中的分离部件102b基于表达式(2)执行分离处理。现在将参考图4给出根据该实施例的分离处理的描述。图4是根据该实施例的分离处理的流程图。在图4中的每一个步骤主要由在图像处理器102中的分离部件102b执行。
首先，在步骤S211中，分离部件102b基于表达式(2)执行优化计算。接下来，在步骤S212中，分离部件102b计算表达式(3)和(4)的反射光分量和透射光分量。在步骤S211和S212中，分离部件102b利用提前存储的物体的透射特性数据和反射特性数据。
现在将参考图5给出该实施例中的反射特性数据和透射特性数据的描述。图5是反射特性数据和透射特性数据的说明图。图5的(a)是示出了预先取得的RGB透射率和RGB反射率的SPAD值依存性的数据。圆形标绘点表示RGB反射率，三角形标绘点表示RGB透射率，填充的颜色对应于SPAD值。如在图5的(a)中所图示，该实施例利用光谱反射特性和光谱透射特性具有彼此不同的特性的事实将反射光和透射光分离。
图5的(b)标绘了使用SPAD值c作为参数，通过最小二乘法将图5的(a)的RGB透射率和RGB反射率拟合到下列表达式(7)和(8)中的结果。
[表达式5]
在表达式(7)和(8)中，an,i和bn,i是由最小二乘法确定的常数。在图5的(b)中与图5的(a)类似，圆形标绘点表示RGB反射率，而三角形标绘点表示RGB透射率。
该实施例将关于表达式(7)和(8)的信息分别存储为物体的反射特性数据和透射特性数据。反射特性数据和透射特性数据不限于上面的数据。例如，如在图6中所图示，可以使用物体的反射特性Rfl(c，λ)和透射特性Trs(c，λ)。图6是根据该实施例的其他反射特性数据和透射特性数据的说明图。图6的(a)图示出水稻叶的光谱反射特性，其中横轴表示波长，而纵轴表示反射率。每一条线的颜色对应于在颜色条上示出的SPAD值。类似地，图6的(b)图示出水稻的透射率特性，其中横轴表示波长，而纵轴图示出透射率。
当使用如在图6中所图示的反射特性数据和透射特性数据时，利用成像光学系统101a的光谱透射率特性L(λ)和图像传感器101b的光谱灵敏度特性Sn(λ)，使用下列表达式(9)和(10)来优选地计算Rn(c)和Tn(c)。
[表达式6]
在表达式(9)和(10)中，λn，1和λn，2分别是在如下波长带中的最短波长和最长波长，具有光谱灵敏度特性Sn(λ)的图像传感器101b在该波长带中具有灵敏度。
在步骤S211中，分离部件102b使用存储在存储器104中的物体140的反射特性数据和透射特性数据、环境光信息以及光谱图像来执行表达式(2)的优化计算。优化计算能够使用诸如梯度法之类的已知的优化方法。如在表达式(7)和(8)中所图示，当Rn(c)和Tn(c)是可微函数时，表达式(2)也是可微函数，并且因此可以使用诸如牛顿法和信任域(trustregion)法之类的更快的优化计算方法。
现在将参考图7给出利用优化计算的分离处理的结果的描述。图7是示出了根据该实施例的分离处理的结果以及在图4中的步骤S211中使用信任域法来执行优化计算的结果的图。图7的(a)是将由RGB相机捕获的水稻的RGB图像转换为灰度图像而制成的图像。图7的(b)到7的(d)是示出了针对水稻叶的每个像素，对物质的浓度c、透射光的比率kT以及反射光的比率kR进行优化计算的结果的图。图7的(e)是以对数标度示出了表达式(2)的优化评价函数(optimization evaluation function)的值f的图。
在图4中的步骤S212中，分离部件102b基于表达式(3)、(4)、(7)以及(8)根据反射光的比率kR、透射光的比率kT以及在步骤S211中获得的物质浓度c来计算反射光分量和透射光分量。如上所述，该实施例能够根据物体的光谱图像来分离反射光分量和透射光分量。在计算表达式(2)的处理中，能够估计物体140的物质浓度c。
第二实施例
接下来进行根据本发明的第二实施例的描述。该实施例以与在第一实施例中的相同的方式根据由RGB相机取得的光谱图像来估计稻叶的SPAD值。
现在将参考图8和图9给出根据该实施例的图像处理系统300和相机捕获模型的配置的描述。图8是图像处理系统300的框图。图9是相机捕获模型的说明图，并且图示了使用图像处理系统300在室外环境光下捕获的物体140。根据该实施例的图像处理系统300与根据第一实施例的具有环境光信息取得器110的图像处理系统100的不同之处在于图像处理系统300包括环境光信息取得器(检测器)310。如在图8和图9中所图示，环境光信息取得器310仅包括单个环境光传感器113。由于图像处理系统300的其他配置与图像处理系统100相同，因此将省略对其描述。
接下来进行对在该实施例中仅使用一个环境光传感器113的原因的描述。图10是在该实施例中的环境光信息取得模型的说明图，并且图示了向西布置的环境光传感器111和向东布置的环境光传感器112的布置方式。环境光传感器111和112具有漫射板附接到RGB颜色传感器的配置。
图11是环境光信息的时间改变的说明图，并且标绘了由环境光传感器111和112取得的环境光信息。在图11中，WBR，b、WBR，rWBT，b和WBT，r是利用由环境光传感器112取得的照度信息IR0，n和由环境光传感器111取得的照度信息IT0，n，使用下列表达式(11)到(14)计算的白平衡校正系数。n＝{1，2，3}指示出该值依次由R、G、B颜色传感器取得。
[表达式7]
图11的(a)是标绘出当阴天时的白平衡校正系数的时间改变的图。黑色圆形点表示WBR，b，白色圆形点表示WBT，b，黑色方块表示WBR，r，以及白色方块表示WBT，r。如图11的(a)中所图示，在阴天时，不管环境光传感器的布置方式定向如何，WBR，b和WBT，b彼此相等并且WBR，r和WBT，r彼此相等。图11的(b)是以如在图11的(a)中相同的方式标绘出当晴天时的白平衡校正系数的时间改变的图。当晴天时，仅在当太阳穿过子午线时的正午(midday)附近，WBR，b和WBT，b彼此相等并且WBR，r和WBT，r彼此相等。
因此，该实施例在白平衡校正系数不取决于环境光传感器的布置方式定向(诸如在太阳穿过子午线前后2小时内)时捕获光谱图像。从而，即使是单个环境光传感器113也能够执行反射光和透射光的分离处理。
在这种(诸如太阳穿过子午线前后2小时内)的时间，白平衡校正系数不取决于环境光传感器的定向。因此，例如，如在图9中所图示，根据该实施例的环境光传感器113被向上安装并且能够取得环境光信息。在IR0，n是由环境光传感器113取得的环境光信息并且IT0，c＝m·IR0，c(m为比例常数)的情况下，用于优化计算的表达式(2)能够被转化为表达式(15)。
[表达式8]
在表达式(15)中，k'T＝m·kT，并且Rn(c)和Tn(c)使用表达式(7)和(8)的数据。取得环境光信息IR0，n的方法不限于上面的方法，并且如在图12中所图示，标准反射板114由相机200成像，并且可以根据捕获的标准反射板的图像的像素值来取得环境光信息IR0，n。图12是使用标准反射板114来取得环境光信息的方法的说明图。
现在将参考图13给出根据该实施例的图像处理方法的描述。图13是根据该实施例的图像处理方法(SPAD值估计方法)的流程图。在图13中的每一个步骤主要由在图像处理器102中的取得部件102a或分离部件102b执行。
首先，在步骤S401中，在图像处理系统300中的图像捕获器101响应于来自控制器103的信号而对物体140进行成像，并且取得RGB图像(光谱图像)。然后，在图像处理器102中的取得部件102a取得由图像捕获器101所捕获的图像。与步骤S401同时，在步骤S402中，当图像响应于来自控制器103的信号而被捕获时，环境光信息取得器310(环境光传感器113)取得(检测)环境光信息(环境光数据)IR0，n。然后，取得部件102a取得由环境光信息取得器310所检测的环境光信息IR0，n。
接下来，在步骤S403中，图像处理器102提取水稻的捕获区域(物体区域)作为物体140。作为用于提取水稻区域的方法，例如可以通过将RGB图像转换成HSV颜色空间来生成图像，并且可以提取在能够通过水稻叶所取到的色相角的范围内的像素作为水稻区域。
接下来，在步骤S405和S406中，在图像处理器102中的分离部件102b执行分离处理。首先，在步骤S404中，分离部件102b基于表达式(15)对在步骤S403中提取的水稻区域的每一个像素进行优化计算。接下来，在步骤S405中，分离部件102b利用在步骤S404中计算出的浓度c和反射光的比率kR，使用下列的表达式(16)来计算环境光分量被校正的反射光分量I'R，n。
[表达式9]
接下来，在步骤S406中，图像处理器102计算NGRDI(归一化绿红差值指数)作为与SPAD值相关的指数(生长指数)。基于下列表达式(17)，使用在步骤S405中计算的反射光分量来计算NGRDI。
[表达式10]
NGRDI＝(I′R,2-I′R,1)/(I′R,2+I′R,1) (17)
最后，在步骤S407中，图像处理器102使用下列表达式(18)将NGRDI转换成SPAD值，该表达式是NGRDI和SPAD值之间的相关表达式。
[表达式11]
在表达式(18)中，di是表示NGRDI和SPAD值之间的相关性的常数。
在根据该实施例的分离处理中，通过表达式(15)的优化计算来计算(与SPAD值对应的)物质浓度c，但计算出的物质浓度c以及反射光的比率kR包含误差。因此，为了估计带有更多冗余性的物质浓度，该实施例执行步骤S405到S407的处理。
根据该实施例的方法能够通过使用仅具有表达式(15)的优化评价函数的值f等于或小于阈值fth的像素的优化计算结果来估计SPAD值以提高SPAD值的估计精度。图14是关于阈值fth的SPAD值(物质浓度)的估计精度的差异的说明图。在图14中，横轴表示阈值fth，而纵轴表示等于或小于阈值fth的像素的SPAD值估计结果的平均值与正确值之间的均方根误差RMSE。如在图14中所图示，能够通过适当地设置阈值fth来提高SPAD值的估计精度。
图15是SPAD值估计结果的说明图，并且图示了根据由定点(fixed-point)相机捕获的RGB图像来估计SPAD值的每日改变的结果。在图15中，横轴表示日期，而纵轴表示SPAD值。在图15中，正方形标绘点表示当没有在步骤S404和S405中执行根据该实施例的分离处理时的估计结果，而圆形标绘点表示当执行了分离处理时的估计结果。星形标绘点表示正确值，并且针对在图像估计区域中的10株水稻，采用由SPAD计测量的结果的平均值作为正确值。误差条表示标准偏差。因此，如在图15中所图示，根据该实施例的分离处理能够定量地估计物质浓度。
(其他实施例)
本发明能够经由网络或存储介质向系统或装置提供实现上述实施例的一个或多个功能的程序，并且能够由系统或装置的计算机中的被配置成读取并执行程序的一个或多个处理器来实现。也能够由实现一个或多个功能的电路(例如，ASIC)来实现。
因此在每一个实施例中，图像处理装置(图像处理器102)具有取得部件102a和分离部件102b。取得部件取得物体的图像(光谱图像)、对物体进行成像时的环境光数据(关于色调的信息)以及取决于包含在物体中的(叶绿素等)物质的浓度(SPAD值)的透射特性数据(Tn(c))和反射特性数据(Rn(c))。分离部件使用图像、环境光数据、反射特性数据和透射特性数据，从图像分离反射光分量(IR，n)和透射光分量(IT，n)。由此，根据每一个实施例的图像处理装置能够根据通过对半透明的物体成像而获得的光谱图像来分离反射光分量和透射光分量。因此，每一个实施例都能够提供如下图像处理方法、图像处理装置、成像系统和程序，该图像处理方法、图像处理装置、成像系统和程序都能够根据光谱图像来高精度地估计包含在物体中的物质的浓度。
尽管以上描述了本发明的优选实施例，但本发明并不限于这些实施例，并且在其主旨的范围内能够进行各种修改和改变。
具体而言，虽然在每一个实施例中取水稻叶为物体作为示例，但是也可以应用于其他物体。在每一个实施例中，虽然以捕获RGB光谱图像作为示例，但是每一个实施例也可以应用于具有四个或更多个光谱波长的多波段图像和高光谱图像。在每一个实施例中，虽然图像捕获器和环境光信息取得器彼此分离，但是图像捕获器和环境光信息取得器可以彼此集成。用于优化的评价函数不限于表达式(2)和(15)，并且可以例如使用L1范数而不是L2范数。虽然每一个实施例在图像处理装置中说明性地执行优化计算，但是可以在云计算上执行带有繁重处理的优化计算。
Claims (19)
1.一种图像处理方法，包括：
取得步骤，取得通过对物体成像获得的图像、成像期间的环境光数据以及取决于包含在物体中的物质的浓度的反射特性数据和透射特性数据；以及
分离步骤，使用环境光数据、反射特性数据和透射特性数据分离图像中的透射光分量和反射光分量。
2.根据权利要求1所述的图像处理方法，其中，分离步骤包括优化步骤，优化步骤用于通过优化来取得反射光分量相对于图像的亮度值的比率和透射光分量相对于图像的亮度值的比率。
3.根据权利要求2所述的图像处理方法，其中，环境光数据包括由第一环境光传感器取得的第一照度信息和由第二环境光传感器取得的第二照度信息，以及
其中，优化步骤使用下列表达式执行优化：
[表达式1]
其中，In是图像的亮度值，IT0，n是第一照度信息，IR0，n是第二照度信息，c是物质的浓度，Rn(c)是反射特性数据并且Tn(c)是透射特性数据，kR是反射光分量的比率并且kT是透射光分量的比率。
4.根据权利要求2所述的图像处理方法，其中，环境光数据是由环境光传感器取得的照度信息，并且
其中，优化步骤使用下列表达式执行优化：
[表达式2]
其中，In是图像的亮度值，ITR0，n是照度信息，c是物质的浓度，Rn(c)是反射特性数据并且Tn(c)是透射特性数据，kR是反射光分量的比率并且kT是透射光分量的比率。
5.根据权利要求2到4中任一项所述的图像处理方法，其中，分离步骤包括使用反射光分量的比率、透射光的比率和物质的浓度来计算反射光分量或透射光分量中的至少一个分量的步骤。
6.根据权利要求1到5中任一项所述的图像处理方法，其中，反射特性数据和透射特性数据是物质的浓度的函数。
7.根据权利要求6所述的图像处理方法，其中，反射特性数据和透射特性数据相对于物质的浓度是可微的。
8.根据权利要求1到7中任一项所述的图像处理方法，其中，物体是植物的叶，并且物质是叶绿素。
9.一种图像处理装置，包括：
取得部件，取得通过对物体成像获得的图像、成像期间的环境光数据以及取决于包含在物体中的物质的浓度的反射特性数据和透射特性数据；以及
分离部件，使用环境光数据、反射特性数据和透射特性数据分离图像中的透射光分量和反射光分量。
10.根据权利要求9所述的图像处理装置，其中，分离部件通过优化来取得反射光分量相对于图像的亮度值的比率和透射光分量相对于图像的亮度值的比率。
11.根据权利要求10所述的图像处理装置，其中，环境光数据包括由第一环境光传感器取得的第一照度信息和由第二环境光传感器取得的第二照度信息，并且
其中，分离部件使用下列表达式执行优化：
[表达式3]
其中，In是图像的亮度值，IT0，n是第一照度信息，IR0，n是第二照度信息，c是物质的浓度，Rn(c)是反射特性数据并且Tn(c)是透射特性数据，kR是反射光分量的比率并且kT是透射光分量的比率。
12.根据权利要求10所述的图像处理装置，其中，环境光数据是由环境光传感器取得的照度信息，并且
其中，分离部件使用下列表达式执行优化：
[表达式4]
其中，In是图像的亮度值，ITR0，n是照度信息，c是物质的浓度，Rn(c)是反射特性数据并且Tn(c)是透射特性数据，kR是反射光分量的比率并且kT是透射光分量的比率。
13.根据权利要求10到12中任一项所述的图像处理装置，其中，分离部件包括使用反射光分量的比率、透射光的比率和物质的浓度来计算反射光分量或透射光分量中的至少一个分量的步骤。
14.根据权利要求9到13中任一项所述的图像处理装置，其中，反射特性数据和透射特性数据是物质的浓度的函数。
15.根据权利要求14所述的图像处理装置，其中，反射特性数据和透射特性数据相对于物质的浓度是可微的。
16.根据权利要求9到15中任一项所述的图像处理装置，其中，物体是植物的叶，并且物质是叶绿素。
17.一种成像系统，包括：
图像捕获器，被配置成捕获物体；
检测器，被配置成检测当物体由图像捕获器所捕获时的环境光数据；以及
根据权利要求9到15中任一项所述的图像处理装置。
18.根据权利要求17所述的成像系统，其中，检测器仅包括单个环境光传感器，并且
其中，环境光数据具有由所述单个环境光传感器检测到的照度信息。
19.一种使计算机执行根据权利要求1到8中任一项所述的图像处理方法的程序。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019099129A JP7313906B2 (ja) | 2019-05-28 | 2019-05-28 | 画像処理方法、画像処理装置、撮像システム、および、プログラム |
| JP2019-099129 | 2019-05-28 | ||
| PCT/JP2020/016789 WO2020241111A1 (ja) | 2019-05-28 | 2020-04-16 | 画像処理方法、画像処理装置、撮像システム、および、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113874710A true CN113874710A (zh) | 2021-12-31 |
| CN113874710B CN113874710B (zh) | 2024-03-12 |
Family
ID=73548647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080038049.XA Active CN113874710B (zh) | 2019-05-28 | 2020-04-16 | 图像处理方法、图像处理装置、成像系统和程序 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220082499A1 (zh) |
| EP (1) | EP3971553A4 (zh) |
| JP (1) | JP7313906B2 (zh) |
| CN (1) | CN113874710B (zh) |
| WO (1) | WO2020241111A1 (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5898175A (en) * | 1995-09-07 | 1999-04-27 | Hitachi, Ltd. | Mass spectrometer and mass spectrometry method for analyzing compounds contained in a solution |
| CN1286898A (zh) * | 1999-06-17 | 2001-03-14 | 株式会社佐竹制作所 | 种植场中农作物营养状况的诊断方法 |
| WO2011093024A1 (ja) * | 2010-02-01 | 2011-08-04 | コニカミノルタセンシング株式会社 | 反射特性測定装置および反射特性測定システム |
| CN106954385A (zh) * | 2015-01-09 | 2017-07-14 | 日立麦克赛尔株式会社 | 植物信息取得系统、植物信息取得装置、植物信息取得方法、作物管理系统以及作物管理方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6114683A (en) | 1998-03-02 | 2000-09-05 | The United States Of Ameria As Represented By The Administrator Of The National Aeronautics And Space Administration | Plant chlorophyll content imager with reference detection signals |
| JP4243014B2 (ja) | 2000-12-01 | 2009-03-25 | 株式会社荏原製作所 | 植物の生育度測定装置 |
| JP2004301810A (ja) | 2003-04-01 | 2004-10-28 | Ebara Corp | 植物の生育度測定装置 |
| EP1952124A4 (en) | 2005-11-21 | 2011-03-16 | Oregon State | PORTABLE METER FOR MEASURING CHLOROPHYLL, NITROGEN AND WATER AND METHOD |
| KR102109245B1 (ko) | 2015-05-12 | 2020-05-11 | 코니카 미놀타 가부시키가이샤 | 식물 생육 지표 측정 장치 및 그의 방법 그리고 식물 생육 지표 측정 시스템 |
| US20180018537A1 (en) | 2016-07-07 | 2018-01-18 | Purdue Research Foundation | Non-spectroscopic imaging of plants |
| JP2018151832A (ja) | 2017-03-13 | 2018-09-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、および、プログラム |
| WO2018180954A1 (ja) | 2017-03-28 | 2018-10-04 | コニカミノルタ株式会社 | 画像処理装置、生育調査画像作成システム及びプログラム |
-
2019
- 2019-05-28 JP JP2019099129A patent/JP7313906B2/ja active Active
-
2020
- 2020-04-16 EP EP20812894.2A patent/EP3971553A4/en active Pending
- 2020-04-16 WO PCT/JP2020/016789 patent/WO2020241111A1/ja unknown
- 2020-04-16 CN CN202080038049.XA patent/CN113874710B/zh active Active
-
2021
- 2021-11-22 US US17/532,206 patent/US20220082499A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5898175A (en) * | 1995-09-07 | 1999-04-27 | Hitachi, Ltd. | Mass spectrometer and mass spectrometry method for analyzing compounds contained in a solution |
| CN1286898A (zh) * | 1999-06-17 | 2001-03-14 | 株式会社佐竹制作所 | 种植场中农作物营养状况的诊断方法 |
| WO2011093024A1 (ja) * | 2010-02-01 | 2011-08-04 | コニカミノルタセンシング株式会社 | 反射特性測定装置および反射特性測定システム |
| CN106954385A (zh) * | 2015-01-09 | 2017-07-14 | 日立麦克赛尔株式会社 | 植物信息取得系统、植物信息取得装置、植物信息取得方法、作物管理系统以及作物管理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王仕璠编著: "信息光学理论与应用", vol. 7, 北京邮电大学出版社, pages: 148 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020241111A1 (ja) | 2020-12-03 |
| JP2020193856A (ja) | 2020-12-03 |
| EP3971553A4 (en) | 2023-01-18 |
| US20220082499A1 (en) | 2022-03-17 |
| CN113874710B (zh) | 2024-03-12 |
| EP3971553A1 (en) | 2022-03-23 |
| JP7313906B2 (ja) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8073279B2 (en) | Automated atmospheric characterization of remotely sensed multi-spectral imagery | |
| Rich | Characterizing plant canopies with hemispherical photographs | |
| Berra et al. | Estimation of the spectral sensitivity functions of un-modified and modified commercial off-the-shelf digital cameras to enable their use as a multispectral imaging system for UAVs | |
| US7936377B2 (en) | Method and system for optimizing an image for improved analysis of material and illumination image features | |
| Fitzgerald | Characterizing vegetation indices derived from active and passive sensors | |
| Brusa et al. | Increasing the precision of canopy closure estimates from hemispherical photography: Blue channel analysis and under-exposure | |
| US20190310184A1 (en) | Signal processing apparatus, signal processing method, and progress | |
| WO2022262692A1 (zh) | 光谱反射率检测方法及系统 | |
| WO2020031681A1 (en) | Color temperature sensor for ambient light correction | |
| JP2018151832A (ja) | 情報処理装置、情報処理方法、および、プログラム | |
| CN111413279B (zh) | 多光谱探测的视频处理方法、装置及多光谱探测终端 | |
| JP6964834B2 (ja) | 画像処理装置および画像処理方法 | |
| CN113874710B (zh) | 图像处理方法、图像处理装置、成像系统和程序 | |
| JP5672029B2 (ja) | 反射率算出装置、反射率算出方法およびプログラム | |
| JP6862229B2 (ja) | 解析装置、撮像装置、解析方法、および、プログラム | |
| Fournier et al. | Acquiring hemispherical photographs in forest environments: from planning to archiving photographs | |
| JP4378810B2 (ja) | 測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
| Vanderbilt et al. | Specular, diffuse, and polarized imagery of an oat canopy | |
| Manakov | Evaluation of computational radiometric and spectral sensor calibration techniques | |
| Javoršek et al. | Comparison of two digital cameras based on spectral data estimation obtained with two methods | |
| Vunckx et al. | Accurate video-rate multi-spectral imaging using imec snapshot sensors | |
| JP2001186540A (ja) | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
| Wright et al. | Free and open-source software for object detection, size, and colour determination for use in plant phenotyping | |
| Minkin et al. | Computer vision system: a tool for evaluating the quality of wheat in a grain tank | |
| JP3735621B2 (ja) | 全天下光環境評価方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |