CN108573508A - 信息处理装置、信息处理方法和存储介质 - Google Patents
信息处理装置、信息处理方法和存储介质 Download PDFInfo
- Publication number
- CN108573508A CN108573508A CN201810188718.6A CN201810188718A CN108573508A CN 108573508 A CN108573508 A CN 108573508A CN 201810188718 A CN201810188718 A CN 201810188718A CN 108573508 A CN108573508 A CN 108573508A
- Authority
- CN
- China
- Prior art keywords
- information
- reflected light
- illumination light
- light
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 61
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000005286 illumination Methods 0.000 claims abstract description 158
- 238000009826 distribution Methods 0.000 claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 9
- 239000007787 solid Substances 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims 2
- 238000012937 correction Methods 0.000 abstract description 11
- 238000000034 method Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 8
- 230000005855 radiation Effects 0.000 description 8
- 238000002310 reflectometry Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 6
- 238000000205 computational method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000005375 photometry Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 239000005427 atmospheric aerosol Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/4204—Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0297—Constructional arrangements for removing other types of optical noise or for performing calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J2001/4266—Photometry, e.g. photographic exposure meter using electric radiation detectors for measuring solar light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/2866—Markers; Calibrating of scan
- G01J2003/2869—Background correcting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
- G01J2003/425—Reflectance
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Sustainable Development (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明涉及信息处理装置、信息处理方法和存储介质。一种信息处理方法包括以下步骤：基于照明光的空间分布信息和物体的取向信息计算关于用于照明物体的物体照明光的信息；和基于关于物体照明光的信息和关于来自物体的反射光的信息校正关于反射光的信息以减少物体照明光的影响。
Description
技术领域
本发明涉及根据照明光校正关于来自物体的反射光的信息的信息处理装置。
背景技术
来自物体的反射光源于在物体表面上反射和散射的照明光(illuminationlight)。因此，即使对于具有相同的反射/散射特性的两个物体，当照明光不同时，反射光也改变。由于反射光随着照明光改变而改变，因此，难以精确地获得物体的反射/散射特性。这对利用多带图像和超谱图像的远程感测造成严重问题。为了解决该问题，必须估计照明光并减少其影响。
日本专利No.(JP)5950117公开了用于通过使用基于图像拾取时的天气信息确定的权重系数使自然光的直接光分量和散射光分量相互合成的方法作为照明光估计方法。
在JP 5950117中公开的方法可基于作为天气信息的多云程度和物体对直接光分量(direct light component)的遮蔽/非遮蔽，在诸如晴天天气、多云天气和阴天的图像拾取环境下估计照明光。但是，云浓度依赖于多云程度，并且即使对于相同的云量，照明光也根据云是否遮蔽太阳而改变。因此，在JP 5950117中公开的方法难以精确地估计照明光。
在户外摄影时，物体由来自空中各方向的光照明，但是各照明根据物体的取向而不同。但是，在JP 5950117中公开的方法难以根据物体的取向估计照明光。
发明内容
本发明提供可精确地获取物体的特性的信息处理方法和信息处理装置。
根据本发明的一个方面的信息处理方法包括以下步骤：基于照明光的空间分布信息和物体的取向信息，计算关于用于照明物体的物体照明光的信息；和基于关于物体照明光的信息和关于来自物体的反射光的信息，校正关于反射光的信息以减少物体照明光的影响。存储能够实现上述信息处理方法的程序的计算机可读非暂时性存储介质也构成本发明的一个方面。
根据本发明的另一方面的信息处理装置包括：照明信息输入器，被配置为输入照明光的空间分布信息；物体取向信息输入器，被配置为输入物体的取向信息；物体照明光计算器，被配置为基于照明光的空间分布信息和物体的取向信息计算关于用于照明物体的物体照明光的信息；反射光信息输入器，被配置为输入关于物体上的反射光的信息；和反射光校正器，被配置为基于关于物体照明光的信息和关于来自物体的反射光的信息校正关于反射光的信息以减少照明光的影响。
从参照附图对示例性实施例的以下描述，本发明的其它特征将变得清晰。
附图说明
图1是根据第一实施例的信息处理方法的流程图。
图2是根据第一实施例的照明光估计方法的说明图。
图3A～3D是根据第一实施例的物体照明光的计算方法的说明图。
图4A～4D是根据第二实施例的物体照明光的计算方法的说明图。
图5是根据第三实施例的信息处理装置的框图。
图6是根据第四实施例的信息处理装置的配置图。
图7是根据各实施例的在物体上反射的照明光的模型。
图8是根据各实施例的光线的单位矢量的计算方法的说明图。
具体实施方式
将参照附图给出本发明的实施例的详细描述。根据实施例的信息处理方法包括：基于照明光的空间分布信息和物体的取向信息计算或获取关于物体的信息的处理，基于关于物体照明光的信息和关于来自物体的反射光的信息校正关于反射光的信息的处理。以下将给出各处理的详细描述。
(物体照明光的计算方法)
现在参照图7，将描述用于照明物体的物体照明光的计算方法。图7示出物体上的照明光的反射模型。
在照明光的空间分布信息和照明光下的物体的取向信息均已知的情况下，如下式(1)那样计算用于照明物体的物体照明光Ei(λ)。
在式(1)中，Ωi是放置物体的半球空间，dΩi是半球空间Ωi内的极微小或微分立体角。Bi(λ，ωi)是入射到物体的照明光的沿角度ωi的方向从极微小立体角dΩi到达物体的光的辐射，θi是来自物体的反射光的中心轴与物体的表面法线之间的角度。照明线的空间分布信息已知意味着辐射Bi(λ，ωi)是已知的。物体的取向信息已知意味着角度θi是已知的。因此，可基于照明光的空间分布信息和物体的取向信息根据物体的取向计算物体照明光Ei(λ)(关于物体照明光的信息)。
(物体照明光的影响的校正方法)
如式(2)那样表达来自被物体照明光Ei(λ)照明的物体的反射光R(λ)。
在式(2)中，BRDF(ωi→ωr)是作为从角度ωi的方向入射到物体的光的亮度与沿角度ωr的方向的物体上的反射/散射光的亮度的比的双向反射率分布函数。另外，dΩi是测量反射/散射光的极微小或微分立体角，θr是角度ωr(来自物体的反射光的角度信息)与物体的表面法线之间的角度。
如式(2)所示，反射光R(λ)受到辐射Bi(λ，ωi)或物体照明光Ei(λ)的影响。因此，为了进行用于减少物体照明光Ei(λ)的影响的校正以及计算物体自身的反射率，必须将由式(2)表达的反射光R(λ)除以物体照明光Ei(λ)。在S(λ)是物体照明光Ei(λ)的影响得到校正的物体的真实反射率(或反射)特性的情况下，如下式(3)那样计算反射率特性(反射特性)S(λ)。
在式(3)中，BRDFideal(ωi→ωr)是反射/散射特性的角度特性的形状等于BRDF(ωi→ωr)且反射率为1的理想物体的双向反射率分布函数。由于物体的BRDF(ωi→ωr)通常是未知的，因此难以计算BRDFideal(ωi→ωr)。但是，在物体具有完全漫射表面(perfectlydiffusing surface)的情况下，BRDFideal(ωi→ωr)＝1/π，并且，式(3)可因此被表达如下。
该配置可通过使用物体照明光Ei(λ)和角度θr(反射光的取向信息)计算被校正以减少物体照明光Ei(λ)的影响的反射率特性S(λ)(关于来自物体的真实反射光的信息)。
当多带照相机获得来自物体的反射光时，可以计算物体的反射率特性(反射特性)，其中，物体照明光的影响被校正如下。最初，具有n个带的多带照相机的各带亮度值Ik可表达如下。
在式(5)中，C是比例常数，R(λ)是由式(2)表达的反射光，L(λ)是用于图像拾取的光学系统中的光谱透射率。另外， 是用于图像拾取的多带照相机内的第k带光谱灵敏度特性。λk1和λk2(k＝1、2、…、n)是多带照相机中的第k带的光谱灵敏度特性的最小波长和最大波长。
式(5)中的反射光R(λ)通过式(2)受到辐射Bi(λ，ωi)的影响。此时，作为照明光的影响得到校正的物体的反射率特性(反射特性)的Sk表达如下。
与式(4)类似，式(6)假定物体具有完全漫射表面。通过使用式(6)，计算物体照明光的影响得到校正的物体的反射率特性Sk。由于式(4)和(6)，可基于在照明光(Ei(λ))下获得的来自物体的反射光获得物体的绝对反射率。
另一方面，在照明光(Ei(λ))下获得的物体的反射光(R(λ)，Ik)被如下转换成在其它照明光(E′i(λ))下获得的物体的反射光(R′(λ)，I′k)。
在这种情况下，可以不使用反射光的取向信息(角度θr)。
(照明光的空间分布信息的获取方法)
下面描述照明光的空间分布信息的获取方法。这里，将描述基于天空中的半天球图像(half celestial sphere image)的照明光的空间分布信息的获取方法。
顺便提及，作为先决条件，自然光B(λ)被近似如下。
B(λ)＝F(λ)T(λ)[a0+a1(λ/λ0)-1+a2(λ/λ0)-4] (9)
在式(9)中，F(λ)是地球外辐射光谱(extra terrestrial radiation spectrum)，T(λ)是大气透射率，λ是波长，λ0是基准波长。另外，a0是代表直接光分量的系数，a1是代表瑞利(Rayleigh)散射分量的系数，a2是代表通过大气气溶胶粒子的米氏(Mie)散射分量的系数。由于F(λ)和T(λ)可使用事先观察结果，因此自然光B(λ)由三个变量a0、a1和a2确定。自然光B(λ)根据太阳位置、天气条件、大气状态等改变，但是可通过改变系数a0、a1和a2的值表达受影响的自然光B(λ)。
下面描述用于基于天空的半天球图像获取照明光的空间分布信息的方法。虽然本实施例示例性地使用三带或RGB带图像，但是本发明不限于本实施例并且适用于具有至少三个带的多带图像。当天空被成像时的RGB值被表达如下。
在式(10)中，L(λ)是用于图像拾取的光学系统的光谱透射率，是用于图像拾取的照相机的光谱灵敏度特性，λk1和λk2(k＝R、G、B)是照相机的光谱灵敏度特性的最小波长和最大波长。另外，C是比例常数。
当将式(9)代入式(10)时，可以获得下式(11)。可以如式(12)那样表达式(11)中的I0 k、I1 k、I2 k。另外，如式(13)那样限定b0、b1、b2。
b0＝Ca0
b1＝Ca1
b2＝Ca2 (13)
式(12)的值可被事先计算。由此，可以用RGB值通过下式(14)计算系数a0、a1和a2。
因此，可以通过将计算的系数a0、a1和a2代入式(9)基于天空中的特定区域获得照明光。可基于天空中的半天球图像对图像中的各点计算系数a0、a1和a2。由此，可基于天空中的半天球图像获得照明光的空间分布信息。
本实施例使用三带图像，但是，只要带的数量等于或大于自然光近似模型中的变量的数量，本发明就不限于本实施例。例如，可以使用四带图像，并且，作为式(14)的替代，可以通过最小二乘方法等计算变量。虽然本实施例使用RGB图像，但是，只要式(14)所示的逆矩阵中的阶数等于或大于自然光近似模型中的变量的数量，本发明就不限于RGB带。例如，作为可见范围红色波长带R的替代，可以使用近红外波长带IR。另外，通过式(9)中的近似模型计算的自然光不限于可见波长带，并且本实施例可利用从紫外线(300nm)到近红外区域(2.5μm)的范围。另外，可以使用式(9)以外的近似模型。
(物体的取向信息的获取方法)
本实施例中的物体的取向信息对应于物体的表面法线矢量、物体面的方位角和仰角、或者两个方向上的物体面的倾斜度中的任一个，但是本发明不限于本实施例。物体的取向信息可由用户手动输入。另外，可基于三维测量信息计算物体的表面法线矢量等。可通过立体声方法(stereo method)、主动立体声方法(active stereo method)、光激光(lightlaser)方法等获取三维测量信息。
当目标物体包括多个物体时，多个物体(多个局部物体)中的一个可被视为是一个物体，并且可以计算物体的取向信息。例如，在水稻田中，多个水稻作物可被视为一个物体，并且可以计算物体的取向信息。并且，当物体具有表面结构时，可通过将表面结构的取向信息(局部取向信息)平均化来计算物体的取向信息。
现在将描述本发明的各实施例。
第一实施例
现在参照图1～3D，将描述根据本发明的实施例的信息处理方法。图1是根据本实施例的信息处理方法的流程图。例如，通过根据第三或第四实施例的信息处理装置(测量系统)，执行图1中的各步骤。图2是图1中的步骤S11处的照明光估计方法的说明图。图3A～3D是图1中的步骤S12处的物体照明光计算方法的说明图。
在图1中的步骤S11处，信息处理装置估计照明光的空间分布信息。在步骤S11处，信息处理装置通过使用具有180度的整体视角的圆形鱼眼图像(用鱼眼透镜拍摄的图像)来估计照明光的空间分布信息。通过使用具有等于或大于180度的整体视角的圆形鱼眼图像，可以获取从天空中的各点入射到物体的各照明光的空间分布信息。本实施例使用但不限于RGB图像。
图2中的上部示出天空中的圆形鱼眼图像(拍摄图像)。本实施例使用RGB三带图像，并且，R(i,j)、G(i,j)和B(i,j)分别代表R带图像、G带图像和B带图像。这里，i和j代表水平方向和垂直方向的像素编号，水平方向和垂直方向的像素数量Nh和Nv满足1≤i≤Nh和1≤j≤Nv。
在精确估计照明光时，本实施例可以使用通过对入射光具有线性灵敏度特性的图像传感器获得的具有光电转换值的图像数据。当在晴天天气时拍摄包含太阳的天空时，光电转换值饱和，并且，输出值丢失对入射光的线性，但是，可以使用合成通过改变曝光拍摄的多个图像的所谓的高动态范围图像。当用于通过使用图像传感器估计照明光的前处理可执行校正在光学系统中以及由传感器产生的遮蔽的遮蔽校正和校正光学系统中的畸变的畸变校正时，照明光可被精确地估计。当使用式(9)时，不能在天空区域以外的区域中从多带图像估计照明光。在这种情况下，可提供掩盖图像中的天空区域以外的区域的掩盖处理。
图2的中部的图像是通过可视化直接光分量系数a0(i,j)、瑞利散射分量系数a1(i,j)和米氏散射系数a2(i,j)形成的。a0(i,j)、a1(i,j)和a2(i,j)的值可以用式(14)计算。图2中的下部将天空中的各点的辐射B(i,j,k)可视化。在k是波长分割数且NL是波长数的情况下，满足1≤k≤NL。辐射B(i,j,k)代表第k波长λk的辐射的空间分布。如上所述，可基于RGB图像获得照明光的空间分布信息(照明光谱估计)。
然后，在步骤S12中，信息处理装置基于在步骤S11中估计的照明光的空间分布信息和物体的表面法线信息(物体的取向信息)计算用于照明物体的物体照明光Ei(λ)。
图3A示出照明光下的物体的布置。在图3A中，N、E、S和W代表方向(北、东、南和西)，并且物体反射表面OP指向正上。这里，nobj代表物体反射表面OP的表面法线矢量。另外，nlay代表从角度ωi的方向入射到物体反射表面OP的光线的单位矢量，并且，取向被定义为与光行进方向相反。可通过使用图像的投影方法计算单位矢量nlay。本实施例使用通过等立体角投影的光学系统拍摄的图像。在这种情况下，可以用图8所示的关系通过下式(15)～(17)表达单位矢量nlay。
φ(i，j)＝tan-1{y(i，j)/x(i，j)} (16)
nlay(i，j)＝[sinθp(i，j)cosφ(i，j)，sinθp(i，j)sinφ(i，j)，cosθp(i，j)] (17)
在式(15)～(17)中，f是光学系统的焦距，x(i,j)和y(i,j)是像素(x,y)处图像传感器上的x方向和y方向的距离。
图3B将从角度ωi的方向的极微小立体角dΩi到达物体的第k波长λk的辐射B(i,j,k)可视化。图3C将式(1)中的cosθ分布可视化。可基于表面法线矢量nobj和单位矢量nlay之间的内积计算cosθ(i,j)。图3D示出基于式(1)用图3B和图3C计算的物体照明光Ei(λ)。在图3D中，横轴表示波长，纵轴表示辐射。当光学系统的投影方法是等立体角投影时，对应于图像中的各像素的立体角相等，因此，可使得极微小立体角dΩi恒定并且有利于积分。该配置可精确地计算图像拾取时的物体照明光。
最后，在步骤S13处，信息处理装置校正关于在照明光下测量的反射光的信息(通过照相机获得的数据)以减少物体的照明光的影响。具体而言，信息处理装置基于在步骤S12处计算的物体照明光(关于物体照明光的信息)、来自在照明光下测量的物体的反射光(关于反射光的信息)和反射光的取向信息校正关于反射光的信息。例如，如式(4)表达的那样，信息处理装置校正关于反射光的信息并且计算物体的反射率特性。
第二实施例
现在参照图4A～4D，将描述根据本发明的第二实施例的信息处理方法。图4A～4D解释图1中的步骤S12(物体照明光的计算)。根据本实施例的物体反射表面OP的表面法线矢量nobj面向S(南)方的信息处理方法与表面法线矢量nobj面向正上的第一实施例不同。除此以外，本实施例的信息处理方法与参照图1描述的第一实施例类似，并且将省略其描述。
图4A示出照明光下的物体的布置。在图4A中，物体反射表面OP面向正侧面(S(南)方向)。图4B将从角度ωi的方向的极微小立体角dΩi到达物体的第k波长λk的辐射B(i,j,k)可视化，并且具有与图3D相同的值。图4C将式(1)中的cosθ分布可视化。如图4C所示，物体反射表面的表面法线矢量不同，并因此具有与第一实施例不同的分布。图4D示出基于式(1)用图4B和图4C计算的物体照明光Ei(λ)。
如上所述，本实施例事先具有照明光的空间分布信息，因此，可根据物体取向精确地计算物体照明光。
第三实施例
现在参照图5，将描述根据本发明的第三实施例的信息处理装置(测量系统)。图5是信息处理装置100的框图。信息处理装置100包括信息处理器10、照明信息获取器21、物体取向信息获取器31和反射光信息获取器41。
信息处理器10执行例如根据第一和第二实施例的信息处理方法。信息处理器10包括照明信息输入器(第一输入器)11、物体取向信息输入器(第二输入器)12、物体照明光计算器13、反射光信息输入器(第三输入器)14、反射光取向信息输入器(第四输入器)15和反射光校正器16。照明信息获取器(第一获取器)21包含照明光拍摄器22和照明光估计器23。物体取向信息获取器(第二获取器)31包含三维测量单元32和物体取向信息计算器33。
照明光拍摄器(图像拍摄器)22拍摄天空中的半球图像。照明光估计器23通过使用由照明光拍摄器22拍摄的图像、诸如用鱼眼透镜拍摄的图像数据来估计照明光(照明光的空间分布信息)。估计的照明光的空间分布信息被输入到照明信息输入器11中。三维测量单元(测量单元)32测量物体的三维信息。物体取向信息计算器(第二计算器)33基于通过三维测量单元32测量的三维信息(三维测量信息)计算作为物体的取向信息的表面法线信息(表面法线矢量nobj)。通过物体取向信息计算器33计算的物体的表面法线信息被输入到物体取向信息输入器12中。物体照明光计算(第一计算器)13通过使用输入到照明信息输入器11中的照明光的空间分布信息和输入到物体取向信息输入器12中的物体的表面法线信息并且基于例如式(1)计算物体照明光Ei(λ)。
反射光信息获取器(第三获取器)41为例如照相机，并且，获得关于来自用于拍摄半球图像的照明光下的物体的反射光的信息(通过照相机获得的数据)。通过反射光信息获取器41获取的关于来自物体的反射光的信息被输入到反射光信息输入器14中。反射光的取向信息被输入到反射光取向信息输入器15中。反射光的取向信息包含关于来自物体的反射光的中心轴与物体的表面法线之间的角度θr的信息。本实施例基于来自附着到反射光信息获取器41的角度传感器的信息获取反射光的取向信息。
反射光校正器16基于例如式(4)和(6)校正关于来自物体的反射光的信息。换句话说，反射光校正器16基于通过物体照明光计算器13计算的关于物体照明光的信息、输入到反射光信息输入器14中的关于来自物体的反射光的信息和输入到反射光取向信息输入器15中的反射光的取向信息校正关于反射光的信息。反射光校正器16基于通过物体照明光计算器13计算的关于物体照明光的信息和输入到反射光信息输入器14中的关于来自物体的反射光的信息通过使用式(7)和(8)校正关于物体的反射光的信息。通过反射光校正器16校正的关于反射光的信息(关于被校正的反射光的信息)被例如输出到外部装置，并且存储于信息处理装置100中的存储器或内存中，或者显示于显示单元上。
第四实施例
现在参照图6，将描述根据本实施例的信息处理装置(测量系统)。根据本实施例的信息处理装置包括与参照图5描述的根据第三实施例的信息处理装置100的配置类似的配置。图6示出照明光拍摄器22和反射光信息获取器41。照明光拍摄器22包括对于所有的方位具有180度或更大的整体视角2θp的全周鱼眼透镜(光学系统)。由此，根据本实施例的信息处理装置即使在有周围障碍的图像拾取环境中也可在较高的位置处拍摄图像，并且获取整个天空的照明信息。
根据本实施例的照明光拍摄器22和反射光信息获取器41中的每一个包括具有RGB或三个带的多带照相机，所述RGB或三个带具有共同的光谱灵敏度特性。各光学系统被设定，使得照明光拍摄器22中的光学系统的光谱透射率L(λ)和反射光信息获取器41中的光学系统的光谱透射率L(λ)可相等。因此，在通过使用根据本实施例的信息处理装置计算从来自物体的反射光减少或去除物体照明光的影响的反射特性时，式(5)与在反射光信息获取器41中获得的RGB值等价。式(6)中的右侧的分母的值等于通过用在照明光拍摄器22中获得的R(i,j)、G(i,j)和B(i,j)的值替代式(1)中的B(i,j)得到的值。
因此，当照明光拍摄器22和反射光信息获取器41具有相同的光学系统光谱透射率和相同的多带照相机光谱灵敏度特性时，可以计算反射特性，其中，物体照明光的影响在没有照明估计处理的情况下减少或消除。另外，在这种情况下，在不使用在式(9)中表达的近似模型的情况下，通过使用实际测量值计算物体照明光，并且可有利地更精确地计算物体照明光。由于不使用在式(9)中表达的近似模型，因此可以考虑从天空区域以外的区域入射到物体的照明光的影响。例如，可通过结构区域中的多带图像的积分值精确地表达在结构上反射的照明光。在这种情况下，图2所示的掩盖处理变得不必要。虽然本实施例对一个照明光拍摄器22设置一个反射光信息获取器41，但是由于在照明光拍摄器22中拍摄的天空的多带图像在接近的区域中是大致相同的，因此，多个反射光信息获取器41可共享一个照明光拍摄器22。
其它实施例
也可通过读出并执行记录于存储介质(也可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能并且/或者包含用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，应用特定集成电路(ASIC))的系统或装置的计算机，以及，通过由系统或装置的计算机通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能执行的方法，实现本发明的实施例。计算机可包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可包含单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可例如从网络或存储介质被提供给计算机。存储介质可包含例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧致盘(CD)、数字万用盘(DVD)或蓝光盘(BD)TM)、快擦写存储器设备和记忆卡等中的一个或更多个。
不管日照条件、天气和物体取向如何，各实施例都可精确地估计照明光并且基于来自物体的反射光校正照明光的影响。因此，各实施例可提供能够精确地获取物体的特性的信息处理方法和信息处理装置。
虽然已参照示例性实施例描述了本发明，但应理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以包含所有这样的修改以及等同的结构和功能。
Claims (21)
1.一种信息处理方法，其特征在于，包括以下步骤：
基于照明光的空间分布信息和物体的取向信息，计算关于用于照明物体的物体照明光的信息；和
基于关于物体照明光的信息和关于来自物体的反射光的信息，校正关于反射光的信息以减少物体照明光的影响。
2.根据权利要求1所述的信息处理方法，其特征在于，校正关于反射光的信息的步骤包含基于关于物体照明光的信息、关于来自物体的反射光的信息和反射光的取向信息计算物体的反射特性的步骤。
3.根据权利要求1所述的信息处理方法，其特征在于，校正关于反射光的信息的步骤包含将来自照明光下的物体的反射光转换成来自其它照明光下的物体的反射光的步骤。
4.根据权利要求1所述的信息处理方法，其特征在于，物体的取向信息包含物体的表面法线矢量、物体面的方位角和仰角、以及物体面在各方向上的倾斜度中的一个。
5.根据权利要求1所述的信息处理方法，其特征在于，物体的取向信息包含通过将多个局部物体视为一个物体获得的信息。
6.根据权利要求1所述的信息处理方法，其特征在于，物体的取向信息是通过将局部取向的信息平均化而获得的。
7.根据权利要求2所述的信息处理方法，其特征在于，反射光的取向信息是基于物体的取向信息的反射光的单位矢量。
8.根据权利要求1所述的信息处理方法，还包括通过使用具有至少三个带的多带图像获得照明光的空间分布信息的步骤。
9.根据权利要求8所述的信息处理方法，其特征在于，多带图像对于所有的方位具有180度或更高的视角。
10.根据权利要求8所述的信息处理方法，其特征在于，多带图像的投影是等立体角投影。
11.根据权利要求1～10中的任一项所述的信息处理方法，还包括基于物体的三维测量信息计算物体的取向的步骤。
12.一种信息处理装置，其特征在于，包括：
照明信息输入器，被配置为输入照明光的空间分布信息；
物体取向信息输入器，被配置为输入物体的取向信息；
物体照明光计算器，被配置为基于照明光的空间分布信息和物体的取向信息计算关于用于照明物体的物体照明光的信息；
反射光信息输入器，被配置为输入关于物体上的反射光的信息；和
反射光校正器，被配置为基于关于物体照明光的信息和关于来自物体的反射光的信息校正关于反射光的信息以减少照明光的影响。
13.根据权利要求12所述的信息处理装置，还包括被配置为输入反射光的取向信息的反射光取向信息输入器，
其特征在于，反射光校正器基于关于物体照明光的信息、关于来自物体的反射光的信息和反射光的取向信息校正关于反射光的信息。
14.根据权利要求12所述的信息处理装置，还包括被配置为获取照明光的空间分布信息的照明信息获取器，
其特征在于，照明信息输入器输入通过照明信息获取器获得的照明光的空间分布信息。
15.根据权利要求14所述的信息处理装置，其中，照明信息获取器包含：
照明光拍摄器，被配置为获得具有至少三个带的多带图像；和
照明光估计器，被配置为基于所述多带图像估计照明光。
16.根据权利要求15所述的信息处理装置，其特征在于，照明光拍摄器包含对于所有的方位具有180度或更高的视角的光学系统。
17.根据权利要求16所述的信息处理装置，其特征在于，多带图像的投影是等立体角投影。
18.根据权利要求12所述的信息处理装置，还包括被配置为获取物体的取向信息的物体取向信息获取器，
其特征在于，物体取向信息输入器输入通过物体取向信息获取器获得的物体的取向信息。
19.根据权利要求18所述的信息处理装置，其特征在于，物体取向信息获取器包含：
三维测量单元，被配置为三维地测量物体；和
物体取向信息计算器，被配置为基于从三维测量单元输出的三维测量信息计算物体的取向信息。
20.根据权利要求12～19中的任一项所述的信息处理装置，还包括被配置为获取关于来自物体的反射光的信息的反射光信息获取器，
其特征在于，反射光信息输入器输入通过反射光信息获取器获取的关于来自物体的反射光的信息。
21.一种存储使计算机能够执行信息处理方法的程序的计算机可读非暂时性存储介质，
其特征在于所述信息处理方法包含以下步骤：
基于照明光的空间分布信息和物体的方位信息计算关于用于照明物体的物体照明光的信息；和
基于关于物体照明光的信息和关于来自物体的反射光的信息来校正关于反射光的信息以减小物体照明光的影响。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017047327A JP2018151832A (ja) | 2017-03-13 | 2017-03-13 | 情報処理装置、情報処理方法、および、プログラム |
| JP2017-047327 | 2017-03-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108573508A true CN108573508A (zh) | 2018-09-25 |
Family
ID=63445710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810188718.6A Pending CN108573508A (zh) | 2017-03-13 | 2018-03-08 | 信息处理装置、信息处理方法和存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11039076B2 (zh) |
| JP (1) | JP2018151832A (zh) |
| CN (1) | CN108573508A (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3057067B1 (en) * | 2015-02-16 | 2017-08-23 | Thomson Licensing | Device and method for estimating a glossy part of radiation |
| JP7313906B2 (ja) * | 2019-05-28 | 2023-07-25 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像システム、および、プログラム |
| WO2022102295A1 (ja) * | 2020-11-10 | 2022-05-19 | ソニーグループ株式会社 | 撮像装置 |
| CN112329256A (zh) * | 2020-11-13 | 2021-02-05 | 北京环境特性研究所 | 一种涂层材质反射偏振特性分析方法及装置 |
| US11741658B2 (en) * | 2021-12-28 | 2023-08-29 | Advanced Micro Devices, Inc. | Frustum-bounding volume intersection detection using hemispherical projection |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1283272A (zh) * | 1997-12-05 | 2001-02-07 | 北方数字股份有限公司 | 用于测定物体的空间位置和取向的系统 |
| CN101751672A (zh) * | 2008-11-28 | 2010-06-23 | 索尼株式会社 | 图像处理系统 |
| CN103261836A (zh) * | 2010-10-08 | 2013-08-21 | 欧姆龙株式会社 | 形状测量设备及形状测量方法 |
| JP5838355B2 (ja) * | 2012-06-20 | 2016-01-06 | パナソニックＩｐマネジメント株式会社 | 空間情報検出装置、人位置検出装置 |
| CN106134289A (zh) * | 2014-02-26 | 2016-11-16 | 飞利浦灯具控股公司 | 基于光反射率的检测 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB1504490A (en) * | 1975-11-28 | 1978-03-22 | Bowthorpe Hellerman Ltd | Optical fibre connector |
| US4989948A (en) * | 1989-05-08 | 1991-02-05 | Minnesota Mining And Manufacturing Company | Reflective sheeting material |
| US4989984A (en) * | 1989-11-08 | 1991-02-05 | Environmental Research Institute Of Michigan | System for measuring optical characteristics of curved surfaces |
| JP3595624B2 (ja) | 1996-04-09 | 2004-12-02 | キヤノン株式会社 | 位置計測方法及び位置計測装置 |
| JP2006127539A (ja) | 2005-12-05 | 2006-05-18 | Toshiba Corp | 画像抽出装置 |
| CA2651799C (en) * | 2006-05-12 | 2016-07-19 | Northwestern University | Systems, methods, and apparatuses of low-coherence enhanced backscattering spectroscopy |
| KR101624758B1 (ko) * | 2008-06-30 | 2016-05-26 | 코닝 인코포레이티드 | 마이크로리소그래픽 투사 시스템용 텔레센트릭성 교정기 |
| JP5648483B2 (ja) * | 2009-01-27 | 2015-01-07 | 日本電気株式会社 | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム |
| US20100259746A1 (en) * | 2009-04-10 | 2010-10-14 | Omron Corporation | Profilometer |
| US20110176029A1 (en) * | 2010-01-15 | 2011-07-21 | Kenneth Wayne Boydston | Multispectral and Colorimetric Imaging System |
| JP5950117B2 (ja) | 2010-12-24 | 2016-07-13 | 日本電気株式会社 | 画像処理方法、画像処理システムおよび画像処理プログラム |
| JP5475057B2 (ja) * | 2012-04-20 | 2014-04-16 | 株式会社 オフィス・カラーサイエンス | 変角分光イメージング測定方法およびその装置 |
| US9459820B2 (en) * | 2012-11-08 | 2016-10-04 | Ricoh Company, Ltd. | Display processing apparatus, display processing method, and computer program product |
| US10049294B2 (en) * | 2015-01-30 | 2018-08-14 | X-Rite Switzerland GmbH | Imaging apparatus, systems and methods |
| DE102015216985A1 (de) * | 2015-09-04 | 2017-03-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Projektionsvorrichtung und Verfahren zur Projektion mit optischen Freiformflächen |
| EP3196633B1 (en) * | 2016-01-20 | 2021-11-17 | Canon Kabushiki Kaisha | Apparatus and method for measuring a reflection characteristic of an object |
| JP2017161370A (ja) | 2016-03-09 | 2017-09-14 | 株式会社ニコン | 検出装置、検出システム、検出方法、及び検出プログラム |
| JP2017198470A (ja) * | 2016-04-25 | 2017-11-02 | キヤノン株式会社 | 計測装置、計測方法、システム及び物品の製造方法 |
| JP6961394B2 (ja) * | 2017-05-31 | 2021-11-05 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査装置の設定方法、画像検査プログラム、画像装置の設定検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
-
2017
- 2017-03-13 JP JP2017047327A patent/JP2018151832A/ja active Pending
-
2018
- 2018-03-08 CN CN201810188718.6A patent/CN108573508A/zh active Pending
- 2018-03-12 US US15/918,009 patent/US11039076B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1283272A (zh) * | 1997-12-05 | 2001-02-07 | 北方数字股份有限公司 | 用于测定物体的空间位置和取向的系统 |
| CN101751672A (zh) * | 2008-11-28 | 2010-06-23 | 索尼株式会社 | 图像处理系统 |
| CN103261836A (zh) * | 2010-10-08 | 2013-08-21 | 欧姆龙株式会社 | 形状测量设备及形状测量方法 |
| JP5838355B2 (ja) * | 2012-06-20 | 2016-01-06 | パナソニックＩｐマネジメント株式会社 | 空間情報検出装置、人位置検出装置 |
| CN106134289A (zh) * | 2014-02-26 | 2016-11-16 | 飞利浦灯具控股公司 | 基于光反射率的检测 |
Non-Patent Citations (1)
| Title |
|---|
| 大蔵 苑子等: ""光源環境と対象物の同時撮影による屋外物体の拡散反射率推定とその評価"", 《情報処理学会論文誌》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11039076B2 (en) | 2021-06-15 |
| US20180262666A1 (en) | 2018-09-13 |
| JP2018151832A (ja) | 2018-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108573508A (zh) | 信息处理装置、信息处理方法和存储介质 | |
| EP3371548B1 (en) | 3-d polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections | |
| Akkaynak et al. | A revised underwater image formation model | |
| Dev et al. | WAHRSIS: A low-cost high-resolution whole sky imager with near-infrared capabilities | |
| Sandau | Digital airborne camera: introduction and technology | |
| US20070274604A1 (en) | Enhanced Underwater Imaging | |
| US20140267418A1 (en) | Method for simulating natural perception in virtual and augmented reality scenes | |
| Ciortan et al. | A practical reflectance transformation imaging pipeline for surface characterization in cultural heritage | |
| JP6869652B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| CN107786808B (zh) | 生成代表与光场数据相关联的散景的数据的方法和装置 | |
| CN108318458B (zh) | 一种适用于不同天气条件下的室外典型地物pBRDF的测量方法 | |
| WO2013034941A2 (en) | Method for measuring cloud-base distance and apparatus for measuring polarization | |
| CN109643440A (zh) | 图像处理设备、图像处理方法和计算机可读记录介质 | |
| Spier et al. | In situ target-less calibration of turbid media | |
| CN107301633B (zh) | 在云雾干扰下遥感成像的仿真方法 | |
| CN109377476A (zh) | 遥感影像云检测特征参数的动态阈值获取方法及装置 | |
| CN117309856A (zh) | 烟幕效果监测方法、装置、电子设备和存储介质 | |
| Shiwen et al. | Hyperspectral characterisation of natural illumination in woodland and forest environments | |
| US11410378B1 (en) | Image processing for generating three-dimensional shape and spatially-varying reflectance of the object using a deep neural network | |
| Tominaga et al. | High-resolution imaging system for omnidirectional illuminant estimation | |
| Qiu et al. | Satellite-Earth remote sensor scatter effects on Earth scene radiometric accuracy | |
| Quero et al. | 2D/3D single-pixel NIR image reconstruction method for outdoor applications in presence of rain | |
| Morales et al. | Real-time rendering of aerial perspective effect based on turbidity estimation | |
| Boher et al. | Physico-realistic ray tracing simulation of displays under indoor or outdoor illumination | |
| JP6300269B2 (ja) | 特性情報作成装置、特性情報作成プログラム、特性情報作成システム、特性情報作成方法、光学フィルムの設計方法及び光学フィルムの製造方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180925 |