CN117651851A - 摄像方法及程序 - Google Patents
摄像方法及程序 Download PDFInfo
- Publication number
- CN117651851A CN117651851A CN202280047061.6A CN202280047061A CN117651851A CN 117651851 A CN117651851 A CN 117651851A CN 202280047061 A CN202280047061 A CN 202280047061A CN 117651851 A CN117651851 A CN 117651851A
- Authority
- CN
- China
- Prior art keywords
- wavelength
- spectral data
- subject
- wavelengths
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 41
- 230000003595 spectral effect Effects 0.000 claims abstract description 162
- 238000003384 imaging method Methods 0.000 claims abstract description 60
- 238000012937 correction Methods 0.000 claims description 101
- 235000019557 luminance Nutrition 0.000 claims description 47
- 230000035945 sensitivity Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 7
- 230000010287 polarization Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 29
- 238000005259 measurement Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 22
- 210000001747 pupil Anatomy 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J4/00—Measuring polarisation of light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明提供一种能够得到维持高的波长再现性的波长图像的摄像方法及程序。在通过具备处理器的多光谱相机拍摄被摄体的摄像方法中,处理器进行:数据获取工序(步骤S10),获取第1被摄体的第1光谱数据、第2被摄体的第2光谱数据及第3被摄体的第3光谱数据;波长选择工序(步骤S 11),从所获取的第1至第3光谱数据的波长区域选择多个波长,在波长选择工序(步骤S11)中,将第1光谱数据、第2光谱数据、第3光谱数据中的2个光谱数据的特征量的差或比确定为运算量,并求出至少2个以上的运算量而选择多个波长;及摄像工序(步骤S12),以多个波长拍摄包括第1被摄体、第2被摄体、第3被摄体中的至少1个的被摄体。
Description
技术领域
本发明涉及一种摄像方法及程序,特别涉及一种多光谱相机的摄像方法及程序。
背景技术
以往,利用多光谱相机获取每个不同波长的图像,并将该图像应用于各种用途。
例如在专利文献1中记载了使用预先测量的相机的光谱灵敏度特性来进行被摄体的颜色估计的技术。
现有技术文献
专利文献
专利文献1:日本特开2006-30014号公报
发明内容
本发明的技术所涉及的一个实施方式提供一种能够得到维持高的波长再现性的波长图像的摄像方法及程序。
用于解决技术课题的手段
作为本发明的一个实施方式的摄像方法为通过具备处理器的多光谱相机拍摄被摄体的摄像方法,其中,
处理器进行:数据获取工序,获取第1被摄体的第1光谱数据、第2被摄体的第2光谱数据及第3被摄体的第3光谱数据;波长选择工序,从所获取的第1至第3光谱数据的波长区域选择多个波长,在波长选择工序中,将第1光谱数据、第2光谱数据、第3光谱数据中的2个光谱数据的特征量的差或比作为因子,并根据至少2个以上的所述因子选择多个波长;及摄像工序,以多个波长拍摄包括第1被摄体、第2被摄体、第3被摄体中的至少1个的被摄体。
优选第1至第3光谱数据的波长区域为至少第1光谱数据的波长区域与第2光谱数据的波长区域重叠的波长区域。
优选因子包括作为第1光谱数据与第3光谱数据的特征量的差或比的第1因子、和作为第2光谱数据与第3光谱数据的特征量的差或比的第2因子,根据第1因子及第2因子来选择多个波长。
优选多个波长中的1个为第1因子及第2因子中的至少一个成为最小的波长。
优选摄像方法进一步具有:
以通过波长选择工序选择的多个波长在第3被摄体的图像数据的多个区域内测量多个波长的亮度的强度比的工序;及
根据强度比来至少校正第3被摄体的图像数据的校正工序。
优选校正工序包括第1校正工序,该第1校正工序根据测量的强度比之一即第1强度比来校正多个区域的强度比。
优选校正工序包括第2校正工序,该第2校正工序进行减小测量的强度比的差的校正。
优选校正工序包括:
第1校正工序,根据测量的强度比之一即第1强度比来校正多个区域的强度比;及
第2校正工序,进行减小测量的强度比的差的校正。
优选第3被摄体的在多个区域中通过波长选择工序选择的多个波长的亮度的强度比恒定。
优选在波长选择工序中选择第1波长及第2波长,第1波长及第2波长下的第1被摄体的反射率α及第3被摄体的反射率β满足以下式(1)的关系,第1波长及第2波长下的第2被摄体的反射率γ及第3被摄体的反射率β满足以下式(2)的关系,第2波长下的(β-α)及(β-γ)比第1波长下的(β-α)及(β-γ)小。
|β-α|÷(β+α)≤0.15···(1)
|β-γ|÷(β+γ)≤0.15···(2)
优选在波长选择工序中选择第1波长及第2波长,第1波长及第2波长下的第1被摄体的反射率α及第3被摄体的反射率β满足以下式(3)的关系,第1波长及第2波长下的第2被摄体的反射率γ及第3被摄体的反射率β满足以下式(4)的关系,第2波长下的(β-α)及(β-γ)比第1波长下的(β-α)及(β-γ)小。
|β-α|÷(β+α)≤0.05···(3)
|β-γ|÷(β+γ)≤0.05···(4)
优选在波长选择工序中选择第1波长、第2波长及第3波长,第1波长、第2波长及第3波长下的第1被摄体的反射率α及第3被摄体的反射率β满足以下式(5)的关系,第1波长、第2波长及第3波长下的第2被摄体的反射率γ及第3被摄体的反射率β满足以下式(6)的关系,第2波长下的(β-α)及(β-γ)比第1波长及第3波长下的(β-α)及(β-γ)小。
|β-α|÷(β+α)≤0.15···(5)
|β-γ|÷(β+γ)≤0.15···(6)
优选在波长选择工序中选择第1波长、第2波长及第3波长,第1波长、第2波长及第3波长下的第1被摄体的反射率α及第3被摄体的反射率β满足以下式(7)的关系,第1波长、第2波长及第3波长下的第2被摄体的反射率γ及第3被摄体的反射率β满足以下式(8)的关系,第2波长下的(β-α)及(β-γ)比第1波长及第3波长下的(β-α)及(β-γ)小。
|β-α|÷(β+α)≤0.05···(7)
|β-γ|÷(β+γ)≤0.05···(8)
优选多光谱相机具备存储器,该存储器存储可与第3被摄体置换的多个置换被摄体及多个置换被摄体各自的第4光谱数据,处理器进行通知工序,根据第1光谱数据、第2光谱数据及第4光谱数据,将多个置换被摄体中的一个置换被摄体通知为推荐的第3被摄体。
优选处理器根据校正工序进行校正多光谱相机的摄像元件的灵敏度的灵敏度校正工序。
优选摄像方法进一步进行可变地显示第3被摄体的第3被摄体可变显示工序。
优选摄像方法进一步进行无影照明的照射工序。
作为本发明的另一实施方式的程序为使具备处理器的多光谱相机执行拍摄被摄体的摄像方法的程序,其使处理器进行:数据获取工序,获取第1被摄体的第1光谱数据、第2被摄体的第2光谱数据及第3被摄体的第3光谱数据;波长选择工序,从所获取的第1至第3光谱数据的波长区域选择多个波长,在波长选择工序中,将第1光谱数据、第2光谱数据、第3光谱数据中的2个光谱数据的特征量的差或比作为因子,并根据至少2个以上的所述因子选择多个波长;及摄像工序,以多个波长拍摄包括第1被摄体、第2被摄体、第3被摄体中的至少1个的被摄体。
附图说明
图1是说明波长图像由于周围环境的变化而变不正确的第1例的图。
图2是说明波长图像由于周围环境的变化而变不正确的第1例的图。
图3是说明波长图像由于周围环境的变化而变不正确的第2例的图。
图4是说明波长图像由于周围环境的变化而变不正确的第2例的图。
图5是表示摄像方法的流程图。
图6是表示通过多光谱相机拍摄的被摄体的示意图。
图7是表示背景、第1被摄体及第2被摄体的光谱数据的图。
图8是表示背景、第1被摄体及第2被摄体的光谱数据的图。
图9是表示满足式(5)、式(6)及条件1的情况的图。
图10是说明基于多光谱相机的摄像工序的图。
图11是表示摄像方法的流程图。
图12是说明强度比测量工序的背景的拍摄的图。
图13是说明在强度比测量工序中测量的背景的亮度的强度比及计算出的第1校正系数的图。
图14是说明在强度比测量工序中测量的背景的亮度的强度比及计算出的第1校正系数的图。
图15是表示摄像方法的流程图。
图16是说明在强度比测量工序中测量的背景的亮度的强度比及计算出的第1校正系数及第2校正系数的图。
图17是说明在强度比测量工序中测量的背景的亮度的强度比及计算出的第1校正系数及第2校正系数的图。
图18是说明推荐背景的例子的图。
图19是说明推荐背景的例子的图。
图20是表示多光谱相机的一例的示意图。
图21是表示多光谱相机所具备的滤波器单元的一例的示意图。
具体实施方式
以下,根据附图对本发明所涉及的摄像方法及程序的优选实施方式进行说明。
首先,以下说明波长图像变不正确(波长再现性降低)的情况。
以往,使用多光谱相机来获取与各波长对应的图像(波长图像)。例如,利用偏振像素(例如0°、45°、90°)的多光谱相机(参考图20)能够通过对各偏振像素分配分别不同的波长,得到每个波长的波长图像。在此,在生成波长图像的工序中,通常进行干扰去除。干扰去除是去除与拍摄时干扰的其他波长有关的信号的处理,其根据预先测量的混合比率去除(逆矩阵运算)干扰的其他波长。然后,通过适当地进行该干扰去除,能够得到抑制其他波长的信号的干扰的正确的波长图像。
通常混合比率在制造多光谱相机时等实际进行拍摄之前被测量,通常存储在内置于多光谱相机的存储器等中而利用。因此,发生预先测量的混合比率与实际进行拍摄时的混合比率不同的情况。如此,在预先测量的混合比率与实际进行拍摄时的混合比率不同的情况下,无法顺利地进行干扰去除,有时所得到的波长图像变不正确(波长再现性降低)。作为预先测量的混合比率与实际进行拍摄时的混合比率变不同的要因之一,可举出周围环境的变化。具体而言,通过预先测量混合比率时的周围环境与实际进行拍摄时的周围环境不同,光斑发生变化且混合比率发生变化。以下,使用具体例来说明周围环境的变化对波长图像的影响。
图1及图2是说明波长图像由于周围环境的变化而变不正确的第1例的图。
图像501、图像503及图像505是通过多光谱相机拍摄具有均匀的反射特性的白色板而得的各波长图像。图像501是波长U的U波长图像,图像503是波长V的V波长图像,图像505是波长W的W波长图像。并且,图像507是例如将波长U置换为蓝色(B:BLUE)、将波长V置换为绿色(G:GREEN)且将波长W置换为红色(R:RED)时的模似彩色图像。图2中,将图像507的区域(A)~(I)的波长U、波长V及波长W的亮度的强度比示于对应的图表(A)~(I)中。
通常,在通过多光谱相机100拍摄具有均匀的反射特性的白色板的情况下,区域(A)~(I)的亮度的强度比变均匀。并且,通常在通过多光谱相机100拍摄具有均匀的反射特性的白色板的情况下,图像501(U波长图像)、图像503(V波长图像)及图像505(W波长图像)间的亮度的强度比也变相同。然而,通过实际拍摄图像501、图像503及图像505时的周围环境与测量混合比率时的周围环境不同,如图示那样,在区域(A)~(I)中图像501、图像503及图像505的每个图像所示的亮度的强度比不同。并且,图像501、图像503及图像505间的亮度的强度比也不相同(例如,在区域(E)中,图像501、图像503及图像505间的强度比的偏离量为约2%)。
如此,在测量混合比率时及实际拍摄时,周围环境的不同导致光斑等发生变化,而有时无法获取正确的(维持波长再现性的)波长图像。
图3及图4是说明波长图像由于周围环境的变化而变不正确的第2例的图。在本例中,将具有均匀的反射特性的白色板作为背景而拍摄黑色被摄体519。
图像511是波长U的U波长图像,图像513是波长V的V波长图像,图像515是波长W的W波长图像。并且,图像517是在与图1中说明的情况相同的条件下生成的模似彩色图像。图4中,将图像517的区域(A)~(I)的波长U、波长V及波长W的亮度的强度比示于对应的图表(A)~(I)中。
通过拍摄图像511、图像513及图像515时的周围环境与测量混合比率时的周围环境不同,如图示那样,在区域(A)~(I)中图像511、图像513及图像515的每个图像所示的亮度的强度比不同。并且,图像511、图像513及图像515间的亮度的强度比也不相同(例如,在区域(E)中,图像511、图像513及图像515间的亮度的强度比的偏离量为约6%)。
如此,在获取混合比率时及实际拍摄时,周围环境的不同导致光斑等发生变化,从而有时无法获取正确的(维持波长再现性的)波长图像。并且,在如黑色被摄体519那样背景与被摄体的反射率之差较大的情况下,波长间的亮度的强度比的偏离量变更大,导致波长再现性降低。
如上述例那样,即使混合比率发生变化,如果简单进行干扰去除,也会获取不正确的波长图像。
因此,在以下公开的实施方式中,通过抑制光斑等发生变化或配合拍摄初期中发生的光斑等而对波长图像进行校正,即使周围环境发生变化,也能够得到正确的波长图像(能够维持波长再现性)。
<第1实施方式>
图5是表示本发明的摄像方法的流程图。以下说明的摄像方法的各工序由多光谱相机100(图20)的处理器142实施。并且,处理器142通过执行存储在存储器144中的摄像方法的专用程序来实施各工序。
数据获取工序(步骤S10)中,处理器142获取背景2、第1被摄体3及第2被摄体4的光谱数据。接着,波长选择工序(步骤S11)中,处理器142从背景2、第1被摄体3及第2被摄体4的光谱数据的波长区域(波长频带)选择多个波长。在本例中,选择第1波长λ(1)、第2波长λ(2)、第3波长λ(3)。接着,摄像工序(步骤S12)中,处理器142以第1波长λ(1)、第2波长λ(2)及第3波长λ(3)拍摄包括背景2、第1被摄体3及第2被摄体4中的至少1个的被摄体。
以下,对各工序详细地进行说明。
[数据获取工序]
数据获取工序中,处理器142获取被摄体(背景2、第1被摄体3及第2被摄体4)的光谱数据。
图6是表示通过多光谱相机100拍摄的被摄体(第1被摄体、第2被摄体及背景(第3被摄体))的示意图。
被摄体由第1被摄体3、第2被摄体4及背景2构成。通过多光谱相机100拍摄包括背景2、第1被摄体3及第2被摄体4中的至少1个的被摄体,并进行识别位于背景2上的第1被摄体3及第2被摄体4的感应。因此,处理器142获取与背景2、第1被摄体3及第2被摄体4的反射率有关的光谱数据。
图7及图8是表示背景2、第1被摄体3及第2被摄体4的光谱数据的图。
图7中,与背景2、第1被摄体3及第2被摄体4的各波长对应的反射率被显示为光谱数据。光谱数据SD1(第1光谱数据)与第1被摄体3对应,光谱数据SD2(第2光谱数据)与第2被摄体4对应,光谱数据SD3(第3光谱数据)与背景2对应。处理器142所获取的光谱数据SD1、光谱数据SD2及光谱数据SD3的波长区域为光谱数据SD1的波长区域与光谱数据SD2的波长区域重叠的波长区域。即,在图7所示的情况下,光谱数据SD1及光谱数据SD2的波长区域为400nm~1000nm,光谱数据SD3为400nm~1000nm的波长区域,光谱数据SD1~SD3的波长区域在400nm~1000nm重叠。因此,处理器142在波长区域400nm~1000nm处获取光谱数据SD1~SD3。
图8中,与图7相同地,与背景2、第1被摄体3及第2被摄体4的各波长对应的反射率被显示为光谱数据,光谱数据SD1与第1被摄体3对应,光谱数据SD2与第2被摄体4对应,光谱数据SD3与背景2对应。
在图8所示的情况下,光谱数据SD1及光谱数据SD2的波长区域在550nm~1000nm重叠。因此,光谱数据SD3的波长区域也在550nm~1000nm的范围充分,处理器142获取550nm~1000nm的波长区域的光谱数据SD1~SD3。
处理器142通过各种方式获取光谱数据SD1~SD3。例如,光谱数据SD1~SD3可以通过高光谱相机拍摄背景2、第1被摄体3及第2被摄体4而被获取,并被输入到多光谱相机100中。并且,光谱数据SD1~SD3可以从保存有各种光谱数据的数据库选择,输入到多光谱相机100中,并由处理器142获取。并且,光谱数据SD1~SD3町以预先存储到多光谱相机100的存储器144中,并由处理器142获取。
[波长选择工序]
波长获取选择中,处理器142根据所获取的光谱数据SD1、光谱数据SD2及光谱数据SD3,选择第1波长λ(1)、第2波长λ(2)及第3波长λ(3)。处理器142将光谱数据SD1、光谱数据SD2及光谱数据SD3中的2个光谱数据的特征量的差或比作为因子,求出至少2个以上的因子而选择多个波长。以下说明中,对将光谱数据的特征量(反射率)之差作为因子的情况进行说明。
以往技术中,通常使用在图7中说明的光谱数据SD1、光谱数据SD2及光谱数据SD3中至少以第1被摄体3的光谱数据SD1及第2被摄体4的光谱数据SD2差小的波长(基准波长)和存在差的波长。因此,以往例如至少选择420nm作为第2波长λ(2)(基准波长),选择500nm作为第1波长λ(1)。
然而,本实施方式中,处理器142根据光谱数据SD3与光谱数据SD1的反射率之差(第1因子)、及光谱数据SD3与光谱数据SD2的反射率之差(第2因子)的关系,选择第1波长λ(1)、第2波长λ(2)及第3波长λ(3)。例如处理器142作为第2波长λ(2)(基准波长),选择第1因子及第2因子最小的850nm。另外、处理器142可以选择第1因子及第2因子中的至少一个成为最小的波长作为基准波长。并且处理器142选择第1因子及第2因子比第2波长λ(2)的情况大且可识别第1被摄体3及第2被摄体4的925nm作为第1波长λ(1)。例如作为第1波长λ(1)可以选择第1因子与第2因子之和在以下说明的规定的范围(15%或5%)内成为最大的波长。并且,处理器142将第1波长λ(1)与第2波长λ(2)之间的875nm选择为第3波长λ(3)。
并且,处理器142能够选择第1因子(光谱数据SD3与光谱数据SD1的反射率之差)及第2因子(光谱数据SD3与光谱数据SD2的反射率之差)在15%的范围内的第1波长λ(1)~第3波长λ(3)。
具体而言,处理器142选择满足以下式的第1波长λ(1)~第3波长λ(3)。
|β-α|÷(β+α)≤0.15···(5)
|β-γ|÷(β+γ)≤0.15···(6)
另外,上式中,α被输入第1波长λ(1)~第3波长λ(3)下的第1被摄体3的反射率α1~α3的每一个,β被输入第1波长λ(1)~第3波长λ(3)下的背景2的反射率β1~β3的每个,γ被输入第1波长λ(1)~第3波长λ(3)下的第2被摄体4的反射率γ1~γ3的每一个。并且,选择此时第2波长下的(β-α)及(β-γ)比第1波长λ(1)及第3波长λ(3)的对应的值小的第1波长λ(1)~第3波长λ(3)(条件1)。
图9是表示满足式(5)、式(6)及条件1的情况的图。另外,图9中示出了光谱数据SD1~SD3及第1波长λ(1)~第3波长λ(3)。
如图9所示那样,选择差分M1、差分N1、差分M2(为0,因此未图示)、差分N2(为0,因此未图示)、差分M3、差分N3在15%以内的第1波长λ(1)~λ(3)。进一步,选择差分M2及差分N2比差分M1、差分N1、差分M3及差分N3小的第1波长λ(1)~第3波长λ(3)。
并且,进一步优选处理器142能够选择第1因子(光谱数据SD3与光谱数据SD1的反射率之差)及第2因子(光谱数据SD3与光谱数据SD2的反射率之差)在5%的范围内的第1波长λ(1)~第3波长λ(3)。
具体而言,处理器142选择满足以下式的第1波长λ(1)~第3波长λ(3)。
|β-α|÷(β+α)≤0.05···(7)
|β-γ|÷(β+γ)≤0.05···(8)
另外,上式中,α被输入第1波长λ(1)~第3波长λ(3)下的第1被摄体3的反射率α1~α3的每一个,β被输入第1波长λ(1)~第3波长λ(3)下的背景2的反射率β1~β3的每一个,γ被输入第1波长λ(1)~第3波长λ(3)下的第2被摄体4的反射率γ1~γ3的每一个。并且,选择此时第2波长下的(β-α)及(β-γ)比第1波长λ(1)及第3波长λ(3)的对应的值小的第1波长λ(1)~第3波长λ(3)(条件1)。
如以上所说明那样,处理器142根据基于光谱数据SD1~光谱数据SD3的因子,选择第1波长λ(1)~第3波长λ(3)。由此,由于与背景2的反射率的差异在恒定的范围内,因此能够抑制周围环境的变化的影响。
另外,在上述说明中,说明了从处理器142所获取的光谱数据SD1~光谱数据SD3自动选择第1波长λ(1)~第3波长λ(3)的情况。波长选择工序中,处理器142可以通过其他方式选择第1波长λ(1)~第3波长λ(3)。例如,处理器142将所获取的光谱数据SD1~光谱数据SD3显示于设置于多光谱相机100的背面的显示部,用户从该显示选择第1波长λ(1)~第3波长λ(3),处理器142可以根据经由多光谱相机100的操作部(未图示)输入的来自用户的指示,选择第1波长λ(1)~第3波长λ(3)。
[摄像工序]
摄像工序中,处理器142以第1波长λ(1)、第2波长λ(2)及第3波长λ(3)拍摄包括第1被摄体3、第2被摄体4、背景2(第3被摄体)中的至少1个的被摄体。
图10是说明基于多光谱相机100的摄像工序的图。图10中,背景2为传送带,并且示出了在其上放置第1被摄体3及第2被摄体4并将它们连续搬运的具体例。多光谱相机100拍摄连续搬运的第1被摄体3及第2被摄体4。
处理器142使多光谱相机100拍摄位于背景2上的第1被摄体3及第2被摄体4的场景。多光谱相机100根据情况拍摄仅背景2的场景、背景2上仅存在第1被摄体3的场景、背景2上仅存在第2被摄体4的场景。另外,多光谱相机100被设定为能够获取与通过波长选择工序选择的第1波长λ(1)~第3波长λ(3)对应的第1波长图像~第3波长图像。照明装置10配合多光谱相机100的摄像或始终照射背景2、第1被摄体3及第2被摄体4(照射工序)。另外,照明装置10使用光源a、光源b、或混合光源a及光源b的光源。并且,由于第1被摄体3及第2被摄体4的影子对于获取正确的第1波长图像~第3波长图像不会带来良好的影响,因此照明装置10优选为无影照明装置。多光谱相机100根据需要对所获取的第1波长图像~第3波长图像进行干扰去除处理。
多光谱相机100根据所拍摄的第1波长图像~第3波长图像,进行识别第1被摄体3及第2被摄体4的(检测是否存在等)感应。
如以上所说明那样,根据本实施方式的摄像方法,即使光斑等根据进行拍摄的周围环境而发生变化的情况下,也由于选择了第1被摄体3、第2被摄体4、及背景2的反射率的因子在规定的范围内的第1波长λ(1)~第3波长(3),因此能够进行抑制周围环境的变化的影响且维持高的波长再现性的波长图像的获取。
<第2实施方式>
接着,对本发明的第2实施方式进行说明。本实施方式中,除了上述第1实施方式的摄像方法以外,还包括强度比测量工序及校正工序(第1校正工序)。
图11是表示本实施方式的摄像方法的流程图。以下说明的摄像方法由多光谱相机100的处理器142实施。并且,处理器142通过执行存储在存储器144中的摄像方法的专用程序来实施各工序。
数据获取工序(步骤S20)中,处理器142获取背景2、第1被摄体3及第2被摄体4的光谱数据。接着,波长选择工序(步骤S21)中,处理器142从背景2、第1被摄体3及第2被摄体4的光谱数据的波长区域选择第1波长λ(1)、第2波长λ(2)、第3波长λ(3)。接着,强度比测量工序(步骤S22)中,处理器142以第1波长λ(1)、第2波长λ(2)及第3波长λ(3)拍摄背景2,并获取背景2的第1波长λ(1)、第2波长λ(2)及第3波长λ(3)的波长图像(图像数据),在多个区域内测量第1波长λ(1)~第3波长λ(3)的亮度的强度比。接着,摄像工序(步骤S23)中,处理器142以第1波长λ(1)、第2波长λ(2)及第3波长λ(3)拍摄包括背景2、第1被摄体3及第2被摄体4中的至少1个的被摄体。然后,第1校正工序(步骤S24)中,处理器142根据所测量的强度比之一的第1强度比校正多个区域的强度比。
接着,对作为本实施方式的特征部分的强度比测量工序及第1校正工序进行说明。另外,本实施方式的其他工序(数据获取工序、波长选择工序及摄像工序)与第1实施方式相同,因此省略说明。
[强度比测量工序]
强度比测量工序中,处理器142以第1波长λ(1)~第3波长λ(3)测量背景2的亮度的强度比。具体而言,处理器142以第1波长λ(1)~第3波长λ(3)并通过多光谱相机100仅拍摄背景2,获取第1波长图像~第3波长图像。
图12是说明强度比测量工序的背景2的拍摄的图。
强度比测量工序中,通过多光谱相机100拍摄背景2,并且获取背景2的第1波长图像、第2波长图像及第3波长图像。另外,在此所拍摄的背景2与通过摄像工序拍摄的背景2相同。背景2中例如使用第1波长λ(1)、第2波长λ(2)及第3波长λ(3)下的反射率均匀的白色板。并且,例如背景2中使用第1波长λ(1)、第2波长λ(2)及第3波长λ(3)下的强度比在多个区域内恒定的图。并且,照明装置10为在摄像工序中使用的照明装置。另外,优选在强度比测量工序及摄像工序中使用相同的光源。
图13及图14是说明在强度比测量工序中测量的背景2的亮度的强度比及计算出的第1校正系数的图。图13中示出了通过光源a测量的测量结果,图14中示出了通过光源b测量的测量结果。
模似彩色图像101(图13)根据第1波长图像~第3波长图像而生成。具体而言,以红色(R:RED)重合第1波长图像的亮度的强度比、以蓝色(B:BLUE)重合第2波长图像的亮度的强度比、以绿色(G:GREEN)重合第3波长图像的亮度的强度比,由此生成模似彩色图像101。并且,符号105中,将模似彩色图像101的区域(A)~区域(I)的第1波长λ(1)、第2波长λ(2)及第3波长λ(3)下的亮度的强度比在图表(A)~图表(I)中对应地示出。另外,关于图表(A)~图表(I)中示出的亮度的强度比,示出了区域(A)~区域(I)的各区域的亮度的强度比的平均或代表值。
如模似彩色图像101及符号105中示出的图表(A)~图表(I)所示那样,在第1波长图像~第3波长图像中,各波长的亮度的强度比因周围环境的变化的影响而发生偏差。因此,处理器142获取使区域(A)~区域(I)中的第1波长λ(1)、第2波长λ(2)、第3波长λ(3)下的亮度的强度比一致的第1校正系数。例如,处理器142获取将区域(A)~区域(D)、区域(F)~区域(I)的强度比对准模似彩色图像101的中央的区域(E)的亮度的强度比(第1强度比)的第1校正系数。关于模似彩色图像103,通过将第1校正系数适用于模似彩色图像101来得到模似彩色图像103。如符号107中示出的图表(A)~图表(I)所示那样,模似彩色图像103成为均匀的亮度的强度比。即,通过第1校正系数,区域(A)~区域(I)的亮度的强度比变相同。
与模似彩色图像109(图14)、模似彩色图像101相同地,根据第1波长图像~第3波长图像生成。并且,符号113中,模似彩色图像109的区域(A)~区域(I)的第1波长λ(1)、第2波长λ(2)及第3波长λ(3)下的亮度的强度比示于图表(A)~图表(I)中。
如模似彩色图像109及符号113中示出的图表(A)~图表(I)所示那样,在第1波长图像~第3波长图像中,各波长的亮度的强度比因周围环境的变化的影响而发生偏差。因此,处理器142获取将区域(A)~区域(D)、区域(F)~区域(I)的强度比对准模似彩色图像109的中央的区域(E)的亮度的强度比(第1强度比)的第1校正系数。将第1校正系数适用于模似彩色图像109,得到模似彩色图像111。如符号115中示出的图表(A)~图表(I)所示那样,模似彩色图像111成为均匀的亮度的强度比。即,通过第1校正系数,区域(A)~区域(I)的亮度的强度比变均匀。
如以上所说明那样,强度比测量工序中,测量背景2的第1波长λ(1)~第3波长λ(3)的亮度的强度比,并根据该测量结果计算第1校正系数。另外,在上述说明中说明了将图像分为3×3的9个区域并对该每个区域获取第1校正系数的例子,但本实施方式并不限定于此。例如,可以对图像的每个像素获取第1校正系数,也可以在相对大的区域或小的区域中获取第1校正系数。
[校正工序]
校正工序(第1校正工序)中,处理器142对通过摄像工序拍摄的第1波长图像、第2波长图像及第3波长图像适用通过强度比测量工序获取的第1校正系数,由此校正区域(A)~区域(I)的亮度的强度比。另外,第1校正系数优选适用于第1波长图像~第3波长图像整体,但也可以例如对映现第1波长图像~第3波长图像的背景2的部位(背景2的图像数据)适用第1校正系数。通过第1校正系数进行校正的第1波长图像、第2波长图像及第3波长图像抑制了周围环境的变化的影响。因此,能够得到维持波长再现性的第1波长图像~第3波长图像,并能够进行正确的感应。
<第3实施方式>
接着,对本发明的第3实施方式进行说明。本实施方式中,除了上述第2实施方式的摄像方法以外,还包括校正工序(第2校正工序)。
图15是表示本实施方式的摄像方法的流程图。以下说明的摄像方法由多光谱相机100的处理器142实施。并且,处理器142通过执行存储在存储器144中的摄像方法的专用程序来实施各工序。
数据获取工序(步骤S30)中,处理器142获取背景2、第1被摄体3及第2被摄体4的光谱数据。接着,波长选择工序(步骤S31)中,处理器142从背景2、第1被摄体3及第2被摄体4的光谱数据的波长区域选择第1波长λ(1)、第2波长λ(2)、第3波长λ(3)。接着,强度比测量工序(步骤S32)中,处理器142以第1波长λ(1)、第2波长λ(2)及第3波长λ(3)拍摄背景2,并获取背景2的第1波长λ(1)、第2波长λ(2)及第3波长λ(3)的波长图像(图像数据),在多个区域内测量多个波长的亮度的强度比。接着,摄像工序(步骤S33)中,处理器142以第1波长λ(1)、第2波长λ(2)及第3波长λ(3)拍摄包括背景2、第1被摄体3及第2被摄体4中的至少1个的被摄体。接着,第1校正工序(步骤S34)中,处理器142根据通过强度比测量工序测量的强度比之一的第1强度比校正多个区域的强度比。接着,第2校正工序(步骤S35)中,处理器142进行减小通过强度比测量工序测量的强度比之差的校正。
接着,对作为本实施方式的特征部分的强度比测量工序及第2校正工序进行说明。另外,数据获取工序、波长选择工序、摄像工序、第1校正工序与第1实施方式及第2实施方式相同,因此在此省略说明。
[强度比测量工序]
本实施方式的强度比测量工序中,除了第1校正系数以外还计算第2校正系数。另外,以下说明中,对分别计算第1校正系数及第2校正系数的情况进行说明,但并不限定于此。例如,也可以计算组合第1校正系数及第2校正系数的校正系数。
图16及图17是说明在强度比测量工序中测量的背景2的亮度的强度比及计算出的第1校正系数及第2校正系数的图。另外,以下说明中,对在图13及图14中已经进行说明的部位标注相同的符号并省略说明。
第2校正系数是如减小区域(A)~区域(I)的各波长的亮度的强度比之差的校正系数。例如,第2校正系数是使区域(A)~区域(I)中第1波长λ(1)~第3波长λ(3)间的亮度的强度成为相同的校正系数。
模似彩色图像103(图16)中,通过第1校正系数,区域(A)~(I)的亮度的强度比变均匀。然而,如符号107的图表(A)~(I)所示那样,第1波长λ(1)~第3波长λ(3)的亮度的强度比不均匀。具体而言,符号107的图表(E)中,强度比为0.33、0.32、0.35。通过适用第2校正系数,该不均匀的强度比被校正为0.33、0.33、0.33均匀的值。另外,对于其他区域,也以相同的方式计算第2校正系数。通过对模似彩色图像103适用第2校正系数,得到模似彩色图像151。如符号153所示那样,模似彩色图像151的区域(A)~区域(I)的亮度的强度比为0.33、0.32、0.35。模似彩色图像151显示背景2原本的白色。
如符号115的图表(A)~(I)所示那样,模似彩色图像111(图17)的第1波长λ(1)~第3波长λ(3)的亮度的强度比不均匀。具体而言,符号115的图表(E)中,强度比为0.34、0.34、0.32,但通过对此适用第2校正系数来校正为0.33、0.33、0.33。通过对模似彩色图像111适用第2校正系数,得到模似彩色图像155。如符号157所示那样,模似彩色图像155的区域(A)~区域(I)的亮度的强度比为0.33、0.32、0.35。模似彩色图像155显示背景2原本的白色。
如以上所说明那样,强度比测量工序中,测量背景2的第1波长λ(1)~第3波长λ(3)的亮度的强度比,并根据该测量结果计算第1校正系数及第2校正系数。另外,在上述说明中说明了将图像分为3×3的9个区域并对该每个区域获取第2校正系数的例子,但本实施方式并不限定于此。例如,可以对图像的每个像素获取第2校正系数,也可以在相对大的区域或小的区域中获取第2校正系数。
[校正工序(第2校正工序)]
校正工序(第2校正工序)中,处理器142使用通过强度比测量工序获取的第2校正系数,对通过摄像工序拍摄的第1波长图像、第2波长图像及第3波长图像适用第2校正系数,由此校正区域(A)~区域(I)的强度比。另外,第2校正系数优选适用于第1波长图像~第3波长图像整体,但也可以例如对映现第1波长图像~第3波长图像的背景2的部位(背景2的图像数据)适用第2校正系数。对通过摄像工序获取的第1波长图像~第3波长图像适用第2校正系数来进行校正,由此能够进行抑制摄像条件等影响的稳定的感应。另外,处理器142可以根据第1校正系数和/或第2校正系数来校正图像传感器130(图20)的灵敏度(灵敏度校正工序)。在第1校正系数或第2校正系数较大的部位处,感应结果(波长图像的亮度)会输出得比原来更亮或更暗。因此,处理器142能够通过根据第1校正系数和/或第2校正系数来校正图像传感器130(图20)的灵敏度,进行高精度的感应。
<其他实施方式1>
上述实施方式中,说明了在波长选择工序中选择3个不同的第1波长λ(1)、第2波长λ(2)及第3波长λ(3)的例子。然而,通过波长选择工序选择的波长的数量只要选择多个波长即可,并不限定于3个波长。例如在波长选择工序中,可以选择2个波长,也可以选择上述第1波长λ(1)及第2波长λ(2)。
例如,处理器142能够选择第1因子(光谱数据SD3与光谱数据SD1的反射率之差)及第2因子(光谱数据SD3与光谱数据SD2的反射率之差)在15%的范围内的第1波长λ(1)及第2波长λ(2)。
具体而言,处理器142选择满足以下式的第1波长λ(1)及第2波长λ(2)。
|β-α|÷(β+α)≤0.15···(1)
|β-γ|÷(β+γ)≤0.15···(2)
另外,上式中,α被输入第1波长λ(1)及第2波长λ(2)下的第1被摄体3的反射率α1及α2的每一个,β被输入第1波长λ(1)及第2波长λ(2)下的背景2的反射率β1及β2的每一个,γ被输入第1波长λ(1)及第2波长λ(2)下的第2被摄体4的反射率γ1及γ2的每一个。并且,选择此时第2波长下的(β-α)及(β-γ)比第1波长λ(1)的对应的值小的第1波长λ(1)及第2波长λ(2)(条件2)。
并且,进一步优选处理器142能够选择第1因子(光谱数据SD3与光谱数据SD1的反射率之差)及第2因子(光谱数据SD3与光谱数据SD2的反射率之差)在5%的范围内的第1波长λ(1)及第2波长λ(2)。
具体而言,处理器142选择满足以下式的第1波长λ(1)及第2波长λ(2)。
|β-α|÷(β+α)≤0.05···(3)
|β-γ|÷(β+γ)≤0.05···(4)
另外,上式中,α被输入第1波长λ(1)及第2波长λ(2)下的第1被摄体3的反射率α1及α2的每一个,β被输入第1波长λ(1)及第2波长λ(2)下的背景2的反射率β1及β2的每一个,γ被输入第1波长λ(1)及第2波长λ(2)下的第2被摄体4的反射率γ1及γ2的每一个。并且,选择此时第2波长λ(2)下的(β-α)及(β-γ)比第1波长λ(1)的对应的值小的第1波长λ(1)及第2波长λ(2)(条件2)。
如以上所说明那样,本实施方式中,在波长选择工序中选择2个波长(第1波长λ(1)及第2波长λ(2))。如此,通过选择多个任意数量的波长并进行摄像,能够获取用户所期望的数量的波长图像。
<其他实施方式2>
上述实施方式中,背景2为预先确定的白色板。然而,本实施方式中,处理器142根据第1被摄体3及第2被摄体4的反射率(光谱数据)来通知最佳背景(通知工序)。
本实施方式的多光谱相机100的存储器144中存储有可与背景2置换的多个置换被摄体(多个背景)及多个置换被摄体各自的光谱数据。然后,处理器142根据第1被摄体3的光谱数据SD1、第2被摄体4的光谱数据SD2,将多个置换被摄体中的一个置换被摄体(背景)通知为推荐的背景。另外,处理器142能够在设置于多光谱相机100的背面的显示部(未图示)上通知置换被摄体。并且,多光谱相机100可以具备可变地显示背景2的背景显示装置150(参考图20)。背景显示装置150例如由液晶显示器等构成,且能够通过处理器142的控制将所期望的颜色显示为背景(第3被摄体可变显示工序)。如此,在通过背景显示装置150改变背景颜色来同时检测到光谱反射率完全不同的被摄体的情况等下,能够对每个位置改变背景颜色,或在欲将相同设定的多光谱相机100使用于不同用途(例如,其他被摄体的检测)的情况等下,能够容易改变背景颜色。
图18及图19是说明推荐背景的例子的图。
图18中示出了推荐背景的光谱数据SD4(第4光谱数据)。根据第1被摄体3的光谱数据SD1、第2被摄体4的光谱数据SD2,选择并通知具有光谱数据SD4的背景作为推荐被摄体。光谱数据SD4在400nm~1000nm的波长区域中,光谱数据SD1与光谱数据SD2的反射率之差小。通过使用具有这种光谱数据SD4的背景,能够在宽波长范围中选择利用多光谱相机100进行拍摄的多个波长。
图19中示出了推荐背景的光谱数据SD5。根据第1被摄体3的光谱数据SD1、第2被摄体4的光谱数据SD2,选择并通知具有光谱数据SD5的背景作为推荐被摄体。光谱数据SD5由于在多个部位与光谱数据SD1及光谱数据SD2交叉,因此在多个部位具有光谱数据SD1及光谱数据SD2的反射率之差变小的部位。通过使用具有这种光谱数据SD5的背景,能够在多个部位(波长区域)进行拍摄。
<其他>
接着,说明在上述摄像方法中使用的多光谱相机100。
[多光谱相机]
图20是表示在本发明的摄像方法中使用的多光谱相机100的一例的示意图。并且,图21是表示多光谱相机100所具备的滤波器单元120的一例的示意图。
图20所示的多光谱相机100由包含透镜110A、110B及滤波器单元120的摄影光学系统110、图像传感器(摄像元件)130以及信号处理部140构成。并且,多光谱相机100中可以连接有背景显示装置150。背景显示装置150与信号处理部140连接并受处理器142的控制。滤波器单元120(图21)中包括的带通滤波器单元124由透射波长区域的光的第1带通滤波器(第1波长选择元件)124A、第2带通滤波器(第2波长选择元件)124B、第3带通滤波器(第3波长选择元件)124C构成,所述波长区域为将适于识别第1被摄体3及第2被摄体4的第1波长λ(1)、第2波长λ(2)、第3波长λ(3)分别作为中心波长的波长区域。另外,滤波器单元120具有4个光瞳区域(第1光瞳区域~第4光瞳区域),不使用的第4光瞳区域被遮蔽部件B遮蔽(参考图21)。
滤波器单元120优选由偏振滤波器单元122和带通滤波器单元124构成,并配置在摄影光学系统110的光瞳位置或光瞳位置附近。
偏振滤波器单元122由分别使透射摄影光学系统110的第1光瞳区域、第2光瞳区域及第3光瞳区域的光直线偏振的第1偏振滤波器122A、第2偏振滤波器122B及第3偏振滤波器122C构成。例如,将第1偏振滤波器122A的偏振方向设定为0°,将第2偏振滤波器122B的偏振方向设定为90°,将第3偏振滤波器122C的偏振方向设定为45°。
带通滤波器单元124由分别选择透射摄影光学系统110的第1光瞳区域、第2光瞳区域及第3光瞳区域的光的波长区域的第1带通滤波器124A、第2带通滤波器124B及第3带通滤波器124C构成。因此,透射摄影光学系统110的第1光瞳区域的光被第1偏振滤波器122A直线偏振,并且通过第1带通滤波器124A仅透射包含第1波长λ(1)的波长区域的光。另一方面,透射摄影光学系统110的第2光瞳区域的光被第2偏振滤波器122B直线偏振(在与第1偏振滤波器122A相差90°的方向上直线偏振),并且通过第2带通滤波器124B仅透射包含第2波长λ(2)的波长区域的光。并且,透射摄影光学系统110的第3光瞳区域的光被第3偏振滤波器122C直线偏振,并且通过第3带通滤波器124C仅透射包含第3波长λ(3)的波长区域的光。
图像传感器130构成为在由排列成二维状的光电转换元件构成的多个像素中有规则地配置有偏振方向为0°、45°、90°的第1偏振滤波器、第2偏振滤波器及第3偏振滤波器。
另外,第1偏振滤波器122A与图像传感器130的第1偏振滤波器的偏振方向相同,第2偏振滤波器122B与图像传感器130的第2偏振滤波器的偏振方向相同,第3偏振滤波器122C与图像传感器130的第3偏振滤波器的偏振方向相同。
信号处理部140通过从配置有图像传感器130的第1偏振滤波器的像素读取像素信号,获取由第1带通滤波器124A进行了波长选择的窄长频带的第1波长图像,通过从配置有图像传感器130的第2偏振滤波器的像素读取像素信号,获取由第2带通滤波器124B进行了波长选择的窄频带的第2波长图像,并通过从图像传感器130的配置第3偏振滤波器的像素读取像素信号,获取由第3带通滤波器124C进行了波长选择的窄频带的第3波长图像。
通过信号处理部140获取的第1波长图像、第2波长图像及第3波长图像成为适于第1被摄体3和第2被摄体4的分离的图像。例如,通过合成第1波长图像、第2波长图像及第3波长图像,能够制作放大了动态范围且增强了传感性能的合成图像。另外,信号处理部140中,根据需要进行第1波长图像、第2波长图像及第3波长图像的干扰去除处理。
在上述实施方式中,执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包含执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(Central Processing Unit/中央处理器)、FPGA(FieldProgrammable Gate Array/现场可编程门阵列)等制造后能够改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、ASIC(Application SpecificIntegrated Circuit/专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电气电路等。
一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器(例如,多个FPGA、或CPU与FPGA的组合)构成。并且,也可以由一个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子,第一,如以客户端或服务器等计算机为代表,有由1个以上的CPU和软件的组合构成1个处理器,并且该处理器作为多个处理部发挥作用的方式。第2,有如以片上系统(System On Chip:SoC)等为代表,使用将包含多个处理部的整个系统的功能由一个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。如此,各种处理部作为硬件结构使用一个以上上述各种处理器而构成。
而且,更具体而言,这些各种处理器的硬件结构为半导体元件等组合了电路元件的电气电路(circuitry)。
上述各结构及功能能够通过任意的硬件、软件或两者的组合来适当实现。例如,也能够对使计算机执行上述处理步骤(处理顺序)的程序、记录有这种程序的计算机可读取的记录介质(非暂时性记录介质)或能够安装这种程序的计算机适用本发明。
以上,对本发明的例子进行了说明,但本发明并不限定于上述实施方式,能够在不脱离本发明的主旨的范围内进行各种变形是不言而喻的。
符号说明
2-背景,3-第1被摄体,4-第2被摄体,10-照明装置,100-多光谱相机,110-摄影光学系统,110A-透镜,110B-透镜,120-滤波器单元,122-偏振滤波器单元,122A-第1偏振滤波器,122B-第2偏振滤波器,122C-第3偏振滤波器,124-带通滤波器单元,124A-第1带通滤波器,124B-第2带通滤波器,124C-第3带通滤波器,130-图像传感器,140-信号处理部,142-处理器,144-存储器,150-背景显示装置。
Claims (19)
1.一种摄像方法,其为通过具备处理器的多光谱相机拍摄被摄体的摄像方法,其中,
所述处理器进行:
数据获取工序,获取第1被摄体的第1光谱数据、第2被摄体的第2光谱数据及第3被摄体的第3光谱数据;
波长选择工序,从所述获取的所述第1至所述第3光谱数据的波长区域选择多个波长,在所述波长选择工序中,将所述第1光谱数据、所述第2光谱数据、所述第3光谱数据中的2个光谱数据的特征量的差或比作为因子,并根据至少2个以上的所述因子来选择多个波长;及
摄像工序,以所述多个波长拍摄包括所述第1被摄体、所述第2被摄体、所述第3被摄体中的至少1个的被摄体。
2.根据权利要求1所述的摄像方法,其中,
所述第1至所述第3光谱数据的波长区域为至少所述第1光谱数据的波长区域与所述第2光谱数据的波长区域重叠的波长区域。
3.根据权利要求1或2所述的摄像方法,其中,
所述因子包括作为所述第1光谱数据与所述第3光谱数据的特征量的差或比的第1因子、和作为所述第2光谱数据与所述第3光谱数据的特征量的差或比的第2因子,根据所述第1因子及所述第2因子来选择多个波长。
4.根据权利要求3所述的摄像方法,其中,
所述多个波长中的1个为所述第1因子及所述第2因子中的至少一个成为最小的波长。
5.根据权利要求1至4中任一项所述的摄像方法,其进一步具有:
以通过所述波长选择工序选择的多个波长在所述第3被摄体的图像数据的多个区域内测量所述多个波长的亮度的强度比的工序;及
根据所述强度比来至少校正所述第3被摄体的图像数据的校正工序。
6.根据权利要求5所述的摄像方法,其中,
所述校正工序包括第1校正工序,所述第1校正工序根据所述测量的强度比之一即第1强度比来校正所述多个区域的强度比。
7.根据权利要求5所述的摄像方法,其中,
所述校正工序包括第2校正工序,所述第2校正工序进行减小所述测量的强度比的差的校正。
8.根据权利要求5所述的摄像方法,其中,
所述校正工序包括:
第1校正工序,根据所述测量的强度比之一即第1强度比来校正所述多个区域的强度比;及
第2校正工序,进行减小所述测量的强度比的差的校正。
9.根据权利要求1至8中任一项所述的摄像方法,其中,
所述第3被摄体的在多个区域中通过所述波长选择工序选择的多个波长的亮度的强度比恒定。
10.根据权利要求1至9中任一项所述的摄像方法,其中,
在所述波长选择工序中选择第1波长及第2波长,所述第1波长及所述第2波长下的所述第1被摄体的反射率α及所述第3被摄体的反射率β满足以下式(1)的关系,所述第1波长及所述第2波长下的所述第2被摄体的反射率γ及所述第3被摄体的反射率β满足以下式(2)的关系,所述第2波长下的(β-α)及(β-γ)比所述第1波长下的(β-α)及(β-γ)小,
|β-α|÷(β+α)≤0.15…(1),
|β-γ|÷(β+γ)≤0.15…(2)。
11.根据权利要求1至9中任一项所述的摄像方法,其中,
在所述波长选择工序中选择第1波长及第2波长,所述第1波长及所述第2波长下的所述第1被摄体的反射率α及所述第3被摄体的反射率β满足以下式(3)的关系,所述第1波长及所述第2波长下的所述第2被摄体的反射率γ及所述第3被摄体的反射率β满足以下式(4)的关系,所述第2波长下的(β-α)及(β-γ)比所述第1波长下的(β-α)及(β-γ)小,
|β-α|÷(β+α)≤0.05…(3),
|β-γ|÷(β+γ)≤0.05…(4)。
12.根据权利要求1至9中任一项所述的摄像方法,其中,
在所述波长选择工序中选择第1波长、第2波长及第3波长,所述第1波长、所述第2波长及所述第3波长下的所述第1被摄体的反射率α及所述第3被摄体的反射率β满足以下式(5)的关系,所述第1波长、所述第2波长及所述第3波长下的所述第2被摄体的反射率γ及所述第3被摄体的反射率β满足以下式(6)的关系,所述第2波长下的(β-α)及(β-γ)比所述第1波长及所述第3波长下的(β-α)及(β-γ)小,
|β-α|÷(β+α)≤0.15…(5),
|β-γ|÷(β+γ)≤0.15…(6)。
13.根据权利要求1至9中任一项所述的摄像方法,其中,
在所述波长选择工序中选择第1波长、第2波长及第3波长,所述第1波长、所述第2波长及所述第3波长下的所述第1被摄体的反射率α及所述第3被摄体的反射率β满足以下式(7)的关系,所述第1波长、所述第2波长及所述第3波长下的所述第2被摄体的反射率γ及所述第3被摄体的反射率β满足以下式(8)的关系,所述第2波长下的(β-α)及(β-γ)比所述第1波长及所述第3波长下的(β-α)及(β-γ)小,
|β-α|÷(β+α)≤0.05…(7),
|β-γ|÷(β+γ)≤0.05…(8)。
14.根据权利要求1至13中任一项所述的摄像方法,其中,
所述多光谱相机具备:
存储器,存储可与所述第3被摄体置换的多个置换被摄体及所述多个置换被摄体各自的第4光谱数据,
所述处理器进行:
通知工序,根据所述第1光谱数据、所述第2光谱数据及所述第4光谱数据,将所述多个置换被摄体中的一个置换被摄体通知为推荐的第3被摄体。
15.根据权利要求5至8中任一项所述的摄像方法,其中,
所述处理器根据所述校正工序进行校正所述多光谱相机的摄像元件的灵敏度的灵敏度校正工序。
16.根据权利要求1至15中任一项所述的摄像方法,其进一步进行可变地显示所述第3被摄体的第3被摄体可变显示工序。
17.根据权利要求1至16中任一项所述的摄像方法,其进一步进行无影照明的照射工序。
18.一种程序,其为使具备处理器的多光谱相机执行拍摄被摄体的摄像方法的程序,其使所述处理器进行:
数据获取工序,获取第1被摄体的第1光谱数据、第2被摄体的第2光谱数据及第3被摄体的第3光谱数据;
波长选择工序,从所述获取的所述第1至所述第3光谱数据的波长区域选择多个波长,在所述波长选择工序中,将所述第1光谱数据、所述第2光谱数据、所述第3光谱数据中的2个光谱数据的特征量的差或比作为因子,并根据至少2个以上的所述因子来选择多个波长;及
摄像工序,以所述多个波长拍摄包括所述第1被摄体、所述第2被摄体、所述第3被摄体中的至少1个的被摄体。
19.一种记录介质,其是非临时性且计算机可读取的记录介质,且记录有权利要求18所述的程序。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021125278 | 2021-07-30 | ||
JP2021-125278 | 2021-07-30 | ||
PCT/JP2022/023585 WO2023007965A1 (ja) | 2021-07-30 | 2022-06-13 | 撮像方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117651851A true CN117651851A (zh) | 2024-03-05 |
Family
ID=85086646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280047061.6A Pending CN117651851A (zh) | 2021-07-30 | 2022-06-13 | 摄像方法及程序 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240129603A1 (zh) |
CN (1) | CN117651851A (zh) |
WO (1) | WO2023007965A1 (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003130811A (ja) * | 2001-10-25 | 2003-05-08 | Dainippon Screen Mfg Co Ltd | 波長選択機能を利用した検査対象物の検査 |
US20080002185A1 (en) * | 2006-06-08 | 2008-01-03 | Anatoly Gitelson | System and methods for non-destructive analysis |
JP6012384B2 (ja) * | 2012-10-04 | 2016-10-25 | キヤノン株式会社 | 動画再生装置、表示制御方法、プログラム及び記憶媒体 |
JP2017053699A (ja) * | 2015-09-09 | 2017-03-16 | 国立大学法人岐阜大学 | 物質判別に用いる近赤外画像撮像用の波長決定方法および近赤外画像を用いた物質判別方法 |
JP2017064405A (ja) * | 2015-09-29 | 2017-04-06 | 住友電気工業株式会社 | 光学測定装置及び光学測定方法 |
JP6931552B2 (ja) * | 2017-05-09 | 2021-09-08 | 株式会社キーエンス | 画像検査装置 |
CN207114406U (zh) * | 2017-07-28 | 2018-03-16 | 合肥美亚光电技术股份有限公司 | 多光谱成像装置及多光谱相机 |
JP2020165666A (ja) * | 2019-03-28 | 2020-10-08 | セイコーエプソン株式会社 | 分光検査方法および分光検査装置 |
-
2022
- 2022-06-13 CN CN202280047061.6A patent/CN117651851A/zh active Pending
- 2022-06-13 WO PCT/JP2022/023585 patent/WO2023007965A1/ja active Application Filing
-
2023
- 2023-12-29 US US18/399,753 patent/US20240129603A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240129603A1 (en) | 2024-04-18 |
WO2023007965A1 (ja) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6816572B2 (ja) | 色測定装置、色測定方法及びプログラム | |
US8401258B2 (en) | Method to provide automated quality feedback to imaging devices to achieve standardized imaging data | |
JP5796348B2 (ja) | 特徴量推定装置および特徴量推定方法、並びにコンピュータープログラム | |
US20070177029A1 (en) | Color correction apparatus | |
JP6340884B2 (ja) | 測定装置、測定システム及び測定方法 | |
JP2016038222A (ja) | 試料測定装置および試料測定プログラム | |
JP2010239610A (ja) | 画像処理装置および画像処理方法 | |
WO2022163671A1 (ja) | データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置 | |
JP6113319B2 (ja) | 画像色分布検査装置および画像色分布検査方法 | |
JP5841091B2 (ja) | 画像色分布検査装置および画像色分布検査方法 | |
US20110304820A1 (en) | Method and device for imaging a target | |
JP6969164B2 (ja) | 評価装置、評価プログラム及び評価方法 | |
US20230230345A1 (en) | Image analysis method, image analysis device, program, and recording medium | |
CN117651851A (zh) | 摄像方法及程序 | |
CN112004454B (zh) | 内窥镜系统 | |
JP2015017834A (ja) | 測定装置及び測定方法 | |
CN113747004B (zh) | 拍摄装置、便携式终端装置以及拍摄方法 | |
JP5288154B2 (ja) | 画質検査装置 | |
JP4289973B2 (ja) | 細隙灯顕微鏡から取得された白内障被検眼のカラー画像データに基づき、白内障の症状を定量化するための色補正装置 | |
CN113870773B (zh) | Led显示屏的亮度补偿方法、亮度补偿装置及亮度补偿系统 | |
US20230306708A1 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP2003116042A (ja) | 感度むら除去装置、撮像装置、表示装置の表示むら検査システム | |
EP3669743B1 (en) | System and method, in particular for microscopes and endoscopes, for creating an hdr image of a fluorescing fluorophore | |
JP5895094B1 (ja) | 画像色分布検査装置および画像色分布検査方法 | |
JP2022006624A (ja) | 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |