CN116806304A - 数据处理装置、方法及程序以及光学元件、摄影光学系统及摄影装置 - Google Patents
数据处理装置、方法及程序以及光学元件、摄影光学系统及摄影装置 Download PDFInfo
- Publication number
- CN116806304A CN116806304A CN202280011204.8A CN202280011204A CN116806304A CN 116806304 A CN116806304 A CN 116806304A CN 202280011204 A CN202280011204 A CN 202280011204A CN 116806304 A CN116806304 A CN 116806304A
- Authority
- CN
- China
- Prior art keywords
- wavelength
- data
- data processing
- intensity
- spectral data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 88
- 230000003287 optical effect Effects 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title claims description 49
- 230000003595 spectral effect Effects 0.000 claims abstract description 142
- 238000001514 detection method Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000009826 distribution Methods 0.000 claims description 144
- 238000010586 diagram Methods 0.000 claims description 59
- 210000001747 pupil Anatomy 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004378 air conditioning Methods 0.000 claims 9
- 239000002689 soil Substances 0.000 description 19
- 235000017060 Arachis glabrata Nutrition 0.000 description 16
- 241001553178 Arachis glabrata Species 0.000 description 16
- 235000010777 Arachis hypogaea Nutrition 0.000 description 16
- 235000018262 Arachis monticola Nutrition 0.000 description 16
- 235000020232 peanut Nutrition 0.000 description 16
- 238000007689 inspection Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000010287 polarization Effects 0.000 description 6
- 241000238631 Hexapoda Species 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Abstract
本发明提供一种能够从包含对象检测物的多个被摄体容易确定适于对象检测物的检测的第1波长和第2波长的波长组合的数据处理装置、方法及程序以及光学元件、摄影光学系统及摄影装置。在具备处理器的数据处理装置中,处理器具备:数据获取处理,获取多个被摄体的光谱数据;计算处理,根据第1波长和第2波长这2个波长的关系来计算从所获取的多个被摄体的光谱数据的波长区域选择的第1波长及第2波长处的强度特性;数据转换处理,将在计算处理中计算出的强度特性转换为相对于波长区域的特定被摄体的识别数据;及输出处理,将识别数据进行外部输出。
Description
技术领域
本发明涉及一种数据处理装置、方法及程序以及光学元件、摄影光学系统及摄影装置,尤其涉及一种适于检测对象物的检测的波长的选择。
背景技术
以往,作为高光谱相机,有能够使用100以上的波长进行光谱传感的相机。
在这种高光谱相机中,由于测量多个波长,因此一般通过寻找反射或吸收急剧变化的波长来传感检测对象物(将光谱反射率在波长方向上取2次微分而寻找其峰值波长等)。
并且,以往,提供了在食品或化妆品、药品等检查对象物中包含有毛发等异物时检查异物的异物混入检查装置(专利文献1)。
该异物混入检查装置将异物的亮度值与检查对象物的亮度值的相对关系互不相同的第1波段的光和第2波段的光照射到检查对象物,分别获取基于第1波段的亮度值的第1分光图像和基于第2波段的亮度值的第2分光图像,通过所获取的第1分光图像和第2分光图像彼此的运算,获取能够将包含在检查对象物中的异物与检查对象物识别的异物提取图像。
以往技术文献
专利文献
专利文献1:日本特开2007-178407号公报
发明内容
发明要解决的技术课题
本发明的技术所涉及的一个实施方式提供一种能够从包含检测对象物的多个被摄体容易确定适于检测对象物的检测的第1波长和第2波长的波长组合的数据处理装置、方法及程序以及光学元件、摄影光学系统及摄影装置。
用于解决技术课题的手段
第1方式所涉及的发明在具备处理器的数据处理装置中,处理器具备:数据获取处理,获取多个被摄体的光谱数据;计算处理,根据第1波长和第2波长这2个波长的关系来计算从所获取的多个被摄体的光谱数据的波长区域选择的第1波长及第2波长处的强度特性;数据转换处理,将在计算处理中计算出的强度特性转换为相对于波长区域的特定被摄体的识别数据;及输出处理,将识别数据进行外部输出。
本发明的第2方式所涉及的数据处理装置中,优选强度特性为强度差和/或强度比。
本发明的第3方式所涉及的数据处理装置中,优选若将多个被摄体的光谱数据中的第1被摄体的光谱数据设为A(λ),将第2被摄体的光谱数据设为B(λ),将选择的第1波长设为λ1,将第2波长设为λ2,则强度差和/或强度比通过以下[数式1]式和/或[数式2]式
[数式1]
[数式2]
进行计算。
本发明的第4方式所涉及的数据处理装置中,优选识别数据为表示以波长为变量的强度特性的变化的第1分布图。
本发明的第5方式所涉及的数据处理装置中,优选第1分布图为二维分布图,二维分布图的坐标轴为第1波长及第2波长。
本发明的第6方式所涉及的数据处理装置中,优选识别数据的外部输出端为显示装置,处理器进行如下处理:通过用户指示来接收显示在显示装置的第1分布图上的特定位置;及根据特定位置来确定用于多个被摄体中的检测对象物的检测的第1波长及第2波长的波长组合。
本发明的第7方式所涉及的数据处理装置中,优选处理器进行如下处理:从第1分布图提取强度特性超过阈值的1个或多个第1分布图中的位置;及根据所提取的位置来确定用于多个被摄体中的检测对象物的检测的1个或多个第1波长和第2波长的波长组合。
本发明的第8方式所涉及的数据处理装置中,优选识别数据的外部输出端为显示装置,处理器进行如下处理:使1个或多个第1波长和第2波长的波长组合中的特定位置的候选重叠显示在显示装置中所显示的第1分布图上;通过用户指示从特定位置的候选接收特定位置;及根据所接收的特定位置确定第1波长及第2波长的波长组合。
本发明的第9方式所涉及的数据处理装置中,优选多个被摄体包含第1被摄体、第2被摄体及第3被摄体,数据获取处理获取第1被摄体的光谱数据、第2被摄体的光谱数据及第3被摄体的光谱数据,计算处理对第1被摄体的光谱数据及第2被摄体的光谱数据的第1波长及第2波长处的强度特性、第2被摄体的光谱数据及第3被摄体的各光谱数据的第1波长及第2波长处的强度特性、以及第1被摄体的光谱数据及第3被摄体的光谱数据的第1波长及第2波长处的强度特性中的2个以上的强度特性进行计算,数据转换处理将2个以上的强度特性转换为2个以上的识别数据。
第10方式所涉及的发明是一种光学元件,其具有第1波长选择元件及第2波长选择元件,其中,第1波长选择元件使由第6方式至第8方式中任一方式的数据处理装置确定的第1波长的波段透射,第2波长选择元件使由第6方式至第8方式中任一方式的数据处理装置确定的第2波长的波段透射。
第11方式所涉及的发明是一种摄影光学系统,其将第10方式的光学元件配置在光瞳位置或光瞳位置附近。
第12方式所涉及的发明是一种摄影装置,其具备:第11方式的摄影光学系统;及成像元件,对由摄影光学系统成像的透射了第1波长选择元件的第1光学像和透射了第2波长选择元件的第2光学像进行拍摄。
第13方式所涉及的发明是一种数据处理程序,其包括:数据获取步骤,获取多个被摄体的光谱数据;计算步骤,根据第1波长和第2波长这2个波长的关系来计算从所获取的多个被摄体的光谱数据的波长区域选择的第1波长及第2波长处的强度特性;数据转换步骤,将在计算步骤中计算出的强度特性转换为相对于波长区域的特定被摄体的识别数据;及输出步骤,将识别数据进行外部输出,并且由处理器执行各步骤的处理。
本发明的第14方式所涉及的数据处理方法中,优选强度特性为强度差和/或强度比。
本发明的第15方式所涉及的数据处理方法中,优选若将多个被摄体的光谱数据中的第1被摄体的光谱数据设为A(λ),将第2被摄体的光谱数据设为B(λ),将选择的第1波长设为λ1,将第2波长设为λ2,则强度差和/或强度比通过以下[数式1]式和/或[数式2]式
[数式1]
[数式2]
进行计算。
本发明的第16方式所涉及的数据处理方法中,优选识别数据为表示以波长为变量的强度特性的变化的第1分布图。
本发明的第17方式所涉及的数据处理方法中,优选第1分布图为二维分布图,二维分布图的坐标轴为第1波长及第2波长。
本发明的第18方式所涉及的数据处理方法中,优选识别数据的外部输出端为显示装置,所述数据处理方法包括:通过用户指示来接收显示在显示装置的第1分布图上的特定位置的步骤;及确定步骤,根据特定位置来确定用于多个被摄体中的检测对象物的检测的第1波长及第2波长的波长组合。
本发明的第19方式所涉及的数据处理方法中,优选包括:从第1分布图提取强度特性超过阈值的1个或多个第1分布图中的位置的步骤;及确定步骤,根据所提取的位置来确定用于多个被摄体中的检测对象物的检测的1个或多个第1波长和第2波长的波长组合。
本发明的第20方式所涉及的数据处理方法中,优选识别数据的外部输出端为显示装置,所述数据处理方法包括如下步骤:使1个或多个第1波长和第2波长的波长组合中的特定位置的候选重叠显示在显示装置中所显示的第1分布图上;通过用户指示从特定位置的候选接收特定位置;及根据所接收的特定位置来确定第1波长及第2波长的波长组合。
本发明的第21方式所涉及的数据处理方法中,优选多个被摄体包含第1被摄体、第2被摄体及第3被摄体,数据获取步骤中,获取第1被摄体的光谱数据、第2被摄体的光谱数据及第3被摄体的光谱数据,计算步骤中,对第1被摄体的光谱数据及第2被摄体的光谱数据的第1波长及第2波长处的强度特性、第2被摄体的光谱数据及第3被摄体的各光谱数据的第1波长及第2波长处的强度特性、以及第1被摄体的光谱数据及第3被摄体的光谱数据的第1波长及第2波长处的强度特性中的2个以上的强度特性进行计算,数据转换步骤中,将2个以上的强度特性转换为2个以上的识别数据。
本发明的第22方式所涉及的数据处理方法中,优选包括:图像获取步骤,分别获取包含所确定的波长组合中的第1波长的波段的第1图像及包含第2波长的波段的第2图像;对所获取的第1图像与第2图像之差或比进行计算的步骤;及第2分布图制作步骤,制作表示计算出的差或比的第2分布图。
本发明的第23方式所涉及的数据处理方法中,优选确定步骤中,根据第1分布图来确定用于多个被摄体中的检测对象物的检测的第1波长和第2波长的2个以上的波长组合,图像获取步骤中,分别获取包含2个以上的波长组合中的每一个的第1波长的波段的第1图像及包含第2波长的波段的第2图像,第2分布图制作步骤中,针对2个以上的波长组合中的每一个制作第2分布图,所述数据处理方法包括将所制作的2个以上的第2分布图进行合成而制作1个第2分布图的步骤。
本发明的第24方式所涉及的数据处理方法中,优选包括根据所制作的第2分布图对检测对象物进行检测的步骤。
第25方式所涉及的发明是一种数据处理程序,其通过计算机实现如下功能:获取多个被摄体的光谱数据;根据第1波长和第2波长这2个波长的关系来计算从所获取的多个被摄体的光谱数据的波长区域选择的第1波长及第2波长处的强度特性;将计算出的强度特性转换为相对于波长区域的特定被摄体的识别数据;及将识别数据进行外部输出。
附图说明
图1是表示本发明所涉及的数据处理装置的第1实施方式的功能框图。
图2是表示由高光谱相机拍摄的包含检测对象物的多个被摄体的图。
图3是分别表示纸、叶子及虫子的光谱数据的图表。
图4是表示示出从纸和叶子的光谱数据计算出的强度特性的强度分布的第1分布图的一例的图。
图5是表示示出从叶子和虫子的光谱数据计算出的强度特性的强度分布的第1分布图的一例的图。
图6是表示示出从拍摄了图2中所示的被摄体的多光谱相机获取的第1图像与第2图像之差或比的第2分布图的一例的图。
图7是表示由高光谱相机拍摄的包含其他检测对象物的多个被摄体的图。
图8是分别表示纸及粉末状的2种土的光谱数据的图表。
图9是表示示出从2种土的光谱数据计算出的强度特性的强度分布的第1分布图的一例的图。
图10是表示示出从拍摄了图7中所示的被摄体的多光谱相机获取的第1图像与第2图像之差或比的第2分布图的一例的图。
图11是表示由高光谱相机拍摄的包含又一检测对象物的多个被摄体的图。
图12是分别表示纸、花生皮及花生仁的光谱数据的图表。
图13是表示示出从花生皮和仁的光谱数据计算出的强度特性的强度分布的第1分布图的一例的图。
图14是表示将根据从拍摄了图11中所示的被摄体的多光谱相机获取的第1图像、第2图像及第3图像制作的3个第2分布图进行了合成的1个第2分布图的一例的图。
图15是表示将3个第2分布图进行合成而制作1个第2分布图的情况的图。
图16是表示本发明所涉及的数据处理装置的第2实施方式的功能框图。
图17是表示多光谱相机的一例的概略图。
图18是表示本发明所涉及的数据处理方法的第1实施方式的流程图。
图19是表示本发明所涉及的数据处理方法的第2实施方式的流程图。
图20是表示本发明所涉及的数据处理方法的第3实施方式的流程图。
具体实施方式
以下,根据附图对本发明所涉及的数据处理装置、方法及程序以及光学元件、摄影光学系统及摄影装置的优选实施方式进行说明。
[数据处理装置的第1实施方式]
图1是表示本发明所涉及的数据处理装置的第1实施方式的功能框图。
第1实施方式的数据处理装置10-1能够由具备处理器、存储器、输入输出接口等硬件的个人计算机、工作站等构成。
处理器由CPU(Central Processing Unit:中央处理器)等构成,集中控制数据处理装置10-1的各部,并且例如作为图1所示的数据获取部12、强度特性计算部14、数据转换部16、输出部18、用户指示接收部20及波长组合确定部22而发挥作用。
数据获取部12进行获取多个被摄体的光谱数据的数据获取处理。在本例中,数据获取部12从拍摄了光谱反射率分别不同的多个被摄体的高光谱相机1直接或者经由记录介质、网络等间接获取多个被摄体的光谱数据。
图2是表示由高光谱相机拍摄的包含检测对象物的多个被摄体的图。
图2所示的多个被摄体为第1被摄体的纸2A、第2被摄体的叶子2B及第3被摄体的虫子2C这3个,在纸2A上放置叶子2B,在叶子2B上有虫子2C。
在从高光谱相机1获取多个被摄体的各光谱数据的情况下,例如,由高光谱相机1拍摄图2所示的多个被摄体,使拍摄到的图像显示在高光谱相机1的显示器画面上。并且,通过在高光谱相机1的显示器画面上由用户指示纸2A的区域、叶子2B的区域及虫子2C的区域,从而从高光谱相机1获取表示纸2A的光谱反射率的光谱数据、表示叶子2B的光谱反射率的光谱数据及表示虫子2C的光谱反射率的光谱数据。
在本例中,虫子2C为检测对象物,本发明涉及一种如下技术:为了对检测对象物(虫子2C)进行检测,寻找反射或吸收的变化相对于背景的被摄体(纸2A和叶子2B)较大的2个波长的波长组合。
图3是分别表示纸、叶子及虫子的光谱数据的图表。
在图3中,是纵轴表示将基准板的反射率设为1时的光谱反射率的图表。光谱反射率是检测对象物的整体或一部分区域中的反射率的平均值或中央值。
数据获取部12获取图3所示的纸2A的光谱数据A(λ)、叶子2B的光谱数据B(λ)及虫子2C的光谱数据C(λ)。另外,各被摄体的光谱数据并不限于从高光谱相机1获取的情况,例如,也可以在被摄体(包含一部分被摄体)的光谱数据已知的情况下,获得该光谱数据。
强度特性计算部14进行根据第1波长和第2波长这2个波长的关系来计算从数据获取部12所获取的多个被摄体的光谱数据的波长区域选择的第1波长及第2波长处的强度特性的计算处理。第1波长及第2波长处的强度特性是评价被摄体的传感性能的特性,其越大,越容易识别被摄体。另外,第1波长及第2波长可以具有宽度。
第1波长及第2波长处的强度特性是第1波长及第2波长的分光的强度差和/或强度比。
若将第1被摄体(纸2A)的光谱数据设为A(λ),将第2被摄体(叶子2B)的光谱数据设为B(λ),将组合的第1波长设为λ1,将第2波长设为λ2,则强度特性计算部14从第1波长λ1及第2波长λ2处的纸2A的光谱数据A(λ)获取光谱反射率数据A(λ1)、A(λ2),同样地从第1波长λ1及第2波长λ2处的叶子2B的光谱数据B(λ)获取光谱反射率数据B(λ1)、B(λ2)。
在作为强度特性计算强度差的情况下,强度特性计算部14计算第1波长λ1及第2波长λ2处的纸2A的光谱反射率数据A(λ1)、A(λ2)的差值与第1波长λ1及第2波长λ2处的叶子2B的光谱反射率数据B(λ1)、B(λ2)的差值之差(2个第1波长λ1及第2波长λ2处的纸2A与叶子2B的相对光谱反射率数据之差)的绝对值。此时,为了去除照明不均匀和阴影等的影响,优选将差值除以第1波长λ1及第2波长λ2处的光谱反射率数据的相加值。
具体而言,强度特性计算部14根据第1波长λ1及第2波长λ2处的纸2A的光谱反射率数据A(λ1)、A(λ2)及叶子2B的光谱反射率数据B(λ1)、B(λ2),通过以下[数式1]式计算强度差。
[数式1]
在作为强度特性计算强度比的情况下,强度特性计算部14能够通过以下[数式2]式计算强度差。
[数式2]
并且,强度特性计算部14针对2个第1波长λ1及第2波长λ2可取的波长组合中的每一个计算强度差和/或强度比。
在上述例子中,计算评价纸2A和叶子2B这2个被摄体的传感性能的强度差和/或强度比,但强度特性计算部14同样地计算评价叶子2B和虫子2C这2个被摄体的传感性能的强度差和/或强度比。而且,在需要识别纸2A和虫子2C的情况下,也计算评价纸2A和虫子2C这2个被摄体的传感性能的强度差和/或强度比。
被强度特性计算部14计算出的强度特性输出到数据转换部16。
数据转换部16进行将计算出的强度特性转换为相对于波长区域的特定被摄体的识别数据的数据转换处理。识别数据为表示以波长为变量的强度特性的变化的分布图(第1分布图)。
第1分布图为二维分布图,二维分布图的坐标轴为第1波长及第2波长。
图4是表示示出从纸和叶子的光谱数据计算出的强度特性的强度分布的第1分布图的一例的图。图4的(A)所示的第1分布图是根据强度特性的大小附加了颜色、浓度的热图,图4的(B)所示的第1分布图是与强度特性的大小对应的等高线图。
图4的(A)所示的第1分布图(热图)中,亮度高的(白色)区域的强度特性较大,图4的(B)所示的第1分布图(等高线图)中,数值大的等高线区域的强度特性较大。
图5是表示示出从叶子和虫子的光谱数据计算出的强度特性的强度分布的第1分布图的一例的图。图5的(A)所示的第1分布图是通过强度特性的大小附加了颜色、浓度的热图,图5的(B)所示的第1分布图是与强度特性的大小对应的等高线图。
由数据转换部16转换的识别数据即2个第1分布图(图4及图5所示的第1分布图)添加到输出部18中。
输出部18是将从数据转换部16输入的识别数据(第1分布图)进行外部输出的输出处理部。本例的外部输出的目的地为显示装置30。
由此,在本例的情况下,在显示装置30中显示图4及图5所示的第1分布图。
用户指示接收部20接收被由用户操作的鼠标等定点设备的操作部32用户指示的第1分布图上的特定位置。
如前所述,在本例中,由于在叶子2B上的虫子2C为检测对象物,因此在图4所示的第1分布图上,优选不识别纸2A和叶子2B的(强度特性小的)位置,另一方面,在图5所示的第1分布图上,优选识别叶子2B和虫子2C的(强度特性大的)位置。
用户从显示在显示装置30的2个第1分布图发现不识别纸2A和叶子2B并且识别叶子2B和虫子2C的特定位置,并通过操作部32指示该特定位置。
用户指示接收部20接收如此进行了用户指示的第1分布图上的特定位置。
波长组合确定部22具有第1分布图的各坐标轴的波长信息,若输入由用户指示接收部20接收到的特定位置,则确定该特定位置所示的各坐标轴的波长信息即第1波长λ1及第2波长λ2的波长组合。
在本例的情况下,在图4及图5所示的第1分布图中,用户指示由星号的标记M1表示的特定位置,其结果,波长组合确定部22确定第1波长λ1(=750nm)、第2波长λ2(=950nm)的波长组合。
如此确定的波长组合的第1波长λ1(=750nm)及第2波长λ2(=950nm)是适于作为检测对象物的虫子2C的检测的波长。
由波长组合确定部22确定的第1波长λ1(=750nm)及第2波长λ2(=950nm)输出并显示在显示装置30中,并且,能够输出到记录装置、其他外部装置中。
若如上所述确定适于检测对象物的检测的第1波长λ1及第2波长λ2的波长组合,则通过具有使包含第1波长λ1的波段的光透射的第1波长选择元件(第1带通滤光片)及使包含第2波长λ2的波段的光透射的第2波长选择元件(第2带通滤光片)的后述的多光谱相机拍摄包含检测对象物的多个被摄体,并同时获取包含第1波长λ1的波段的第1图像及包含第2波长λ2的波段的第2图像。
另外,如图2所示,适于发现放置在纸2A上的叶子2B上的虫子2C的第1波长λ1及第2波长λ2的波长组合在上述的例子中为第1波长λ1(=750nm)及第2波长λ2(=950nm)。
图6是表示示出从拍摄了图2中所示的被摄体的多光谱相机获取的第1图像与第2图像之差或比的第2分布图的一例的图。
在图6所示的第2分布图中,虫子2C与背景的纸2A、叶子2B的对比度变得清晰,能够通过使用第2分布图而高精确度地检测虫子2C。
<其他检测对象物>
图7是表示由高光谱相机拍摄的包含其他检测对象物的多个被摄体的图。
图7所示的多个被摄体是在背景的纸4A上载置有粉末状的2种土4B、4C的被摄体。土4B是质量OK的土,土4C是质量NG的土。
通过数据获取部12(图1)从高光谱相机1获取2种土4B、4C的各光谱数据。
图8是分别表示纸及粉末状的2种土的光谱数据的图表。
在图8中,是纵轴表示将基准板的反射率设为1时的光谱反射率的图表。光谱反射率是检测对象物的整体或一部分区域中的反射率的平均值或中央值。
在图8上,D(λ)表示纸4A的光谱数据,E(λ)表示土4B的光谱数据,F(λ)表示土4C的光谱数据。
如图8所示,2种土4B、4C的光谱数据E(λ)、F(λ)大致一致,用肉眼难以进行2种土4B、4C的识别。
强度特性计算部14根据第1波长λ1与第2波长λ2这2个波长的关系来计算从土4B、4C的光谱数据E(λ)、F(λ)的波长区域选择的第1波长λ1及第2波长λ2处的强度特性,数据转换部16将计算出的强度特性转换为第1分布图。
图9是表示示出从2种土的光谱数据计算出的强度特性的强度分布的第1分布图的一例的图。图9的(A)所示的第1分布图是通过强度特性的大小附加了颜色、浓度的热图,图9的(B)所示的第1分布图是与强度特性的大小对应的等高线图。
在图9所示的第1分布图中,用户指示强度特性大的特定位置。另外,在图13中,用户指示的特定位置是附加了星号的标记M2的位置。
波长组合确定部22从由标记M2表示的特定位置确定第1波长λ1(=515nm)、第2波长λ2(=730nm)的波长组合。
通过具有使包含所确定的第1波长λ1(=515nm)的波段(例如,490nm~540nm)的光透射的第1带通滤光片及使包含第2波长λ2(=730nm)的波段(例如,700nm~760nm)的光透射的第2带通滤光片的多光谱相机,拍摄图7所示的包含检测对象物的多个被摄体,并同时获取包含第1波长λ1的波段的第1图像及包含第2波长λ2的波段的第2图像。
计算通过多光谱相机获取的各波段的第1图像与第2图像之差或比,并制作表示计算出的差或比的第2分布图。
计算通过多光谱相机获取的各波段的第1图像与第2图像之差或比,并制作表示计算出的差或比的第2分布图。
图10是表示示出从拍摄了图7中所示的被摄体的多光谱相机获取的第1图像与第2图像之差或比的第2分布图的一例的图。
第2分布图作为一例,作为表达第1图像与第2图像之差的方法有下述。
在将第1图像设为波长图像(λ1),将第2图像设为波长图像(λ2)的情况下,通过(波长图像(λ1)-波长图像(λ2))÷(波长图像(λ1)+波长图像(λ2))来计算差分图像,并将该差分图像进行热图显示。
并且,对波长图像(λ1)分配R(red:红)、G(green:绿)、B(blue:蓝)的彩色图像的R通道,对波长图像(λ2)分配G通道,用伪彩色图像来表达。另外,将波长图像(λ1)及波长图像(λ2)分配在彩色图像的R通道、G通道及B通道中的哪一通道并不限定于上述例子。
如此通过从波长图像(λ1)及波长图像(λ2)生成的热图或伪彩色图像能够容易地进行检测对象物的被摄体与其他被摄体的区分。
在图10所示的第2分布图中,质量OK的土4B与质量NG的土4C的对比度变得清晰,通过使用第2分布图,能够容易识别质量OK的土4B和质量NG的土4C。
图11是表示由高光谱相机拍摄的包含又一检测对象物的多个被摄体的图。
图11所示的多个被摄体是在背景的纸6A上载置有花生皮6B及花生仁6C的被摄体。
通过数据获取部12(图1)从高光谱相机1获取花生皮6B及花生仁6C的各光谱数据。
图12是分别表示纸、花生皮及花生仁的光谱数据的图表。
在图12中,是纵轴表示将基准板的反射率设为1时的光谱反射率的图表。光谱反射率是检测对象物的整体或一部分区域中的反射率的平均值或中央值。
在图12上,G(λ)表示纸6A的光谱数据,H(λ)表示花生皮6B的光谱数据,I(λ)表示花生仁6C的光谱数据。如图12所示,花生皮6B和花生仁6C是大致相同的颜色,用肉眼难以进行识别。
强度特性计算部14根据第1波长λ1和第2波长λ2这2个波长的关系来计算从花生皮6B及花生仁6C的光谱数据H(λ)、I(λ)的波长区域选择的第1波长λ1及第2波长λ2处的强度特性,数据转换部16将计算出的强度特性转换为第1分布图。
图13是表示示出从花生皮和仁的光谱数据计算出的强度特性的强度分布的第1分布图的一例的图。图13的(A)所示的第1分布图是通过强度特性的大小附加了颜色、浓度的热图,图13的(B)所示的第1分布图是与强度特性的大小对应的等高线图。
在图13所示的第1分布图中,为了增强传感性能,用户指示多个特定位置。另外,在图13中,用户指示的多个(3处)特定位置是附加了星号的标记M3、M4、M5的位置。
波长组合确定部22从由标记M3表示的特定位置确定第1波长λ1(=570nm)、第2波长λ2(=690nm)的波长组合,从由标记M4表示的特定位置确定第1波长λ1(=570nm)、第2波长λ2(=930nm)的波长组合,从由标记M5表示的特定位置确定第1波长λ1(=690nm)、第2波长λ2(=930nm)的波长组合。
在上述的情况下,由波长组合确定的波长为3个波长(570nm、690nm、930nm)。另外,在与3处特定位置对应的波长组合的情况下,通常,确定有6波长(2波长×3),但在本例中,与3处特定位置对应的波长组合的波长中包含重复的波长,因此确定有3个波长(570nm、690nm、930nm)。
通过具有使包含如此确定的波长(570nm)的波段的光透射的第1带通滤光片、使包含波长(690nm)的波段的光透射的第2带通滤光片及使包含波长(930nm)的波段的光透射的第3带通滤光片的多光谱相机,拍摄图11所示的包含检测对象物的多个被摄体,并同时获取包含波长(570nm)的波段的第1图像、包含波长(690nm)的波段的第2图像及包含波长(930nm)的波段的第3图像。
分别计算由多光谱相机获取的各波段的第1图像、第2图像及第3图像中的第1图像与第2图像之差或比、第1图像与第3图像之差或比及第2图像与第3图像之差或比,并制作表示这些计算出的差或比的3个第2分布图。
图14是表示将根据从拍摄了图11中所示的被摄体的多光谱相机获取的第1图像、第2图像及第3图像制作的3个第2分布图进行了合成的1个第2分布图的一例的图。
图15是表示将3个第2分布图进行合成而制作1个第2分布图的情况的图。
如此通过将多个第2分布图进行合成而最终制作1个第2分布图,能够制作放大了动态范围且增强了传感性能的第2分布图。
[数据处理装置的第2实施方式]
图16是表示本发明所涉及的数据处理装置的第2实施方式的功能框图。
另外,在图16中,对与图1所示的第1实施方式的数据处理装置10-1相同的部分标注相同的符号,并省略其详细说明。
图16所示的第2实施方式的数据处理装置10-2在设置有位置提取部24来代替第1实施方式的数据处理装置10-1的用户指示接收部20的点上,与第1实施方式的数据处理装置10-1不同。
在位置提取部24中,从数据转换部16添加有表示强度特性的强度分布的第1分布图,位置提取部24进行如下处理:从第1分布图提取强度特性超过阈值的1个或多个第1分布图中的位置。
例如,位置提取部24在第1分布图中检测强度特性超过阈值的1个或多个区域,通过求出检测出的区域的重心位置,能够提取1个或多个第1分布图中的位置。并且,在超过阈值的1个或多个区域内,可以将强度特性最高的位置设为该区域中的位置。
由位置提取部24提取的位置的信息(第1分布图上的坐标信息)输出到波长组合确定部22中。
波长组合确定部22具有第1分布图的各坐标轴的波长信息,若输入由位置提取部24提取的位置(特定位置),则确定该特定位置所示的各坐标轴的波长信息即第1波长λ1及第2波长λ2的波长组合。
由波长组合确定部22确定的波长组合(第1波长λ1、第2波长λ2)输出并显示在显示装置30中,并且,能够输出到记录装置、其他外部装置中。在确定有2个以上的波长组合的情况下,对所确定的每一波长组合进行输出。
并且,作为第1实施方式的数据处理装置10-1及第2实施方式的数据处理装置10-2的变形例,也可以由第2实施方式的数据处理装置10-2确定多个特定位置(多个波长组合)的候选,并使特定位置的候选重叠显示在第1分布图上,从重叠显示在第1分布图上的特定位置的候选之中,通过用户指示来确定1个或2个以上的特定位置。
[多光谱相机]
图17是表示多光谱相机的一例的概略图。
图17所示的多光谱相机(摄影装置)100由包含透镜110A、110B及滤光片单元120的摄影光学系统110、图像传感器130以及信号处理部140构成。
滤光片单元120优选由偏振滤光片单元122和带通滤光片单元124构成,并配置在摄影光学系统110的光瞳位置或光瞳位置附近。
偏振滤光片单元122由分别使透射摄影光学系统110的第1光瞳区域及第2光瞳区域的光直线偏振的第1偏振滤光片122A及第2偏振滤光片122B构成,第1偏振滤光片122A与第2偏振滤光片122B彼此偏振方向相差90°。
带通滤光片单元124由分别选择透射摄影光学系统110的第1光瞳区域及第2光瞳区域的光的波段的第1带通滤光片(第1波长选择元件)124A及第2带通滤光片(第2波长选择元件)124B构成,第1带通滤光片124A选择包含所确定的波长组合中的一个波长(第1波长)的波段,第2带通滤光片124B选择包含所确定的波长组合中的另一个波长(第2波长)的波段。
因此,透射摄影光学系统110的第1光瞳区域的光被第1偏振滤光片122A直线偏振,并且通过第1带通滤光片124A仅透射包含第1波长的波段的光。另一方面,透射摄影光学系统110的第2光瞳区域的光被第2偏振滤光片122B直线偏振(在与第1偏振滤光片122A相差90°的方向上直线偏振),并且通过第2带通滤光片124B仅透射包含第2波长的波段的光。
图像传感器130构成为在由排列成二维状的光电转换元件构成的多个像素中有规则地配置有偏振方向彼此相差90°的第1偏振滤光片和第2偏振滤光片。
另外,第1偏振滤光片122A与图像传感器130的第1偏振滤光片的偏振方向相同,第2偏振滤光片122B与图像传感器130的第2偏振滤光片的偏振方向相同。
信号处理部140通过从配置有图像传感器130的第1偏振滤光片的像素读取像素信号,获取由第1带通滤光片124A进行了波长选择的波段的第1图像,通过从配置有图像传感器130的第2偏振滤光片的像素读取像素信号,获取由第2带通滤光片124B进行了波长选择的波段的第2图像。
由信号处理部140获取的第1图像和第2图像如前所述使用于检测对象物的检测。
[光学元件]
本发明所涉及的光学元件是根据由图1所示的第1实施方式的数据处理装置10-1或图16所示的第2实施方式的数据处理装置10-2确定的第1波长和第2波长的波长组合制作的光学元件。
即,光学元件相当于配置在图17所示的多光谱相机100的带通滤光片单元124,并具有:第1波长选择元件(第1带通滤光片),使包含由数据处理装置确定的第1波长的波段的光透射;及第1波长选择元件(第2带通滤光片),使包含由数据处理装置确定的第2波长的波段的光透射。
第1带通滤光片及第2带通滤光片优选具有将第1波长及第2波长分别作为中心波长并且彼此的透射波长的波段不重叠的带宽。
[摄影光学系统]
本发明所涉及的摄影光学系统相当于图17所示的多光谱相机100的摄影光学系统110。该摄影光学系统构成为在透镜110A、110B的光瞳位置或光瞳位置附近配置有相当于带通滤光片单元124的光学元件并且具有使包含由数据处理装置确定的第1波长的波段的光透射的第1波长选择元件(第1带通滤光片)及使包含由数据处理装置确定的第2波长的波段的光透射的第1波长选择元件(第2带通滤光片)的光学元件。
[摄影装置]
本发明所涉及的摄影装置例如相当于图17所示的多光谱相机100。
图17所示的多光谱相机100具备:摄影光学系统(本发明所涉及的光学元件配置在光瞳位置或光瞳位置附近的摄影光学系统)110;及图像传感器(成像元件)130,对由该摄影光学系统110成像的光学像(第1光学像及第2光学像)进行拍摄。
第1光学像是透射了光学元件的第1波长选择元件的光学像,第2光学像是透射了光学元件的第2波长选择元件的光学像。
第1光学像和第2光学像分别被作为光瞳分割部而发挥作用的偏振滤光片单元122(第1偏振滤光片122A及第2偏振滤光片122B)以及图像传感器130的各像素上的与第1偏振滤光片122A及第2偏振滤光片122B对应的第1偏振滤光片及第2偏振滤光片光瞳分割,并由图像传感器130进行拍摄。由此,多光谱相机100能够同时获取波段分别不同的与第1光学像对应的第1图像和与第2光学像对应的第2图像。
另外,摄像装置并不限于具有图17所示的多光谱相机100的光瞳分割部等的结构,只要能够至少对透射了第1波长选择元件的第1光学像和透射了第2波长选择元件的第2光学像进行拍摄,并获取与第1光学像及第2光学像对应的第1图像及第2图像即可。
[数据处理方法]
本发明所涉及的数据处理方法是关于适于所期望的检测对象物的检测的第1波长和第2波长的波长组合的确定的方法,且是由成为图1及图16所示的数据处理装置10-1、10-2的各部的处理主体的处理器执行的方法。
<第1实施方式>
图18是表示本发明所涉及的数据处理方法的第1实施方式的流程图。
在图18中,处理器获取多个被摄体的光谱数据(步骤S10、数据获取步骤)。在步骤S10中,例如,从拍摄了光谱反射率不同的多个被摄体的高光谱相机获取多个被摄体的光谱数据。
现在,如图2所示多个被摄体为纸2A、叶子2B及虫子2C这3个,在纸2A上放置叶子2B,在叶子2B上有虫子2C的情况下,获取纸2A、叶子2B及虫子2C的3个光谱数据A(λ)、B(λ)、C(λ)(参考图3)。
接着,处理器根据第1波长λ1和第2波长λ2这2个波长的关系来计算从步骤S10中所获取的多个被摄体的光谱数据的波长区域选择的第1波长λ1及第2波长λ2处的强度特性(步骤S12、计算步骤)。
第1波长及第2波长处的强度特性是第1波长及第2波长的分光的强度差和/或强度比。
在纸2A的光谱数据A(λ)、叶子2B的光谱数据B(λ)中,若将组合的第1波长设为λ1,将第2波长设为λ2,则在步骤S12中,从第1波长λ1及第2波长λ2处的纸2A的光谱数据A(λ)获取光谱反射率数据A(λ1)、A(λ2),相同地从第1波长λ1及第2波长λ2处的叶子2B的光谱数据B(λ)获取光谱反射率数据B(λ1)、B(λ2)。
在作为强度特性计算强度差的情况下,计算第1波长λ1及第2波长λ2处的纸2A的光谱反射率数据A(λ1)、A(λ2)的差值与第1波长λ1及第2波长λ2处的叶子2B的光谱反射率数据B(λ1)、B(λ2)的差值之差的绝对值,在作为强度特性计算强度比的情况下,计算第1波长λ1及第2波长λ2处的纸2A的光谱反射率数据A(λ1)、A(λ2)的差值与第1波长λ1及第2波长λ2处的叶子2B的光谱反射率数据B(λ1)、B(λ2)的差值之比的绝对值。
具体而言,优选通过前述的[数式1]或[数式2]式计算强度差或强度比。
接着,处理器将步骤S12中计算出的强度特性转换为相对于波长区域的特定被摄体的识别数据(步骤S14、数据转换步骤)。在此,识别数据为表示以波长为变量的强度特性的变化的分布图(第1分布图)。并且,第1分布图为二维分布图,二维分布图的坐标轴为第1波长及第2波长。
图4是表示示出从纸和叶子的光谱数据计算出的强度特性的强度分布的第1分布图的一例的图。图4的(A)所示的第1分布图是根据强度特性的大小附加了颜色、浓度的热图,图4的(B)所示的第1分布图是与强度特性的大小对应的等高线图。
并且,图5是表示示出从叶子和虫子的光谱数据计算出的强度特性的强度分布的第1分布图的一例的图。图5的(A)所示的第1分布图是通过强度特性的大小附加了颜色、浓度的热图,图5的(B)所示的第1分布图是与强度特性的大小对应的等高线图。
接着,处理器将作为步骤S14中被数据转换的识别数据的第1分布图输出到作为外部输出的目的地的显示装置30中(图1)(步骤S16、输出步骤)。由此,在本例的情况下,在显示装置30中显示图4及图5所示的第1分布图。
处理器判定第1分布图上的特定位置是否被用户指示(步骤S18)。另外,用户能够一边观察显示在显示装置30的第1分布图一边通过鼠标等定点设备指示特定位置(例如,强度特性大的位置)。
在本例中,由于在叶子2B上的虫子2C为检测对象物,因此在图4所示的第1分布图上用户指示的特定位置优选不识别纸2A和叶子2B的(强度特性小的)位置,另一方面,在图5所示的第1分布图上,优选识别叶子2B和虫子2C的(强度特性大的)位置。
用户优选从显示在显示装置30的2个第1分布图发现不识别纸2A和叶子2B并且识别叶子2B和虫子2C的特定位置,并指示该特定位置。
若第1分布图上的特定位置被用户指示(“是”的情况),则处理器根据特定位置来确定用于多个被摄体中的检测对象物的检测的第1波长及第2波长的波长组合(步骤S20、确定步骤)。在本例中,根据图4及图5所示的第1分布图上的由星号的标记M1表示的特定位置,确定表示该特定位置的坐标的第1波长λ1(=750nm)及第2波长λ2(=950nm)的波长组合。
如此确定的波长组合(750nm、950nm)为适于作为检测对象物的虫子2C的检测的波长,表示该波长组合的信息输出并显示在显示装置30中,并且输出到记录装置、其他外部装置中(步骤S22)。
<第2实施方式>
图19是表示本发明所涉及的数据处理方法的第2实施方式的流程图。
另外,在图19中,对与图18所示的第1实施方式的数据处理方法相同的步骤标注相同的步骤编号,并省略其详细说明。
图19所示的第2实施方式的数据处理方法在进行步骤S30的处理来代替图18所示的步骤S18的处理的点上,与图18所示的第1实施方式的数据处理方法不同。
在图19所示的步骤S30中,进行如下处理:在表示强度特性的强度分布的第1分布图上,提取强度特性超过阈值的1个或多个第1分布图中的位置。
例如,在步骤S30中,在第1分布图中检测强度特性超过阈值的1个或多个区域,通过求出检测出的区域的重心位置,能够提取1个或多个第1分布图中的位置。并且,在超过阈值的1个或多个区域内,可以将强度特性最高的位置设为该区域中的位置。
将如此自动提取的位置设为第1分布图上的特定位置。即,能够使用自动提取的特定位置来代替第1实施方式的用户指示的特定位置。
并且,作为第1实施方式及第2实施方式的数据处理方法的变形例,也可以通过第2实施方式自动确定多个特定位置(多个波长组合)的候选,并使特定位置的候选重叠显示在第1分布图上,从重叠显示在第1分布图上的特定位置的候选之中,通过用户指示来确定1个或2个以上的特定位置。
<第3实施方式>
图20是表示本发明所涉及的数据处理方法的第3实施方式的流程图。
另外,图20所示的第3实施方式表示使用通过图18、图19所示的第1、第2实施方式的数据处理方法确定的第1波长λ1及第2波长λ2的波长组合对检测对象物进行检测的情况。并且,如图2所示将在纸2A上放置的叶子2B上的虫子2C作为检测对象物的情况下,适于虫子2C的检测的波长组合为第1波长λ1(=750nm)及第2波长λ2(=950nm)。
在图20中,若通过图18、图19所示的第1、第2实施方式的数据处理方法来确定适于检测对象物的检测的第1波长λ1及第2波长λ2的波长组合(例如,750nm、950nm),则通过具有使包含第1波长λ1的波段的光透射的第1波长选择元件(第1带通滤光片)及使包含第2波长λ2的波段的光透射的第2波长选择元件(第2带通滤光片)的多光谱相机100(参考图17),同时拍摄包含检测对象物的多个被摄体(步骤S40)。
处理器从多光谱相机100分别获取包含第1波长的波段的第1图像及包含第2波长的波段的第2图像(步骤S42、图像获取步骤)。
接着,处理器计算所获取的第1图像与第2图像之差或比(步骤S44),制作表示计算出的差或比的分布图(第2分布图)(步骤S46、第2分布图制作步骤)。
图6是表示示出从拍摄了图2中所示的被摄体的多光谱相机获取的第1图像与第2图像之差或比的第2分布图的一例的图。
接着,处理器根据所制作的第2分布图对检测对象物进行检测(步骤S48)。在图6所示的第2分布图中,虫子2C与背景的纸2A、叶子2B的对比度变得清晰,因此通过使用第2分布图,能够高精确度地检测第2分布图上的虫子2C的位置及虫子2C的数量等。
[其他]
包含检测对象物的多个被摄体并不限于本实施方式的被摄体,可考虑各种被摄体。并且,确定的波长组合可以是2组以上,此时,多光谱相机适用具有3个以上的波长选择元件的相机。
本实施方式中,例如,执行构成数据处理装置的处理器的各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。
各种处理器中,包括执行软件(程序)而作为各种处理部发挥作用的通用处理器即CPU(Central Processing Unit:中央处理器),FPGA(Field Programmable Gate Array:现场可编程逻辑门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit:专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成,也可以由相同种类或不同种类的2个以上的处理器(例如,多个FPGA或者CPU与FPGA的组合)构成。并且,也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子,第一,有如下方式:如以客户端和服务器等计算机为代表,由1个以上的CPU和软件的组合构成1个处理器,该处理器作为多个处理部发挥作用。第二,有如下方式:如以片上系统(System On Chip:SoC)等为代表,使用由1个IC(Integrated Circuit:集成电路)芯片实现包括多个处理部的系统整体的功能的处理器。如此,关于各种处理部,作为硬件结构,使用1个以上上述各种处理器而构成。
而且,更具体而言,这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。
并且,本发明包括通过安装在计算机使计算机作为本发明所涉及的数据处理装置而发挥作用的数据处理程序及记录有该数据处理程序的非易失性存储介质。
而且,本发明并不限定于上述实施方式,当然在不脱离本发明的精神的范围内能够进行各种变形。
符号说明
1-高光谱相机,2A-纸,2B-叶子,2C-虫子,4A、6A-纸,4B、4C-土,6B-花生皮,6C-花生仁,10-1、10-2-数据处理装置,12-数据获取部,14-强度特性计算部,16-数据转换部,18-输出部,20-用户指示接收部,22-波长组合确定部,24-位置提取部,30-显示装置,32-操作部,100-多光谱相机,110-摄影光学系统,110A-透镜,110B-透镜,120-滤光片单元,122-偏振滤光片单元,122A-第1偏振滤光片,122B-第2偏振滤光片,124-带通滤光片单元,124A-第1带通滤光片,124B-第2带通滤光片,130-图像传感器,140-信号处理部,200-波长选择元件的设计装置,M1、M2、M3、M4、M5-标记,S10~S22、S30、S40~S46-步骤。
Claims (26)
1.一种数据处理装置,其具备处理器,其中,
所述处理器具备:
数据获取处理,获取多个被摄体的光谱数据;
计算处理,根据第1波长和第2波长这2个波长的关系来计算从所述获取的所述多个被摄体的光谱数据的波长区域选择的所述第1波长及所述第2波长处的强度特性;
数据转换处理,将在所述计算处理中计算出的所述强度特性转换为相对于所述波长区域的特定被摄体的识别数据;及
输出处理,将所述识别数据进行外部输出。
2.根据权利要求1所述的数据处理装置,其中,
所述强度特性为强度差和/或强度比。
3.根据权利要求2所述的数据处理装置,其中,
若将所述多个被摄体的光谱数据中的第1被摄体的光谱数据设为A(λ),将第2被摄体的光谱数据设为B(λ),将所述选择的所述第1波长设为λ1,将所述第2波长设为λ2,则所述强度差和/或强度比通过以下[数式1]式和/或[数式2]式进行计算:
[数式1]
[数式2]
4.根据权利要求1至3中任一项所述的数据处理装置,其中,
所述识别数据为表示以波长为变量的所述强度特性的变化的第1分布图。
5.根据权利要求4所述的数据处理装置,其中,
所述第1分布图为二维分布图,所述二维分布图的坐标轴为所述第1波长及所述第2波长。
6.根据权利要求5所述的数据处理装置,其中,
所述识别数据的外部输出的目的地为显示装置,
所述处理器进行如下处理:
通过用户指示来接收显示在所述显示装置的所述第1分布图上的特定位置;及根据所述特定位置来确定用于所述多个被摄体中的检测对象物的检测的所述第1波长及所述第2波长的波长组合。
7.根据权利要求5所述的数据处理装置,其中,
所述处理器进行如下处理:
从所述第1分布图提取所述强度特性超过阈值的1个或多个所述第1分布图中的位置;及
根据所述提取的位置来确定用于所述多个被摄体中的检测对象物的检测的1个或多个所述第1波长和所述第2波长的波长组合。
8.根据权利要求7所述的数据处理装置,其中,
所述识别数据的外部输出的目的地为显示装置,
所述处理器进行如下处理:使所述1个或多个所述第1波长和所述第2波长的波长组合中的特定位置的候选重叠显示在所述显示装置中所显示的所述第1分布图上;通过用户指示从所述特定位置的候选接收特定位置;及根据所述接收的所述特定位置来确定所述第1波长及所述第2波长的波长组合。
9.根据权利要求1至8中任一项所述的数据处理装置,其中,
所述多个被摄体包含第1被摄体、第2被摄体及第3被摄体,
所述数据获取处理获取所述第1被摄体的光谱数据、所述第2被摄体的光谱数据及所述第3被摄体的光谱数据,
所述计算处理对所述第1被摄体的光谱数据及所述第2被摄体的光谱数据的第1波长及第2波长处的所述强度特性、所述第2被摄体的光谱数据及所述第3被摄体的各光谱数据的第1波长及第2波长处的所述强度特性、以及所述第1被摄体的光谱数据及所述第3被摄体的光谱数据的第1波长及第2波长处的所述强度特性中的2个以上的所述强度特性进行计算,
所述数据转换处理将所述2个以上的所述强度特性转换为2个以上的所述识别数据。
10.一种光学元件,其具有第1波长选择元件及第2波长选择元件,其中,
所述第1波长选择元件使由权利要求6至8中任一项所述的数据处理装置确定的所述第1波长的波段透射,
所述第2波长选择元件使由权利要求6至8中任一项所述的数据处理装置确定的所述第2波长的波段透射。
11.一种摄影光学系统,其将权利要求10所述的光学元件配置在光瞳位置或光瞳位置附近。
12.一种摄影装置,其具备:
权利要求11所述的摄影光学系统;及
成像元件,对由所述摄影光学系统成像的透射了所述第1波长选择元件的第1光学像和透射了所述第2波长选择元件的第2光学像进行拍摄。
13.一种数据处理方法,所述数据处理方法包括:
数据获取步骤,获取多个被摄体的光谱数据;
计算步骤,根据第1波长和第2波长这2个波长的关系来计算从所述获取的所述多个被摄体的光谱数据的波长区域选择的所述第1波长及所述第2波长处的强度特性;
数据转换步骤,将在所述计算步骤中计算出的所述强度特性转换为相对于所述波长区域的特定被摄体的识别数据;及
输出步骤,将所述识别数据进行外部输出,
并且由处理器执行各步骤的处理。
14.根据权利要求13所述的数据处理方法,其中,
所述强度特性为强度差和/或强度比。
15.根据权利要求14所述的数据处理方法,其中,
若将所述多个被摄体的光谱数据中的第1被摄体的光谱数据设为A(λ),将第2被摄体的光谱数据设为B(λ),将所述选择的所述第1波长设为λ1,将所述第2波长设为λ2,则所述强度差和/或强度比通过以下[数式1]式和/或[数式2]式进行计算:
[数式1]
[数式2]
16.根据权利要求13至15中任一项所述的数据处理方法,其中,
所述识别数据为表示以波长为变量的所述强度特性的变化的第1分布图。
17.根据权利要求16所述的数据处理方法,其中,
所述第1分布图为二维分布图,所述二维分布图的坐标轴为所述第1波长及所述第2波长。
18.根据权利要求17所述的数据处理方法,其中,
所述识别数据的外部输出的目的地为显示装置,
所述数据处理方法包括:
通过用户指示来接收显示在所述显示装置的所述第1分布图上的特定位置的步骤;及
确定步骤,根据所述特定位置来确定用于所述多个被摄体中的检测对象物的检测的所述第1波长及所述第2波长的波长组合。
19.根据权利要求17所述的数据处理方法,其中,
所述数据处理方法包括:
从所述第1分布图提取所述强度特性超过阈值的1个或多个所述第1分布图中的位置的步骤;及
确定步骤,根据所述提取的位置来确定用于所述多个被摄体中的检测对象物的检测的1个或多个所述第1波长和所述第2波长的波长组合。
20.根据权利要求19所述的数据处理方法,其中,
所述识别数据的外部输出的目的地为显示装置,
所述数据处理方法包括如下步骤:
使所述1个或多个所述第1波长和所述第2波长的波长组合中的特定位置的候选重叠显示在所述显示装置中所显示的所述第1分布图上;
通过用户指示从所述特定位置的候选接收特定位置;及
根据所述接收的所述特定位置来确定所述第1波长及所述第2波长的波长组合。
21.根据权利要求13至20中任一项所述的数据处理方法,其中,
所述多个被摄体包含第1被摄体、第2被摄体及第3被摄体,
所述数据获取步骤中,获取所述第1被摄体的光谱数据、所述第2被摄体的光谱数据及所述第3被摄体的光谱数据,
所述计算步骤中,对所述第1被摄体的光谱数据及所述第2被摄体的光谱数据的第1波长及第2波长处的所述强度特性、所述第2被摄体的光谱数据及所述第3被摄体的各光谱数据的第1波长及第2波长处的所述强度特性、以及所述第1被摄体的光谱数据及所述第3被摄体的光谱数据的第1波长及第2波长处的所述强度特性中的2个以上的强度特性进行计算,
所述数据转换步骤中,将所述2个以上的强度特性转换为2个以上的所述识别数据。
22.根据权利要求18至20中任一项所述的数据处理方法,其中,
所述数据处理方法包括:
图像获取步骤,分别获取包含所述确定的波长组合中的所述第1波长的波段的第1图像及包含所述第2波长的波段的第2图像;
对所述获取的所述第1图像与所述第2图像之差或比进行计算的步骤;及
第2分布图制作步骤,制作对所述计算出的所述差或比进行表示的第2分布图。
23.根据权利要求22所述的数据处理方法,其中,
所述确定步骤中,根据所述第1分布图来确定用于所述多个被摄体中的检测对象物的检测的所述第1波长和所述第2波长的2个以上的波长组合,
所述图像获取步骤中,分别获取包含所述2个以上的波长组合中的每一个波长组合的所述第1波长的波段的第1图像及包含所述第2波长的波段的第2图像,
所述第2分布图制作步骤中,针对所述2个以上的波长组合中的每一个波长组合制作所述第2分布图,
所述数据处理方法包括将所述制作的所述2个以上的所述第2分布图进行合成而制作1个所述第2分布图的步骤。
24.根据权利要求23所述的数据处理方法,其中,
所述数据处理方法包括根据所述制作的所述第2分布图检测所述检测对象物的步骤。
25.一种数据处理程序,其通过计算机实现如下功能:
获取多个被摄体的光谱数据;
根据第1波长和第2波长这2个波长的关系来计算从所述获取的所述多个被摄体的光谱数据的波长区域选择的所述第1波长及所述第2波长处的强度特性;
将所述计算出的所述强度特性转换为相对于所述波长区域的特定被摄体的识别数据;及
将所述识别数据进行外部输出。
26.一种记录介质,其是非临时性且计算机可读取的记录介质,且记录有权利要求25所述的程序。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021013412 | 2021-01-29 | ||
JP2021-013412 | 2021-01-29 | ||
PCT/JP2022/002756 WO2022163671A1 (ja) | 2021-01-29 | 2022-01-26 | データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116806304A true CN116806304A (zh) | 2023-09-26 |
Family
ID=82653568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280011204.8A Pending CN116806304A (zh) | 2021-01-29 | 2022-01-26 | 数据处理装置、方法及程序以及光学元件、摄影光学系统及摄影装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230370700A1 (zh) |
EP (1) | EP4296638A1 (zh) |
JP (1) | JPWO2022163671A1 (zh) |
CN (1) | CN116806304A (zh) |
WO (1) | WO2022163671A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024047944A1 (ja) * | 2022-08-29 | 2024-03-07 | 富士フイルム株式会社 | 校正用部材、筐体装置、校正装置、校正方法、及びプログラム |
WO2024090133A1 (ja) * | 2022-10-27 | 2024-05-02 | 富士フイルム株式会社 | 処理装置、検査装置、処理方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2095154C (en) * | 1993-04-29 | 1998-08-04 | Gilles Allaire | Method and apparatus for classifying articles according to their color |
JP2000249661A (ja) * | 1999-03-01 | 2000-09-14 | Topcon Corp | 光学測定装置 |
JP2007178407A (ja) | 2005-12-28 | 2007-07-12 | Yamatake Corp | 検査対象物の異物混入検査方法及びこれに用いる異物混入検査装置 |
JP2010117171A (ja) * | 2008-11-11 | 2010-05-27 | Shimadzu Corp | 分光光度計 |
JP2017053699A (ja) * | 2015-09-09 | 2017-03-16 | 国立大学法人岐阜大学 | 物質判別に用いる近赤外画像撮像用の波長決定方法および近赤外画像を用いた物質判別方法 |
JP2017064405A (ja) * | 2015-09-29 | 2017-04-06 | 住友電気工業株式会社 | 光学測定装置及び光学測定方法 |
JP6927708B2 (ja) * | 2017-02-02 | 2021-09-01 | パイオニア株式会社 | 撮像装置、撮像方法、プログラム及び記録媒体 |
-
2022
- 2022-01-26 WO PCT/JP2022/002756 patent/WO2022163671A1/ja active Application Filing
- 2022-01-26 JP JP2022578427A patent/JPWO2022163671A1/ja active Pending
- 2022-01-26 CN CN202280011204.8A patent/CN116806304A/zh active Pending
- 2022-01-26 EP EP22745891.6A patent/EP4296638A1/en active Pending
-
2023
- 2023-07-26 US US18/359,856 patent/US20230370700A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230370700A1 (en) | 2023-11-16 |
JPWO2022163671A1 (zh) | 2022-08-04 |
WO2022163671A1 (ja) | 2022-08-04 |
EP4296638A1 (en) | 2023-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11493675B2 (en) | Single-sensor hyperspectral imaging device | |
US7454046B2 (en) | Method and system for analyzing skin conditions using digital images | |
CN116806304A (zh) | 数据处理装置、方法及程序以及光学元件、摄影光学系统及摄影装置 | |
US8810658B2 (en) | Estimating a visible vector representation for pixels in an infrared image | |
US20070064978A1 (en) | Method and system for automatic identification using digital images | |
CN108692815A (zh) | 使用纵向色差的多光谱成像 | |
CN110520768B (zh) | 高光谱光场成像方法和系统 | |
JP2006084425A (ja) | マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法 | |
JP2014027597A (ja) | 画像処理装置、物体識別装置、及びプログラム | |
JP6113319B2 (ja) | 画像色分布検査装置および画像色分布検査方法 | |
US6766054B1 (en) | Segmentation of an object from a background in digital photography | |
US20230393059A1 (en) | Data processing apparatus, data processing method, data processing program, optical element, imaging optical system, and imaging apparatus | |
JPWO2022163671A5 (zh) | ||
CN112912713B (zh) | 系数确定装置、色素浓度计算装置以及系数确定方法 | |
JP2013024653A (ja) | 距離測定装置及びプログラム | |
JP4985264B2 (ja) | 物体識別装置 | |
JP2007004721A (ja) | 対象物検出装置、及び対象物検出方法 | |
KR102350164B1 (ko) | 멀티스펙트럴 이미징 변환 방법 | |
US11627259B2 (en) | Device, method and computer program | |
WO2022270355A1 (ja) | 撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム | |
US20240129603A1 (en) | Imaging method and program | |
JP6317703B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム | |
CN114270399A (zh) | 信息处理装置、脉搏波测量系统以及脉搏波测量程序 | |
JP5895094B1 (ja) | 画像色分布検査装置および画像色分布検査方法 | |
CN117999793A (zh) | 数据处理装置、方法及程序以及多光谱相机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |