CN106537906B - 摄像装置和分析装置 - Google Patents
摄像装置和分析装置 Download PDFInfo
- Publication number
- CN106537906B CN106537906B CN201580038421.6A CN201580038421A CN106537906B CN 106537906 B CN106537906 B CN 106537906B CN 201580038421 A CN201580038421 A CN 201580038421A CN 106537906 B CN106537906 B CN 106537906B
- Authority
- CN
- China
- Prior art keywords
- optical filter
- light
- signal
- pixel
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 201
- 239000000126 substance Substances 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000008033 biological extinction Effects 0.000 claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 238000001228 spectrum Methods 0.000 claims abstract description 27
- 238000002189 fluorescence spectrum Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims description 50
- 241001062009 Indigofera Species 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 9
- 239000003989 dielectric material Substances 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 2
- 238000012800 visualization Methods 0.000 abstract description 11
- 239000004615 ingredient Substances 0.000 description 48
- 230000003595 spectral effect Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 238000010521 absorption reaction Methods 0.000 description 20
- 241000196324 Embryophyta Species 0.000 description 18
- 229930002875 chlorophyll Natural products 0.000 description 14
- 235000019804 chlorophyll Nutrition 0.000 description 14
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 14
- 235000013399 edible fruits Nutrition 0.000 description 14
- 241000209094 Oryza Species 0.000 description 9
- 235000007164 Oryza sativa Nutrition 0.000 description 9
- 239000000428 dust Substances 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 235000009566 rice Nutrition 0.000 description 9
- 241000894006 Bacteria Species 0.000 description 8
- 244000050510 Cunninghamia lanceolata Species 0.000 description 8
- 108010054147 Hemoglobins Proteins 0.000 description 8
- 102000001554 Hemoglobins Human genes 0.000 description 8
- 235000015277 pork Nutrition 0.000 description 8
- 238000002310 reflectometry Methods 0.000 description 8
- 108010064719 Oxyhemoglobins Proteins 0.000 description 7
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000013011 mating Effects 0.000 description 5
- 239000000377 silicon dioxide Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000000862 absorption spectrum Methods 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 229910052681 coesite Inorganic materials 0.000 description 4
- 229910052906 cristobalite Inorganic materials 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 102000004169 proteins and genes Human genes 0.000 description 4
- 238000009738 saturating Methods 0.000 description 4
- 229910052682 stishovite Inorganic materials 0.000 description 4
- 229910052905 tridymite Inorganic materials 0.000 description 4
- WRIDQFICGBMAFQ-UHFFFAOYSA-N (E)-8-Octadecenoic acid Natural products CCCCCCCCCC=CCCCCCCC(O)=O WRIDQFICGBMAFQ-UHFFFAOYSA-N 0.000 description 3
- LQJBNNIYVWPHFW-UHFFFAOYSA-N 20:1omega9c fatty acid Natural products CCCCCCCCCCC=CCCCCCCCC(O)=O LQJBNNIYVWPHFW-UHFFFAOYSA-N 0.000 description 3
- QSBYPNXLFMSGKH-UHFFFAOYSA-N 9-Heptadecensaeure Natural products CCCCCCCC=CCCCCCCCC(O)=O QSBYPNXLFMSGKH-UHFFFAOYSA-N 0.000 description 3
- ZQPPMHVWECSIRJ-UHFFFAOYSA-N Oleic acid Natural products CCCCCCCCC=CCCCCCCCC(O)=O ZQPPMHVWECSIRJ-UHFFFAOYSA-N 0.000 description 3
- 239000005642 Oleic acid Substances 0.000 description 3
- 241000607142 Salmonella Species 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- QXJSBBXBKPUZAA-UHFFFAOYSA-N isooleic acid Natural products CCCCCCCC=CCCCCCCCCC(O)=O QXJSBBXBKPUZAA-UHFFFAOYSA-N 0.000 description 3
- ZQPPMHVWECSIRJ-KTKRTIGZSA-N oleic acid Chemical compound CCCCCCCC\C=C/CCCCCCCC(O)=O ZQPPMHVWECSIRJ-KTKRTIGZSA-N 0.000 description 3
- 239000011368 organic material Substances 0.000 description 3
- 241000220324 Pyrus Species 0.000 description 2
- 229930002877 anthocyanin Natural products 0.000 description 2
- 235000010208 anthocyanin Nutrition 0.000 description 2
- 239000004410 anthocyanin Substances 0.000 description 2
- 150000004636 anthocyanins Chemical class 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 230000035558 fertility Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 235000021017 pears Nutrition 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000006008 O'Donnell synthesis reaction Methods 0.000 description 1
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 1
- UMVBXBACMIOFDO-UHFFFAOYSA-N [N].[Si] Chemical compound [N].[Si] UMVBXBACMIOFDO-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011088 calibration curve Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012860 organic pigment Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/32—Transforming X-rays
- H04N5/321—Transforming X-rays with video transmission of fluoroscopic images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectrometry And Color Measurement (AREA)
- Optical Filters (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Studio Devices (AREA)
Abstract
本发明提供与现有技术相比通用性高且能够使观察对象物质的状态可视化的摄像装置。摄像装置(1)具有滤光片部(111)、受光部(112)和图像处理部(13)。滤光片部(111)具有光谱透射特性不同的多个滤光片，使与观察对象物质的吸光光谱或荧光光谱对应的特定的波段的光透过。受光部(112)接受由滤光片部(111)透射的光，将接受的光由光电转换元件(112a)转换为电信号而输出。图像处理部(13)将从受光部(112)输出的电信号转换为可见光波段的信号输出向显示装置(2)。
Description
技术领域
本发明涉及摄像装置和分析装置，特别涉及在生物体物质的观察中使用的摄像装置和分析装置。
背景技术
近年来，用于测定农畜产品、植物、人体等生物体物质的成分、状态的光谱学的手法被大量开发，应用于农业、医疗、美容等各种领域。生物体物质对于近紫外到近红外的波长的光具有特有的吸收波长。如果在作为观察对象的生物体物质(以下称为观察对象物质)中特有的吸收波长处于可见光的范围内，则能够利用肉眼或通常的彩色摄像机根据颜色观察该物质的状态。作为这样的例子，能够举出基于红叶、果实的成熟度而变化的颜色、肌肤的由日晒、斑等引起的变色等。
另一方面，在观察对象物质的吸光波长处于可见光区域以外的情况下，或多个观察对象物质的各吸光波长包含于彩色摄像机的1个彩色滤光片的透射波段的情况下，不能够根据颜色区别出观察对象物质的状态地进行观察。
作为将这样的观察对象物质可视化的技术，已知有接收任意波长的光进行图像化的高光谱摄像机(参照Shippert,P.“Why use Hyperspectral Imagery,”PhotogrammetricEngineering and Remote Sensing,377-380(2004)，和Gowen,A.A.,O’Donnell,C.P.,Cullen,P.J.,Downey,G.,Frias,J.M.,“Hyperspectral imaging-an emerging processanalytical tool for food quality and safety control.”,Trends in Food Scienceand Technology 18,590-598(2007))。高光谱摄像机具有使用棱镜、音响光学元件、液晶LEO滤光片等的分光光学系统，以5～10nm程度的波长分辨率从广范围的波段中将特定的波长成分的反射强度图像化。此外，也提案了使光学系统中的光源的波段与观察对象物质的吸光波长配合地进行拍摄的技术(参照Tatsuya Yoshida,Haruhiro Inoue,MD,ShinsukeUsui,MD,Hitoshi Satodate,Norio Fukami,Shin-ei Kudo,MD,“Narrow-band imagingsystem with magnifying endoscopy for superficial esophageal lesions”,Gastrointestinal Endoscopy，Vol.59,Issue2,February 2004,page 288)、在摄像机的滤光片侧安装使观察对象物质的吸光波长透射的光学滤光片而进行可视化的技术(参照日本特开2010-217882号公报)等。
发明内容
高光谱摄像机能够确定观察对象物质的光的吸收特性，观察其成分和状态，但是由于机构复杂且高价而仅限于在研究用途中使用。此外，上述非专利文献3和专利文献1的技术着重研究光源、安装于摄像机的外部的彩色滤光片，但是作为成像设置，使用利用R(Red(红))、G(Green(绿))、B(Blue(蓝))一般的彩色滤光片的彩色摄像机。因此，仅能够观察到RGB滤光片的透射波段内的观察对象物质的吸收光谱的变化。此外，多个观察对象物质的各吸光波长包含于一个彩色滤光片的透射波段时，不能够根据颜色区别各观察对象物质的状态。
本发明的目的在于提供与现有技术相比通用性高且能够将观察对象物质的状态可视化的技术。
本发明的摄像装置包括：滤光片部，其使在显示装置中可显示的可见光波段的一部分或上述可见光波段外的波段中的、与观察对象物质的吸光光谱或荧光光谱对应的特定波段的光透射；受光部，其具有接受由上述滤光片部透射的光，将接受的光转换为电信号的摄像元件；和图像处理部，其将由上述受光部转换后的电信号的信号成分转换为上述可见光波段中的可见光信号，向上述显示装置输出。
根据本发明的结构，能够使得与现有技术相比通用性高且能够使观察对象物质的状态可视化。
附图说明
图1是表示第一实施方式的摄像装置的结构例的示意图。
图2是图1所示的摄像装置的功能框图。
图3A是表示图2所示的摄像部的截面的示意图。
图3B是表示第一实施方式的滤光片的配置例的示意图。
图4是表示第一实施方式的摄像装置的光谱特性的图。
图5A是表示灰尘和细菌的荧光光谱的图。
图5B是表示杉花粉的荧光光谱的图。
图6A是表示第二实施方式的摄像部的截面的示意图。
图6B是表示第二实施方式的滤光片的配置例的示意图。
图7是表示第二实施方式的摄像装置的光谱特性的图。
图8是表示叶绿素的吸光光谱的图。
图9是表示第二实施方式的应用例的摄像装置的结构例的示意图。
图10A是表示第三实施方式的摄像部的截面的示意图。
图10B是表示第三实施方式的滤光片的配置例的示意图。
图11是表示第三实施方式的摄像装置的光谱特性的图。
图12是第四实施方式的摄像装置1的功能框图。
图13A是表示第四实施方式的摄像部的截面的示意图。
图13B是表示第四实施方式的滤光片的配置例的示意图。
图14是表示第四实施方式的电介质多层膜的结构例的图。
图15A是表示第四实施方式的滤光片的光谱透射特性的图。
图15B是表示第四实施方式的摄像装置的光谱特性的图。
图16是表示第四实施方式的应用例1的摄像装置的结构例的示意图。
图17是表示第四实施方式的应用例2的摄像装置的结构例的示意图。
图18A是表示变形例(1)的摄像部的截面的示意图。
图18B是表示变形例(1)的滤光片的配置例的示意图。
图19A是表示变形例(2)的摄像部的截面的示意图。
图19B是表示变形例(2)的滤光片的配置例的示意图。
图20是表示氧合血红蛋白和还原血红蛋白的吸光光谱的图。
具体实施方式
本发明的一实施方式的摄像装置包括：滤光片部，其使在显示装置中可显示的可见光波段的一部分或上述可见光波段外的波段中的、与观察对象物质的吸光光谱或荧光光谱对应的特定波段的光透射；受光部，其具有接受由上述滤光片部透射的光，将接受的光转换为电信号的摄像元件；和图像处理部，其将由上述受光部转换后的电信号的信号成分转换为上述可见光波段中的可见光信号，向上述显示装置输出(第一结构)。
根据第一结构，滤光片部使显示装置的可见光波段的一部分或可见光波段外的波段中的、与观察对象物质的吸光或荧光特性对应的特定波段的光透射。透过滤光片部的光的电信号的信号成分，通过图像处理部，作为显示装置的可见光波段的信号成分被输出向显示装置。即，观察对象物质的吸光或荧光波长即使是可见光波段的一部分的波段或可见光波段外的波段也能够以可见光波段的可见光信号的形式显示于显示装置。因此，不需要具有高光谱摄像机那样的复杂的光学系统就能够使各观察对象物质的状态可视化。
第二结构可以在第一结构中还包括对上述观察对象物质照射包含上述特定波段的波长的光的光源。
根据第二结构，与不使用光源的情况相比，能够更明确地使观察对象物质对特定波段的光的吸收的变化可视化。
第三结构可以在第一结构中还包括对上述观察对象物质照射激励光的光源。
根据第三结构，与不使用光源的情况相比，能够更明确地使观察对象物质对特定波段的荧光的吸收的变化可视化。
第四结构可以是，在第一～第三的任一结构中，上述滤光片部具有光谱透射特性不同的多个滤光片，上述多个滤光片包括：R(红)、G(绿)、B(蓝)的彩色滤光片中任意的多个彩色滤光片；和层叠R(红)、G(绿)、B(蓝)的彩色滤光片中的任意的2个彩色滤光片而得的层叠滤光片，上述图像处理部将透过上述层叠滤光片的光的信号成分，以及透过上述多个彩色滤光片中的各个彩色滤光片的光的信号成分分别与透过上述层叠滤光片的光的信号成分的差转换为上述可见光信号。
根据第四结构，能够输出以下可见光信号：从透过R(红)、G(绿)、B(蓝)的彩色滤光片中的多个彩色滤光片的波长成分中，分离了层叠滤光片的波长成分即R(红)、G(绿)、B(蓝)的彩色滤光片中任意2个彩色滤光片的透射波段所重叠的波长成分而得到的可见光信号。因此，能够更明确地使在2个彩色滤光片的透射波段中具有吸光或荧光特性的观察对象物质的状态可视化。
第五结构可以是，在第一～第三的任一结构中，上述滤光片部具有光谱透射特性不同的多个滤光片，上述多个滤光片包括：R(红)、G(绿)、B(蓝)的彩色滤光片中任意的多个彩色滤光片；和层叠折射率不同的多个电介质而得的层叠滤光片，上述层叠滤光片的透射波段包括近红外波段。
根据第五结构，层叠滤光片能够使近红外波段的光透射，因此，即使观察对象物质的吸光波长为近红外波段，也能够使观察对象物质的状态在显示装置中可视化。此外，在作为彩色滤光片使用有机材料的情况下，透射波长依据选择了的有机材料被限定，但通过使用电介质，由于电介质的材料、层叠构造，相比于有机材料，能够有选择地产生透射波长。
第六结构可以在第一～第五中任一个结构中还包括显示基于从上述图像处理部输出的上述可见光信号的彩色图像的显示部。根据第六结构，能够根据彩色图像确认观察对象物质的状态。
第七结构可以是，在第四结构中，上述任意的多个彩色滤光片包括G(绿)和B(蓝)的彩色滤光片，上述任意的2个彩色滤光片是G(绿)和B(蓝)的彩色滤光片。根据第七结构，能够输出从透过G(绿)和B(蓝)的彩色滤光片的波长成分分离了G(绿)和B(蓝)的彩色滤光片的透射波段所重叠的波长成分而得的可见光信号。结果，能够提高G(绿)和B(蓝)的波长的分辨率，使在G(绿)和B(蓝)的波段具有吸光或荧光特性的观察对象物质的状态明确地可视化。
第八结构可以是，在第四结构中，上述任意的多个彩色滤光片包括R(红)和G(绿)的彩色滤光片，上述任意的2个彩色滤光片是R(红)和G(绿)的彩色滤光片。根据第八结构，能够输出从透过R(红)和G(绿)的彩色滤光片的波长成分分离了R(红)和G(绿)的彩色滤光片的透射波段所重叠的波长成分而得的可见光信号。结果，能够提高R(红)和G(绿)的波长的分辨率，使在R(红)和G(绿)的波段具有吸光或荧光特性的观察对象物质的状态明确地可视化。
第九结构可以是，在第四结构中，上述任意的多个彩色滤光片包括R(红)、G(绿)和B(蓝)的彩色滤光片，上述任意的2个彩色滤光片是R(红)和B(蓝)的彩色滤光片。根据第九结构，能够使R(红)和B(蓝)的波段重叠的波段以及R(红)、G(绿)和B(蓝)的各波段的光透射，因此能够使观察对象物质的状态和观察对象物质本身可视化。
第十结构可以是，在第五结构中，上述任意的多个彩色滤光片包括R(红)和B(蓝)的彩色滤光片，而且在上述滤光片部之前设置有可见光截止滤光片。根据第十结构，滤光片部仅使近红外波段的光透过，因此能够更明确地使在近红外波段具有吸光波长的观察对象物质的状态可视化。
本发明的一实施方式的分析装置包括：第一～第十中任一结构的摄像装置；和显示基于从上述摄像装置输出的可见光信号的图像的显示装置。(第十一结构)
根据第十一结构，摄像装置使显示装置中的可见光波段的一部分或可见光波段外的波段中的、与观察对象物质的吸光或荧光特性对应的特定波段的光透射，将透射的光的电信号的信号成分以可见光波段的可见光信号的形式输出至显示装置。显示装置基于从摄像装置输出的可见光信号来显示图像。因此，即使观察对象物质的吸光或荧光波长处于可见光波段的一部分的波段或可见光波段外的波段，也能够以可见光波段的信号成分的形式显示于显示装置。因此，能够不设置高光谱摄像机那样复杂的光学系统地使观察对象物质的状态可视化，来观察观察对象物质的状态。
以下，参照附图详细说明本发明的实施方式。对图中相同或相当部分标注相同的附图标记而省略重复说明。
<第一实施方式>
(结构)
图1是表示本实施方式的摄像装置的结构例的示意图。图2是图1所示的摄像装置1的功能框图。以下，使用图1和图2说明摄像装置的结构。
如图1和图2所示，摄像装置1包括摄像部11、光源12和图像处理部13。摄像部11按像素接受与观察对象物质3的吸光光谱或荧光光谱对应的特定波段的光，并将其转换为电信号。光源12对观察对象物质3照射特定波段的光。图像处理部13与摄像部11和显示装置2电连接。图像处理部13将从摄像部11输出的每个像素的电信号转换为在显示装置2中可显示的可见光波段的信号(可见光信号)而输出至显示装置2。
显示装置2例如由液晶显示器、有机EL显示器等构成。显示装置2包括具有多个R、G、B的各像素的显示面板和用于驱动各像素的驱动电路(均省略图示)。显示装置2从摄像装置1接收可见光信号，基于该可见光信号驱动各像素来显示彩色图像。
接着，具体说明摄像装置1的各部分。在图2中，摄像部11按像素具有滤光片部111和受光部112。滤光片部111具有有机滤光片111a。有机滤光片111a由以有机颜料作为颜色材料的R、G、B彩色滤光片中的任意2个彩色滤光片构成。
受光部112具有信号处理部112a和光电转换元件112b。光电转换元件112b由光二极管等构成，蓄积与入射的光的受光量对应的电荷。信号处理部112a将与在光电转换元件112b蓄积的电荷的量对应的电信号输出至图像处理部13。另外，在本实施方式中，按像素设置信号处理部112a，按像素输出与电荷对应的电信号，但信号处理部112a也可以不是对每个像素设置。例如，信号处理部112a将由多列的各像素的光电转换元件112b转换后的电荷并行传送，将与各列的电荷对应的电信号依次输出至图像处理部13。
图3A是示意性表示摄像部11的截面的截面图。如图3A所示，摄像部11在各个像素11p_1、11p_2、11p_3层叠有机滤光片111a、信号处理部112a和光电转换元件112b而构成。另外，在有机滤光片111a的上部，配置有对来自观察对象物质3的光聚光的微摄镜(省略图示)，在图3A中省略了图示。
有机滤光片111a使由微摄镜(省略图示)聚光的光中的与观察对象物质3的吸光光谱或荧光光谱对应的特定波段的光透射。本实施方式中，观察对象物质3在400～550nm具有吸光或荧光波长。
有机滤光片111a包括彩色滤光片111a_G和111a_B以及层叠滤光片111a_BG，使350～650nm的波段的光透射。以下，将彩色滤光片111a_G和111a_B和层叠滤光片111a_BG称为滤光片111a_G、111a_B、111a_BG。
滤光片111a_G使450～600nm的绿色波段的光透射。滤光片111a_B使350～500nm的蓝色波段的光透射。滤光片111a_BG在滤光片111a_G上层叠滤光片111a_B而构成。滤光片111a_BG使滤光片111a_G和滤光片111a_B的透射波段重叠的450～500nm的波段的光透射。
由微摄镜(省略图示)聚集的光由滤光片111a_G、111a_B和滤光片111a_BG分光，入射至受光部112。
另外，在图3A中为了方便说明，表示了将滤光片111a_G、111a_B、111a_BG横向排列配置的像素的例子，但滤光片111a_G、111a_BG、111a_B是对应于拜耳阵列(R×1，G×2，B×1)而配置的。即，如图3B所示，在摄像部11的像素组中，在与拜耳阵列的R对应的像素11p_R配置滤光片111a_G，在与拜耳阵列的G对应的像素11p_G配置滤光片111a_BG。此外，在与拜耳阵列的B对应的像素11p_B配置滤光片111a_B。
回到图2继续进行说明。光源12例如由LED(Light Emitting Diode，发光二极管)构成，照射在滤光片部111的透射波段(350～600nm)具有峰值波长的光。
图像处理部13例如由PC(Personal Computer，个人计算机)等构成，具有未图示的CPU(Central Processing Unit，中央处理器)、包括RAM(Random Access Memory，随机存取存储器)和ROM(Read Only Memory，只读存储器)的存储器。图像处理部13通过执行在ROM存储的控制程序，实现信号转换部131和显示控制部132的各功能。
信号转换部131以图3B所示的4个像素为1组，对像素11p_R、11p_G、11p_B的信号成分根据以下的式子(1)～(3)进行转换。
Ib－Ibg＝B……式(1)
Ibg＝G……式(2)
Ig－Ibg＝R……式(3)
另外，上述Ib是从配置有滤光片111a_B的像素11p_B输出的信号成分。上述Ibg是从配置有滤光片111a_BG的像素11p_G输出的信号成分。此外，上述Ig是从配置有滤光片111a_G的像素11p_R输出的信号成分。
即，将从透过滤光片111a_B的蓝色的波长成分减去透过滤光片111a_BG的波长成分即与蓝色的波段重叠的绿色的波长成分而得的结果，作为显示装置2的B信号成分输出。此外，将从透过滤光片111a_G的绿色的波长成分减去透过滤光片111a_BG的波长成分即与绿色的波段重叠的蓝色的波长成分而得的结果，作为显示装置2的R信号成分输出。将透过滤光片111a_BG的波长成分即蓝色和绿色的波段重叠的波长成分作为显示装置2的G信号成分输出。
图4是表示上述转换处理后的各信号成分的光谱特性的图。在图4中，以虚线表示的波形是R信号成分，以点划线表示的波形是G信号成分，以实线表示的波形是B信号成分。
如图4所示，B信号成分的光谱特性具有420nm附近的峰值波长，具有400～480nm和630～680nm的波段。G信号成分的光谱特性具有500nm附近的峰值波长，具有450～550nm的波段。此外，R像素的光谱特性具有550nm附近的峰值波长，具有500～700nm的波段。
在现有的使用RGB彩色滤光片的彩色摄像机的情况下，在450～500nm中，B和G的透射波段重叠，因此该波段中存在与观察对象物质3的状态对应的吸光或荧光特性时，不能够根据颜色来区别观察对象物质3的状态。在本实施方式中，如图4的光谱特性所示，在450～500nm的波段中，与B的透射率相比，G的透射率较高，因此即使在该波段存在与观察对象物质3的状态对应的吸光或荧光特性，也能够根据颜色来区别观察对象物质3的状态。另外，在图4所示的光谱特性中，在400～600nm的波段之外，在630nm以后的波段具有透射特性。因此，可以根据需要，例如将红外线截止滤光片配置在摄像部11之前，使得630nm以后的波段的光不透过。
回到图2继续进行说明。显示控制部132将由信号转换部131转换后的各个R、G、B的信号成分分配给显示装置2的R、G、B的各波段。显示控制部132将分配后的R、G、B的各信号成分作为显示装置2的R、G、B各像素的信号输出。
(应用例)
接着，说明本实施方式的摄像装置1的应用例。在本应用例中，说明将由紫外光激发的灰尘、大肠菌或沙门杆菌等细菌、杉花粉作为观察对象物质3，区分灰尘、细菌、杉花粉进行可视化的例子。
图5A是表示灰尘和细菌的荧光光谱的图，在图5A中，双点划线表示灰尘的荧光光谱，虚线和实线表示沙门杆菌和大肠菌的荧光光谱。此外，图5B表示杉花粉的荧光光谱。
在本应用例中，作为光源12，使用照射在350～370nm附近具有峰值波长的紫外光的LED。由此，能够激励上述各观察对象物质3。
杉花粉的荧光特性如图5B所示，在480nm附近具有峰值波长，具有450～700nm的波段。由此，杉花粉由摄像装置1的G信号和R信号表示，带红色的绿色的杉花粉的图像显示于显示装置2。
此外，灰尘的荧光特性如图5A所示，具有450nm附近的峰值波长，具有400～470nm的波段。由此，灰尘在摄像装置1中由B信号成分和G信号成分表示，带蓝色的绿色的灰尘的图像显示于显示装置2。
此外，大肠菌、沙门杆菌等细菌如图5A所示，峰值波长在480～500nm附近，具有450～550nm的波段。由此，细菌由G信号成分表示，绿色的细菌的图像显示于显示装置2。
另外，在上述应用例中，说明了对灰尘、细菌、杉花粉摄像的例子，但例如也可以作为观察对象物质3对稻子进行摄像，使稻子的成熟状态可视化。稻子根据其成熟程度的不同，蛋白质的含有量有变化。已知蛋白质的含有量在400～460nm附近的叶绿素的反射率与460～510nm附近的胡萝卜素的反射率的比之间具有高相关性。
因此，通过用摄像装置1对稻子进行摄像，在显示装置2中，能够将稻子中含有叶绿素的状态以蓝色表示，将稻子中含有的胡萝卜素的状态以绿色表示。通过使稻子中的叶绿素和胡萝卜素可视化，能够观察稻子中含有的蛋白质的状态，能够根据蛋白质的状态推测稻子的成熟程度。
<第二实施方式>
在上述第一实施方式中，说明了将有机滤光片111a由B和G的彩色滤光片构成的例子。在本实施方式中，说明与第一实施方式不同的有机滤光片111a的结构例。以下，对本实施方式的摄像装置，主要说明与第一实施方式不同的结构。
图6A是示意性地表示本实施方式的摄像部的截面的截面图。在该图中对与第一实施方式相同的结构标注与第一实施方式同样的附图标记。
本实施方式中，观察对象物质3在450～700nm具有吸光或荧光波长，摄像部的滤光片部使450～700nm的波段的光透射。具体地说，如图6A所示，本实施方式的摄像部11A作为有机滤光片111a具有层叠滤光片111a_GR、彩色滤光片111a_G和111a_R。以下，将层叠滤光片111a_GR和彩色滤光片111a_G和111a_R称为滤光片111a_GR、111a_G、111a_R。
滤光片111a_G使450～600nm的波段的光透射。滤光片111a_R使550～700nm的波段的光透射。滤光片111a_GR在滤光片111a_R之上层叠滤光片111a_G而构成。滤光片111a_GR中，滤光片111a_G和滤光片111a_R的透射波段重叠，使550～600nm的波段的光透射。由此，该例中滤光片部111的透射波段为450～700nm。
图6A中，为了方便说明，表示了将滤光片111a_GR、111a_G、111a_R横向排列配置的像素的例子，滤光片111a_GR、111a_G、111a_R与拜耳阵列(R×1，G×2，B×1)对应地配置。即，如图6B所示，在与拜耳阵列的R对应的像素11p_R配置滤光片111a_R，在与拜耳阵列的G对应的像素11p_G配置滤光片111a_GR，在与拜耳阵列的B对应的像素11p_B配置滤光片111a_G。
本实施方式的光源12(参照图2)照射在滤光片部111的透射波段(450～700nm)具有峰值波长的光。
此外，图像处理部13的信号转换部131(参照图2)，以图6B所示的4像素为1组，对像素11p_R、11p_G、11p_B的信号成分根据以下的式子(4)～(6)进行转换。
Ig－Igr＝B……式(4)
Igr＝G……式(5)
Ir－Igr＝R……式(6)
另外，上述Ir是从配置有滤光片111a_R的像素111a_R输出的信号成分。上述Igr是从配置有滤光片111a_GR的像素11p_G输出的信号成分。上述Ig是从配置有滤光片111a_G的像素11p_B输出的信号成分。
即，本实施方式中，将从透过滤光片111a_G的绿色的波长成分中减去透过滤光片111a_GR的波长成分即与绿色的波段重叠的红色的波长成分而得的结果作为显示装置2的B信号成分。此外，将从透过滤光片111a_R的红色的波长成分中减去透过滤光片111a_GR的波长成分即与红色的波段重叠的绿色的波长成分而得的结果作为显示装置2的R信号成分。将透过滤光片111a_GR的波长成分即红色和绿色的波段重叠的波长成分作为显示装置2的G信号成分。
图7是表示上述转换处理后的信号成分的光谱特性的图。图7中，以虚线表示的波形为R信号成分，以点划线表示的波形为G信号成分，以实线表示的波形为B信号成分。
如图7所示，B信号成分的光谱特性具有560nm附近的峰值波长，具有480～600nm的波段。G信号成分的光谱特性具有590nm附近的峰值波长，具有460～630nm的波段。此外，R信号成分的光谱特性是峰值波长在660nm附近，具有580～700nm的波段。
(应用例)
本实施方式的摄像装置1能够应用于植物的叶子的变化的观察。图8是表示植物的叶子中所含的叶绿素的吸光光谱的图。如图8所示，叶绿素的吸光光谱在420nm附近和680nm附近具有峰值波长。叶绿素的峰值波长680nm如图7所示，包含于R信号的光谱范围，因此能够将叶绿素的变化以R信号成分表示。以肉眼或通常的彩色摄像机观察与植物的状态、果实的生育状态对应而发生微小变化的颜色是困难的，但通过使叶绿素可视化，能够观察到植物的状态、果实的生育状态的微小变化。
另外，为了进一步强调与植物的叶绿素的含有量对应的颜色的变化，可以将与叶绿素的吸光波长对应的光照射至观察对象物质3而进行摄像。图9是表示此时的摄像装置的结构例的示意图。
在图9中，摄像装置1A作为光源12具有由白色LED构成的光源12A_1和在660～680nm具有峰值波长的光源12A_2。此外，在摄像装置1A中，在光源12A_1的前方设置有例如使580nm以下的光透射的长波长截止滤光片14。
通过设置长波长截止滤光片14，光源的红色成分被限制于光源12A_2所发出的光的波长成分。叶绿素的吸收波长和光源12A_2的波长重叠，因此根据R信号成分，能够捕捉叶绿素带来的红色成分的光的吸收的变化，能够更明确地显示植物的状态的变化。
<第三实施方式>
上述第一实施方式和第二实施方式中，说明了使可见光波长区域的一部分波长的光透射的有机滤光片111a的结构例。但本实施方式中，说明使近红外的波段的光透射的有机滤光片111a的结构例。以下，对本实施方式的摄像装置主要说明与第二实施方式不同的结构。
图10A是示意性地表示本实施方式的摄像部的截面的截面图。在该图中对与第二实施方式相同的结构标注与第一实施方式同样的附图标记。
本实施方式中，观察对象物质3在500～1000nm具有吸光或荧光波长，摄像部的滤光片部使500～1000nm的波段的光透射。具体地说，如图10A所示，本实施方式的摄像部11B作为有机滤光片111a具有层叠滤光片111a_BR和彩色滤光片111a_G和111a_R。层叠滤光片111a_BR是在滤光片111a_R之上层叠滤光片111a_B的滤光片，使透过滤光片111a_B和滤光片111a_R这两者的800～1000nm的波段的光透射。以下，将层叠滤光片111a_BR以及彩色滤光片111a_G和111a_R称为滤光片111a_BR、111a_G、111a_R。
图10A中，为了方便说明，表示了将滤光片111a_BR、111a_G、111a_R横向排列配置的像素的例子，但滤光片111a_BR、111a_G、111a_R为与拜耳阵列(R×1，G×2，B×1)对应的配置。即，如图10B所示，在与拜耳阵列的R对应的像素11p_R配置滤光片111a_BR，在与拜耳阵列的G对应的像素11p_G配置滤光片111a_R，在与拜耳阵列的B对应的像素11p_B配置滤光片111a_G。
此外，图像处理部13的信号转换部131(参照图2)，以图10B所示的4像素为1组，对像素11p_R、11p_G、11p_B的信号成分根据以下的式子(7)～(9)进行转换。
Ig－Ibr＝B……式(7)
Ir－Ibr＝G……式(8)
Ibr＝R……式(9)
另外，上述Ibr表示从配置有滤光片111a_BR的像素11p_R输出的信号成分。
即，在本实施方式中，将从透过滤光片111a_G的绿色的波长成分中减去透过滤光片111a_BR的波长成分即与绿色的波段重叠的红色和蓝色的层叠波长成分而得的结果作为显示装置2的B信号成分。此外，将从透过滤光片111a_R的红色的波长成分减去透过滤光片111a_BR的波长成分即与红色的波段重叠的红色和蓝色的层叠波长成分而得的结果作为显示装置2的G信号成分。将透过滤光片111a_BR的波长成分即红色和蓝色的波段重叠的波长成分作为显示装置2的R信号成分。
图11是表示上述转换处理后的各信号成分的光谱特性的图。在图11中，以虚线表示的波形表示R信号成分，以点划线表示的波形表示G信号成分，以实线表示的波形表示B信号成分。
如图11所示，在该例中，B信号成分的光谱特性具有540nm附近的峰值波长，具有460～620nm的波段。G信号成分的光谱特性具有600nm附近的峰值波长，具有580～780nm的波段。此外，R信号成分的光谱特性具有800nm附近的峰值波长，具有400～1000nm的波段。
(应用例)
本实施方式的摄像装置1能够应用于植物的活性度的观察。与植物的色素相关的叶绿素吸收红色的波段的光，反射绿色的波段的光。此外，构成植物的叶子和果实的海绵状的组织体反射近红外的波段的光。即，根据植物中的叶绿素的含有量的变化，红色的波段的光的反射率发生变化，根据构成植物的叶子和果实的海绵状的组织体的状态的变化，近红外的波段的光的反射率发生变化。因此，通过由摄像装置1对植物进行摄像，能够根据G信号成分观察植物中的叶绿素的含有量的变化，且能够根据R信号成分观察组织体的状态的变化。
此外，在摄像装置1中，也可以显示表示植被指数NDVI(Normalized DifferenceVegetation Index)的图像。植被指数表示叶绿素所吸收的红色的波段的光的反射率和构成植物的叶子和果实的组织体所反射的近红外的波段的光的反射率的标准化差。由此，此时图像处理部13使用从摄像部11输出的电信号，进行以下的式(10)的运算。在显示控制部132中，将表示其运算结果的图像显示于显示装置2。
NDVI＝(Ibr－Ir)÷(Ibr+Ir)……式(10)
(－1≤NDVI≤1)
在NDVI的运算中使用的信号成分(Ibr，Ir)是从像素11p_R和像素11p_G(参照图10B)输出的信号成分。在图像处理部13中，对像素11p_R和像素11p_G计算进行了上述式(10)的运算的植被指数NDVI。此外，对像素11p_B，可以进行使用像素11p_R和像素11p_G的植被指数NDVI的内插处理，设定规定的值。
显示控制部132可以将进行上述运算得到的各像素的植被指数(－1≤NDVI≤1)的值进行模拟转换所得的白黑的图像数据向显示装置2输出。或者，显示控制部132可以将对各像素的植被指数NDVI以与其值对应的绿色或红色的灰度等级表示的图像数据向显示装置2输出。
此外，可以代替红色的波段的光的反射率，显示表示使用由植物中含有的花青甙吸收的绿色的波段的光的反射率的绿色NDVI的图像。此时，信号转换部131使用从摄像部11输出的电信号，对像素11p_R和像素11p_B进行以下式(11)的运算。像素11p_G可以使用像素11p_R和像素11p_B的绿色NDVI进行内插处理，也可以设定为规定的值。
绿色NDVI＝(Ibr－Ig)÷(Ibr+Ig)……式(11)
显示控制部132可以在显示装置2对各像素的植被指数NDVI和绿色NDVI的一方进行模拟或灰度等级显示，也可以分别显示植被指数NDVI和绿色NDVI。由此，植物中的叶绿素、花青甙的含有量的变化可视化，能够观察变化的植物的状态。
<第四实施方式>
在上述第三实施方式中，说明了以使用有机滤光片111a来使红色和近红外的波段的光透射的方式构成滤光片部111的例子。本实施方式中，说明使红外区域的光透射的滤光片部的结构例。
图12是本实施方式的摄像装置1的功能框图。如图12所示，摄像部11C的滤光片部111C，除了有机滤光片111a还具有电介质多层膜111b。
图13A是示意性地表示摄像部11C的截面的截面图。该图中对与第三实施方式相同的结构标注与第三实施方式同样的附图标记。
本实施方式中，观察对象物质3在400～1000nm具有吸光或荧光波长，摄像部使400～1000nm的波段的光透射。具体地说，如图13A所示，在像素11p_31和像素11p_33分别配置了有机滤光片111a(111a_R，111a_B)，在像素11p_32配置有电介质多层膜(无机滤光片)111b。以下，将有机滤光片111a_R、111a_B、电介质多层膜111b称为滤光片111a_R、111a_B、111b。
电介质多层膜111b交替地层叠低折射率的电介质膜和高折射率的电介质膜而构成。作为低折射率的电介质膜和高折射率的电介质膜的材料的组合，例如能够举出氧化硅(SiO2)和氧化钛(TiO2)、或SiO2和氮硅(Si2N4)。
图14是例示SiO2膜とSi2N4膜的折射率和膜厚的图。在图14中，L0、L1、……L4表示SiO2膜，H1、H2、……H4表示Si2N4。电介质多层膜111b使550～650nm的可见光波段和900nm以上的近红外波段的光透射。
图13A中，为了方便说明，表示了将滤光片111a_R、111b、111a_B横向排列配置的像素的例子，但滤光片111a_R、111b、111a_B与拜耳阵列(R×1，G×2，B×1)对应配置。即，如图13B所示，在与拜耳阵列的R对应的像素11p_R配置滤光片111b，在与拜耳阵列的G对应的像素11p_G配置滤光片111a_R，在与拜耳阵列的B对应的像素11p_B配置滤光片111a_B。
图15A是表示滤光片部111C的光谱透射特性的图。在图15A中，点划线表示像素11p_R的光谱透射特性，虚线表示像素11p_G的光谱透射特性，实线表示像素11p_B的光谱透射特性。如图15A所示，配置有滤光片111b的像素11p_R使500～600nm、900～1000nm的波段的光透射。配置有滤光片111a_R的像素11p_G使550～1000nm的波段的光透射。此外，配置有滤光片111a_B的像素11p_B使400～550nm和800～1000nm的波段的光透射。
此外，图像处理部13的信号转换部131(参照图12)以图13B所示的4像素为1组，对像素11p_R、11p_G、11p_B的信号成分根据以下的式子(12)～(14)转换。
Ir－Ib＝B……式(12)
Ib－Idm＝G……式(13)
Idm＝R……式(14)
上述Idm是从配置有滤光片111b的像素11p_R输出的信号成分。
即，本实施方式中，将从透过滤光片111a_R的红色的波长成分减去透过滤光片111a_B的波长成分而得的结果作为显示装置2的B信号成分。此外，将从透过滤光片111a_B的波长成分减去透过滤光片111b的波长成分而得的结果作为显示装置2的G信号成分。将透过滤光片111b的近红外的波长成分作为显示装置2的R信号成分。
进而，在本实施方式中，在摄像装置1为了观察到观察对象物质3对红外波段的光的吸收，可以在摄像部11C设置截止700nm以下的可见光的波段的光的可见光截止滤光片。或者，可以在暗处从光源12照射近红外波段的光，对观察对象物质3进行摄像。只要构成为使得可见光的波段的光不入射至摄像部11C即可。
图15B是表示在设置有可见光截止滤光片的状态下对观察对象物质3进行摄像，进行了上述转换处理后的信号成分的光谱特性的图。在图15B中，虚线表示R信号成分，点划线表示G信号成分，实线表示B信号成分。
如图15B所示，在该例中，B信号成分的光谱特性具有700nm附近的峰值波长，具有700～820nm的波段。G信号成分的光谱特性具有820nm附近的峰值波长，具有750～900nm的波段。此外，R信号成分的光谱特性具有920nm附近的峰值波长，具有850～1000nm的波段。
本实施方式的摄像装置1以R、G、B的信号成分表示观察对象物质3对红色～近红外的波段的光的吸收，通过将R、G、B的各信号成分输出至显示装置2，能够在红色～近红外的波段中使具有吸光特性的观察对象物质3的状态可视化。以下说明这样的摄像装置1的应用例。
(应用例1)
本应用例中说明通过以摄像装置对食用肉(猪肉)进行摄像，将表示食用肉的素质的图像显示于显示装置2的例子。
图16是表示本应用例的摄像装置的结构例的示意图。如图16所示，本应用例的摄像装置1D作为光源12具有光源12_1～12_4。光源12_2由以750nm为峰值波长的LED构成。光源12_3由以800nm为峰值波长的LED构成。光源12_4由以930nm为峰值波长的LED构成。此外，光源12_1由白色LED构成。
猪肉根据其油酸的含有量，750nm、800nm、930nm的各波长附近的光的吸收有所变化。因此，本应用例中，将各个光源12_2～12_4同时点亮对猪肉进行摄像。由此，能够将以R、G、B的各信号成分表示猪肉对上述各波长的吸收的图像显示于显示装置2。即，能够显示以B信号表示750nm附近的光的吸收、以G信号表示800nm附近的光的吸收、以R信号表示930nm附近的光的吸收的猪肉的油酸的含有量的图像。
此外，也可以通过使光源12_2～12_4熄灭、使光源12_1点亮而对猪肉进行摄像，能够在表示上述油酸的含有量的图像的基础上，将以R、G、B的各信号成分表示猪肉对光源12_1的光的吸收的图像即猪肉的彩色图像显示于显示装置2。
(应用例2)
本应用例中，说明通过以摄像装置对果实进行摄像，将表示果实的糖度的图像显示于显示装置2的例子。
一直以来，在果实的糖度的计测中，使用基于果实的红外光的吸收光谱和使用其2次微分光谱制作出的检量线来计测糖度的非破坏性计测法。本应用例中，通过将对2次微分光谱的峰值波长的信号成分和该峰值波长的前后的波长的信号成分进行运算而得的结果图像化，使果实的糖度可视化。
例如，梨的糖度与梨的红外光的吸收所产生的2次微分光谱的峰值波长918nm、996nm、882nm、700nm存在很强的相关关系。图17是表示本应用例的摄像装置1的结构例的示意图。在本应用例中，如图17所示，作为光源12，具有以918nm、996nm、882nm、700nm为各个峰值波长的光源12_1～12_4(以下称为基准光源组)。
进而，光源12包括具有峰值波长比基准光源组短10～50nm的波长的光源12_11、12_21、12_31、12_41。即，光源12_11的峰值波长中比光源12_1的峰值波长918nm短10～50nm，光源12_21的峰值波长比光源12_2的峰值波长996nm短10～50nm。此外，光源12_31的峰值波长比光源12_3的峰值波长882nm短10～50nm，光源12_41的峰值波长比光源12_4的峰值波长700nm短10～50nm。
此外，进一步，光源12包括具有峰值波长比基准光源组长10～50nm的波长的光源12_12、12_22、12_32、12_42。即，光源12_12的峰值波长比光源12_1的峰值波长918nm长10～50nm，光源12_22的峰值波长比光源12_2的峰值波长996nm长10～50nm。此外，光源12_32的峰值波长比光源12_3的峰值波长882nm长10～50nm，光源12_42的峰值波长比光源12_4的峰值波长700nm长10～50nm。
本变形例中，首先进行使光源12_1、光源12_3、光源12_4(以下称为第一光源组)点亮而摄像的第一摄像处理。之后，进行使峰值波长比第一光源组短的光源12_11、光源12_31、光源12_41(以下称为第二光源组)点亮而摄像的第二摄像处理。接着，进行使峰值波长比第一光源组长的光源12_12、光源12_32、光源12_42(以下称为第三光源组)点亮而摄像的第三摄像处理。进而，依次进行使光源12_2点亮而摄像的第四摄像处理、使光源12_21点亮而摄像的第五摄像处理和使光源12_22点亮而摄像的第六摄像处理。
将分别由第一～第三摄像处理得到的每个像素的电信号使用上述式(12)～(14)进行转换，将转换后的信号作为第一图像信号、第二图像信号、第三图像信号。此外，将分别由第四～第六摄像处理得到的每个像素的电信号使用上述式(12)～(14)进行转换，将转换后的信号作为第一图像信号、第二图像信号、第三图像信号。
图像处理部13使用分别由第一～第三摄像处理得到的每个像素的第一～第三图像信号，进行以下的式(15)的运算。进而，使用分别由第四～第六摄像处理得到的每个像素的第一～第三图像信号进行以下的式(15)的运算。
(第一图像信号)－2×(第二图像信号)+(第三图像信号)……式(15)
如图15B所示，882nm附近的光的波长成分作为像素11p_G的信号被输出，700nm附近的光的波长成分作为像素11p_B的信号被输出。此外，918nm附近和996nm附近的光的波长成分作为像素11p_R的信号被输出。对于像素11p_R的上述运算结果与果实的红外光的吸收光谱的918nm和996nm的2次微分光谱的信号成分对应。此外，对于像素11p_G的上述运算结果与果实的红外光的吸收光谱的882nm的2次微分光谱的信号成分对应。此外，对于像素11p_B的上述运算结果与果实的红外光的吸收光谱的700nm的2次微分光谱的信号成分对应。
另外，918nm附近和996nm附近的光的波长成分由像素11p_R受光，因此关于像素11p_R，能够得到基于由第一～第三摄像处理得到的第一～第三图像信号的运算结果和基于由第四～第六摄像处理得到的第一～第三图像信号的运算结果。因此，图像处理部13对像素11p_G和像素11p_B按每个像素将1个运算结果存储于RAM，对于像素11p_R将每个波长的运算结果存储于RAM。
图像处理部13将918nm、996nm、882nm、700nm的运算结果中与3个波长分别对应的像素的运算结果输出至显示装置2。图像处理部13例如在摄像装置1中从上述4个波长接收3个波长的选择，将与接收的3个波长分别对应的各像素的运算结果输出至显示装置2。此外，在图像处理部13中，可以根据与各波长对应的每个像素的运算结果的大小选择3个波长，将与选择的波长对应的像素的运算结果输出至显示装置2。此外，可以使用对2次微分光谱的各峰值波长进行重回归分析而得到的系数，计算与上述4个波长对应的各像素的上述运算结果的线形和，将对计算结果进行模拟或灰度等级转换而得的信号输出至显示装置2。
<变形例>
以上说明了本发明的实施方式，但上述实施方式仅是用于实施本发明的例示。由此，本发明并不限定于上述实施方式，在不脱离其主旨的范围内能够将上述实施方式适当变形而实施。以下说明本发明的变形例。
(1)上述第三实施方式的应用例中，显示了表示植被指数NDVI的图像，但叶绿素的吸光光谱由于大气中的烟雾等的影响而变化。因此，本变形例中，说明使减小烟雾的影响，比植被指数NDVI灵敏度高的增强植被指数EVI(Enhanced Vegetation Index)可视化的例子。
本变形例中，如图18A所示，作为上述第三实施方式的有机滤光片111a，代替彩色滤光片111a_G而具有彩色滤光片111a_B。此时，如图18B所示，以在像素11p_G配置彩色滤光片111a_R、在像素11p_B配置彩色滤光片111a_B的方式构成即可。
信号转换部131使用从图18B所示的各像素输出的电信号，进行以下的式(16)的运算，计算增强植被指数EVI。显示控制部132可以将对每个像素的增强植被指数EVI以与其值对应的对比度或灰度等级颜色表示的图像显示于显示装置2。
EVI＝(Ibr－Ir)÷(Ibr+C1×Ir－C2×Ib+1)……式(16)
C1、C2：烟雾修正系数
(2)此外，可以将上述第三实施方式的应用例的滤光片部111构成为图19A所示的方式。如图19A所示，本变形例中，作为有机滤光片111a，还具有彩色滤光片111a_B。此时，如图19B所示，在像素11p_R配置滤光片111a_R，在像素11p_B配置滤光片111a_B。此外，滤光片111a_G和滤光片111a_BR分别配置于像素11p_G。
通过这样构成，滤光片部111能够使近红外和R、G、B的各波段的光透射，因此能够将基于透过配置有滤光片111a_R、111a_G、111a_B的像素11p_R、11p_G、11p_B的电信号的彩色图像显示于显示装置2。
(3)作为上述第三实施方式的其它应用例，可以使苹果有无摔碰损伤可视化。根据苹果有无摔碰损伤，740～810nm波段的苹果的分光反射率的回归直线的倾角不同。本变形例中，作为摄像装置1的光源12，使用以810nm为峰值波长的LED和以740nm为峰值波长的LED对苹果的反射光进行摄像。由此，740nm的吸光光谱以G信号成分表示，810nm的吸光光谱以R信号表示(参照图11)，因此能够根据红色和绿色的图像的比例确认苹果有无摔碰损伤。
另外，上述内容中使用具有740nm和810nm的峰值波长的光源，但也可以组合有机滤光片111a和无机多层膜而构成滤光片部111。例如，滤光片部111由彩色滤光片111a_G、层叠彩色滤光片111a_R和第一无机多层膜而得的层叠滤光片、层叠彩色滤光片111a_B和第二无机多层膜而得的层叠滤光片构成。第一无机多层膜以使810nm的光透射的方式构成，第二无机多层膜以使740nm的光透射的方式构成。由此，在使用照射红外波段的光的光源时，也能够使苹果有无摔碰损伤可视化。
(4)此外，作为上述第三实施方式的其它应用例，可以使血液中含有的氧合血红蛋白和还原血红蛋白的吸收图像化，观察血液的氧饱和浓度。图20是表示氧合血红蛋白和还原血红蛋白的吸光光谱的图。图20中，以虚线所示的波形表示氧合血红蛋白的吸光光谱，以实线所示的波形表示还原血红蛋白的吸光光谱。
如图20所示，600～800nm的波段中，与氧合血红蛋白相比，还原血红蛋白的吸收较大，800nm以上的波段中，与还原血红蛋白相比，氧合血红蛋白的吸收较大。因此，此时作为光源12，使用峰值波长为660nm的光源和峰值波长为850nm的光源。
如图11所示，660nm附近的吸收以G信号成分表示，850nm的吸收以R信号成分表示。即，氧合血红蛋白以绿色的图像显示于显示装置2，还原血红蛋白以红色的图像显示于显示装置2。结果，能够根据红色和绿色的图像确认还原血红蛋白和氧合血红蛋白的比例，来观察血中的氧饱和浓度的状态。
(5)上述第一实施方式到第四实施方式中，将滤光片部的各滤光片按照滤光片的透射波长由大到小的顺序分别配置于像素11p_R、像素11p_G、像素11p_B，但滤光片的配置并不限定于此。例如，也可以按照滤光片的透射波长由小到大的顺序分别配置于像素11p_R、像素11p_G、像素11p_B，也可以不受限于滤光片的透射波长的大小，配置于像素11p_R、像素11p_G、像素11p_B中的任意确定的任一像素。只要将滤光片部111的各滤光片配置于与拜耳阵列的R、G、B中的任一个对应的像素即可。
(6)上述第一实施方式到第四实施方式中，说明了通过将从图像处理部13的显示控制部132输出的R、G、B的各信号成分输出至显示装置2，对观察对象物质3的状态进行彩色显示的例子，但在摄像装置1设置有显示部的情况下，也可以向其显示部输出R、G、B的各信号成分。
(7)上述第一实施方式到第四实施方式中，说明了将使用式(1)～(9)和式(12)～(14)运算出的结果作为显示装置2的R、G、B的信号成分进行R、G、B颜色的分配的例子，但例如也可以对该运算结果实施规定的运算处理而进行显示装置2的R、G、B的颜色的分配。此外，式(1)～(9)和式(12)～(14)中，从滤光片部的透射波段中的短波长成分依次分配B、G、R的信号成分，但并不限定于此。例如，也可以从短波长成分依次分配R、B、G的信号成分等根据容易理解的程度进行显示装置2的颜色的分配。只要将滤光片部的透射波段的波长成分分配于显示装置2的R、G、B的任意的信号成分即可。
(8)此外，本发明也可以是一种分析装置，其包括：具有上述第一实施方式到第四实施方式的滤光片部和受光部和图像处理部的摄像装置1；和显示装置2。
Claims (6)
1.一种摄像装置，其特征在于，包括：
滤光片部，其使可在显示装置中显示的可见光波段的一部分波段中或所述可见光波段外的波段中的、与观察对象物质的吸光光谱或荧光光谱对应的特定波段的光透射，所述显示装置包括具有多个像素的显示面板；
受光部，其具有接收在所述滤光片部透射的光并将接收到的光转换为电信号的摄像元件；和
图像处理部，其将由所述受光部转换后的电信号的信号成分转换为R(红)、G(绿)、B(蓝)的可见光信号，向所述显示装置输出，
所述滤光片部具有光谱透射特性不同的多个滤光片，
所述多个滤光片至少包括R(红)、G(绿)、B(蓝)的彩色滤光片中的2个彩色滤光片和层叠所述2个彩色滤光片而得的层叠滤光片，
所述2个彩色滤光片的透射波段具有相互重叠的波段，在所述2个彩色滤光片与所述层叠滤光片的透射波段相互重叠的波段中包含所述特定波段的波长，
所述2个彩色滤光片和所述层叠滤光片分别配置于相互不同的像素，
所述图像处理部将透过所述层叠滤光片的光的信号成分，以及透过所述2个彩色滤光片中的各个彩色滤光片的光的信号成分分别与透过所述层叠滤光片的光的信号成分的差转换为所述可见光信号。
2.如权利要求1所述的摄像装置，其特征在于：
还包括对所述观察对象物质照射包含所述特定波段的波长的光的光源。
3.如权利要求1所述的摄像装置，其特征在于：
还包括对所述观察对象物质照射激励光的光源。
4.一种摄像装置，其特征在于，包括：
滤光片部，其使可在显示装置中显示的可见光波段的一部分波段中或所述可见光波段外的波段中的、与观察对象物质的吸光光谱或荧光光谱对应的特定波段的光透射，所述显示装置包括具有多个像素的显示面板；
受光部，其具有接收在所述滤光片部透射的光并将接收到的光转换为电信号的摄像元件；和
图像处理部，其将由所述受光部转换后的电信号的信号成分转换为R(红)、G(绿)、B(蓝)的可见光信号，向所述显示装置输出，
所述滤光片部具有光谱透射特性不同的多个滤光片，
所述多个滤光片至少包括R(红)、G(绿)、B(蓝)的彩色滤光片中的2个彩色滤光片和层叠折射率不同的多个电介质而得的层叠滤光片，
所述层叠滤光片的透射波段包括近红外波段，
所述2个彩色滤光片和所述层叠滤光片分别配置于相互不同的像素。
5.如权利要求1～4中任一项所述的摄像装置，其特征在于：
还包括显示基于从所述图像处理部输出的所述可见光信号的彩色图像的显示部。
6.一种分析装置，其特征在于，包括：
权利要求1～5中任一项所述的摄像装置；和
显示基于从所述摄像装置输出的可见光信号的图像的显示装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014144889 | 2014-07-15 | ||
| JP2014-144889 | 2014-07-15 | ||
| PCT/JP2015/069683 WO2016009925A1 (ja) | 2014-07-15 | 2015-07-08 | 撮像装置、及び解析装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106537906A CN106537906A (zh) | 2017-03-22 |
| CN106537906B true CN106537906B (zh) | 2019-03-29 |
Family
ID=55078421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580038421.6A Active CN106537906B (zh) | 2014-07-15 | 2015-07-08 | 摄像装置和分析装置 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP6378767B2 (zh) |
| CN (1) | CN106537906B (zh) |
| WO (1) | WO2016009925A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6771651B2 (ja) * | 2017-03-24 | 2020-10-21 | 富士フイルム株式会社 | 組成物、カラーフィルタ、及び、ヘモグロビンセンサ |
| WO2018181358A1 (ja) * | 2017-03-27 | 2018-10-04 | 株式会社ニコン | 撮像装置および撮像素子 |
| JP2019140230A (ja) | 2018-02-09 | 2019-08-22 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、電子装置、および、電子装置の製造方法 |
| JP7360649B2 (ja) * | 2019-07-10 | 2023-10-13 | 国立研究開発法人農業・食品産業技術総合研究機構 | クロロフィル含有量の測定方法及び果実の熟度判定方法 |
| KR20240025544A (ko) * | 2021-06-30 | 2024-02-27 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 표시 장치, 표시 모듈, 및 전자 기기 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1992910A (zh) * | 2005-12-27 | 2007-07-04 | 三洋电机株式会社 | 备有在可见光和红外线区域具有灵敏度的摄像元件的摄像装置 |
| CN101636102A (zh) * | 2007-03-20 | 2010-01-27 | 奥林巴斯株式会社 | 荧光观察装置 |
| CN101730857A (zh) * | 2007-07-13 | 2010-06-09 | 佳能株式会社 | 滤光器 |
| CN102202185A (zh) * | 2010-03-24 | 2011-09-28 | 索尼公司 | 物理信息获取装置、固体摄像装置和物理信息获取方法 |
| CN102215329A (zh) * | 2010-04-12 | 2011-10-12 | 奥林巴斯株式会社 | 摄像装置 |
| CN102469932A (zh) * | 2010-04-01 | 2012-05-23 | 奥林巴斯医疗株式会社 | 光源装置以及内窥镜系统 |
| CN102665083A (zh) * | 2005-07-21 | 2012-09-12 | 索尼株式会社 | 物理信息获取方法、物理信息获取装置和半导体器件 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5096214B2 (ja) * | 2008-04-03 | 2012-12-12 | ホーチキ株式会社 | エチルアルコール検知装置 |
| JP2009257919A (ja) * | 2008-04-16 | 2009-11-05 | Panasonic Corp | 固体撮像装置、撮像システム及び検知装置 |
| JP5693860B2 (ja) * | 2009-02-18 | 2015-04-01 | 国立大学法人豊橋技術科学大学 | 定量方法 |
| JP6253231B2 (ja) * | 2012-12-27 | 2017-12-27 | オリンパス株式会社 | 被検体観察システム及びその方法、カプセル型内視鏡システム |
-
2015
- 2015-07-08 JP JP2016534391A patent/JP6378767B2/ja active Active
- 2015-07-08 WO PCT/JP2015/069683 patent/WO2016009925A1/ja active Application Filing
- 2015-07-08 CN CN201580038421.6A patent/CN106537906B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102665083A (zh) * | 2005-07-21 | 2012-09-12 | 索尼株式会社 | 物理信息获取方法、物理信息获取装置和半导体器件 |
| CN1992910A (zh) * | 2005-12-27 | 2007-07-04 | 三洋电机株式会社 | 备有在可见光和红外线区域具有灵敏度的摄像元件的摄像装置 |
| CN101636102A (zh) * | 2007-03-20 | 2010-01-27 | 奥林巴斯株式会社 | 荧光观察装置 |
| CN101730857A (zh) * | 2007-07-13 | 2010-06-09 | 佳能株式会社 | 滤光器 |
| CN102202185A (zh) * | 2010-03-24 | 2011-09-28 | 索尼公司 | 物理信息获取装置、固体摄像装置和物理信息获取方法 |
| CN102469932A (zh) * | 2010-04-01 | 2012-05-23 | 奥林巴斯医疗株式会社 | 光源装置以及内窥镜系统 |
| CN102215329A (zh) * | 2010-04-12 | 2011-10-12 | 奥林巴斯株式会社 | 摄像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016009925A1 (ja) | 2016-01-21 |
| JP6378767B2 (ja) | 2018-08-22 |
| CN106537906A (zh) | 2017-03-22 |
| JPWO2016009925A1 (ja) | 2017-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106537906B (zh) | 摄像装置和分析装置 | |
| US7454046B2 (en) | Method and system for analyzing skin conditions using digital images | |
| US9986913B2 (en) | Method and system for analyzing physical conditions using digital images | |
| CN102893137B (zh) | 用于癌症检测和定位的快速多光谱成像方法和设备及应用 | |
| CN105380587A (zh) | 图像采集系统和电子内窥镜系统 | |
| CN103826524B (zh) | 诊断系统 | |
| CN103732116B (zh) | 内窥镜系统、处理器设备和操作内窥镜系统的方法 | |
| CN108289590A (zh) | 内窥镜系统、图像处理装置、图像处理方法和程序 | |
| CN106725263B (zh) | 应用于内窥镜系统的成像方法 | |
| CN107405093A (zh) | 图像处理装置、摄像装置、图像处理方法和程序 | |
| WO2014190228A1 (en) | Pixelated tunable color filter | |
| Fauch et al. | Recovery of reflection spectra in a multispectral imaging system with light emitting diodes | |
| WO2010066951A1 (en) | Method and device for imaging a target | |
| Yélamos et al. | Understanding Color | |
| CN107530033A (zh) | 摄像装置 | |
| CN107661087B (zh) | 用于感光物体如生物组织的成像的医学成像装置及方法 | |
| Wang et al. | Research on the detection of early caries based on hyperspectral imaging | |
| WO2017195863A1 (ja) | 撮像装置 | |
| Litorja et al. | Use of a spectrally tunable source to explore improvement in chromatic contrast for illumination of tissues | |
| CN214231268U (zh) | 内窥镜成像装置和电子设备 | |
| EP4275579A1 (en) | Method, processor, and medical observation device using two color images and color cameras for fluorescence and white-light | |
| RU2226071C2 (ru) | Способ колориметрии слизистых оболочек при видеоэндоскопических исследованиях | |
| TW202416222A (zh) | 多頻成像器、系統及生成感興趣區域的增強影像的方法 | |
| Penman | A Low-Cost Multispectral Imaging System for Microscale Applications | |
| GB2627202A (en) | A method of image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |