CN112019682A - 显示方法、显示装置以及信息系统 - Google Patents
显示方法、显示装置以及信息系统 Download PDFInfo
- Publication number
- CN112019682A CN112019682A CN202010461536.9A CN202010461536A CN112019682A CN 112019682 A CN112019682 A CN 112019682A CN 202010461536 A CN202010461536 A CN 202010461536A CN 112019682 A CN112019682 A CN 112019682A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- spectroscopic
- smartphone
- measurement object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000003595 spectral effect Effects 0.000 claims abstract description 166
- 238000003384 imaging method Methods 0.000 claims abstract description 92
- 238000005259 measurement Methods 0.000 description 325
- 230000005540 biological transmission Effects 0.000 description 46
- 238000012545 processing Methods 0.000 description 38
- 238000004458 analytical method Methods 0.000 description 36
- 239000000758 substrate Substances 0.000 description 26
- 238000001514 detection method Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 20
- 241000196324 Embryophyta Species 0.000 description 17
- 241001465754 Metazoa Species 0.000 description 17
- 238000001228 spectrum Methods 0.000 description 17
- BJQHLKABXJIVAM-UHFFFAOYSA-N bis(2-ethylhexyl) phthalate Chemical compound CCCCC(CC)COC(=O)C1=CC=CC=C1C(=O)OCC(CC)CCCC BJQHLKABXJIVAM-UHFFFAOYSA-N 0.000 description 15
- 230000006866 deterioration Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004611 spectroscopical analysis Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 241000238631 Hexapoda Species 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 241000251468 Actinopterygii Species 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 239000010437 gem Substances 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 241000124008 Mammalia Species 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 229910001751 gemstone Inorganic materials 0.000 description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 235000015170 shellfish Nutrition 0.000 description 3
- 241000254173 Coleoptera Species 0.000 description 2
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 2
- 235000011613 Pinus brutia Nutrition 0.000 description 2
- 241000018646 Pinus brutia Species 0.000 description 2
- 241000269978 Pleuronectiformes Species 0.000 description 2
- 241000121220 Tricholoma matsutake Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 229910052500 inorganic mineral Inorganic materials 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 239000011707 mineral Substances 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 229910001316 Ag alloy Inorganic materials 0.000 description 1
- ZLMJMSJWJFRBEC-UHFFFAOYSA-N Potassium Chemical compound [K] ZLMJMSJWJFRBEC-UHFFFAOYSA-N 0.000 description 1
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000005388 borosilicate glass Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- KPUWHANPEXNPJT-UHFFFAOYSA-N disiloxane Chemical class [SiH3]O[SiH3] KPUWHANPEXNPJT-UHFFFAOYSA-N 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000005355 lead glass Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 229910052700 potassium Inorganic materials 0.000 description 1
- 239000011591 potassium Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/33—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using ultraviolet light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/87—Investigating jewels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0277—Details of the structure or mounting of specific components for a printed circuit board assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/22—Illumination; Arrangements for improving the visibility of characters on dials
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明提供的显示方法、显示装置以及信息系统,在使用分光相机拍摄图像之前的待机状态下,在分光相机所具备的显示部中依次显示设想为拍摄到的图像的影像时,能够可靠地抑制或防止该影像中发生丢帧。本发明的显示方法包括:拍摄工序,拍摄应测定的对象所具有的固有的分光信息作为第一图像,并拍摄与所述分光信息不同的所述对象的图像作为第二图像;以及显示工序,以必须显示所述第二图像且选择性地显示所述第一图像的方式显示所述第一图像及所述第二图像。
Description
技术领域
本发明涉及显示方法、显示装置以及信息系统。
背景技术
近年来,在智能手机等信息终端所具备的应用程序等中,已知有根据相机拍摄到的鱼贝类、昆虫、哺乳类等的动物;花、数木等的植物等测定对象的图像来确定这些测定对象的种类的电子图鉴。
例如,在专利文献1中,公开了确定作为测定对象的花的种类的电子图鉴的发明。在该专利文献1中,从所获取的花的图像中提取作为花的特征量的“花瓣的颜色、瓣数、形状、花的集合方式”、或者作为叶子的特征量的“叶子的形状、叶子的边缘形状、茎的毛和刺”等,并根据这些特征量来确定花的种类,即根据花所具有的形状、以及该形状的大小等的特征量来确定花的种类。
然而,在这样的电子图鉴中,在拍摄到的图像中测定对象“与背景的图案相似”、“朝向与表示用于确定花的形状的方向不同的方向”、“超出拍摄区域”等的情况下,难以识别,从而存在无法确定测定对象的种类这一问题。
上述问题的起因在于:如上所述,花等的测定对象的种类的确定中使用测定对象的形状以及该形状的大小等的特征量,从而在“与背景的图案相似”的情况下,无法切出“形状”,另外,在“朝向正面或后方”的情况以及“超出拍摄区域”的情况下,与电子图鉴所具备的数据库中保存的“形状”不同。即,是因为难以提取确定测定对象的种类所需的、基于测定对象的形状的特征量而引起的。
另外,除了上述电子图鉴之外,还提出了在判定作为检查对象物的测定对象是正常品还是异常品的检测方法(例如参照专利文献2)中,根据拍摄测定对象而得到的分光信息(光谱数据)来实施是否为正常品的测定对象的判定。
因此,认为在电子图鉴中,通过将拍摄测定对象而得到的分光信息用作用于提取确定测定对象的种类用的特征量的信息,即,将测定对象所具有的固有的色调用作特征量,即使在如上所述难以提取基于测定对象的形状的特征量的情况下,也能够确定测定对象的种类。
然而,在如上所述使该电子图鉴具备分光相机以便获取测定对象的分光信息的情况下,为了使测定对象容纳在通过分光相机获取的图像内,在拍摄该图像之前的待机状态下,在分光相机所具备的显示部中,逐次显示设想为所拍摄的图像的影像(例如参照专利文献3)。
此时,分光相机将通过将在将应该测定的波长区域分割成多个的分割区域中获取的分光图像重叠而得到的分光信息,转换为国际照明委员会CIE规定的三刺激值即X、Y、Z值。然后,在使用监视器配置文件将该X、Y、Z值转换为R、G、B值之后,将其提供给显示部,从而在显示部中显示测定对象的图像。并且,通过反复实施显示该图像的处理,从而在显示部中显示上述影像。
专利文献1:日本专利特开2008-152713号公报
专利文献2:日本专利特开2017-203658号公报
专利文献3:日本专利特开2009-033222号公报
发明内容
但是,在如上所述通过重叠多个分光图像而获取分光信息,然后根据该分光信息转换为X、Y、Z值以及R、G、B值而生成显示部中显示的图像的显示方法中,生成图像的处理需要时间,因而认为会产生在根据该图像显示的影像中发生丢帧(dropped frame)这一问题。
本发明是为了解决上述问题而提出的,能够以以下的适用例实现。
本发明的应用例涉及的显示方法的特征在于,包括:拍摄工序,拍摄应测定的对象所具有的固有的分光信息作为第一图像,并拍摄与所述分光信息不同的所述对象的图像作为第二图像;以及显示工序,以必须显示所述第二图像且选择性地显示所述第一图像的方式显示所述第一图像及所述第二图像。
附图说明
图1是表示作为应用了本发明的信息系统的第一实施方式的信息终端的智能手机的总体图的表面侧的俯视图。
图2是表示作为应用了本发明的信息系统的第一实施方式的信息终端的智能手机的总体图的背面侧的俯视图。
图3是图2所示的智能手机的A-A线剖视图。
图4是图2所示的智能手机的B-B线剖视图。
图5是表示图1、图2所示的智能手机的概略构成的框图。
图6是表示将图1、图2所示的智能手机的分光测量部所具备的分光部具有的波长可变干涉滤波器应用于法布里-珀罗标准具滤波器的一例的纵剖视图。
图7是表示通过图1、图2所示的智能手机确定测定对象的种类的确定方法的流程图。
图8是用于说明通过图1、图2所示的智能手机拍摄测定对象而得到的测定对象所具有的固有的分光信息的示意图。
图9是表示通过图1、图2所示的智能手机检测测定对象的检测方法的流程图。
图10是表示通过图1、图2所示的智能手机鉴定测定对象的鉴定方法的流程图。
图11是表示在图1、图2所示的智能手机的待机时显示测定对象的图像的显示方法的流程图。
图12是表示应用了本发明的信息系统的第二实施方式的智能手机和分光测量部的概略构成的框图。
图13是表示应用了本发明的信息系统的第三实施方式的智能手机和外部显示部的概略构成的框图。
图14是表示应用了本发明的信息系统的第四实施方式的智能手机、分光测量部以及外部显示部的概略构成的框图。
图15是表示应用了本发明的信息系统的第五实施方式的智能手机和服务器的概略构成的框图。
图16是表示应用了本发明的信息系统的第六实施方式的智能手机和服务器的概略构成的框图。
附图标记说明
1…智能手机;10…分光测量部;15…显示部;16…输入部;17…存储部;18…外部显示部;19…收发部;21…摄像元件;22…摄像元件;31…光源;41…分光部;45…静电致动器;51…电路基板;52…电路基板;60…控制部;70…显示器;81…第一分光部侧光学系统;83…第一摄像元件侧光学系统;100…服务器;117…存储部;119…收发部;160…控制部;161…数据获取部;162…收发控制部;163…分析处理部;410…固定基板;411…固定反射膜;412…固定电极;413…槽;414…接合膜;415…反射膜设置部;420…可动基板;421…可动反射膜;422…可动电极;423…槽;425…反射膜设置部;601…光源控制部;602…分光控制部;603…分光图像获取部;604…分析处理部;605…显示控制部;606…收发控制部;811…入射透镜;812…投射透镜;831…入射出射透镜;X…测定对象。
具体实施方式
以下,根据附图所示的优选实施方式,对本发明的显示方法、显示装置以及信息系统详细进行说明。
此外,以下在说明本发明的显示方法及显示装置之前,对本发明的信息系统进行说明。
信息系统
第一实施方式
图1是表示作为应用了本发明的信息系统的第一实施方式的信息终端的智能手机的总体图的表面侧的俯视图,图2是表示作为应用了本发明的信息系统的第一实施方式的信息终端的智能手机的总体图的背面侧的俯视图,图3是图2所示的智能手机的A-A线剖视图,图4是图2所示的智能手机的B-B线剖视图,图5是表示图1、图2所示的智能手机的概略构成的框图,图6是表示将图1、图2所示的智能手机的分光测量部所具备的分光部具有的波长可变干涉滤波器应用于法布里-珀罗标准具滤波器的一例的纵剖视图,图7是表示通过图1、图2所示的智能手机确定测定对象的种类的确定方法的流程图,图8是用于说明通过图1、图2所示的智能手机拍摄测定对象而得到的测定对象所具有的固有的分光信息的示意图,图9是表示通过图1、图2所示的智能手机检测测定对象的检测方法的流程图,图10是表示通过图1、图2所示的智能手机鉴定测定对象的鉴定方法的流程图,图11是表示在图1、图2所示的智能手机的待机时显示测定对象的图像的显示方法的流程图。
以下,在本实施方式中,对于将本发明的信息系统应用于作为信息终端的一种的智能手机1(SP)的情况、即本发明的信息系统利用作为信息终端的智能手机1单独完成的情况进行说明。
智能手机1是具有拍摄功能的便携式信息终端之一,具有作为第一图像而拍摄应测定的测定对象X即对象所具有的固有的分光信息的第一相机、作为第二图像而拍摄与分光信息不同的对象的图像的第二相机、以及能够显示第一图像和第二图像的显示部15,该显示部15被构成为:必须显示第二图像,可选择地显示第一图像。
在这样的智能手机1中,第一相机由获取测定对象X所具有的固有的分光信息作为第一图像即分光图像的分光相机构成,并具有分光测量部10,第二相机在本实施方式中由获取与分光信息不同的测定对象X的第二图像作为RGB图像的RGB相机构成。
在该智能手机1中,使用第一相机及第二相机、即分光相机及RGB相机中的分光相机,实施后述的基于智能手机1的电子图鉴、检测装置以及鉴定装置。因此,以下主要对于将智能手机1作为电子图鉴、检测装置以及鉴定装置使用时,在智能手机1中进行驱动的、包含分光相机即分光测量部10的各部的构成进行说明。
此外,在作为智能手机1所具备的应用程序,使确定作为测定对象X的动物及植物等的种类的电子图鉴启动时,在显示部15中,除了显示所确定的动物及植物等的种类以外,还显示其详细的信息等。
另外,在作为所述应用程序,使检测拍摄到的图像即拍摄区域中是否存在作为测定对象X的动物及植物等和存在位置的检测方法启动时,在显示部15中,除了显示检测出的动物及植物等的种类、以及该动物及植物等的存在位置以外,还显示其本身的存在概率等。此外,在图1中,在显示部15中确定并显示作为测定对象X的独角仙、锹形虫(クワガタムシ)等昆虫停在树木上的位置。
进而,在作为所述应用程序,使鉴定拍摄到的图像中作为测定对象X的手提包、钱包、钟表以及宝石等物品的真伪(真假)和经年劣化的程度的鉴定方法启动时,在显示部15中,显示所确定即鉴定出的物品的真伪及经年劣化的程度、以及真假率和发生经年劣化的位置等。
另外,为了通过智能手机1确定测定对象X,所获取的波长区域不限于从可见光区域选择的区域,也可以是从红外线区域、紫外线区域等选择的区域。
显示部15、输入部16
在智能手机1中,显示器70兼具显示部15和输入部16双方的功能,显示部15例如由液晶显示器或有机EL显示器等的各种显示装置构成。如图1所示,该显示部15设置于智能手机1的表面侧,显示包含所确定的测定对象X的信息在内的各种可视化图像。此外,在本发明中,显示部15和输入部16也可以分别单独设置。
作为显示部15中显示的可视化图像即确定出的测定对象X的信息,例如除了所确定的测定对象X的图像以外,还可以举出测定对象X的特征、分类、成分、性质等的信息、以及拍摄区域中是否存在测定对象X及位置、测定对象X的识别精度(%)和存在概率(%),以及测定对象X的真伪的概率(%)和劣化的程度(%)等。
另外,输入部16例如设置于显示部15的表面,由具备触摸感知面和用于检测与该触摸感知面的接触强度的传感器的触摸面板构成,并通过用户(操作者)进行的操作指示、即输入用于获取测定对象X所具有的固有的分光信息的条件等而进行受理。
此外,在将智能手机1作为电子图鉴、检测装置以及鉴定装置使用时,在使用分光相机获取分光图像之前的待机状态时,在本发明中,显示部15中必须显示利用RGB相机获取的第二图像,而可选择地显示利用分光相机即分光测量部10获取的第一图像,其详细情况之后进行说明。
存储部17
存储部17由ROM、RAM等的各种存储装置(存储器)构成,存储智能手机1的控制、尤其是分光测量部10的控制所需的各种数据和程序等。
该数据除了例如用于实现控制部60的各功能的应用程序、程序等之外,还可以举出表示相对于向分光部41的法布里-珀罗标准具滤波器所具备的静电致动器45施加的驱动电压的透射光的波长的相关数据V-λ数据、用于根据测定对象X所具有的固有的分光信息确定测定对象X的种类等的数据库等。此外,这里所说的数据库是指包含应确定的测定对象X在内的鱼贝类、昆虫、哺乳类等的动物;花、树木等的植物;手提包、钱包、钟表、宝石等的物品等各自的分光信息。
分光测量部10
分光测量部10是通过接收测定对象X反射的反射光并进行分光,从而得到所选择的特定波长或特定波长区域(以下,以“特定波长”为代表进行说明)的光之后,拍摄具有该特定波长的光,由此作为第一图像而获取分光信息的所谓分光相机,在本实施方式中,该分光相机作为第一相机发挥功能。
在本实施方式中,该分光测量部10具备向测定对象X即拍摄对象照射光的光源31;拍摄基于测定对象X反射的反射光的图像的摄像元件21、以及能够从入射光选择性地射出规定波长的光,并且能够变更射出的出射光的波长或波长区域的分光部41。
在这样的分光测量部10中,如图2所示,在光源31、摄像元件21以在智能手机1的背面侧朝向同一方向的方式配置的状态下,分光部41配置在摄像元件21与测定对象X之间。通过以这样的位置关系配置光源31、分光部41以及摄像元件21,由此能够由后分光方式的分光相机构成分光测量部10。在这样的后分光方式的分光相机中,通过扫描某一测定范围(规定区域)的波长,能够获取特定波长或光谱形状,从而掌握测定对象X的特性。因此,是在测定即拍摄特定波长不明的测定对象X时有效的方式。
此外,分光测量部10也可以构成分光部41配置在光源31与测定对象X之间的前分光方式的分光相机。在呈该构成的前分光方式的分光相机中,是通过照射特定波长的光,从而能够掌握测定对象X的特性的方式。因此,是在测定特定波长明确的测定对象X时有效的方式,与后分光方式相比信息量减少,因而是具有有望缩短测量时间这一优点的方式。
以下,对分光测量部10所具备的各部的构成进行说明。
光源31
光源31是朝向测定对象X照射照明光的光元件。
如图2、4所示,光源31在配置于智能手机1的壳体内的电路基板51上,以能够朝向测定对象X照射照明光的方式配置于智能手机1的背面侧。
在该光源31与测定对象X之间未配置分光部,由此,从光源31射出的光直接照射到测定对象X上。
这样的光源31例如可以举出LED光源、OLED光源、氙气灯、卤素灯等,优选使用在通过由波长可变干涉滤波器构成的分光部41进行分光测定的波长区域整体中具有光强度的光源、即能够照射在整个可见光区域具有光强度的白色光的光源。另外,除了白色光源以外,光源31例如也可以具备能够照射红外光等规定波长的光的光源。
摄像元件21
摄像元件21作为通过拍摄基于测定对象X反射的反射光的图像,从而检测测定对象X反射的反射光的检测部发挥功能。
如图2、3所示,摄像元件21在配置于智能手机1的壳体内的电路基板51上,以能够接受测定对象X反射的反射光的方式配置于智能手机1的背面侧。
并且,在该摄像元件21与测定对象X之间配置有分光部41。由此,从测定对象X射入分光部41的入射光中具有特定波长的出射光被选择性地射出,并通过摄像元件21拍摄该出射光作为分光图像即分光信息。
这样的摄像元件21例如由CCD、CMOS等构成。
分光部41
分光部41能够从入射光选择性地使特定波长即分光波长的光射出,并且能够变更射出的出射光的波长区域。即,从入射光朝向摄像元件21作为出射光而射出特定波长的光。
如图3所示,分光部41配置在智能手机1的壳体内配置的电路基板52上。
该分光部41配置在摄像元件21与测定对象X之间、即它们之间的光轴上。由此,朝向摄像元件21选择性地射出从测定对象X射入分光部41的入射光中具有特定波长的出射光。
这样的分光部41由波长可变干涉滤波器构成,以便能够变更射出的出射光的波长区域。该波长可变干涉滤波器并无特别限定,例如可以举出通过利用静电致动器调整两个滤波器(反射镜)间的间隙的大小来控制透过的反射光的波长的波长可变型的法布里-珀罗标准具滤波器、声光可调滤波器(AOTF)、线性可变滤波器(LVF)、液晶可调滤波器(LCTF)等,其中,优选为法布里-珀罗标准具滤波器。
法布里-珀罗标准具滤波器利用由两个滤波器产生的多光束干涉取出所希望波长的反射光。因此,能够使厚度尺寸极小,具体而言,能够设定为2.0mm以下。因此,能够使具备分光部41乃至分光测量部10的智能手机1更加小型。因此,通过作为波长可变滤波器而使用法布里-珀罗标准具滤波器,能够实现分光测量部10的进一步小型化。
以下,参照图6对作为波长可变干涉滤波器而应用了波长可变型的法布里-珀罗标准具滤波器的分光部41进行说明。
法布里-珀罗标准具滤波器是俯视时呈矩形板状的光学部件,具备固定基板410、可动基板420、固定反射膜411、可动反射膜421、固定电极412、可动电极422以及接合膜414。并且,以固定基板410与可动基板420层叠的状态经由接合膜414接合成为一体。
固定基板410上通过厚度方向的蚀刻而形成有槽413,该槽413将固定基板410的中央部以在该中央部形成反射膜设置部415的方式包围。在上述构成的固定基板410中,在反射膜设置部415的可动基板420侧设置有由固定反射膜411构成的固定光学反射镜,在槽413的可动基板420侧设置有固定电极412。
另外,可动基板420上通过厚度方向的蚀刻而形成有作为槽423的保持部,该槽423将可动基板420的中央部以在该中央部形成作为反射膜设置部425的可动部的方式包围。在上述构成的可动基板420中,在反射膜设置部425的固定基板410侧即下表面侧设置有由可动反射膜421构成的可动光学反射镜,在固定基板410侧设置有可动电极422。
该可动基板420形成为槽423的厚度尺寸比反射膜设置部425小,由此,槽423作为通过对固定电极412和可动电极422之间施加电压时的静电引力而挠曲的隔膜发挥功能。
该固定基板410和可动基板420只要为0.1mm以上且1.0mm以下左右的厚度便可制造。因此,能够将法布里-珀罗标准具滤波器整体的厚度设定为2.0mm以下,因此,能够实现分光测量部10的小型化。
在这样的固定基板410和可动基板420之间,固定反射膜411和可动反射膜421在固定基板410和可动基板420的大致中央部隔着间隙相对而配置。另外,固定电极412和可动电极422在包围上述中央部的槽部隔着间隙相对而配置。其中,通过固定电极412和可动电极422构成调整固定反射膜411与可动反射膜421之间的间隙的大小的静电致动器45。
通过向构成静电致动器45的固定电极412和可动电极422之间施加电压而产生的静电引力,在作为槽423的保持部中产生挠曲。由此,能够改变固定反射膜411与可动反射膜421之间的间隙的大小即距离。并且,通过适当地设定该间隙的大小,能够选择透过的光的波长,且能够从入射光选择性地射出所希望波长(波长区域)的光。另外,通过改变固定反射膜411及可动反射膜421的构成,能够控制透过的光的半值宽度、即法布里-珀罗标准具滤波器的分辨率。
此外,固定基板410及可动基板420分别由例如钠玻璃、结晶性玻璃、石英玻璃、铅玻璃、钾玻璃、硼硅酸玻璃、无碱玻璃等的各种玻璃或水晶等构成,接合膜414例如由以硅氧烷为主材料的等离子体聚合膜等构成,另外,固定反射膜411及可动反射膜421除了由例如Ag等的金属膜、Ag合金等的合金膜构成之外,还由作为高折射层而具备TiO2、作为低折射层而具备SiO2的多层电介质膜构成,进而,固定电极412及可动电极422由各种导电性材料构成。
光学系统81、83
另外,在本实施方式中,如图5所示,分光测量部10呈具有由各种光学部件构成的光学系统81、83的构成。
第一分光部侧光学系统81配置于测定对象X与分光部41之间,并具备作为入射光学系统的入射透镜811和投射透镜812,将测定对象X反射的反射光导向分光部41。
另外,第一摄像元件侧光学系统83配置于分光部41与摄像元件21之间,并具备入射出射透镜831,将通过分光部41射出的出射光导向摄像元件21。
通过使分光测量部10具备这样的光学系统81、83中的至少一个,能够实现摄像元件21对于测定对象X反射的反射光的聚光率的提高。
此外,也可以考虑到摄像元件21的上述聚光率而省略光学系统81、83中的至少一个。
另外,第一分光部侧光学系统81除了形成为上述那样的配置的情况(参照图5)之外,也可以形成为配置于分光部41与第一摄像元件侧光学系统83之间的构成。
控制部60
控制部60设置于智能手机1所具备的壳体内,例如由CPU和存储器等组合而成的处理器构成,控制光源31、摄像元件21、分光部41等各部的动作、即分光测量部10的整体或各部的动作,并控制显示部15的动作以及朝向存储部17的数据的输入输出。在控制分光测量部10的动作这一点上,可以说控制部60相当于或者内部包含“分光测量部控制部”,控制分光测量部10即作为第一相机的分光相机的动作,进而控制作为后述第二相机的RGB相机的动作。
更为具体而言,控制部60根据输入至输入部16的用户的操作指示、即用于获取测定对象X所具有的固有的分光信息的条件,读入存储于存储部17的程序等的软件,从而控制光源31、分光部41以及摄像元件21的动作。然后,根据由此得到的分光图像即分光信息,进行例如所拍摄的测定对象X的确定,并在显示部15中显示其本身的种类或特征、拍摄区域中是否存在等信息。
在本实施方式中,如图5所示,该控制部60具备光源控制部601、分光控制部602、图像获取部603、分析处理部604以及显示控制部605。
光源控制部601根据输入至输入部16的用户的操作指示,具体而言是用于获取测定对象X所具有的固有的分光信息的条件,控制光源31的点亮、熄灭。
分光控制部602根据存储部17中存储的V-λ数据,获取与射出的分光波长即特定波长对应的驱动电压的电压值(输入值)。然后,为了将所获取的电压值施加至作为分光部41的法布里-珀罗标准具滤波器的静电致动器45而输出指令信号。即,分光控制部602控制分光部41的动作,从而确定从分光部41射出的光的特定波长的大小。另外,分光控制部602根据存储部17中存储的各种数据进行测定波长的变更时刻的检测、测定波长的变更、与测定波长的变更对应的驱动电压的变更、以及测定结束的判断等,并根据该判断输出指令信号。
图像获取部603在摄像元件21中获取(拍摄)基于测定对象X反射的反射光的光量测定数据(受光量)作为分光图像即分光信息,然后,将所获取的分光图像存储于存储部17中。此外,图像获取部603在将分光图像存储至存储部17时,也将获取了该分光图像的测定波长与分光图像一并存储于存储部17中。
分析处理部604获取存储部17中存储的测定对象X的分光图像和测定波长即分光光谱作为分光信息,并进行它们的分析处理。即,通过实施对作为分光信息的分光光谱与存储于存储部17的数据库进行比较的分光处理,从而进行所拍摄的测定对象X的确定。
此外,分析处理部604进行的分光图像和测定波长的获取也可以不经由存储部17而直接从图像获取部603实施。
显示控制部605使由分析处理部604确定的测定对象X的信息以可视化图像的形式显示于显示部15中。
此外,在该构成的控制部60中,通过光源控制部601、分光控制部602以及图像获取部603构成控制光源31、分光部41以及摄像元件21的动作、即分光测量部10的动作的分光测量部控制部。
在以上那样的智能手机1、即作为第一相机而具备的分光相机的智能手机1中,通过选择要启动的应用程序的种类、即选择智能手机1的利用方法,能够将智能手机1用作1)确定作为测定对象X的动物和植物等的种类的电子图鉴、2)检测拍摄到的图像中是否存在作为测定对象X的动物和植物等及其存在位置的检测装置、或者3)鉴定拍摄到的图像中作为测定对象X的物品的真伪(真假)和经年劣化的程度的鉴定装置。以下,对于将智能手机1用作实施1)~3)的装置时的利用方法进行说明。
1)作为电子图鉴的利用方法
以下,使用图7等对于上述将智能手机1用作电子图鉴的、确定作为测定对象X的动物和植物等的种类的确定方法详细进行叙述。
在将该智能手机1用作电子图鉴的确定方法中,使用分光测量部10拍摄测定对象X,并根据拍摄到的分光图像进行测定对象X的确定。然后,在显示器70中显示所确定的测定对象X的图像、种类及其详细说明等。
<1A>首先,用户通过输入部16的操作使将智能手机1用作电子图鉴的应用程序启动之后,按照该应用程序的指示,根据需要进行条件等的选择(S1A)。
此外,作为按照应用程序的指示输入的条件,例如可以举出测定对象X的花、鱼类、哺乳类等的分类即组。这样,通过预先输入测定对象X的分类,能够迅速通过智能手机1检测测定对象X,其详细情况之后进行说明。
<2A>接着,用户通过输入部16的操作,进行利用智能手机1即分光测量部10拍摄测定对象X的输入指示,控制部60根据该输入指示控制分光测量部10的动作,从而拍摄特定波长的测定对象X。
<2A-1>首先,光源控制部601根据用户在输入部16中进行的拍摄测定对象X的输入指示使光源31点亮(S2A)。
通过使该光源31点亮,从光源31射出的照明光照射至测定对象X。然后,被照射的光被测定对象X反射,该被反射的光作为入射光射入分光部41。
<2A-2>接着,分光控制部602根据存储部17中存储的V-λ数据,获取与射出的分光波长即特定波长对应的驱动电压的电压值(输入值)。然后,为了将所获取的电压值施加至作为分光部41的法布里-珀罗标准具滤波器的静电致动器45而输出指令信号(S3A)。
由此,从测定对象X作为入射光而射入分光部41的光中具有特定波长的光作为出射光选择性地朝向摄像元件21侧射出。
此外,优选分光控制部602在通过分光部41射出具有特定波长的光之前,实施校准分光部41的调整处理。由此,获取光源31的分光光谱sref。
<2A-3>接着,图像获取部603通过控制摄像元件21的动作,从而通过摄像元件21获取从分光部41作为出射光而射出的、具有特定波长的光作为分光图像。即,通过摄像元件21获取测定对象X反射的反射光中具有特定波长的光的光量测定数据(受光量)作为分光图像。然后,图像获取部603将所获取的分光图像与对应于该分光图像的测定波长即特定波长一同存储于存储部17中(S4A)。
在这样的分光图像的获取方法中,分光部41在测定对象X与摄像元件21之间配置于摄像元件21接收到的光的光轴上。由此,分光部41仅使被测定对象X反射的光所具有的特定波长的光透过,并通过摄像元件21分光测量该特定波长的光的强度作为分光图像。
<2A-4>接着,在获取具有第一次特定波长的光中的分光图像之后,根据在上述工序<1A>中用户选择的条件等,判定是否需要获取具有与第一次特定波长不同的第二次特定波长的光中的分光图像。即,判定是否需要继续获取具有与第一次特定波长不同的第二次特定波长的光中的分光图像(S5A)。
当在该判定(S5A)中,需要获取具有第二次特定波长的光中的分光图像时,取代具有第一次特定波长的光,而对具有第二次特定波长的光反复实施上述工序<2A-2>~本工序<2A-4>。即,在改变施加于静电致动器45的固定电极412与可动电极422之间的电压值而设定为第二次特定波长之后,反复实施上述工序<2A-2>~本工序<2A-4>。由此,获取具有第二次特定波长的光中的分光图像。反复实施上述具有第二次特定波长、即不同的特定波长的光中的分光图像的获取,直到第一、第二~第n次为止。通过如上所述反复实施上述工序<2A-2>~本工序<2A-4>,能够作为表示与分光图像所包含的各像素对应的各特定波长与光强度的关系的光谱信息ssam而得到分光信息。
即,光谱信息ssam在图8中以表示可见光的波长区域即400nm以上且760nm以下的波长区域中的、被n分割的各特定波长与光强度的关系的图表进行表示,该图表即光谱信息作为M行×N列的每个像素具有的总分光信息而得到。
另一方面,在不需要获取具有下一个波长的光中的分光图像的情况下,结束分光测量部10的分光图像的获取,并转移至下一工序<3A>。
<3A>接着,分析处理部604根据存储部17中存储的测定对象X的分光图像及特定波长、即光谱信息ssam,实施分光图像的分析(S6A)。
换言之,分析处理部604获取在上述工序<2A>中存储于存储部17中的光谱信息ssam。然后,将作为分光信息的光谱信息ssam用作特征量,并实施与数据库进行比较的分析处理,从而进行拍摄到的测定对象X的确定。
具体而言,根据光谱信息ssam和光源31的分光光谱sref算出测定对象X的反射率r=ssam/sref。
并且,分析处理部604获取与预先存储在存储部17中的组i=1、……、M对应的信息中包含的数据ri,并使用ri判别测定对象X的反射率r是否属于组i中包含的任意一个,从而确定测定对象X。需要说明的是,此处的“组”是指测定对象X所属的、花、鱼类、哺乳类等的分类和小分类,在上述工序<1A>中,获取与预先输入的测定对象X的分类对应的组的数据。
更为详细而言,首先,向适于判别属于哪个组的判别空间投影作为特征量的光谱信息ssam,即,根据特定的判别基准生成投影函数f(·)。此外,作为该判别基准,例如可以举出费雪判别基准、最小二乘基准等。然后,将测定对象X的反射率r投影至判别空间,设为y。
y=f(r)
同样地,对于组i=1、……、M的数据ri,也投影至判别空间,设为y(ri)。然后,计算测定对象X的判别空间上的位置y与组i=1、……、M在判别空间中的距离mi(i=1、……、M)。
mi(i=1、……、M)=g(y,y(ri))
在此,y(ri)是属于组i的数据在判别空间上的位置的集合,即y(ri)={y(ri1)}、……、y(ri N)}(式中,N表示属于组i的数据的数量),另外,g(a,b)是计算判别空间中的a与b的距离的函数。另外,作为距离,例如可以使用马氏距离、欧氏距离等。确定mi(i=1、……、M)中最小的距离,并确定与小的距离对应的组i中包含的种类作为测定对象X的种类H。
H=argimin mi
如上所述,在本工序<3A>中,作为用于确定测定对象X的特征量,使用光谱信息ssam即分光信息,并根据该光谱信息ssam的形状进行测定对象X的确定,因此,即使如“测定对象X与背景的图案相似”时,例如作为测定对象X而确定枯萎的松叶中的“松茸”、叶子上的“青虫”、沙滩上的“鳒鱼或比目鱼”、树枝上的“锹形虫”或“独角仙”时那样测定对象与背景为同系色,也能够准确地进行确定。进而,即使在“拍摄区域中测定对象X朝向正面或后方”时、以及“测定对象X超出拍摄区域”时,由于作为特征量不使用形状信息,因而也能够准确地进行确定。
<4A>接着,显示控制部605以可视化图像的形式作成由分析处理部604确定的测定对象X的信息,然后将该可视化图像显示于具备显示部15的显示器70中(S7A)。
作为以该可视化图像的形式显示于显示器70中的测定对象X的信息,在测定对象X是鱼贝类、昆虫、哺乳类等的动物、或者花、树木等的植物的情况下,除了所确定的测定对象X的种类即测定对象X所属的组H之外,还可以举出该测定对象X的分类、分布、形态以及生态等的详细信息。
此外,显示器70中显示存储于存储部17的信息,但也可以使用智能手机1的通信功能将互联网上公开的信息显示于显示器70中。
经过以上那样的将智能手机1用作电子图鉴的工序<1A>~工序<4A>,从而实施测定对象X的确定。
此外,以上对于使用判别空间中的距离mi(i=1、……、M)实施对作为分光信息的分光光谱与存储于存储部17的数据库进行比较的分光处理的情况进行了说明,但并不限定于此,上述分析处理也可以通过神经网络等的机器学习来实施。
另外,将智能手机1用作电子图鉴的测定对象X的确定除了可以适用于上述那样的动物或植物的确定之外,还可以适用于例如宝石等的矿物、电车、车等的交通工具、云以及星座等的确定。
2)作为检测装置的利用方法
以下,使用图9等对于将上述智能手机1用作检测装置的、检测是否存在作为想要确定存在的测定对象X(对象)的动物及植物等及其存在位置的检测方法详细进行叙述。
在将该智能手机1用作检测装置的检测方法中,使用分光测量部10拍摄推测存在测定对象X即检测对象的区域,并根据拍摄到的分光图像确定拍摄到的拍摄区域中是否存在测定对象X及其存在位置、以及存在概率(%)等。然后,将该确定的内容显示在显示器70中。
<1B>首先,用户通过输入部16的操作使将智能手机1用作检测装置的应用程序启动之后,按照该应用程序的指示进行条件等的选择(S1B)。
此外,作为按照应用程序的指示输入的条件,可以举出想要在拍摄到的图像中检测的测定对象X的种类等。通过这样输入应检测的测定对象X的种类,能够优先获取可确定拍摄到的拍摄区域中是否存在测定对象X的波长区域,因此,能够迅速地检测利用智能手机1拍摄到的拍摄区域中的测定对象X,其详细情况之后进行说明。
<2B>接着,用户通过输入部16的操作而进行通过智能手机1即分光测量部10拍摄想要检测测定对象X的区域的输入指示。然后,控制部60根据该输入指示控制分光测量部10的动作,从而在特定波长中拍摄想要检测测定对象X的拍摄区域。
<2B-1>首先,光源控制部601根据用户在输入部16中进行的拍摄的输入指示使光源31点亮(S2B)。
通过使该光源31点亮,从光源31射出的照明光照射至想要检测测定对象X的拍摄区域。然后,被照射的光在拍摄区域被反射,该被反射的光作为入射光射入分光部41。
<2B-2>接着,分光控制部602根据存储部17中存储的V-λ数据,获取与射出的分光波长即特定波长对应的驱动电压的电压值(输入值)。然后,为了将所获取的电压值施加至作为分光部41的法布里-珀罗标准具滤波器的静电致动器45而输出指令信号(S3B)。
由此,从测定对象X作为入射光而射入分光部41的光中具有特定波长的光作为出射光选择性地朝向摄像元件21侧射出。
此外,优选分光控制部602在通过分光部41射出具有特定波长的光之前,实施校准分光部41的调整处理。由此,获取光源31的分光光谱sref。
<2B-3>接着,图像获取部603通过控制摄像元件21的动作,从而通过摄像元件21获取从分光部41作为出射光而射出的、具有特定波长的光作为分光图像。即,通过摄像元件21获取测定对象X反射的反射光中具有特定波长的光的光量测定数据(受光量)作为分光图像。然后,图像获取部603将所获取的分光图像与对应于该分光图像的测定波长即特定波长一同存储于存储部17中(S4B)。
在这样的分光图像的获取方法中,分光部41在想要检测测定对象X的拍摄区域与摄像元件21之间配置于摄像元件21接收到的光的光轴上。由此,分光部41仅使被上述拍摄区域反射的光所具有的特定波长的光透过,并通过摄像元件21分光测量该特定波长的光的强度作为分光图像。
<2B-4>接着,在获取具有第一次特定波长的光中的分光图像之后,根据在上述工序<1A>中用户选择的条件等,判定是否需要获取具有与第一次特定波长不同的第二次特定波长的光中的分光图像。即,判定是否需要继续获取具有与第一次特定波长不同的第二次特定波长的光中的分光图像(S5B)。
当在该判定(S5B)中,需要获取具有第二次特定波长的光中的分光图像时,取代具有第一次特定波长的光,而对具有第二次特定波长的光反复实施上述工序<2B-2>~本工序<2B-4>。即,在改变施加于静电致动器45的固定电极412与可动电极422之间的电压的大小而设定为第二次特定波长之后,反复实施上述工序<2B-2>~本工序<2B-4>。由此,获取具有第二次特定波长的光中的分光图像。反复实施上述具有第二次特定波长、即不同的特定波长的光中的分光图像的获取,直到第一、第二~第n次为止。通过如上所述反复实施上述工序<2B-2>~本工序<2B-4>,能够作为表示与想要检测测定对象X的拍摄区域中的各像素对应的各特定波长与光强度的关系的光谱信息ssam而得到分光信息。
即,光谱信息ssam在图8中以表示可见光的波长区域即400nm以上且760nm以下的波长区域中的、被n分割的各特定波长与光强度的关系的图表进行表示,该图表即光谱信息作为M行×N列的每个像素具有的拍摄区域中的总分光信息而得到。
另一方面,在不需要获取具有下一个波长的光中的分光图像的情况下,结束分光测量部10的分光图像的获取,并转移至下一工序<3B>。
<3B>接着,分析处理部604根据存储部17中存储的测定对象X的分光图像及特定波长、即光谱信息ssam,实施分光图像的分析(S6B)。
换言之,分析处理部604获取在上述工序<2B>中存储于存储部17中的光谱信息ssam。然后,通过将该光谱信息ssam用作具有分光信息的特征量进行分析处理,从而从通过分光测量部10拍摄到的拍摄区域中检测作为目标物的测定对象X。
具体而言,根据光谱信息ssam和光源31的分光光谱sref算出想要检测测定对象X的拍摄区域中的反射率r=ssam/sref。然后,通过按M行N列的每个像素分割该拍摄区域,算出与被分割为M×N个的各区域(i=1、……、M),(j=1、……、N)对应的数据ri j。
然后,分析处理部604获取存储部17中预先准备的数据库中与测定对象X对应的反射率rbase,并判别与被分割为M个的各区域对应的反射率ri j是否属于与测定对象X对应的反射率rbase,从而确定拍摄区域中存在测定对象X的位置。
更为详细而言,首先根据特定的判别基准生成朝向适于判别各组的判别空间的投影函数f(·)。此外,作为该判别基准,例如可以举出费雪判别基准、最小二乘基准等。然后,将数据库中保存的测定对象X的反射率rbase投影至判别空间,并设为y。
y=f(rbase)
同样地,对于与被分割为M行N列的各区域(i=1、……、M),(j=1、……、N)对应的数据ri j,也投影至判别空间,并设为y(ri j)。然后,计算测定对象X与各区域(i=1、……、M),(j=1、……、N)在判别空间中的距离mi j(i=1、……、M),(j=1、……N)。
mi j(i=1、……、M),(j=1、……、N)=g(y,y(ri j))
在此,g()是算出判别空间中的距离的函数。另外,作为距离,例如可以使用马氏距离、欧氏距离等。
然后,在mi j(i=1、……、M),(j=1、……、N)中的距离mi j比设定的某一阈值小的情况下,判定为具有该区域中存在测定对象X的概率,即,判定为在该区域中检测到测定对象X,进而对该阈值进行细分化,从而能够确定该区域中的存在概率(%)。
如上所述,在本工序<3B>中,作为用于检测测定对象X的特征量,使用光谱信息ssam即分光信息,并根据该光谱信息ssam的形状检测拍摄区域中的测定对象X,因此,即使如“测定对象X与背景的图案相似”时,例如作为测定对象X而检测枯萎的松叶中的“松茸”、叶子上的“青虫”、沙滩上的“鳒鱼或比目鱼”、树枝上的“锹形虫”或“独角仙”时那样测定对象与背景为同系色,也能够准确地从拍摄区域进行检测。进而,即使在“拍摄区域中测定对象X朝向正面或后方”时、以及“测定对象X超出拍摄区域”时,由于作为特征量不使用形状信息,因而也能够准确地检测测定对象X。
<4B>接着,显示控制部605作成可视化图像,该可视化图像通过利用分析处理部604对分光测量部10拍摄到的拍摄区域中判定为存在测定对象X的区域实施例如红色等的标记,从而被强调显示。然后,如图1所示,将该可视化图像显示于具备显示部15的显示器70中(S7B)。但是,在图1中,通过在显示部15上标记作为测定对象X的独角仙、锹形虫等昆虫停止树上的位置进行强调而进行确定。
此外,在该可视化图像中,除了相对于判定为存在测定对象X的区域的标记之外,例如也可以显示在标记的附近存在测定对象X的存在概率(%),进而也可以根据存在测定对象X的存在概率(%)改变标记的颜色。
经过以上那样的将智能手机1用作检测装置的工序<1B>~工序<4B>,从而能够检测在推测存在测定对象X的拍摄区域中是否存在测定对象X以及存在测定对象X的位置。
此外,将智能手机1用作检测装置的拍摄区域中的测定对象X的检测除了可以适用于上述那样的动物或植物的检测之外,还可以适用于例如宝石等的矿物、云以及星座等的检测。
3)作为鉴定装置的利用方法
以下,使用图10等对于上述将智能手机1用作鉴定装置的、鉴定作为测定对象X的手提包、钱包、钟表以及宝石等物品的真伪(真假)、经年劣化的程度的鉴定方法详细进行叙述。
在将该智能手机1用作鉴定装置的鉴定方法中,使用分光测量部10拍摄应鉴定的测定对象X,并根据拍摄到的分光图像鉴定测定对象X的真伪或者经年劣化的程度。然后,将该鉴定的内容显示在显示器70中。
<1C>首先,用户通过输入部16的操作使将智能手机1用作鉴定装置的应用程序启动之后,按照该应用程序的指示,根据需要进行条件等的选择(S1C)。
此外,作为按照应用程序的指示输入的条件,可以举出要鉴定的测定对象X即物品的种类、换言之测定对象X的产品编号、以及真伪或者经年劣化的程度的鉴定的种类。通过如此预先输入要鉴定的测定对象X的产品编号,能够迅速地进行通过智能手机1拍摄的拍摄区域中的测定对象X的真伪或者经年劣化的程度的判定,其详细情况之后进行说明。
<2C>接着,用户通过输入部16的操作,进行利用智能手机1即分光测量部10拍摄测定对象X的输入指示,控制部60根据该输入指示控制分光测量部10的动作,从而拍摄特定波长的测定对象X。
<2C-1>首先,光源控制部601根据用户在输入部16中进行的拍摄测定对象X的输入指示使光源31点亮(S2C)。
通过使该光源31点亮,从光源31射出的照明光照射至测定对象X。然后,被照射的光被测定对象X反射,该被反射的光作为入射光射入分光部41。
<2C-2>接着,分光控制部602根据存储部17中存储的V-λ数据,获取与射出的分光波长即特定波长对应的驱动电压的电压值(输入值)。然后,为了将所获取的电压值施加至作为分光部41的法布里-珀罗标准具滤波器的静电致动器45而输出指令信号(S3C)。
由此,从测定对象X作为入射光而射入分光部41的光中具有特定波长的光作为出射光选择性地朝向摄像元件21侧射出。
此外,优选分光控制部602在通过分光部41射出具有特定波长的光之前,实施校准分光部41的调整处理。由此,获取光源31的分光光谱sref。
<2C-3>接着,图像获取部603通过控制摄像元件21的动作,从而通过摄像元件21获取从分光部41作为出射光而射出的、具有特定波长的光作为分光图像。即,通过摄像元件21获取测定对象X反射的反射光中具有特定波长的光的光量测定数据(受光量)作为分光图像。然后,图像获取部603将所获取的分光图像与对应于该分光图像的测定波长即特定波长一同存储于存储部17中(S4C)。
在这样的分光图像的获取方法中,分光部41在测定对象X与摄像元件21之间配置于摄像元件21接收到的光的光轴上。由此,分光部41仅使被测定对象X反射的光所具有的特定波长的光透过,并通过摄像元件21分光测量该特定波长的光的强度作为分光图像。
<2C-4>接着,在获取具有第一次特定波长的光中的分光图像之后,根据在上述工序<1C>中用户选择的条件等,判定是否需要获取具有与第一次特定波长不同的第二次特定波长的光中的分光图像。即,判定是否需要继续获取具有与第一次特定波长不同的第二次特定波长的光中的分光图像(S5C)。
当在该判定(S5C)中,需要获取具有第二次特定波长的光中的分光图像时,取代具有第一次特定波长的光,而对具有第二次特定波长的光反复实施上述工序<2C-2>~本工序<2C-4>。即,在改变施加于静电致动器45的固定电极412与可动电极422之间的电压值而设定为第二次特定波长之后,反复实施上述工序<2C-2>~本工序<2C-4>。由此,获取具有第二次特定波长的光中的分光图像。反复实施上述具有第二次特定波长、即不同的特定波长的光中的分光图像的获取,直到第一、第二~第n次为止。通过如上所述反复实施上述工序<2C-2>~本工序<2C-4>,能够作为表示与分光图像所包含的各像素对应的各特定波长与光强度的关系的光谱信息ssam而得到分光信息。
即,光谱信息ssam在图8中以表示可见光的波长区域即400nm以上且760nm以下的波长区域中的、被n分割的各特定波长与光强度的关系的图表进行表示,该图表即光谱信息作为M行×N列的每个像素具有的总分光信息而得到。
另一方面,在不需要获取具有下一个波长的光中的分光图像的情况下,结束分光测量部10的分光图像的获取,并转移至下一工序<3C>。
<3C>接着,分析处理部604根据存储部17中存储的测定对象X的分光图像及特定波长、即光谱信息ssam,实施分光图像的分析(S6C)。
换言之,分析处理部604获取在上述工序<2C>中存储于存储部17中的光谱信息ssam。然后,通过将该光谱信息ssam用作具有分光信息的特征量进行分析处理,从而实施拍摄到的测定对象X的鉴定。
具体而言,根据光谱信息ssam和光源31的分光光谱sref算出测定对象X的反射率r=ssam/sref。
然后,分析处理部604从预先存储在存储部17中的组i=1、……、M对应的数据ri中获取相当于测定对象X的真品(i=x)的反射率ri,并使用ri判别测定对象X的反射率r是否与真品的反射率ri相等,从而鉴定测定对象X。
更为详细而言,首先根据特定的判别基准生成朝向适于判别各组的判别空间的投影函数f(·)。此外,作为该判别基准,例如可以举出费雪判别基准、最小二乘基准等。
然后,在鉴定的种类为物品的真伪的情况下,将测定对象X的反射率r投影至判别空间,并设为y。
y=f(r)
同样地,对于新品的真品(i=x)的数据ri,也投影至判别空间,并设为y(ri)。然后,计算测定对象X的判别空间上的位置y与真品(i=x)在判别空间中的距离mi(i=x)。
mi(i=x)=g(y,y(ri))
在此,g()是算出判别空间中的距离的函数。另外,作为距离,例如可以使用马氏距离、欧氏距离等。
然后,在mi(i=x)的大小比设定的阈值小的情况下,判定测定对象为真品,进而对该阈值进行细分化,从而能够确定测定对象X为真品的概率(%)。
另外,在鉴定的种类是物品的经年劣化的程度的情况下,将测定对象X的反射率r投影至判别空间,并设为y。
y=f(r)
同样地,对于针对每个劣化程度获取的真品(i=1、……、M)的数据ri,也投影至判别空间,并设为y(ri)。然后,计算测定对象X的判别空间上的位置y和与劣化程度相应的真品(i=1、……、M)在判别空间中的距离mi(i=1、……、M)。mi(i=1、……、M)=g(y,y(ri))
在此,y(ri)是属于真品的数据在判别空间上的位置的集合,即y(ri)={y(ri1)}、……、y(ri N)}(式中,N表示属于组i的数据的数量),另外,g(a,b)是计算判别空间中的a与b的距离的函数。另外,作为距离,例如可以使用马氏距离、欧氏距离等。
而且,在mi(i=1、……、M)的大小比设定的阈值小的情况下,能够鉴定为测定对象所属的组i中指定的经年劣化的程度。
<4C>接着,显示控制部605以可视化图像的形式作成由分析处理部604确定的测定对象X的信息,然后将该可视化图像显示于具备显示部15的显示器70中(S7C)。
在该可视化图像中,除了被鉴定的测定对象X的图像以外,在鉴定的区分为测定对象X的真伪的情况下,显示测定对象X是否为真品的判定结果、以及为真品的概率(%)等信息,另外,在鉴定的区分为测定对象X的经年劣化的程度的情况下,显示测定对象X的劣化程度(%)、以及基于此的核定价格等信息。此外,在鉴定的区分为测定对象X的真伪的情况下,也可以在通过该鉴定得到了测定对象X为真品的鉴定结果时,自动转移至测定对象X的经年劣化程度的鉴定。
经过以上那样的将智能手机1用作鉴定装置的工序<1C>~工序<4C>,从而实施测定对象X的鉴定。
此外,将智能手机1用作鉴定装置的测定对象X的鉴定,除了可以适用于上述那样的手提包、钱包、钟表以及宝石等物品以外,在将鉴定装置用于鉴定测定对象X的真伪的情况下,也可以适用于动物、植物、云以及星座等的确定。
进而,在本实施方式中,对于使用测定对象X的反射率作为分光信息进行测定对象X的确定的情况进行了说明,但并不限定于此,例如,即使在作为分光信息而使用测定对象X的透射率、吸光度、库伯卡-芒克转换数据等的情况下,也能够进行测定对象X的确定。
另外,在本实施方式中,对分光测量部10具备光源31、分光部41以及摄像元件21作为分光相机的情况进行了说明,但分光测量部10也可以省略这些中的光源31。该情况下,在通过分光测量部10拍摄分光图像的上述工序<2A>、<2B>、<2C>中,分光测量部10通过太阳或室内照明等外部光来实施向测定对象X照射光。
进而,在本实施方式中,本发明的信息系统利用信息终端单独实现,并以智能手机1为一例进行了说明,但作为这样的信息终端,并不限定于智能手机1,例如也可以是平板终端、笔记本电脑、数码相机、数码摄像机、车载用监视器、行车记录仪等。此外,通过如本实施方式那样利用信息终端单独实现本发明的信息系统,能够实现离线使用,因此,即使在通信状况不稳定的场所也能够利用。
另外,在本实施方式中,对输入部16由触摸面板构成的情况进行了说明,但并不限定于此,输入部16既可以是设置于智能手机1的壳体上的操作用按钮,也可以经由智能手机1所具备的麦克风通过声音进行输入,还可以是它们的组合。
在此,如上所述,为了使用分光相机即分光测量部10得到分光信息即光谱信息ssam,需要1)在作为确定测定对象X的种类的电子图鉴使用的情况下,反复执行上述工序<2A-2>~上述工序<2A-4>,2)在作为从拍摄到的拍摄区域检测测定对象X的检测装置使用的情况下,反复执行上述工序<2B-2>~上述工序<2B-4>,3)在作为鉴定作为测定对象X的物品的鉴定装置使用的情况下,反复执行上述工序<2C-2>~上述工序<2C-4>,并如图8所示,将具有不同的特定波长或特定波长区域的光中的分光图像的获取实施至第n次,进而将所获取的n个分割区域中的分光图像重叠。因此,为了得到分光信息即光谱信息ssam需要时间。
另外,在这些情况下,为了将测定对象X收纳在通过分光相机即分光测量部10获取的图像内的目的,在拍摄该图像之前的待机状态下,在智能手机1所具备的显示部15中依次显示设想为所拍摄的图像的影像。
因此,在该图像中使用通过分光测量部10获取的分光信息即光谱信息ssam的情况下,首先将光谱信息ssam转换为国际照明委员会CIE规定的三刺激值即X、Y、Z值。然后,通过在使用监视器配置文件将该X、Y、Z值转换为R、G、B值之后,将其提供给显示部15中,从而在显示部15中显示测定对象X的图像,进而,通过反复实施显示该图像的处理,从而在显示部15中显示影像。
但是,如上所述,由于为了得到光谱信息ssam需要时间,因此,在根据该光谱信息ssam生成通过转换为X、Y、Z值以及R、G、B值而在显示部15中显示的图像的显示方法中,会产生在使用该图像显示的影像中发生丢帧这一问题
相对于此,在本实施方式中,智能手机1除了作为分光相机即分光测量部10的第一相机以外,还具有由获取与分光信息不同的测定对象X的第二图像作为RGB图像的RGB相机构成的第二相机。
作为第二相机的RGB相机被构成为:具有包含摄像元件22的RGB图像获取部,并通过由摄像元件22接收测定对象X反射的反射光,从而能够通过一次拍摄获取RGB图像。
因此,由于得到RGB图像不需要时间,因此,通过应用根据该RGB图像生成通过转换为X、Y、Z值以及R、G、B值而显示于显示部15中的图像的显示方法,从而在使用分光相机获取图像前的待机时,能够可靠地抑制或防止根据该图像显示的影像中发生丢帧。
因此,以下对根据该RGB图像在上述待机时在显示部15中显示影像的显示方法进行说明。
待机时的显示方法
以下,使用图11等对于在使用智能手机1作为第一图像而获取测定对象X所具有的固有的分光信息时,用于在该待机时在显示部15中显示影像的显示方法进行说明,该显示方法包括:作为第一图像而拍摄分光信息,且作为第二图像而拍摄与分光信息不同的测定对象X的RGB图像的拍摄工序、和在显示部15中以必须显示第二图像且选择性地显示第一图像的方式显示第一图像及第二图像的显示工序。
<1D>首先,在上述作为1)电子图鉴、2)检测装置或3)鉴定装置的利用方法中,控制部60根据用户在输入部16中输入的输入指示,控制作为第一相机的分光相机即分光测量部10的动作,得到测定对象X的分光信息,从而进行第一图像的拍摄。
然后,在通过该分光相机拍摄第一图像的同时,控制部60控制作为第二相机的RGB相机即RGB图像获取部的动作,进行测定对象X的RGB图像即第二图像的拍摄(拍摄工序;S1D)。
利用该RGB相机即RGB图像获取部进行的RGB图像的获取构成为:能够利用RGB图像获取部所具有的摄像元件22通过一次拍摄而实施。因此,具有获取RGB图像不需要时间这一优点。
另外,通过分光测量部10获取的分光信息即第一图像也可以是通过重叠n个分光图像而得到的光谱信息ssam,但优选作为分光信息而获取图8所示的n个分光图像中的一个分光图像,即在被n分割的波长区域中获取的分光图像、或者以初始值的波长或n分割后的波长区域的最小波长获取的分光图像。由此,得到通过分光测量部10获取的分光信息即第一图像时使用的信息量变少。因此,能够实现获取所述第一图像时的时间的缩短。
<2D>接着,显示控制部605将上述工序<1D>中获取的分光信息即第一图像及RGB图像即第二图像以必须显示第二图像且选择性地显示第一图像的方式显示于显示部15中(显示工序;S2D)。
在此,在显示部15中显示第二图像,而省略第一图像的显示的情况下,优选显示控制部605在显示部15的几乎全屏中单独显示第二图像,该第二图像的显示可以通过将RGB图像转换为三刺激值即X、Y、Z值,然后使用监视器配置文件将该X、Y、Z值转换为R、G、B值之后,将其提供给显示部15而进行。在上述工序<1D>中,由于得到RGB图像不需要时间,因此,也能够迅速地实施本工序<2D>中的将RGB图像即第二图像显示于显示部15中。因此,能够可靠地抑制或防止根据该图像显示的影像中发生丢帧。
相对于此,在显示部15中,在显示第一图像和第二图像两者的情况下,优选显示控制部605在显示部15的几乎全屏中分别在不同的区域独立显示第一图像和第二图像。或者,优选在彼此重叠的区域中重叠显示第一图像和第二图像。
在此,在重叠显示第一图像和第二图像的情况下,第一图像通过将分光信息即光谱信息ssam转换为三刺激值即X、Y、Z值,然后使用监视器配置文件将该X、Y、Z值转换为R、G、B值之后,将其提供给显示部15,从而显示于显示部15中。因此,如上所述,该显示需要时间。但是,如上所述,能够迅速地进行第二图像的显示。因此,即使通过反复实施这些第一图像和第二图像的显示而将它们的影像显示于显示部15中,也能够通过第二图像的显示而可靠地抑制或防止基于第一图像的丢帧显著显示于显示部15中。
进而,在分别显示第一图像和第二图像的情况下,如上所述,第一图像的显示需要时间,但能够迅速地显示第二图像。因此,在通过反复实施这些第一图像和第二图像的显示而将它们的影像分别显示于显示部15时,在基于第一图像的影像中产生丢帧,但在基于第二图像的影像中不会产生丢帧。因此,用户通过目视观察基于第二图像的影像,能够无压力地确认显示部15中显示的影像。
<3D>接着,显示控制部605在上述工序<2D>中以必须显示第二图像且选择性地显示第一图像的方式显示于显示部15之后,判定用户是否发出利用第一相机即分光相机获取图像的指示,换言之判定分光相机的快门是否被按下(S3D)。
当在该判定(S3D)中,用户未按下分光相机的快门时,反复实施上述工序<1D>和上述工序<2D>。由此,能够以必须显示第二图像且选择性地显示第一图像的方式继续在显示部15中实施影像的显示。
相对于此,当用户按下了分光相机的快门时,中止在显示部15中显示影像,转移至上述作为1)电子图鉴、2)检测装置或3)鉴定装置的利用方法中的、利用分光相机即分光测量部10进行的拍摄,结束待机状态下的显示部15中的影像的显示。
此外,在本实施方式中,即使在上述工序<2D>中,在显示部15中显示第二图像,而省略第一图像的显示的情况下,也在上述工序<1D>中,控制部60控制分光测量部10的动作而进行第一图像的拍摄,但并不限定于此,也可以省略上述工序<1D>中的通过分光测量部10的动作进行的第一图像的拍摄。另外,在这样省略了上述工序<1D>中的第一图像的拍摄的情况下,只要在本工序<3D>中,在用户按下分光相机的快门的时刻,使分光测量部10进行工作即可。
经过以上那样的工序<1D>~<3D>,从而实施将分光相机设为待机状态时的显示部15中的影像的显示。
此外,在本实施方式中,对于作为第二相机而准备了RGB相机,由此作为第二图像而获取RGB图像的情况,但并不限定于该情况,也可以是作为第二相机而准备单色相机或XYZ相机,由此作为第二图像而获取单色图像或XYZ图像。
第二实施方式
接着,对本发明的信息系统的第二实施方式进行说明。
图12是表示应用了本发明的信息系统的第二实施方式的智能手机和分光测量部的概略构成的框图。
以下,以与上述第一实施方式的信息系统的不同点为中心对第二实施方式的信息系统进行说明,省略相同事项的说明。
图12所示的第二实施方式的信息系统除了作为信息终端的智能手机1之外,还独立具备分光测量部10,该分光测量部10发挥作为分光相机的功能,除此以外都与上述第一实施方式的信息系统相同。即,在第二实施方式的信息系统中,本发明的信息系统并非单独利用作为信息终端的智能手机1实现,具有作为信息终端的智能手机1和作为分光相机的分光测量部10。
第二实施方式的信息系统构成为:如图12所示,省略了智能手机1内部的分光测量部10的配置,取而代之,分光测量部10作为分光相机独立设置于智能手机1的外部,并能够通过智能手机1控制其动作。此外,通过将智能手机1与分光测量部10电连接而利用智能手机1控制分光测量部10可以是有线及无线中的任意一种。
在该构成的第二实施方式的信息系统中,能够独立地实施利用分光测量部10的包含测量对象X的图像的获取、和通过智能手机1设定用于确定测量对象X的条件等的操作。因此,能够实现信息系统的操作性的提高。
另外,通过在智能手机1中安装应用程序,并且连接分光测量部10,从而能够利用本发明的信息系统,由于能够使用不具备分光测量部10的智能手机1,因而通用性优异。
进而,通过将本发明的信息系统设为利用智能手机1和分光测量部10实现的构成,除了智能手机1与分光测量部10的通信以外,能够离线使用,因而即使在通信状况不稳定的场所也能够利用。
通过上述第二实施方式的信息系统,也能够得到与上述第一实施方式同样的效果。
另外,在本实施方式中,对本发明的信息系统具有作为信息终端的智能手机1和作为分光相机的分光测量部10的情况进行了说明,但本发明的信息系统也可以取代智能手机1而由平板终端等构成信息终端,还可以由服务器等构成智能手机1即信息终端。
第三实施方式
接着,对本发明的信息系统的第三实施方式进行说明。
图13是表示应用了本发明的信息系统的第三实施方式的智能手机和外部显示部的概略构成的框图。
以下,以与上述第一实施方式的信息系统的不同点为中心对第三实施方式的信息系统进行说明,省略相同事项的说明。
图13所示的第三实施方式的信息系统除了作为信息终端的智能手机1之外,还独立具备外部显示部18,该外部显示部18发挥作为智能手机1的外部的显示部的功能,除此以外都与上述第一实施方式的信息系统相同。即,在第三实施方式的信息系统中,本发明的信息系统并非单独利用作为信息终端的智能手机1实现,具有作为信息终端的智能手机1和外部显示部18。
如图13所示,第三实施方式的信息系统构成为:除了智能手机1所具备的显示部15以外,还具备独立设置于智能手机1外部的外部显示部18,并能够通过智能手机1控制外部显示部18的动作。此外,通过将智能手机1与外部显示部18电连接而利用智能手机1控制外部显示部18可以是有线及无线中的任意一种。
在该构成的第三实施方式的信息系统中,能够独立地实施操作者对外部显示部18中的图像的确认、和通过智能手机1设定用于确定测量对象X的条件等的操作,因而能够实现信息系统的操作性的提高。
另外,通过将本发明的信息系统设为利用智能手机1和外部显示部18实现的构成,除了智能手机1与外部显示部18的通信以外,能够离线使用,因而即使在通信状况不稳定的场所也能够利用。
另外,作为外部显示部18,可以举出移动笔记本PC、平板终端以及平视显示器(HUD)、头戴式显示器(HMD)等,其中,优选为头戴式显示器。根据头戴式显示器,在增强现实(AR)中,例如能够显示测定对象X的确定结果、推测存在测定对象X的位置等,进而,能够以免持的方式利用,因此,能够实现信息系统的操作性的进一步提高。
通过上述第三实施方式的信息系统,也能够得到与上述第一实施方式同样的效果。
第四实施方式
接着,对本发明的信息系统的第四实施方式进行说明。
图14是表示应用了本发明的信息系统的第四实施方式的智能手机、分光测量部以及外部显示部的概略构成的框图。
以下,以与上述第一实施方式的信息系统的不同点为中心对第四实施方式的信息系统进行说明,省略相同事项的说明。
图14所示的第四实施方式的信息系统除了作为信息终端的智能手机1之外,还独立具备分光测量部10和外部显示部18,该分光测量部10发挥作为分光相机的功能,外部显示部18发挥作为智能手机1的外部的显示部的功能,除此以外都与上述第一实施方式的信息系统相同。即,在第三实施方式的信息系统中,本发明的信息系统并非单独利用作为信息终端的智能手机1实现,具有作为信息终端的智能手机1、分光测量部10以及外部显示部18。
第四实施方式的信息系统构成为:如图14所示,省略了智能手机1内部的分光测量部10的配置,取而代之,分光测量部10作为分光相机独立设置于智能手机1的外部,并能够通过智能手机1控制其动作。进而构成为:除了智能手机1所具备的显示部15以外,还具备独立设置于智能手机1外部的外部显示部18,并能够通过智能手机1控制外部显示部18的动作。
此外,通过将智能手机1与分光测量部10电连接而利用智能手机1控制分光测量部10、以及通过将智能手机1与外部显示部18电连接而利用智能手机1控制外部显示部18分别可以是有线及无线中的任意一种。
在该构成的第四实施方式的信息系统中,能够独立地实施利用分光测量部10的包含测量对象X的图像的获取、操作者对外部显示部18中的图像的确认、以及通过智能手机1设定用于确定测量对象X的条件等的操作,因而能够实现信息系统的操作性的提高。
另外,通过在智能手机1中安装应用程序,并且将分光测量部10和外部显示部18连接,从而能够利用本发明的信息系统,由于能够使用不具备分光测量部10的智能手机1,因而通用性优异。
进而,通过将本发明的信息系统设为利用智能手机1、分光测量部10以及外部显示部18实现的构成,除了智能手机1、分光测量部10以及外部显示部18的通信以外,能够离线使用,因而即使在通信状况不稳定的场所也能够利用。
另外,作为外部显示部18,可以举出移动笔记本PC、平板终端以及平视显示器(HUD)、头戴式显示器(HMD)等,其中,优选为头戴式显示器。根据头戴式显示器,在增强现实(AR)中,例如能够显示测定对象X的确定结果、推测存在测定对象X的位置等,进而,能够以免持的方式利用,因此,能够实现信息系统的操作性的进一步提高。
通过上述第四实施方式的信息系统,也能够得到与上述第一实施方式同样的效果。
另外,在本实施方式中,对本发明的信息系统具有作为信息终端的智能手机1、作为分光相机的分光测量部10、以及头戴式显示器那样的外部显示部18的情况进行了说明,但本发明的信息系统也可以取代智能手机1而具备平板终端作为信息终端,还可以取代智能手机1即信息终端而具备服务器等。
另外,在本实施方式中,示出了本发明的信息系统如图14所示独立地具备分光测量部10和外部显示部18的情况,但并不限定于此,分光测量部10和外部显示部18也可以呈一体地形成。
第五实施方式
接着,对本发明的信息系统的第五实施方式进行说明。
图15是表示应用了本发明的信息系统的第五实施方式的智能手机和服务器的概略构成的框图。
以下,以与上述第一实施方式的信息系统的不同点为中心对第五实施方式的信息系统进行说明,省略相同事项的说明。
图15所示的第五实施方式的信息系统除了作为信息终端的智能手机1之外,还独立地具备服务器100,除此以外都与上述第一实施方式的信息系统相同。即,在第五实施方式的信息系统中,本发明的信息系统并非单独利用作为信息终端的智能手机1实现,具有作为信息终端的智能手机1和服务器100。
在第五实施方式的信息系统中,如图15所示,智能手机1还具有收发部19,另外,控制部60具有控制该收发部19的动作的收发控制部606。
另外,服务器100具有存储部117、收发部119以及控制部160,控制部160具有分别控制存储部117和收发部119的动作的数据获取部161和收发控制部162。
在这样的本实施方式的信息系统中,省略了在智能手机1所具备的存储部17中存储用于确定测定对象X的数据库,取而代之,在服务器100所具备的存储部117中存储有该数据库。
并且,智能手机1所具备的收发部19与服务器100所具备的收发部119实施数据库的传递。即,收发部19向收发部119发送从存储部117获取数据库的请求,并经由收发部119从服务器100接收数据库。另外,收发部119接收收发部19发送的从存储部117获取数据库的请求,并经由收发部19向智能手机1发送数据库。此外,收发部19与收发部119之间的数据库的传递可以经由有线及无线的任意一种来实施,另外,在无线的情况下,也可以经由因特网来实施。
另外,智能手机1在控制部60中具备的收发控制部606控制收发部19的动作,并经由收发部119从服务器100接收数据库,分析处理部604从收发控制部606接收该数据库,并根据该数据库实施测定对象X的确定。
进而,服务器100在控制部160中具备的数据获取部161在根据获取请求获取了存储于存储部117的数据库之后,传递给收发控制部162。然后,收发控制部162控制收发部119的动作,经由收发部19将该数据库从服务器100传递给智能手机1。
在该构成的第五实施方式的信息系统中,信息系统并非单独利用作为信息终端的智能手机1实现,还具备服务器100,在该服务器100所具有的存储部117中保存有数据库,该数据库在确定测定对象X时经由收发部19、119被发送至智能手机1。由此,能够得到不需要在智能手机1所具备的存储部17中存储大量的数据这一优点。另外,在信息系统具备多个智能手机1的情况下,能够实现数据库的共享化。进而,仅更新服务器100的存储部117所具备的数据库,便可使各智能手机1中利用的数据库为最新的数据库。
进而,在本发明的信息系统中,在离线时实施利用智能手机1确定测定对象X的情况下,只要在离线时,将所需的数据库从服务器100所具备的存储部117存储至智能手机1所具备的存储部17中即可。由此,即使在离线时,也能够实施利用智能手机1确定测定对象X。
根据这样的第五实施方式的信息系统,也能够得到与上述第一实施方式相同的效果。
另外,在本实施方式中,对本发明的信息系统具有作为信息终端的智能手机1和服务器100的情况进行了说明,但本发明的信息系统也可以取代智能手机1而由平板终端等构成信息终端,也可以由数码相机、数码摄像机、平视显示器(HUD)、头戴式显示器(HMD)等构成智能手机1即信息终端。
进而,在本实施方式中,智能手机1所具备的控制部60与上述第一实施方式同样具备光源控制部601、分光控制部602、图像获取部603、分析处理部604以及显示控制部605,但也可以是服务器100所具有的控制部160具备它们中的至少一个。
第六实施方式
接着,对本发明的信息系统的第六实施方式进行说明。
图16是表示应用了本发明的信息系统的第六实施方式的智能手机和服务器的概略构成的框图。
以下,以与上述第一实施方式的信息系统的不同点为中心对第六实施方式的信息系统进行说明,省略相同事项的说明。
图16所示的第六实施方式的信息系统除了作为信息终端的智能手机1之外,还独立地具备服务器100,除此以外都与上述第一实施方式的信息系统相同。即,在第六实施方式的信息系统中,本发明的信息系统并非单独利用作为信息终端的智能手机1实现,具有作为信息终端的智能手机1和服务器100。
在第六实施方式的信息系统中,如图16所示,智能手机1不具有存储部及控制部60中的分析处理部,相对于此,智能手机1还具有收发部19,另外,控制部60中具有控制该收发部19的动作的收发控制部606。
另外,服务器100具有存储部117、收发部119以及控制部160,控制部160具有分别控制存储部117及收发部119的动作的数据获取部161及收发控制部162、以及进行测定对象X的确定的分析处理部163。
在这样的本实施方式的信息系统中,省略了智能手机1中的存储部的配置,取而代之,服务器100具备存储部117。该存储部117与上述第一实施方式的智能手机1所具备的存储部17同样地存储有各种数据。
另外,省略了智能手机1所具备的控制部60中的分析处理部的配置,取而代之,服务器100所具备的控制部160具备分析处理部163。该分析处理部163与上述第一实施方式的智能手机1所具备的分析处理部604同样,通过比较测定对象X的分光光谱即分光信息和数据库而实施测定对象X的确定。
而且,智能手机1所具备的收发部19与服务器100所具备的收发部119实施各种数据的传递。具体而言,例如,收发部19将利用智能手机1获取的测定对象X所具有的固有的分光信息即分光光谱发送至收发部119,并经由收发部119从服务器100接收测定对象X的确定结果。另外,收发部119经由收发部19从智能手机1接收利用智能手机1获取的测定对象X所具有的固有的分光信息即分光光谱,并经由收发部19向智能手机1发送测定对象X的确定结果。此外,收发部19与收发部119之间的各种数据的传递可以经由有线及无线的任意一种来实施,另外,在无线的情况下,也可以经由因特网来实施。
另外,智能手机1在控制部60中具备的收发控制部606控制收发部19的动作,将图像获取部603获取的测定对象X的分光光谱即分光信息经由收发部119发送至服务器100所具备的分析处理部163。然后,分析处理部163通过控制数据获取部161的动作而获取存储于存储部117中的数据库,然后通过比较分光信息与数据库而进行测定对象X的确定。
进而,服务器100在控制部160中具备的收发控制部162控制收发部119的动作,将分析处理部163的测定对象X的确定结果经由收发部19从服务器100传递给智能手机1。
在该构成的第六实施方式的信息系统中,信息系统并非单独利用作为信息终端的智能手机1实现,还具备服务器100,并在该服务器100所具有的存储部117中保存有数据库。而且,在服务器100所具有的分析处理部163中,根据该数据库进行测定对象X的确定,然后,经由收发部19、119向智能手机1发送测定对象X的确定结果。由此,不需要在智能手机1所具备的存储部中存储大量的数据,进而,能够得到不需要对智能手机1施加大的计算负荷这一优点。另外,通过使分析处理部163的处理能力优异,并且使存储于存储部117中的数据库的信息量更为详细,从而能够更高精度地确定测定对象X。
另外,在信息系统具备多个智能手机1的情况下,能够实现数据库的共享化。进而,仅更新服务器100的存储部117所具备的数据库,便可使各智能手机1中利用的数据库为最新的数据库。
根据这样的第六实施方式的信息系统,也能够得到与上述第一实施方式相同的效果。
另外,在本实施方式中,对本发明的信息系统具有作为信息终端的智能手机1和服务器100的情况进行了说明,但本发明的信息系统也可以取代智能手机1而由平板终端等构成信息终端,也可以由数码相机、数码摄像机、平视显示器(HUD)、头戴式显示器(HMD)等构成智能手机1即信息终端。
进而,在本实施方式中,智能手机1所具备的控制部60与上述第一实施方式同样具备光源控制部601、分光控制部602、图像获取部603以及显示控制部605,但也可以是服务器100所具有的控制部160具备它们中的至少一个。
以上,根据图示的实施方式对本发明的显示方法、显示装置以及信息系统进行了说明,但本发明并不限定于此。
例如,在本发明的信息系统中,各构成能够置换为可发挥同样的功能的任意构成,或者能够附加任意的构成。另外,在本发明的信息系统中,也可以组合上述第一至第六实施方式所示的任意两个以上的构成。另外,在本发明的显示方法中,也可以追加任意的工序。
Claims (10)
1.一种显示方法,其特征在于,包括:
拍摄工序,拍摄应测定的对象所具有的固有的分光信息作为第一图像,并拍摄与所述分光信息不同的所述对象的图像作为第二图像;以及
显示工序,以必须显示所述第二图像且选择性地显示所述第一图像的方式显示所述第一图像及所述第二图像。
2.根据权利要求1所述的显示方法,其特征在于,
在所述拍摄工序中,作为所述第二图像而获取RGB图像。
3.根据权利要求1或2所述的显示方法,其特征在于,
在所述拍摄工序中,作为所述第一图像而获取规定波长的所述分光信息。
4.根据权利要求1或2所述的显示方法,其特征在于,
在所述拍摄工序中,作为所述第一图像而获取规定的波长区域中的所述分光信息。
5.根据权利要求1或2所述的显示方法,其特征在于,
在所述显示工序中,单独显示所述第二图像。
6.根据权利要求1或2所述的显示方法,其特征在于,
在所述显示工序中,将所述第一图像和所述第二图像在各不相同的区域中分别进行显示。
7.根据权利要求1或2所述的显示方法,其特征在于,
在所述显示工序中,在彼此重叠的区域中重叠显示所述第一图像和所述第二图像。
8.一种显示装置,其特征在于,具备:
第一相机,作为第一图像而拍摄应测定的对象所具有的固有的分光信息;
第二相机,作为第二图像而拍摄与所述分光信息不同的所述对象的图像;以及
显示部,能够显示所述第一图像和所述第二图像,
所述显示部被构成为:必须显示所述第二图像,可选择地显示所述第一图像。
9.根据权利要求8所述的显示装置,其特征在于,
所述显示装置具备控制所述第一相机、所述第二相机以及所述显示部的动作的控制部。
10.一种信息系统,其特征在于,具备权利要求8或9所述的显示装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-101034 | 2019-05-30 | ||
JP2019101034A JP2020195104A (ja) | 2019-05-30 | 2019-05-30 | 表示方法、表示装置および情報システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112019682A true CN112019682A (zh) | 2020-12-01 |
Family
ID=73507099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010461536.9A Pending CN112019682A (zh) | 2019-05-30 | 2020-05-27 | 显示方法、显示装置以及信息系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200382688A1 (zh) |
JP (1) | JP2020195104A (zh) |
CN (1) | CN112019682A (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101175433A (zh) * | 2005-05-12 | 2008-05-07 | 奥林巴斯医疗株式会社 | 生物体观测装置 |
CN101556758A (zh) * | 2009-04-23 | 2009-10-14 | 杭州镭星科技有限公司 | 一种实现用多台投影机来显示高动态亮度范围图像的方法 |
US20090326383A1 (en) * | 2008-06-18 | 2009-12-31 | Michael Barnes | Systems and methods for hyperspectral imaging |
CN102132555A (zh) * | 2008-08-27 | 2011-07-20 | 三美电机株式会社 | 画质调整装置、画质调整方法以及画质调整程序 |
CN103702096A (zh) * | 2013-12-24 | 2014-04-02 | 北京淳中视讯科技有限公司 | 图像融合处理的优化方法、装置及系统 |
CN104007528A (zh) * | 2013-02-22 | 2014-08-27 | 精工爱普生株式会社 | 分光照相机 |
CN104010116A (zh) * | 2013-02-22 | 2014-08-27 | 精工爱普生株式会社 | 分光照相机以及分光图像处理方法 |
CN104034418A (zh) * | 2013-03-07 | 2014-09-10 | 精工爱普生株式会社 | 分光测定装置 |
CN104748846A (zh) * | 2013-12-27 | 2015-07-01 | 精工爱普生株式会社 | 分光测量系统、分光模块以及位置偏离检测方法 |
CN204695108U (zh) * | 2015-04-22 | 2015-10-07 | 西北农林科技大学 | 一种小型农用遥感系统 |
CN106603891A (zh) * | 2015-10-16 | 2017-04-26 | 深圳超多维光电子有限公司 | 成像装置 |
CN108693647A (zh) * | 2017-03-29 | 2018-10-23 | 精工爱普生株式会社 | 头戴式显示器 |
CN109240297A (zh) * | 2018-09-26 | 2019-01-18 | 深算科技(上海)有限公司 | 一种基于视觉跟随的自主导航机器人 |
CN109447902A (zh) * | 2018-10-15 | 2019-03-08 | 广州地理研究所 | 一种图像拼接方法、装置、储存介质及设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5216429B2 (ja) * | 2008-06-13 | 2013-06-19 | 富士フイルム株式会社 | 光源装置および内視鏡装置 |
JP6862989B2 (ja) * | 2017-03-27 | 2021-04-21 | セイコーエプソン株式会社 | レンズユニット及び撮像システム |
-
2019
- 2019-05-30 JP JP2019101034A patent/JP2020195104A/ja not_active Withdrawn
-
2020
- 2020-05-27 CN CN202010461536.9A patent/CN112019682A/zh active Pending
- 2020-05-29 US US16/886,900 patent/US20200382688A1/en not_active Abandoned
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101175433A (zh) * | 2005-05-12 | 2008-05-07 | 奥林巴斯医疗株式会社 | 生物体观测装置 |
US20090326383A1 (en) * | 2008-06-18 | 2009-12-31 | Michael Barnes | Systems and methods for hyperspectral imaging |
CN102132555A (zh) * | 2008-08-27 | 2011-07-20 | 三美电机株式会社 | 画质调整装置、画质调整方法以及画质调整程序 |
CN101556758A (zh) * | 2009-04-23 | 2009-10-14 | 杭州镭星科技有限公司 | 一种实现用多台投影机来显示高动态亮度范围图像的方法 |
CN104010116A (zh) * | 2013-02-22 | 2014-08-27 | 精工爱普生株式会社 | 分光照相机以及分光图像处理方法 |
CN104007528A (zh) * | 2013-02-22 | 2014-08-27 | 精工爱普生株式会社 | 分光照相机 |
CN104034418A (zh) * | 2013-03-07 | 2014-09-10 | 精工爱普生株式会社 | 分光测定装置 |
CN103702096A (zh) * | 2013-12-24 | 2014-04-02 | 北京淳中视讯科技有限公司 | 图像融合处理的优化方法、装置及系统 |
CN104748846A (zh) * | 2013-12-27 | 2015-07-01 | 精工爱普生株式会社 | 分光测量系统、分光模块以及位置偏离检测方法 |
CN204695108U (zh) * | 2015-04-22 | 2015-10-07 | 西北农林科技大学 | 一种小型农用遥感系统 |
CN106603891A (zh) * | 2015-10-16 | 2017-04-26 | 深圳超多维光电子有限公司 | 成像装置 |
CN108693647A (zh) * | 2017-03-29 | 2018-10-23 | 精工爱普生株式会社 | 头戴式显示器 |
CN109240297A (zh) * | 2018-09-26 | 2019-01-18 | 深算科技(上海)有限公司 | 一种基于视觉跟随的自主导航机器人 |
CN109447902A (zh) * | 2018-10-15 | 2019-03-08 | 广州地理研究所 | 一种图像拼接方法、装置、储存介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
US20200382688A1 (en) | 2020-12-03 |
JP2020195104A (ja) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104006880B (zh) | 分光测定装置、通信系统以及色彩管理系统 | |
EP1836522B1 (en) | Synthetic colour night vision system | |
US10401220B2 (en) | Spectrometer module | |
US20090002545A1 (en) | Method and system for color management in digital imaging | |
US20230213386A1 (en) | Imaging device with spectrometer and methods for use therewith | |
WO2014031611A1 (en) | System and apparatus for color correction in transmission-microscope slides | |
CN111487204B (zh) | 信息系统及确定方法 | |
CN112019682A (zh) | 显示方法、显示装置以及信息系统 | |
TW202122764A (zh) | 用於在自然及/或人工光下之物件辨識之系統及方法 | |
CN111257248B (zh) | 分光相机及电子设备 | |
JP7287138B2 (ja) | 画像処理方法、画像処理装置および情報システム | |
CN112858193B (zh) | 分光测定方法及分光测定装置 | |
JP7238390B2 (ja) | 情報システムおよび特定方法 | |
EP3184977A1 (en) | User device | |
JP2020194051A (ja) | 表示装置および再生方法 | |
JP2021036644A (ja) | 画像処理方法、画像処理装置および情報システム | |
WO2020216938A1 (en) | Method and system for generating optical spectra | |
US20180350866A1 (en) | Image sensor configured for dual mode operation | |
TWI739185B (zh) | 光譜照相裝置與方法 | |
US11079274B2 (en) | Spectroscopic system | |
CN112311982A (zh) | 图像处理方法、图像处理装置以及信息系统 | |
CN112858194A (zh) | 分光测定方法及分光测定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201201 |