CN111670000A - 成像装置和成像方法以及程序 - Google Patents

成像装置和成像方法以及程序 Download PDF

Info

Publication number
CN111670000A
CN111670000A CN201980010781.3A CN201980010781A CN111670000A CN 111670000 A CN111670000 A CN 111670000A CN 201980010781 A CN201980010781 A CN 201980010781A CN 111670000 A CN111670000 A CN 111670000A
Authority
CN
China
Prior art keywords
target
image
light
wavelength
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980010781.3A
Other languages
English (en)
Other versions
CN111670000B (zh
Inventor
上森丈士
伊藤厚史
五味信一郎
森内优介
中村宪一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111670000A publication Critical patent/CN111670000A/zh
Application granted granted Critical
Publication of CN111670000B publication Critical patent/CN111670000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)

Abstract

本发明涉及成像装置和成像方法以及程序，其使得能够在用最佳波长的光照射的同时进行拍照，而无需用户意识到被摄体类型。根据对象被用白光照射的多光谱图像，将最适合用于分析对象的光的波长指定为有效波长，对象被用有效波长的光照射，对象在该状态下被拍摄为多光谱图像，并且基于有效波长中的光谱图像来分析对象。本发明可以应用于内窥镜装置。

Description

成像装置和成像方法以及程序
技术领域
本公开内容涉及成像装置和成像方法以及程序，并且具体地涉及可以施加具有最佳波长的光以捕获图像而无需用户注意成像对象的类型的成像装置和成像方法以及程序。
背景技术
公开了一种方法，在该方法中从内窥镜图像中提取边缘分量，检测边缘分量的复杂度，然后基于该复杂度来确定是通过近距离(close-up)成像还是远景成像来对成像对象进行成像，并且然后，切换用于从RGB(红绿蓝)图像生成光谱图像的矩阵参数，以在近距离成像与远景成像之间生成具有彼此不同波长的光谱图像(参考专利文献1)。
引用列表
专利文献
专利文献1
日本专利特开第2014-154982号
发明内容
技术问题
然而，在专利文献1的方法中，预先准备要生成的光谱图像的波长的组合，并且未实现根据成像目标的各种情况的灵活应对。
此外，难以根据RGB图像以高准确度生成具有自由选择波长的光谱图像，并且适用场景有限。
鉴于上述情况做出了本公开内容，并且本公开内容使得可以施加具有最佳波长的光以捕获图像，而无需用户注意成像对象的类型。
对问题的解决方案
根据本公开内容的一方面的成像装置是一种成像装置，该成像装置包括：白光源单元，其被配置成在目标上施加白光；成像单元，其被配置成捕获目标的多光谱图像；目标识别单元，其被配置成根据被施加白光的目标的多光谱图像，将最适合用于分析对象的光的波长指定为有效波长；以及可变波长光源单元，其被被配置成将具有有效波长的光施加到目标上。
根据本公开内容的一方面的成像方法是一种成像方法，该成像方法包括：白光源处理，用于在目标上施加白光；成像处理，用于捕获目标的多光谱图像；目标识别处理，用于根据被施加白光的目标的多光谱图像，将最适合用于分析所述目标的光的波长指定为有效波长；以及可变波长光施加处理，用于将具有有效波长的光施加到目标上。
根据本公开内容的一方面的程序是一种用于使计算机起以下作用的程序：白光源单元，其在目标上施加白光；成像单元，其捕获目标的多光谱图像；目标识别单元，其根据被施加白光的目标的多光谱图像，将最适合用于分析目标的光的波长指定为有效波长；以及可变波长光源单元，其将具有有效波长的光施加到目标上。
在本公开内容的一方面，白光被施加在目标上并且捕获目标的多光谱图像。然后，根据被施加白光的目标的多光谱图像，将最适和用于分析目标的光的波长指定为有效波长，并且将具有有效波长的光施加到目标上。
本发明的有益效果
在本公开内容的一方面的情况下，可以施加具有最佳波长的光以捕获图像，而无需用户注意被摄体的类型。
附图说明
[图1]图1是示出根据本公开内容的成像装置的第一实施方式的配置的示例的视图。
[图2]图2是示出多光谱摄像装置的灵敏度特性的视图。
[图3]图3是示出由可变波长光源单元发射的光的窄频带光谱强度特性的视图。
[图4]图4是示出伪彩色图像的生成方法的视图。
[图5]图5是示出伪彩色图像的另一种生成方法的视图。
[图6]图6是示出由图1的成像装置进行的图像处理的流程图。
[图7]图7是示出根据本公开内容的成像装置的第二实施方式的配置的示例的视图。
[图8]图8是示出多光谱图像中的频带数量小的情况的示例的视图。
[图9]图9是示出多光谱图像的频带数量小的情况的示例的视图。
[图10]图10是示出由图7的成像装置进行的图像处理的流程图。
[图11]图11是示出通用计算机的配置的示例的视图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的合适的实施方式。要注意的是，在本说明书和附图中，具有相同的功能配置的部件由相同的附图标记表示，并且省略对其的重复描述。
此外，按以下顺序给出描述。
1.第一实施方式
2.第二实施方式
3.通过软件执行的示例
<<1.第一实施方式>>
图1示出了根据本公开内容的成像装置的第一实施方式的配置的示例。
图1的成像装置11主要通过使用内窥镜设备捕获人体的内脏组织或受影响的病变作为多光谱图像，基于捕获的多光谱图像来分析内脏组织或受影响的病变，并且然后显示分析的结果。
要注意的是，在本实施方式的描述中，假设图1的成像装置11捕获人体的内脏组织或受影响的病变作为多光谱图像并且基于捕获的多光谱图像来分析内脏组织或受影响的病变来来给出描述。然而，类似的配置可以应用于任何其他用途。例如，图1的成像装置11可以捕获蔬菜或水果作为多光谱图像，并且从捕获的多光谱图像中分析糖含量、盐或成熟度。
更具体地，成像装置11首先通过多光谱成像在白光下捕获图像，并且通过使用例如使用诸如CNN(卷积神经网络)的神经网络配置的识别设备从捕获的图像中识别作为成像对象的器官的部位、病变等。
此外，成像装置11基于在识别时获得的参数，指定要施加到成像对象上的光的最适合用于识别的波长。
然后，成像装置11使可变波长光源单元发射所指定的最佳波长的光，并且将该光施加到成像对象上，以获取波长分解度比白光下的波长分解度高的最佳波长的光谱图像(spectral image)。
因此，成像装置11变得可以详细地识别作为目标的成像对象并且以高准确度分析所识别的成像对象的特性。此外，成像装置11变得可以通过以下操作来以易于理解的方式显示内脏组织或病变的特性：根据白光下捕获的光谱图像和在具有最适合用于识别或分析成像对象的波长的窄频带光下捕获的光谱图像生成伪彩色图像，并且生成强调作为成像对象的内脏组织或病变的特性或分析结果的图像。
在下文中，描述图1的成像装置11的详细配置。
成像装置11包括多光谱摄像装置31、输入图像控制单元32、开关(S/W)33、目标识别单元34、显示图像生成单元35、显示单元36、特性分析单元37、光源控制单元38、另一个开关(S/W)39、白光源单元40和可变波长光源单元41。
多光谱摄像装置31捕获包括多个宽频带光谱图像的多光谱图像(多个频带(波长带)的光谱图像)并且将其输出至输入图像控制单元32。
在将来自白光源单元40的白光施加在作为目标的成像对象上并且提供由多光谱摄像装置31捕获的多光谱图像的情况下，输入图像控制单元32控制开关33以建立到目标识别单元34的连接，并且将多光谱图像输出至目标识别单元34。
此外，在基于下文中描述的有效波长信息将从光源控制单元38提供的有效波长的光从可变波长光源单元41施加到作为目标的成像对象上的同时提供由多光谱摄像装置31捕获的多光谱图像的情况下，输入图像控制单元32控制开关33以将与有效波长信息对应的光谱图像从多光谱图像内输出至特性分析单元37。
在输入图像控制单元32的控制下将开关33连接至目标识别单元34的情况下，输出从输入图像控制单元32输出的多光谱图像，但在将开关33连接至特性分析单元37的情况下，输出与有效波长信息对应的波长带的光谱图像。
目标识别单元34使用识别设备51基于多光谱图像来识别变为成像对象的目标，在该识别设备51中，预先学习目标与在通过白光源单元40将白光施加到成像对象上的状态下捕获的多光谱图像之间的关系。
此外，目标识别单元34基于在识别时获得的识别设备51内部的参数，将关于对识别有效并且要施加在成像对象上的光的波长的信息作为有效波长信息输出至显示图像生成单元35和光源控制单元38。
特性分析单元37在由可变波长光源单元41施加对于对成像对象进行的成像有效的波长的光的状态下，基于来自由多光谱摄像装置31捕获的多光谱图像中的有效波长的光谱图像，识别作为目标的成像对象。此外，特性分析单元37基于识别的结果来分析目标的特性，并且将分析的结果输出至显示图像生成单元35。
要注意的是，特性分析单元37可以例如包括识别设备(对应于目标识别单元34中的识别设备51)等并且从而可以对部位和病变的进展程度进行分类，该识别设备包括诸如CNN的神经网络。可以通过预先学习各个部位和病变的不同进展程度的光谱图像(光谱图像)来实现刚刚描述的这样的识别设备。此外，作为另一示例，可以分析窄频带光的光谱图像(光谱图像)中的血管或组织结构的形状等，使得可以确定血管或组织结构是否是病变。
此处，在作为本实施方式的内窥镜设备的情况下，目标是人体的各个部位的活组织。因此，在本公开内容中最终需要的图像是在其上可以观察粘膜表面的毛细血管、粘膜的轻微增厚、深血管等的图像，以确定组织是正常组织还是病变组织。
例如，在胃肠道肿瘤的情况下，重要的是观察毛细血管的集合或毛细血管的图案，并且为了便于观察它们，例如，需要通过施加波长为415nm或540nm的窄波长带的光捕获的窄频带光谱图像(窄频带成像(NBI))。
通常，对诊断有用的窄频带光谱图像的波长带根据变为分析表目标的部位和病变而不同。
因此，例如，根据诊断目标的部位或病变也使用中其中施加窄波长带的蓝光并且根据正常组织与病变组织之间的颜色差异着重显示正常组织和病变组织处的自发荧光强度的荧光观察、其中使用红外光并且着重显示粘膜的深处位置处的血管或血流信息的红外观察、以及类似的观察。
在目标识别单元34识别出变为上述目标的成像对象的部位和病变组织之后，基于多光谱图像，目标识别单元34生成有效波长信息并将有效波长信息输出至光源控制单元38，该有效波长信息是关于最适合用于对观察所识别的目标所需的光谱图像进行成像的波长的信息。
要注意的是，例如，CNN(卷积神经网络)用于设置在目标识别单元34中的识别设备51，并且对于使用CNN的识别设备51的详情，参考“Grad-CAM:Visual Explanations fromDeep Networks via Gradient-based Localization”(http://arxiv.org/pdf/1610.02391.pdf)。
通过使用CNN，识别设备51可以分析对哪个波长的光谱图像进行关注，并且可以确定对目标识别有效的波长。
更具体地，使用CNN的识别设备51包括：特征量提取单元61，其包括多个卷积层和池化层；以及识别单元62，其基于来自特征量提取单元61的特征量，将目标的识别结果分类成对应的类别。识别单元62的最后一层使用soft-max函数将每个类别的特征量转换成概率分数，并且将该概率分数作为标签应用于类别。目标识别单元34输出指示最高概率分数的类别的识别结果。
此外，要输出的有效波长的数量是等于或小于多光谱摄像装置31的频带的数量的任何数量，并且按照通过使用CNN的技术获得的光谱图像中的关注程度的大小来判定。
光源控制单元38控制开关39改变白光源单元40或可变波长光源单元41，使得白光或基于有效波长信息的波长的光被发射并施加到变为成像对象的目标上。
更具体地，在第一处理中，光源控制单元38控制白光源单元40发射白光。然后，在下一个处理中，光源控制单元38基于所判定的有效波长信息来控制可变波长光源单元41发射对应波长的光。
通过如上所述的这种操作，在第一处理中，多光谱摄像装置31捕获其中来自白光源单元40的白光被施加到作为成像对象的目标上的状态的多光谱图像。从多光谱图像中识别出目标，并且作为识别结果的最适合用于测量目标的有效波长被指定并作为有效波长信息输出。
然后，通过下一个处理，多光谱摄像装置31捕获其中将与有效波长信息对应的窄频带波长的光从可变波长光源单元41施加到变为成像对象的目标上的状态的多光谱图像。由特性分析单元37使用在此时捕获的多光谱图像内的与有效波长信息对应的光谱图像来分析作为成像对象的目标。
显示图像生成单元35将在发射白光的状态下捕获的多光谱图像和作为成像对象的目标的特性的分析结果叠加，以生成图像。然后，显示图像生成单元35将图像输出至包括有机EL(电致发光)显示器、LCD(液晶显示器)等的显示单元36，使得图像被显示在显示单元36上。
更具体地，显示图像生成单元35通过使用在施加白光的状态下捕获的多光谱图像以及在施加有效波长的光的状态下与有效波长信息对应的有效波长的光谱图像来生成伪彩色图像。伪彩色图像被显示在显示单元36上。要注意的是，下面参照图4和图5详细描述伪彩色图像的生成。
<多光谱摄像装置的灵敏度特性和由可变波长光源单元发射的光的窄频带分布>
现在，参照图2和图3描述多光谱摄像装置31的灵敏度特性与从可变波长光源单元41发射的光的窄频带分布之间的关系。
多光谱摄像装置31捕获例如图2所示出的这样的多光谱图像，该多光谱图像包括在波长λ1处具有峰值的频带Cw1的光谱图像、在波长λ2处具有峰值的频带Cw2的光谱图像、在波长λ3处具有峰值的频带Cw3的光谱图像、...、以及在波长λn处具有峰值的频带Cwn的光谱图像。
要注意的是，此处示出了捕获包括n个不同频带的宽频带光谱图像的多光谱图像的示例。如图2中所示出的，每个光谱图像的频带是宽频带，并且该频带的波长在其边界上部分地交叠。
具体地，如图2中所示出的，在初始操作中，将宽波长带的白光从白光源单元40施加到作为成像对象的目标上，并且由多光谱摄像装置31获得白光下的光谱图像。这使得可以获取目标的所有波长带中的光谱反射率信息，并且获取在识别目标是哪个部位和病变中期望的多光谱图像。
另一方面，可变波长光源单元41发射例如光谱分布的光——包括如图3中所示出的在波长λ1处具有峰值的频带Cn1的光以及在波长λ5处具有峰值的频带Cn5的光——作为以下频带的光，该频带是最适合用于识别作为成像对象的目标的窄频带。
具体地，可变波长光源单元41发射具有以下波长带的光谱分布的光，该波长带与多光谱摄像装置31的频带相比是窄频带的频带Cn1至Cnn之一并且最适合用于对作为成像对象的目标进行成像。
要注意的是，图3示出了这样的示例，其中可以发射包括在波长λ1和λ5处具有峰值的频带Cn1和Cn5的组合的光谱分布的光以及除以上组合之外的频带组合或比以上组合多的组合或仅频带之一的光谱分布的光。
<伪彩色图像的生成>
现在，参照图4和图5描述由显示图像生成单元35生成伪彩色图像。
显示图像生成单元35根据在白光和窄频带光下捕获并且包括波长带的频带的光谱图像(光谱图像)来生成伪彩色图像。然后，显示图像生成单元35将由特性分析单元37进行的分析结果叠加以生成显示图像，并且使显示图像显示在显示单元36上。
例如，考虑以下情况：由目标识别单元34获得有效波长λ1和λ5，并且从可变波长光源单元41发射具有包括在波长λ1和λ5处具有峰值的频带Cn1和Cn5的组合的光谱特性的光。此处，假设多光谱图像包括分别在波长λ1至λ5处具有峰值的五个频带Cn1至Cn5的光谱图像。
在这种情况下，例如，如图4中所示出的，显示图像生成单元35调整分别在有效波长λ1和λ5处具有峰值的频带Cn1和Cn5的光谱图像P1和P5的增益，并且然后独立地将增益经调整的光谱图像P1和P5分别分配给B通道和R通道。
然后，显示图像生成单元35将分别在作为波长λ1与λ5之间的中间波长的波长λ2至λ4处具有峰值的频带Cw2至Cw4的光谱图像P2至P4相加，调整所得到的图像的增益并且将增益经调整的图像分配给G通道。
以这种方式，显示图像生成单元35通过合成分配给R、G和B通道的图像来生成如图4中所示出的伪彩色图像P21。
此时，分别在波长λ1和λ5处具有峰值的频带Cw1和Cw5的光谱图像P1和P5可以是在白光下捕获的光谱图像或者可以是在窄频带光下捕获的光谱图像。要注意的是，被分配光谱图像P1和P5以及通过将光谱图像P2至P4相加而获得的图像的R、G和B通道中的那些通道可以是上述通道之外的任何其他通道。
此外，在例如仅波长λ1是有效波长的情况下，显示图像生成部35将如图5中所示出的、在作为有效波长的波长λ1处具有峰值的频带Cw1的光谱图像P1分配给B、G和R通道之中的一个通道。在图5中，在波长λ1处具有峰值的频带Cw1的光谱图像P1被分配给B通道。
然后，显示图像生成单元35将分别在波长λ2至λm处具有峰值的频带B2至Bm的光谱图像P2至Pm相加，并且调整所得到的图像的增益以将增益经调整的图像分配给剩余两个通道之一(在图5中，分配给G通道)。然后，显示图像生成单元35将分别在波长λm+1至λn处具有峰值的频带Cwm+1至Cwn的光谱图像Pm+1至Pn相加，并且调整所得到的图像的增益以将增益经调整的图像分配给剩余两个通道中的另一个通道(在图5中，分配给R通道)。
显示图像生成单元35通过以这种方式合成分配给R、G和B通道的图像来生成如图5中所示出的伪彩色图像P31。
<由图1的成像装置进行的成像处理>
现在，参照图6的流程图描述由图1的成像装置11进行的成像处理。
在步骤S11中，光源控制单元38控制开关39建立到白光源单元40的连接，并且控制白光源单元40将白光施加到作为多光谱摄像装置31的成像范围内的成像对象的目标上。此时，光源控制单元38控制白光源单元40向输入图像控制单元32输出指示正在发射白光的信息。
在步骤S12中，多光谱摄像装置31在从白光源单元40施加白光的状态下将作为成像对象的目标捕获为多光谱图像，并且将多光谱图像输出至输入图像控制单元32。
在步骤S13中，输入图像控制单元32控制开关33建立到目标识别单元34的连接，并且将由多光谱摄像装置31捕获的多光谱图像的所有光谱图像输出至目标识别单元34。
在步骤S14中，目标识别单元34基于由多光谱摄像装置31捕获的多光谱图像(即所有光谱图像)，通过使用包括CNN等的识别设备51来识别目标。
在步骤S15中，目标识别单元34基于辨别出目标时的识别设备51的参数，将对目标分析有效的光的波长指定为有效波长。
在步骤S16中，目标识别单元34将关于指定的有效波长的信息作为有效波长信息输出至显示图像生成单元35和光源控制单元38。此时，目标识别单元34将多光谱图像连同有效波长信息一起输出至显示图像生成单元35。
在步骤S17中，光源控制单元38控制开关39建立到可变波长光源单元41的连接，并且使可变波长光源单元41发射基于有效波长信息的波长的光，以施加到作为成像对象的目标上。此时，光源控制单元38将有效波长信息输出至输入图像控制单元32。
在步骤S18中，在从可变波长光源单元41施加基于有效波长信息的波长的光的状态下，多光谱摄像装置31将作为成像对象的目标捕获为多光谱图像。随后，多光谱摄像装置31将捕获的多光谱图像输出至输入图像控制单元32。此时，白光源单元40处于不发射白光的状态。
在步骤S19中，输入图像控制单元32控制开关33建立到特性分析单元37的连接，并且将来自从多光谱摄像装置31提供的多光谱图像内的与有效波长信息对应的光谱图像输出至特性分析单元37。
在步骤S20中，特性分析单元37基于从输入图像控制单元32提供给其的与有效波长信息对应的频带的光谱图像，来识别并且分析作为成像对象的目标。
在步骤S21中，特性分析单元37将基于作为成像对象的目标的识别结果的分析结果输出至显示图像生成单元35。此时，特性分析单元37将与有效波长信息对应的频带的光谱图像连同分析结果一起输出至显示图像生成单元35。
在步骤S22中，显示图像生成单元35基于来自特性分析单元37的分析结果和与有效波长信息对应的光谱图像以及来自目标识别单元34的有效波长信息和多光谱图像来生成伪彩色图像，将分析的结果叠加，并且使所得到的图像显示在显示单元36上。关于伪彩色图像的生成方法，例如，通过在上文参照图4或图5描述的方法来生成伪彩色图像。
通过上述一系列处理，捕获其中在作为成像对象的目标上施加白光的状态下的多光谱图像，识别该目标，观察所识别的目标以指定最适合用于分析的光的波长，并且波长被输出为有效波长信息。然后，在将与有效波长信息对应的波长的光施加到目标上的状态下，再次捕获多光谱图像。然后，提取并且分析与有效波长信息对应的光谱图像，并且基于分析结果和有效波长信息来生成伪彩色图像，并且将伪彩色图像与分析结果叠加并且一起显示。
因此，仅通过对变为成像对象的目标进行成像，就可以在施加与目标的分析对应的适当波长的光的状态下实现对多光谱图像的捕获。此外，由于可以使用在施加适当的光的状态下捕获的多光谱图像中的对作为成像对象的目标的分析有效的光谱图像来执行分析，因此可以实现对目标的适当分析。
具体地，当要捕获多光谱图像时，用户不必预先为每个部位或病变设定有效波长，并且由于有效波长的窄波长带光被施加到目标上，因此可以在对目标识别有效的波长下捕获具有高波长分解度的光谱图像。
此外，基于从使用白光捕获的多光谱图像确定的对目标有效的光的波长的光谱图像来生成伪彩色图像。这使得可以向用户呈现目标的特征被强调的彩色图像，并且以易于理解的方式显示目标的特征。
<<2.第二实施方式>>
前面的描述涉及基于由多光谱摄像装置31捕获的多光谱图像来识别作为目标的成像对象并且将适当的光波长指定为有效波长的示例。然而，可以从基于多光谱图像被生成以具有增加的通道数量的超多光谱图像中指定目标，用来以更高的准确度找到适当的波长带。
图7示出了成像装置11的配置的示例，该成像装置11基于多光谱图像来生成具有增加的通道数量的超多光谱图像，并且从超多光谱图像中指定目标用来以更高的准确度找到最佳的波长带。要注意的是，在图7的成像装置11中，具有与图1的成像装置11的部件的功能相同的功能的部件由相同的附图标记表示，并且适当地省略其描述。
图7的成像装置11与图1的成像装置11的不同之处在于，在开关33与目标识别单元34之间设置有超光谱图像生成单元71。
具体地，假设在多光谱摄像装置31的波长带的数量(通道数量)小并且例如如图8所示出的那样，多光谱图像包括在波长λ11处具有峰值的频带Cn101、在另一波长λ12处具有峰值的另一频带Cn102以及在又一波长λ13处具有峰值的又一频带Cn103。此时，所有的频带与最初的最佳频带Cn111都不相同，并且甚至最接近频带Cn111的频带S102也不被考虑具有有效波长。
此外，在多光谱摄像装置31的波长带的数量(通道数量)小的情况下并且例如当多光谱图像包括如图9中所示出的在波长λ21处具有峰值的频带Cw201、在另一波长λ22处具有峰值的频带Cw202、在又一波长λ23处具有峰值的又一频带Cw203时，这些频带比图8的情况下的频带宽。然而，所有的频带与最初的最佳频带Cn211都不相同，并且甚至与频带Cn211最接近的频带Cw102也不被考虑具有效波长。
因此，超光谱图像生成单元71基于由多光谱摄像装置31捕获的多光谱图像，生成频带数量更大(通道数量更大)的超光谱图像。
更具体地，超光谱图像生成单元71通过使用例如在日本专利公布第2003-93336号中公开的技术(根据RGB图像生成自由选择波长的光谱图像的方法、将通道数量增加到四个或更多个的情况下的方法等)，根据多光谱图像生成频带数量更大(通道数量更大)的超光谱图像。在这种情况下，可以使用普通的RGB摄像装置替换多光谱摄像装置31，使得由超光谱图像生成单元71从RGB图像生成超多光谱图像。
因此，即使由多光谱摄像装置31生成的多光谱图像包括较少数量的频带(较少数量的通道)，也可以获得高准确度的有效波长信息。此外，可以获取在有效波长的窄频带光下捕获的光谱图像作为与多光谱摄像装置31的灵敏度特性相比具有较窄频带的波长分解度性能的光谱图像。
<由图7的成像装置进行的成像处理>
现在，参照图10的流程图描述由图7的成像装置11进行的成像处理。要注意的是，图10的流程图中的步骤S31、S32和S37至S43中的处理分别与图7的流程图中的步骤S11、S12以及S16至S22中的处理类似，因此省略对其的描述。
具体地，如果通过步骤S31和S32中的处理施加白光以捕获多光谱图像，则输入图像控制单元32在步骤S33中控制开关33建立到超光谱图像生成单元71的连接，并且将由多光谱摄像装置31捕获的多光谱图像的所有光谱图像输出至超光谱图像生成单元71。
在步骤S34中，超光谱图像生成单元71根据多光谱图像生成超光谱图像，并且将该超光谱图像输出至目标识别单元34。
在步骤S35中，目标识别单元34基于由超光谱图像生成单元71生成的超多光谱图像，通过使用包括CNN等的识别设备51来识别目标。
在步骤S36中，目标识别单元34基于目标识别的结果和超光谱图像，将对目标分析有效的光的波长指定为有效波长。
通过步骤S37之后的步骤的处理，关于有效波长的信息被输出为有效波长信息，并且在将适当波长的光施加到目标上的同时捕获光谱图像。然后，使用在适当波长的光被施加到目标上的状态下捕获的光谱图像来分析目标，并且可以显示伪彩色图像。
因此，可以通过使用超光谱图像来识别目标，并且可以基于识别的结果来判定适当波长的光。因此，可以以较高的准确度指定适当且有效的波长，并且可以基于其中被施加以高准确度指定的有效波长的光的光谱图像来实现对目标的更适当的分析。
<<3.通过软件执行的示例>>
虽然上述一系列处理可以通过硬件执行，但也可以以另外的方式通过软件执行。在通过软件执行一系列处理的情况下，将软件中包括的程序从记录介质安装到并入专用硬件的计算机中，通用计算机可以通过将各种程序安装到计算机等中来执行各种功能。
图11示出了通用计算机的配置的示例。个人计算机内置有CPU(中央处理单元)1001。输入/输出接口1005通过总线1004连接至CPU 1001。ROM(只读存储器)1002和RAM(随机存取存储器)1003连接至总线1004。
以下单元连接至输入/输出接口1005：输入单元1006，其包括用于允许用户通过其输入操作命令的诸如键盘或鼠标的输入设备；输出单元1007，其将处理操作画面图像或处理结果的图像输出至显示设备；存储单元1008，其包括用于在其中存储程序和各种数据等的硬盘驱动器；以及通信单元1009，其包括LAN(局域网)适配器等并且执行通过由因特网表示的网络进行的通信处理。此外，连接有用于从可移除介质1011读取数据以及在可移除介质1011上写入数据的驱动器1010，可移除介质1011例如是磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)和DVD(数字通用盘))、磁光盘(包括MD(迷你盘))或半导体存储器。
CPU 1001根据存储在ROM 1002中的程序或从诸如磁盘、光盘、磁光盘、半导体存储器等的可移除记录介质1011中读出、安装在存储单元1008中并从存储单元1008加载到RAM1003中的程序执行各种处理。此外，在RAM 1003中，还适当地存储有由CPU 1001执行各种处理所需的数据等。
在以如上所述的这样的方式配置的计算机中，CPU 1001通过输入/输出接口1005和总线1004将例如存储在存储单元1008中的程序加载至RAM 1003中，并且执行该程序以执行上述一系列处理。
要由计算机(CPU 1001)执行的程序可以被记录在例如用作封装介质的可移除记录介质1011上，并且作为可移除记录介质1011来提供。此外，可以通过诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供该程序。
在计算机中，通过将可移除记录介质1011安装在驱动器1010中，可以通过输入/输出接口1005将程序安装在存储单元1008中。此外，程序可以由通信单元1009通过有线或无线传输介质接收并且被安装到存储单元1008中。此外，程序可以预先安装在ROM 1002或存储单元1008中。
要注意的是，要由计算机执行的程序可以是按照如本说明书中描述的顺序以时间序列执行处理的程序，或者可以是并行执行或在必要的定时(例如，在调用该处理时)处执行处理的程序。
要注意的是，图11中的CPU 1001实现图1和图7中的输入图像控制单元32、目标识别单元34、特性分析单元37、显示图像生成单元35、光源控制单元38和超光谱图像生成单元71的功能。
此外，在本说明书中，术语“系统”用于表示多个部件(设备、模块(部分)等)的集合，并且所有部件是否容纳在同一壳体中并不重要。因此，容纳在分开的壳体中并且通过网络彼此连接的多个装置是系统，并且其中多个模块容纳在单个壳体中的一个装置是系统。
要注意的是，本公开内容的实施方式不限于上文描述的实施方式，并且在不脱离本公开内容的主题的情况下允许进行各种改变。
例如，本公开内容可以采用用于云计算的配置，通过该配置，多个装置通过网络共享并协作以处理一个功能。
此外，上文参照流程图描述的每个步骤可以由单个装置执行，也可以由多个装置共享并执行。
此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置来执行，也可以由多个装置共享并执行。
要注意的是，本公开内容还可以采用如下所述的这样的配置。
<1>
一种成像装置，包括：
白光源单元，其被配置成在目标上施加白光；
成像单元，其被配置成捕获所述目标的多光谱图像；
目标识别单元，其被配置成根据被施加白光的所述目标的多光谱图像，将最适合用于分析所述目标的光的波长指定为有效波长；以及
可变波长光源单元，其被配置成将具有所述有效波长的光施加到所述目标上。
<2>
根据<1>所述的成像装置，其中，
所述目标识别单元从被施加白光的所述目标的多光谱图像中识别所述目标，并且基于识别的结果将最适合用于分析所述目标的光的波长指定为有效波长。
<3>
根据<2>所述的成像装置，其中，
所述目标识别单元使用CNN(卷积神经网络)从被施加白光的所述目标的多光谱图像中识别所述目标，并且基于所述识别的结果来指定最适合用于分析所述目标的光的波长。
<4>
根据<1>所述的成像装置，其中，
所述成像单元捕获所述目标的多光谱图像，在所述目标上施加有由所述目标识别单元指定的所述有效波长的光。
<5>
根据<4>所述的成像装置，还包括：
特性分析单元，其被配置成基于被施加有由所述目标识别单元指定的所述有效波长的光的所述目标的多光谱图像内的、与所述有效波长的光对应的光谱图像来分析所述目标的特性。
<6>
根据<5>所述的成像装置，其中，
所述特性分析单元使用CNN(卷积神经网络)基于被施加有由所述目标识别单元指定的所述有效波长的光的所述目标的多光谱图像内的、与所述有效波长的光对应的光谱图像来识别所述目标并且根据所述识别的结果来分析所述目标的特性。
<7>
根据<5>所述的成像装置，还包括：
显示图像生成单元，其被配置成将与所述有效波长的光对应并且强调由所述特性分析单元执行的分析的结果的光谱图像以及除光谱图像之外的多光谱图像分配给R、G和B通道，以生成伪彩色图像。
<8>
根据<7>所述的成像装置，其中，
所述显示图像生成单元将与第一有效波长的光对应的光谱图像分配给所述R、G和B通道中的第一通道，将与不同于所述第一有效波长的第二有效波长的光对应的光谱图像分配给所述R、G和B通道中的第二通道，并且将其他光谱图像分配给第三通道以生成所述伪彩色图像。
<9>
根据<8>所述的成像装置，其中，
所述显示图像生成单元调整与所述第一有效波长的光对应的光谱图像的增益，并且将增益经调整的光谱图像分配给所述R、G和B通道中的第一通道；调整与不同于所述第一有效波长的所述第二有效波长的光对应的光谱图像的增益，并且将增益经调整的光谱图像分配给所述R、G和B通道中的第二通道；并且将其他光谱图像相加，调整所述相加得到的图像的增益，并且将增益经调整的光谱图像分配给第三通道，以生成所述伪彩色图像。
<10>
根据<7>所述的成像装置，其中，
所述显示图像生成单元将与第一有效波长的光对应的光谱图像分配给所述R、G和B通道中的第一通道，将除了与所述第一有效波长的光对应的光谱图像之外的光谱图像中的一部分分配给所述R、G和B通道中的第二通道，并且将除了与所述第一有效波长的光对应的光谱图像之外的光谱图像中的所述部分以外的任何光谱图像分配给第三通道，以生成所述伪彩色图像。
<11>
根据<10>所述的成像装置，其中，
所述显示图像生成单元调整与第一有效波长的光对应的光谱图像的增益，并将增益经调整的光谱图像分配给所述R、G和B通道中的第一通道；并且将除了与所述第一有效波长的光对应的光谱图像之外的光谱图像中的一部分相加，调整所述相加得到的光谱图像的增益，并将增益经调整的光谱图像分配给所述R、G和B通道中的第二通道；并且将除了与所述第一有效波长的光对应的光谱图像之外的光谱图像中的所述部分以外的任何光谱图像相加，调整所述相加得到的图像的增益，并将增益经调整的图像分配给第三通道，以生成所述伪彩色图像。
<12>
根据<1>至<11>中任一项所述的成像装置，还包括：
超光谱图像生成单元，其被配置成基于所述多光谱图像来生成包括具有在数量上比所述多光谱图像的频带更多的频带的光谱图像构成的超光谱图像，其中，
所述目标识别单元从基于被施加白光的所述目标的多光谱图像生成的所述超光谱图像中，将最适合用于分析所述目标的光的波长指定为有效波长。
<13>
根据<1>至<12>中任一项所述的成像装置，其中，
所述成像单元捕获所述目标的宽波长带的多光谱图像。
<14>
根据<1>至<13>中任一项所述的成像装置，其中，
所述可变波长光源单元将多个窄波长带中的至少一个的光或窄波长带的组合的光作为所述有效波长的光发射，并且将其施加到所述目标上。
<15>
一种成像方法，包括：
白光源处理，用于在目标上施加白光；
成像处理，用于捕获所述目标的多光谱图像；
目标识别处理，用于根据被施加白光的所述目标的多光谱图像，将最适合用于分析所述目标的光的波长指定为有效波长；以及
可变波长光施加处理，用于将具有所述有效波长的光施加到所述目标上。
<16>
一种用于使计算机起以下作用的程序：
白光源单元，其在目标上施加白光；
成像单元，其捕获所述目标的多光谱图像；
目标识别单元，其根据被施加白光的所述目标的多光谱图像，将最适合用于分析所述目标的光的波长指定为有效波长；以及
可变波长光源单元，其将具有所述有效波长的光施加到所述目标上。
附图标记列表
11成像装置，31多光谱摄像装置，32输入图像控制单元，33开关，34目标识别单元，35显示图像生成单元，36显示单元，37特性分析单元，38光源控制单元，39开关，40白光源，41可变波长光源单元，51识别设备，61特征量提取单元，62识别单元，71超光谱图像生成单元。

Claims (16)

1.一种成像装置，包括：
白光源单元，其被配置成在目标上施加白光；
成像单元，其被配置成捕获所述目标的多光谱图像；
目标识别单元，其被配置成根据被施加白光的所述目标的多光谱图像，将最适合用于分析所述目标的光的波长指定为有效波长；以及
可变波长光源单元，其被配置成将具有所述有效波长的光施加到所述目标上。
2.根据权利要求1所述的成像装置，其中，
所述目标识别单元从被施加白光的所述目标的多光谱图像中识别所述目标，并且基于识别的结果将最适合用于分析所述目标的光的波长指定为有效波长。
3.根据权利要求2所述的成像装置，其中，
所述目标识别单元使用卷积神经网络从被施加白光的所述目标的多光谱图像中识别所述目标，并且基于所述识别的结果来指定最适合用于分析所述目标的光的波长。
4.根据权利要求1所述的成像装置，其中，
所述成像单元捕获被施加有所述目标识别单元指定的所述有效波长的光的所述目标的多光谱图像。
5.根据权利要求4所述的成像装置，还包括：
特性分析单元，其被配置成基于被施加有所述目标识别单元指定的所述有效波长的光的所述目标的多光谱图像内的、与所述有效波长的光对应的光谱图像来分析所述目标的特性。
6.根据权利要求5所述的成像装置，其中，
所述特性分析单元使用卷积神经网络基于被施加有所述目标识别单元指定的所述有效波长的光的所述目标的多光谱图像内的、与所述有效波长的光对应的光谱图像来识别所述目标，并且根据所述识别的结果来分析所述目标的特性。
7.根据权利要求5所述的成像装置，还包括：
显示图像生成单元，其被配置成将与所述有效波长的光对应并且强调由所述特性分析单元执行的分析的结果的光谱图像以及除光谱图像之外的多光谱图像分配给R、G和B通道，以生成伪彩色图像。
8.根据权利要求7所述的成像装置，其中，
所述显示图像生成单元将与第一有效波长的光对应的光谱图像分配给所述R、G和B通道中的第一通道，将与不同于所述第一有效波长的第二有效波长的光对应的光谱图像分配给所述R、G和B通道中的第二通道，并且将其他光谱图像分配给第三通道以生成所述伪彩色图像。
9.根据权利要求8所述的成像装置，其中，
所述显示图像生成单元调整与所述第一有效波长的光对应的光谱图像的增益，并且将增益经调整的光谱图像分配给所述R、G和B通道中的第一通道；调整与不同于所述第一有效波长的第二有效波长的光对应的光谱图像的增益，并且将增益经调整的光谱图像分配给所述R、G和B通道中的第二通道；并且将其他光谱图像相加，调整所述相加得到的光谱图像的增益，并且将增益经调整的光谱图像分配给第三通道，以生成所述伪彩色图像。
10.根据权利要求7所述的成像装置，其中，
所述显示图像生成单元将与第一有效波长的光对应的光谱图像分配给所述R、G和B通道中的第一通道，将除了与所述第一有效波长的光对应的光谱图像之外的光谱图像中的一部分分配给所述R、G和B通道中的第二通道，并且将除了与所述第一有效波长的光对应的光谱图像之外的光谱图像中的所述部分以外的任何光谱图像分配给第三通道，以生成所述伪彩色图像。
11.根据权利要求10所述的成像装置，其中，
所述显示图像生成单元调整与第一有效波长的光对应的光谱图像的增益，并将增益经调整的光谱图像分配给所述R、G和B通道中的第一通道；并且将除了与所述第一有效波长的光对应的光谱图像之外的光谱图像中的一部分相加，调整所述相加得到的光谱图像的增益，并将增益经调整的光谱图像分配给所述R、G和B通道中的第二通道；并且将除了与所述第一有效波长的光对应的光谱图像之外的光谱图像中的所述部分以外的任何光谱图像相加，调整所述相加得到的光谱图像的增益，并且将增益经调整的增益的光谱图像分配给第三通道，以生成所述伪彩色图像。
12.根据权利要求1所述的成像装置，还包括：
超光谱图像生成单元，其被配置成基于所述多光谱图像来生成由具有在数量上比所述多光谱图像的频带更多的频带的光谱图像构成的超光谱图像，其中，
所述目标识别单元从基于被施加白光的所述目标的多光谱图像生成的所述超光谱图像中，将最适合用于分析所述目标的光的波长指定为有效波长。
13.根据权利要求1所述的成像装置，其中，
所述成像单元捕获所述目标的宽波长带的多光谱图像。
14.根据权利要求1所述的成像装置，其中，
所述可变波长光源单元将多个窄波长带中的至少一个的光或窄波长带的组合的光作为所述有效波长的光发射，并且将其施加到所述目标上。
15.一种成像方法，包括：
白光源处理，用于在目标上施加白光；
成像处理，用于捕获所述目标的多光谱图像；
目标识别处理，用于根据被施加白光的所述目标的多光谱图像，将最适合用于分析所述目标的光的波长指定为有效波长；以及
可变波长光施加处理，用于将具有所述有效波长的光施加到所述目标上。
16.一种用于使计算机起以下作用的程序：
白光源单元，其在目标上施加白光；
成像单元，其捕获所述目标的多光谱图像；
目标识别单元，其根据被施加白光的所述目标的多光谱图像，将最适合用于分析所述目标的光的波长指定为有效波长；以及
可变波长光源单元，其将具有所述有效波长的光施加到所述目标上。
CN201980010781.3A 2018-02-05 2019-01-22 成像装置和成像方法以及程序 Active CN111670000B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018017956 2018-02-05
JP2018-017956 2018-02-05
PCT/JP2019/001762 WO2019151029A1 (ja) 2018-02-05 2019-01-22 撮像装置および撮像方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN111670000A true CN111670000A (zh) 2020-09-15
CN111670000B CN111670000B (zh) 2024-06-28

Family

ID=

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006288612A (ja) * 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
JP2010213950A (ja) * 2009-03-18 2010-09-30 Fujifilm Corp 内視鏡補助器具およびこれを用いた内視鏡システム
JP2012120764A (ja) * 2010-12-10 2012-06-28 Fujifilm Corp 内視鏡システム、光学装置、および波長可変素子の透過光の波長帯域のずれ補正方法
CN102525375A (zh) * 2010-09-29 2012-07-04 富士胶片株式会社 内窥镜装置
JP2012152333A (ja) * 2011-01-25 2012-08-16 Fujifilm Corp 内視鏡システム及びその光源制御方法
CN103327875A (zh) * 2011-01-21 2013-09-25 爱尔康研究有限公司 用于光学相干断层成像、照射或光凝固术的组合外科内探测器
CN106999021A (zh) * 2014-06-05 2017-08-01 海德堡大学 用于多光谱成像的方法和部件
CN107635452A (zh) * 2015-06-02 2018-01-26 奥林巴斯株式会社 特殊光内窥镜装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006288612A (ja) * 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
JP2010213950A (ja) * 2009-03-18 2010-09-30 Fujifilm Corp 内視鏡補助器具およびこれを用いた内視鏡システム
CN102525375A (zh) * 2010-09-29 2012-07-04 富士胶片株式会社 内窥镜装置
JP2012120764A (ja) * 2010-12-10 2012-06-28 Fujifilm Corp 内視鏡システム、光学装置、および波長可変素子の透過光の波長帯域のずれ補正方法
CN103327875A (zh) * 2011-01-21 2013-09-25 爱尔康研究有限公司 用于光学相干断层成像、照射或光凝固术的组合外科内探测器
JP2012152333A (ja) * 2011-01-25 2012-08-16 Fujifilm Corp 内視鏡システム及びその光源制御方法
CN106999021A (zh) * 2014-06-05 2017-08-01 海德堡大学 用于多光谱成像的方法和部件
CN107635452A (zh) * 2015-06-02 2018-01-26 奥林巴斯株式会社 特殊光内窥镜装置

Also Published As

Publication number Publication date
WO2019151029A1 (ja) 2019-08-08
JPWO2019151029A1 (ja) 2021-01-14
US11388323B2 (en) 2022-07-12
US20210037173A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
US11388323B2 (en) Imaging apparatus and imaging method
CN111601536B (zh) 缺光环境中的超光谱成像
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP2007244681A (ja) 生体観測装置
JP6952214B2 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
JP6823072B2 (ja) プロセッサ装置及び内視鏡システム
WO2020017213A1 (ja) 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム
US20210169306A1 (en) Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus
JPWO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
JP2023507530A (ja) 分子ケミカルイメージングとｒｇｂイメージングの融合
JPWO2019049503A1 (ja) 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
WO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
CN211324858U (zh) 内窥镜系统、混合光源、视频采集装置及图像处理器
CN111670000B (zh) 成像装置和成像方法以及程序
JP6931425B2 (ja) 医用画像学習装置、医用画像学習方法、及びプログラム
CN110547752A (zh) 内窥镜系统、混合光源、视频采集装置及图像处理器
EP3889886A1 (en) Systems, methods and computer programs for a microscope system and for determining a transformation function
JP7449004B2 (ja) 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法
JP7090706B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
Finkšt et al. Autofluorescence bronchoscopy image processing in the selected colour spaces
WO2021199566A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
JP2017203682A (ja) 撮像装置
WO2021127396A1 (en) Systems and methods of combining imaging modalities for improved tissue detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant