CN112005546A - 信号处理设备、信号处理方法、图像捕获设备以及医用图像捕获设备 - Google Patents

信号处理设备、信号处理方法、图像捕获设备以及医用图像捕获设备 Download PDF

Info

Publication number
CN112005546A
CN112005546A CN201980026574.7A CN201980026574A CN112005546A CN 112005546 A CN112005546 A CN 112005546A CN 201980026574 A CN201980026574 A CN 201980026574A CN 112005546 A CN112005546 A CN 112005546A
Authority
CN
China
Prior art keywords
image
filter
signal
wavelength band
image capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980026574.7A
Other languages
English (en)
Other versions
CN112005546B (zh
Inventor
高岛昌利
小川哲
大森隆良
森浩史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112005546A publication Critical patent/CN112005546A/zh
Application granted granted Critical
Publication of CN112005546B publication Critical patent/CN112005546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Microscoopes, Condenser (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

【目的】为了在维持分辨率的同时实现可调波长提取和窄带检测。【方案】提供了一种信号处理设备，包括：获取单元，其获取能够通过后处理以可调的方式提取波长的第一波长带的信号和要用于特定用途的第二波长带的信号；以及信号处理单元，其使用第一波长带的信号和第二波长带的信号执行信号处理。

Description

信号处理设备、信号处理方法、图像捕获设备以及医用图像捕 获设备
技术领域
本公开涉及信号处理设备、信号处理方法、图像捕获设备和医用图像捕获设备。
背景技术
近年来，已经开发出了能够获取多于三个RGB频带中的多频带图像的设备或系统。例如，专利文献1公开了一种多光谱相机，该多光谱相机能够以与常规RGB 3频带相机相媲美的分辨率和灵敏度来获取多频带图像，并且能够改善色彩再现性。
引文列表
专利文献
专利文献1：日本这里申请特许公开No.2008-136251
发明内容
本发明要解决的问题
但是，根据专利文献1中公开的常规多光谱相机，难以进行期望波长带的图像的提取(在下文中，能够进行期望波长带的图像的提取的特征被称为“可调”)并进行窄带的检测，同时维持分辨率。
鉴于上述问题而做出了本公开，并且本公开的目的是提供新颖且改善的信号处理设备、信号处理方法、图像捕获设备和医用图像捕获设备，其能够以可调的方式进行波长提取以及窄带的检测，同时维持分辨率。
问题的解决方案
本公开提供了一种信号处理设备，包括：获取单元，其获取能够通过后处理以可调的方式提取波长的第一波长带的信号和要用于特定用途的第二波长带的信号；以及信号处理单元，其使用第一波长带的信号和第二波长带的信号执行信号处理。
此外，本公开提供了一种由计算机执行的信号处理方法，该方法包括：获取能够通过后处理以可调的方式提取波长的第一波长带的信号和要用于特定用途的第二波长带的信号；以及使用第一波长带的信号和第二波长带的信号执行信号处理。
另外，本公开提供了一种图像捕获设备，包括：第一检测单元，其检测能够通过后处理以可调的方式提取波长的第一波长带的信号；以及第二检测单元，其检测要用于特定用途的第二波长带的信号。
另外，本公开提供了一种医用图像捕获设备，包括：第一检测单元，其检测能够通过后处理以可调的方式提取波长的第一波长带的信号；以及第二检测单元，其检测要用于特定用途的第二波长带的信号。
发明的效果
如上所述，本公开使得能够以可调的方式进行波长提取以及窄带的检测，同时维持分辨率。
应当注意的是，上述效果不一定是限制性的，并且可以与上述效果一起或代替上述效果来提供本说明书中描述的任何效果或可以从本说明书中领会的其它效果。
附图说明
图1是示出常规RGB相机与多光谱相机之间的差异的图。
图2是示出包括在图像捕获设备100中的滤光器的图。
图3是示出滤光器配置和曝光时间之间的关系的图。
图4是示出滤光器配置和曝光时间之间的关系的图。
图5是示出滤光器配置和曝光时间之间的关系的图。
图6是示出图像捕获设备100的配置示例的框图。
图7是示出图像捕获设备100的配置示例的框图。
图8是示出图像捕获设备100的配置示例的框图。
图9是示出包括多个图像捕获机构的图像捕获设备100的配置示例的框图。
图10是示出根据本实施例的信号处理流程的示例的流程图。
图11是示出根据第一示例的滤光器的配置的图。
图12是示出第一示例中的像素的输出灵敏度等的图。
图13是示出第一示例中的滤光器的曝光时间的图。
图14是示出根据第二示例的滤光器的配置的图。
图15是示出第二示例中的像素的输出灵敏度等的图。
图16是示出第二示例中的滤光器的曝光时间的图。
图17是示出根据第三示例的滤光器的配置的图。
图18是示出第三示例中的像素的输出灵敏度等的图。
图19是示出第三示例中的滤光器的曝光时间的图。
图20是示出根据第四示例的滤光器的配置的图。
图21是示出第四示例中的滤光器的曝光时间的图。
图22是示出根据第五示例的滤光器的配置的图。
图23是示出第五示例中的像素的输出灵敏度等的图。
图24是示出第五示例中的滤光器的曝光时间的图。
图25是示出在通过包括三个图像捕获机构的图像捕获设备100实现第五示例的情况下的滤光器的配置的图。
图26是示出在通过包括三个图像捕获机构的图像捕获设备100实现第五示例的情况下的滤光器的曝光时间的图。
图27是示出根据第六示例的滤光器的配置的图。
图28是示出第六示例中的像素的输出灵敏度等的图。
图29是示出第六示例中的滤光器的曝光时间的图。
图30是示出根据第七示例的滤光器的配置的图。
图31是示出第七示例中的像素的输出灵敏度等的图。
图32是示出第七示例中的滤光器的曝光时间的图。
图33是示出在安装RGB相机或B&W相机的情况下的信号处理流程的示例的流程图。
图34是示出在第八示例中用于构造可调滤光器和专用滤光器的方法的图。
图35是示出通过组合RGB传感器和双带通滤光器来实现用于PRI和SIF的专用滤光器的情况的示例的图。
图36是示出根据第九示例的滤光器的配置的图。
图37是示出第九示例中的像素的输出灵敏度等的图。
图38是示出第九示例中的滤光器的曝光时间的图。
图39是示出在第十示例中二向色滤光器如何将入射光分离成多个光束的图。
图40是示出二向色滤光器的透射率的示例的图。
图41是示出二向色滤光器、可调滤光器和专用滤光器的布置的图。
图42是示出二向色滤光器的透射率的示例的图。
图43是示出了二向色滤光器、可调滤光器和专用滤光器的布置的图。
图44是示出二向色滤光器的透射率的示例的图。
图45是示出二向色滤光器、可调滤光器和专用滤光器的布置的图。
图46是示出将根据本公开的技术应用于医用图像捕获设备的情况的示例的图。
图47是示出医用图像捕获设备的处理流程的示例的流程图。
图48是示意性地示出手术室系统的整体配置的图。
图49是示出集中式操作面板上的操作屏幕的显示示例的图。
图50是示出对其应用手术室系统的外科手术状态的示例的图。
图51是示出图50中所示的相机头和CCU的功能配置的示例的框图。
具体实施方式
现在将参考附图详细描述本公开的优选实施例。应当注意的是，在本说明书和附图中，具有基本相同的功能配置的构成要素由相同的附图标记表示，并且将省略冗余的描述。
注意的是，将按以下次序给出描述。
1.背景
2.实施例
2.1.概述
2.2.配置示例
2.3.信号处理流程
3.示例
3.1.第一示例
3.2.第二示例
3.3.第三示例
3.4.第四示例
3.5.第五示例
3.6.第六示例
3.7.第七示例
3.8.第八示例
3.9.第九示例
3.10.第十示例
4.应用示例
4.1.对医用图像捕获设备的应用的示例
4.2.对手术室系统的应用的示例
<1.背景>
近年来，已经开发出了能够获取多于三个RGB频带中的多频带图像的设备或系统。例如，专利文献1公开了一种多光谱相机，该多光谱相机能够以与常规RGB 3频带相机相媲美的分辨率和灵敏度来获取多频带图像，并且能够改善色彩再现性。
在此，将参考图1描述常规RGB相机与多光谱相机之间的差异。图1的a示意性地示出了常规RGB相机的配置。在RGB相机中，光依次进入透镜、滤色器(例如，拜耳(Bayer)滤色器)和图像传感器，并且通过后续的信号处理(或显影处理)来获取RGB图像。
图1的b示意性地示出了多光谱相机的配置。多光谱相机设有多光谱滤光器而不是RGB相机中的滤色器，从而使入射光被分离成比RGB更多的波长带，并且通过后续的信号处理来获取多光谱图像。
大致有两种类型的用于获取多光谱图像的方法。更具体而言，存在用于在每个多光谱滤光器具有在窄带中透射光的光谱特性的情况下通过收集由入射光透射通过多光谱滤光器而生成的像素数据来获取多光谱图像的方法。更具体而言，已经开发了包括多光谱滤光器的图像传感器，由于在图像传感器的上部为每个像素形成了具有不同高度的共振路径，每个滤光器具有窄带(具有大约10至20[nm]的半带宽)光谱特性。例如，已经开发出了一种具有2048×1088像素的图像传感器，其在4×4像素阵列中包括16种类型的窄带多光谱滤光器，并且通过对从图像传感器获取的原始数据执行去马赛克(收集像素、空间滤波等)来获取多光谱图像。
作为另一种方法，在多光谱过滤器具有使光在宽带中透射的光谱特性的情况下，在光通过每个多光谱过滤器之后，对像素进行逆矩阵计算，由此获取期望的波长带的图像。例如，已经开发出一种技术，其中在图像传感器上形成32×32(1024)个不同类型的滤光器，并且在对从图像传感器获取的原始数据进行去马赛克之后对原始数据执行逆矩阵计算，由此获得超窄带(几纳米的半带宽)的图像。在这种技术中，可以使用利用由入射光引起的等离子体共振的多光谱滤光器。
在此，如上所述，根据常规多光谱相机，包括专利文献1中公开的相机，难以以可调的方式进行波长提取和窄带的检测，同时维持分辨率。
更具体地描述，在以可调的方式提取波长的情况下，随着要使用的滤光器的类型数量的增加，可以检测更窄的频带，但是空间分辨率降低。另一方面，随着要使用的滤光器的数量减少，与上述情况相比，空间分辨率提高，但是变得难以在宽波长带上检测较窄的带(换句话说，波长分辨率降低)。因此，难以以可调的方式进行波长提取和窄带的检测，同时维持分辨率。
因此，鉴于上述情形，本发明的公开者已经设计出本公开的技术。根据本公开的图像捕获设备100包括：第一检测单元，其检测能够通过后处理以可调的方式提取波长的第一波长带的信号；以及第二检测单元，其检测要用于特定用途的第二波长带的信号。因此，图像捕获设备100可以解决上面提到的问题。下面将详细描述本公开。
<2.实施例>
(2.1.概述)
首先，将描述本公开的实施例的概述。在图像传感器之前的级中并且对于每个像素，根据本实施例的图像捕获设备100设有可以透射其中有可能以可调的方式提取波长的第一波长带的光的滤光器(为方便起见，下文中有时称为“可调滤光器”)，以及可以透射要用于特定用途的第二波长带的光的滤光器(为方便起见，有时称为“专用滤光器”)。应当注意的是，“用于特定用途”是指用于获取(例如，生成)与(特定用途或专用)滤光器的波长对应的光谱信息(例如，图像)。例如，“用于特定用途”是指用于获得与适于特殊光观察中的观察对象的波长或用于计算植被指数的波长对应的光谱信息。
在此，将参考图2描述图像捕获设备100中包括的滤光器。如图2的a中所示，在图像捕获设备100中M×N(在这个图中为4×4)阵列的像素10上，周期性地布置有多个可调滤光器和多个专用滤光器(在这个图中为专用滤光器1和专用滤光器2)。更具体而言，可调滤光器被布置在十二个像素上，而专用滤光器1被布置在两个像素上，并且专用滤光器2被布置在两个像素上。
然后，如图2的b中所示，通过将M×N个像素10布置在X×Y阵列中来构造一个滤光器。因此，图像捕获设备100可以捕获M×X(水平)和N×Y(垂直)个像素。注意的是，图像捕获设备100中包括的滤光器不限于图2的示例中的滤光器。例如，在图2的a中，可调滤光器或专用滤光器的类型数量没有特别限制。另外，可以适当地改变可调滤光器或专用滤光器的周期性布置，或者可以不周期性地布置它们。
在此，可调滤光器具有在宽带中透射光的光谱特性，并且在随后的级与图像传感器结合的情况下，感测灵敏度趋于增加。另一方面，取决于要检测的目标，要求专用滤光器具有在窄带中透射光的光谱特性或在宽带中透射光的光谱特性。另外，在使用多种类型的专用滤光器的情况下，它们的光谱特性可以彼此差异很大。
如上所述，由于每个像素的输出灵敏度根据每个滤光器的透射率、图像传感器的灵敏度等而不同，因此，根据本实施例的图像捕获设备100通过修改滤光器或曝光控制来更适当地获取波长带的信号。
例如，假定如下情况：在如图3的a所示的4×4阵列的像素中，具有可调滤光器(A)的像素的输出灵敏度最高，其次是具有专用滤光器1(B)的像素的输出灵敏度，然后是具有专用滤光器2(C)的像素的输出灵敏度。在这种情况下，如图3的b-1中所示，图像捕获设备100调整相应像素的曝光时间，使得根据相应像素的输出灵敏度，曝光时间按照具有可调滤光器(A)的像素、具有专用滤光器1(B)的像素以及具有专用滤光器2(C)的像素的次序依次减小。以这种方式，图像捕获设备100可以通过控制每个像素的曝光时间来获取适当的图像。
注意的是，在如图3的b-2所示的适于每个像素的曝光时间不同的情况下，图像捕获设备100可以针对每个曝光时间执行图像捕获处理。更具体而言，图像捕获设备100可以在执行适于可调滤光器(A)的曝光之后执行第一图像捕获处理，然后，在执行适于专用滤光器1(B)的曝光之后执行第二图像捕获处理，最后，在执行适于专用滤光器2(C)的曝光之后执行第三图像捕获处理。
另外，图4的a示出了其中专用滤光器1(B)的像素数量和专用滤光器2(C)的像素数量增加的示例。在这个示例中，具有可调滤光器(A)的像素、具有专用滤光器1(B)的像素和具有专用滤光器2(C)的像素的曝光时间被调整为彼此基本相等，如图4的b中所示。
另外，图5的a示出了一个示例，其中调整每个滤光器的透射率，使得具有可调滤光器(A)的像素、具有专用滤光器1(B)的像素和具有专用滤光器2(C)的像素具有基本相同的输出灵敏度。因此，图像捕获设备100可以将可调滤光器(A)的像素、专用滤光器1(B)的像素和专用滤光器2(C)的像素的曝光时间设置为与图5中的b中所示的基本相同。
注意的是，在以上示例中，可调滤光器和专用滤光器都被布置在一个图像传感器上。但是，不限于此。例如，在图像捕获设备100包括如复眼相机的多个图像捕获机构的情况下，可调滤光器和专用滤光器可以被布置在不同的图像传感器150上。在这种情况下，图像捕获设备100可以通过控制每个图像传感器的曝光时间来获取适当的图像。另外，可以调整布置在相应图像传感器上的滤光器的透射率，以使得图像传感器的曝光时间与图5中所示的示例中的基本相同。
在此，假设根据本实施例的图像捕获设备100安装在包括无人机等的无人驾驶飞行器(UAV)上，并且从天空捕获地面的图像。然后，由图像捕获设备100捕获的图像被用于计算预定植被指数，该预定植被指数指示诸如地面上的植被的分布状况和活动之类的植被状态。
在这种情况下，要分析的植被指数的类型根据植物的类型和生长阶段而不同。例如，对于深绿色植物，为了准确识别生长阶段的改变，对称为归一化差异植被指数(NDVI)的植被指数进行分析是有效的。为了计算NDVI，有必要获取红光的波长带中的图像和近红外(NIR)波长带中的图像。另外，为了在植物生长到一定程度之后准确地识别改变，分析称为绿色归一化植被指数(GNDVI)的植被指数是有效的。为了计算GNDVI，必需获取绿光的波长带中的图像和NIR的波长带中的图像。此外，对于水稻、小麦等，NDVI分析同样有效，以便准确识别收割期间它们的改变。
如上所述，要分析的植被指数的类型根据植物的类型和生长阶段而不同。因此，当在图像捕获之后执行数据分析时，根据本实施例的能够以可调的方式进行波长提取的图像捕获设备100是有效的。由于用于上述植被指数分析的信号的半带宽相对大，诸如大约50至100[nm]，因此图像捕获设备100可以使用数种至数十种类型的可调滤光器来执行处理，从而能够以可调的方式提取波长，同时维持分辨率。
另外，用于分析用于检测植物的光合作用状态(例如，植物的光合作用速度等)的植被指数(诸如光化学反射指数(PRI)(指示光合作用的热耗散的指数)和太阳诱导荧光(SIF)(指示叶绿素荧光的指数))的信号的半带宽相对窄，诸如大约1至20[nm]。如上所述，图像捕获设备100不仅包括可调滤光器，而且包括专用滤光器，从而也能够使用专用滤光器来测量PRI或SIF。即，图像捕获设备100可以同时实现上述NDVI或GNDVI的测量以及PRI或SIF的测量。
注意的是，本公开的实施例不限于以上。例如，图像捕获设备100可以不安装在UAV上。另外，将由图像捕获设备100对其执行图像捕获处理的目标不限于植被。例如，图像捕获设备100可以安装在人造卫星或诸如拖拉机之类的车辆上。另外，由图像捕获设备100对其进行的图像捕获处理的目标可以是例如作为待检查的基础设施的诸如建筑物或桥梁之类的结构，或工厂自动化(FA)中待检查的对象。
(2.2.配置示例)
上面已经描述了本公开的实施例的概述。随后，将描述根据本实施例的图像捕获设备100的配置示例。
如图6中所示，图像捕获设备100包括成像光学系统110、曝光处理单元120、曝光控制单元130、滤光器140、图像传感器150、输出单元160、信号处理单元170和存储单元180。
成像光学系统110包括光学元件，诸如在图像捕获期间使用的多个透镜。来自被摄体的光穿过成像光学系统110，并进入后续的曝光处理单元120。注意的是，成像光学系统110中包括的光学元件的类型、布置等没有特别限制。
曝光处理单元120执行与曝光相关的处理。更具体而言，曝光处理单元120基于来自曝光控制单元130的控制信号通过控制快门或光圈(IRIS)的打开和关闭来开始和停止曝光。应当注意的是，对用于曝光处理单元120中提供的曝光处理的机构没有特别限制。
曝光控制单元130控制由曝光处理单元120进行的曝光处理。更具体而言，曝光控制单元130根据滤光器140和图像传感器150的光谱灵敏度、滤光器140的配置(可调滤光器和专用滤光器的配置)、滤光器140的透射率、被摄体的反射率等对每个像素执行曝光控制。曝光控制单元130通过生成包括诸如曝光时间或曝光定时之类的信息的控制信号并向曝光处理单元120提供控制信号来控制曝光处理单元120进行的曝光处理。曝光控制单元130还可以控制图像传感器150的灵敏度。注意的是，在调整滤光器140的透射率等以使得相应像素的曝光时间与上述基本相同的情况下，曝光控制单元130可以不控制曝光时间。注意的是，曝光控制单元130进行的曝光控制方法不限于上述方法。
如上所述，滤光器140是其中多个可调滤光器和多个专用滤光器周期性地布置在阵列中的滤光器。在此，假定滤光器140包括用于PRI计算的透射大约531[nm]的波长的光的专用滤光器和透射大约570[nm]的波长的光的专用滤光器，以及用于SIF计算的透射大约761[nm]的波长的光的专用滤光器和透射大约758[nm]的波长的光的专用滤光器。
图像传感器150是例如成像元件，诸如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。图像传感器150针对构成光接收表面的每个像素输出具有与接收到的光的量相符的强度的信号，从而获取与入射在光接收表面上的光相符的图像数据。前一级的图像传感器150和滤光器140构成检测其中有可能以可调的方式进行波长提取的第一波长带的信号的第一检测单元和检测要用于特定用途的第二波长带的信号的第二检测单元。注意的是，图像传感器150的类型没有特别限制。另外，虽然本实施例主要描述了图像传感器150获取图像数据的情况，但是本公开不必限于此。例如，图像传感器150可以获取一般可以由图像传感器150获得的数据，诸如光谱信息。
输出单元160具有用于输出由图像传感器150获取的图像数据(原始数据)并将获取的图像数据提供给信号处理单元170的功能配置。
信号处理单元170获取由输出单元160输出的图像数据(原始数据)(换句话说，信号处理单元170还用作获取单元)，并对图像数据执行各种信号处理。例如，信号处理单元170对从输出单元160输出的图像数据执行去马赛克、逆矩阵计算处理等，从而生成多光谱图像(或诸如多光谱信息之类的各种数据)。在此，去马赛克可以简单地意味着收集每个像素的图像数据，或者可以意味着使用周围的像素对有缺陷的像素进行插值。信号处理单元170可以通过执行后一种类型的去马赛克来使多光谱图像更平滑。另外，信号处理单元170可以通过执行前一种类型的去马赛克(仅收集每个像素的图像数据)来减轻信号处理的负担。注意的是，去马赛克并非总是必要的，并且可以根据获取的图像数据适当地省略。
信号处理单元170还使用生成的多光谱图像来计算植被指数，诸如NDVI、GNDVI、PRI或SIF。更具体而言，信号处理单元170使用具有可调滤光器的像素的图像数据通过下面的(等式1)计算NDVI，并通过(等式2)计算GNDVI。注意的是，(等式1)中的“RED”指示在红光的波长带中的图像数据，(等式2)中的“GRN”指示在绿光的波长带中的图像数据，并且(等式1)和(等式2)中的“NIR”指示在NIR波长带中的图像数据。
[等式1]
Figure BDA0002729113830000131
[等式2]
Figure BDA0002729113830000132
另外，信号处理单元170使用具有专用滤光器的像素的图像数据通过下面的(等式3)来计算PRI，并且通过(等式4)来计算SIF。注意的是，(等式3)中的“λ531”指示波长大约为531[nm]的图像，并且“λ570”指示波长大约为570[nm]的图像。另外，(等式4)中的“λ761”指示波长大约为761[nm]的图像，“λ758”指示波长大约为758[nm]的图像，并且“k”是由于黑线引起的预定系数。
[等式3]
Figure BDA0002729113830000133
[等式4]
Figure BDA0002729113830000134
此外，信号处理单元170可以基于如上所述计算的各种植被指数来诊断植被的状态。更具体而言，信号处理单元170可以基于NDVI和GNDVI来诊断植被的叶绿素状态。另外，信号处理单元170可以基于PRI和SIF来诊断光合作用状态。在植被的叶绿素状态良好且光合作用状态差的情况下，将植被置于这种条件下会对植物产生不利影响。因此，信号处理单元170可以诊断出要求迅速的动作。另外，如果植被的叶绿素状态差并且光合作用条件也差，那么认为该植物已经死亡并且为时已晚。因此，信号处理单元170可以诊断出不要求任何动作。另外，如果叶绿素状态比周围植物的叶绿素状态差，但是光合作用条件良好，那么信号处理单元170可以诊断出由于采取了一些动作而已经恢复了植物的状况。
注意的是，用于由信号处理单元170诊断植被的状况的方法不限于上述方法。另外，信号处理单元170还可以基于诊断结果来执行预定处理。例如，信号处理单元170可以通过在预定显示器等上显示诊断结果或通过经由语音输出诊断结果来将诊断结果通知给用户。另外，信号处理单元170的处理内容不限于上述内容，并且信号处理单元170的处理内容可以根据图像捕获设备100的应用、要捕获的目标等而适当地改变。
存储单元180存储各种信息。例如，存储单元180可以存储由信号处理单元170生成的多光谱图像、各种计算出的植被指数、植被状态的诊断结果等。注意的是，存储在存储单元180中的信息不限于上述那些。例如，存储单元180还可以存储由图像捕获设备100的每个组件使用的程序、参数等。
上面已经描述了图像捕获设备100的配置示例。注意的是，以上参考图6描述的功能配置仅仅是示例，并且图像捕获设备100的配置不限于这个示例。例如，虽然在图6所示的示例中在图像捕获设备100中完成了从图像捕获处理到信号处理的处理，但是这些处理的一部分可以由外部设备来实现。
例如，信号处理单元170的一些或全部功能可以通过外部设备来实现。更具体而言，如图7中所示，信号处理单元170的功能可以通过能够与图像捕获设备100a通信的信息处理设备200a(例如，个人计算机(PC)等)来实现。在这种情况下，存储单元180存储由输出单元160输出的图像数据(原始数据)。然后，图像捕获设备100a还包括与信息处理设备200a通信的通信单元190，并且通信单元190将存储在存储单元180中的图像数据传输到信息处理设备200a。注意的是，通信单元190与信息处理设备200a之间的通信方法、线路的类型等没有特别限制。而且，为了确保通信频带，通信单元190可以将通过预定的无损压缩方法压缩的图像数据传输到信息处理设备200a。在这种情况下，信息处理设备200a恢复压缩图像数据并在处理中使用恢复的图像数据。
然后，信息处理设备200a对从图像捕获设备100a接收到的图像数据执行各种类型的信号处理，诸如去马赛克和逆矩阵计算，从而生成多光谱图像，并通过使用生成的多光谱图像计算诸如NDVI之类的植被指数来诊断植被状态。由于需要减小尺寸等，因此图像捕获设备100a的处理能力可以低于信息处理设备200a的处理能力。因此，由于信息处理设备200a实现了具有更高处理负荷的信号处理，因此处理的速度或效率可以完全提高。注意的是，图像捕获设备100a和信息处理设备200a的处理内容不限于上述内容。例如，图像捕获设备100a可以设有信号处理单元170(就像图6中的图像捕获设备100)，信号处理单元170可以执行直到生成多光谱图像的处理，并且信息处理设备200a可以计算植被指数并诊断植被状态。可替代地，图像捕获设备100a的信号处理单元170可以执行直到计算植被指数的处理，并且信息处理设备200a可以诊断植被状态。
另外，如图8中所示，图像捕获设备100b的通信单元190可以与安装在云网络上的云服务器200b通信，而不是与信息处理设备200a通信。利用这种配置，可以通过云服务器200b实现信号处理单元170的功能。这种配置可以进一步提高整个处理的速度或效率。注意的是，云服务器200b可以经由与图像捕获设备100b通信的另一个信息处理设备来获取图像数据等，而无需与图像捕获设备100b通信。
此外，如上所述，图像捕获设备100可以包括如复眼相机的多个图像捕获机构。如果图像捕获设备100包括三个图像捕获机构，那么图像捕获设备100c可以包括成像光学系统110a至110c、曝光处理单元120a至120c、滤光器140a至140c、图像传感器150a至150c、输出单元160a至160c、公共信号处理单元170和公共存储单元180，如图9中所示。
注意的是，在这种情况下，可调滤光器和专用滤光器可以被布置在不同的图像传感器150上。如图9中所示，由于来自图像传感器150a至150c的输出由公共信号处理单元170处理，因此图像捕获设备100c可以实现与在可调滤光器和专用滤光器布置在一个图像传感器150上的情况下获得的效果相似的效果。注意的是，以上参考图9描述的功能配置仅仅是示例，并且包括多个图像捕获机构的图像捕获设备100c的配置不限于这个示例。
(2.3.信号处理流程)
上面已经描述了根据本实施例的图像捕获设备100的配置示例。接下来，将参考图10描述根据本实施例的信号处理流程的示例。虽然如上所述作为外部设备的信息处理设备200a或云服务器200b可以实现图像捕获设备100的信号处理单元170的功能，但是下面将作为一个示例描述图像捕获设备100的信号处理单元170实现所有信号处理的情况。另外，假定以布置在4×4阵列中的像素用于处理作为前提，在4×4阵列中的像素中的十二个像素配备有可调滤光器，其余像素中的两个像素配备有用于PRI的专用滤光器，其余两个像素配备有用于SIF的专用滤光器。另外，专用滤光器的分辨率越高(半带宽越窄)，它越优选。但是，可以使用在包括至少目标波长的范围内(例如，用于PRI的专用滤光器的大约531[nm]和大约570[nm])具有几[nm]的半带宽的滤光器。
在步骤S1000中，图像捕获设备100的信号处理单元170经由输出单元160获取由图像传感器150生成的原始数据。假设原始数据包括其中有可能以可调的方式提取波长的像素的数据和用于检测用于特定用途的特定波长带的像素的数据。
在步骤S1004中，信号处理单元170为每个滤光器分离获取的原始数据，因此，获得十二个可调图像，两个用于PRI图像(波长大约为531[nm]的图像和波长大约为570[nm]的图像)，以及两个用于SIF图像(波长大约761[nm]的图像和波长大约为758[nm]的图像)。在步骤S1008中，用户选择要计算的植被指数。注意的是，选择植被指数的选择者可以不是用户(例如，预定设备等)。
当用户选择NDVI或GNDVI作为要计算的植被指数时，在步骤S1012中，信号处理单元170对十二个可调图像执行去马赛克。注意的是，去马赛克并非总是必要的，并且可以根据获取的图像数据适当地省略。
在步骤S1016中，信号处理单元170获取NIR波长带(波长：大约800[nm])的图像。然后，当用户选择NDVI作为要计算的植被指数时，在步骤S1020中，信号处理单元170获取红光(RED)的波长带(波长：大约650[nm])的图像，并且在步骤S1024中使用NIR波长带的图像和红光的波长带的图像通过上述(等式1)的计算来计算NDVI。
另一方面，当用户选择GNDVI作为要计算的植被指数时，信号处理单元170在步骤S1028中获取绿光的波长带(波长：大约550[nm])的图像，并且在步骤S1032中使用NIR波长带的图像和绿光的波长带的图像通过上述(等式2)的计算来计算GNDVI。
当用户在步骤S1008中选择PRI作为要计算的植被指数时，信号处理单元170在步骤S1036中对用于PRI的两个图像(波长大约为531[nm]的图像和波长大约为570[nm]的图像)执行去马赛克，并在步骤S1040中通过上述(等式3)的计算来计算PRI。另外，当用户在步骤S1008中选择SIF作为要计算的植被指数时，信号处理单元170在步骤S1044中对用于SIF的两个图像(波长大约为761[nm]的图像和波长大约为758[nm]的图像)执行去马赛克，并在步骤S1048中通过上述(等式4)的计算来计算SIF。注意的是，类似于步骤S1012，去马赛克也并非总是必要的，并且可以根据在步骤S1036和S1044中获取的图像数据适当地省略。
在步骤S1052中，信号处理单元170基于在前一级中计算出的各种植被指数来诊断植被状态。因此，一系列处理结束。上面已经描述了基于植被指数诊断植被状态的方法的具体示例，因此，将省略其描述。注意的是，如上所述，信号处理单元170可以适当地执行诸如在预定显示器上显示诊断结果之类的处理。
注意的是，图10所示的流程图中的步骤的处理不必以所描述的次序按时间序列执行。即，流程图中的相应步骤的处理可以以与所描述的次序不同的次序执行，或者可以并行执行。
<3.示例>
上面已经描述了根据本实施例的信号处理的流程的示例。上述本公开的实施例可应用于各种示例。因此，下面将描述对其应用本公开的实施例的各种示例。
(3.1.第一示例)
首先，将描述第一示例。如图11中所示，在本示例中，在滤光器140之前的级中插入光学低通滤光器，使得以4×4阵列布置的像素10与用于感测的一个像素对应。此外，在以4×4阵列排列的像素中，在两个像素上分别布置有两种类型的用于计算PRI的专用滤光器(PRI专用滤光器(B1)，其具有透射波长大约为531[nm]的光的透射光谱特性，以及PRI专用滤光器(B2)，其具有透射波长大约为570[nm]的光的透射光谱特性)(总共两个像素)，并且在两个像素上分别布置有两种类型的用于计算SIF的专用滤光器(SIF专用滤光器(C1)，其具有透射波长大约为761[nm]的光的透射光谱特性，以及SIF专用滤光器(C2)，其具有透射波长大约为758[nm]的光的透射光谱特性)(总共两个像素)。然后，将具有透射宽带(大约200至600[nm])的光的透射光谱特性的可调滤光器(A)布置在其余的十二个像素上。
然后，考虑来自作为被摄体的植被的反射光具有如图12的a-1中所示的光谱特性，并且图像传感器150经由滤光器140接收反射光的情况。如a-2中所示，在其上布置有可调滤光器(A)的十二个像素在宽带(大约200至600[nm])中具有不同的光谱特性。假设，如a-1中所示，在其上布置有可调滤光器(A)的十二个像素接收反射光的情况下，相应像素的输出灵敏度在大约1.0处相同，如a-3中所示。
另一方面，假设其中布置有用于PRI计算的两种类型的专用滤光器的像素的输出灵敏度大约为0.125(换句话说，具有可调滤光器(A)的像素的输出灵敏度的1/8)，如b-3中所示。此外，假设在用于SIF计算的两种类型的专用滤光器当中，其上布置有具有大约761[nm]的透射光谱特性的SIF专用滤光器(C1)的像素的输出灵敏度更小，即，大约0.04(换句话说，具有可调滤光器(A)的像素的输出灵敏度的大约1/24)，如c-3中所示，因为大约761[nm]的波长与太阳光谱中的黑线对应。此外，假设在用于SIF计算的两种类型的专用滤光器中，布置在其上的具有大约758[nm]的透射光谱特性的SIF专用滤光器(C2)的像素的输出灵敏度为大约0.125(换句话说，具有可调滤光器(A)的像素的输出灵敏度的大约1/8)，如c-3中所示。
在以这种输出灵敏度对植被成像的情况下，曝光控制单元130根据相应像素的输出灵敏度来确定相应像素的曝光时间。更具体而言，对于其输出灵敏度大约为具有可调滤光器(A)的像素的输出灵敏度的1/8的具有PRI专用滤光器(B1)、PRI专用滤光器(B2)和SIF专用滤光器(C2)的像素，曝光控制单元130将这些像素的曝光时间设置为比具有可调滤光器(A)的像素的曝光时间长大约八倍，如图13中所示。另外，对于其输出灵敏度大约为具有可调滤光器(A)的像素的输出灵敏度的1/24的具有SIF专用滤光器(C1)的像素，曝光控制单元130将这个像素的曝光时间设置为比具有可调滤光器(A)的像素的曝光时间长大约24倍。
(3.2.第二示例)
随后，将描述第二示例。本示例描述根据输出灵敏度来调整其上布置有相应滤光器的像素的数量的情况。更具体而言，其输出灵敏度大约为具有可调滤光器(A)的像素的输出灵敏度的1/8的PRI专用滤光器(B1)、PRI专用滤光器(B2)和SIF专用滤光器(C2)各自布置在八个像素上，这是第一示例中的像素的八倍，如图14中所示。另外，其输出灵敏度大约为具有可调滤光器(A)的像素的输出灵敏度的1/24的SIF专用滤光器(C1)布置在二十四个像素上，这是第一示例中的像素的二十四倍。
另一方面，在第一示例中，可调滤光器(A)布置在比十二个像素更多的像素上，即，布置在十六个像素上。由于具有可调滤光器(A)的像素数量的增加，与图15的a-2和a-3中所示的第一示例相比，图像捕获设备100可以检测更多波长带中的光，从而能够提高可调波长提取和SNR的计算准确性。因此，可以使半带宽变窄。图15中的其它曲线图与第一示例中的曲线图相似，因此将省略其描述。
由于如本示例中那样根据输出灵敏度调整其上布置有相应滤光器的像素的数量，因此相应像素的曝光时间与图16中所示的基本相同。因此，图像捕获设备100可以一次对所有像素执行图像捕获。
注意的是，在第一示例中，以4×4阵列布置的像素10与用于感测的一个像素对应，而在本示例中，光学低通滤光器插入在滤光器140之前的级中，使得以8×8阵列布置的像素10与用于感测的一个像素对应。因此，本示例中的分辨率在垂直和水平方向上是第一示例中的分辨率的一半。
(3.3.第三示例)
随后，将描述第三示例。本示例描述了调整每个滤光器的透射率以使相应像素的输出灵敏度基本相同的情况。如图17中所示，在本示例中，如在第一示例中那样，在滤光器140之前的级中插入光学低通滤光器，使得以4×4阵列布置的像素10与用于感测的一个像素对应。可调滤光器(A)、PRI专用滤光器(B1、B2)和SIF专用滤光器(C1、C2)的配置也与第一示例中的配置相似，因此，将省略对其的描述。
在本示例中，假设将像素输出灵敏度最低的SIF专用滤光器(C1)的透射率调整为1.0，将PRI专用滤光器(B1)、PRI专用滤光器(B2)和SIF专用滤光器(C2)的透射率调整为0.32，并将每个可调滤光器(A)的透射率调整为0.04，如图18的a-3、b-3和c-3中所示。注意的是，图18中的其它曲线图与第一示例中的曲线图相似，因此将省略其描述。利用这种配置，相应像素的曝光时间与图19中所示的基本相同，由此图像捕获设备100可以一次对所有像素执行图像捕获。
注意的是，在本示例中，以4×4阵列布置的像素10如第一示例中的那样与用于感测的一个像素对应，因此，在本示例中，分辨率与第一示例的分辨率基本相同。另外，由于以具有最低像素输出灵敏度的SIF专用滤光器(C1)的透射率作为参考来调整每个滤光器的透射率，因此与第一示例相比，整个像素的曝光时间变得更长。因此，本示例更适于被摄体是要求相对高分辨率的静止物体等并且照度相对高的情况。
(3.4.第四示例)
随后，将描述第四示例。本示例描述图像捕获设备100包括三个图像捕获机构并且在不同的图像传感器150上布置可调滤光器(A)、PRI专用滤光器(B1、B2)和SIF专用滤光器(C1、C2)的情况。
在这种情况下，可以考虑用于感测的一个像素的配置和曝光时间的各种组合。例如，关于可调滤光器(A)，如图20的d-1中所示，将以4×4阵列布置的十六种类型的像素设置为用于感测的一个像素。另外，关于PRI专用滤光器(B1)和PRI专用滤光器(B2)，在包括具有PRI专用滤光器(B1)的八个像素和具有PRI专用滤光器(B2)的八个像素的4×4阵列中的像素被设置为用于感测的一个像素。此外，关于SIF专用滤光器(C1)和SIF专用滤光器(C2)，包括具有SIF专用滤光器(C1)的十二个像素和具有SIF专用滤光器(C2)的四个像素的4×4阵列中的像素被设置为用于感测的一个像素。
在这种配置中，用于感测的一个像素的输出灵敏度在可调滤光器(A)与PRI专用滤光器(B1、B2)之间基本相同，而关于SIF专用滤光器(C1、C2)的用于感测的一个像素的输出灵敏度大约为可调滤光器(A)和PRI专用滤光器(B1、B2)的输出灵敏度的一半。因此，如图21的d-1中所示，曝光控制单元130将具有可调滤光器(A)的像素和具有PRI专用滤光器(B1、B2)的像素的曝光时间设置为基本相同，并将具有SIF专用滤光器(C1、C2)的像素的曝光时间设置为具有可调滤光器(A)和PRI专用滤光器(B1、B2)的像素的曝光时间的两倍。
另外，考虑以下情况：关于SIF专用滤光器(C1、C2)，包括具有SIF专用滤光器(C1)的二十四个像素和具有SIF专用滤光器(C2)的八个像素的4×8(或8×4)阵列中的像素被设置为用于感测的一个像素，如图20的d-2中所示(值得注意的是，可调滤光器(A)和PRI专用滤光器(B1、B2)的配置与图20的d-1中示出的那些相似)。在这种配置中，曝光控制单元130将具有可调滤光器(A)、PRI专用滤光器(B1、B2)和SIF专用滤光器(C1、C2)的像素的曝光时间设置为与图21的d-2中所示的基本相同。
另外，考虑以下情况：关于PRI专用滤光器(B1、B2)，包括具有PRI专用滤光器B1的两个像素和具有PRI专用滤光器B2的两个像素的2×2阵列中的像素设置为用于感测的一个像素，以便优先考虑分辨率，并且关于SIF专用滤光器(C1、C2)，包括具有SIF专用滤光器(C1)的三个像素和具有SIF专用滤光器(C2)的一个像素的2×2阵列中的像素被类似地设置为用于感测的一个像素，以便优先考虑分辨率，如图20的d-3中所示(值得注意的是，可调滤光器(A)的配置与图20的d-1中的配置相似)。在这种配置中，如图21的d-3中所示，曝光控制单元130将具有PRI专用滤光器(B1、B2)的像素的曝光时间设置为比具有可调滤光器(A)的像素的曝光时间长大约四倍，并将具有SIF专用滤光器(C1、C2)的像素的曝光时间设置为比具有可调滤光器(A)的像素的曝光时间长约八倍。
注意的是，如在上面提到的示例中那样，根据用于感测的一个像素的尺寸，假设光学低通滤光器被插入在相应滤光器之前的级中。
(3.5.第五示例)
随后，将描述第五示例。本示例描述用NDVI专用滤光器代替用作专用滤光器的PRI专用滤光器的情况。更具体而言，在本示例中，如图22中所示，在滤光器140之前的级中插入光学低通滤光器，使得以4×4阵列布置的像素10与用于感测的一个像素对应。另外，在以4×4阵列布置的像素中，分别在两个像素上布置有两种类型用于NDVI计算的专用滤光器(NDVI专用滤光器(B1)，其具有在红光(RED)的波长带中650[nm]的波长的透射光谱特性和50至100[nm]的半带宽，以及NDVI专用滤光器(B2)，其具有在NIR的波长带中800[nm]的波长的透射光谱特性和50至100[nm]的半带宽)(总共两个像素)上，并且分别在两个像素上布置有SIF专用滤光器(C1、C2)(总共两个像素)。此外，可调滤光器(A)被布置在其余的十二个像素上。
在此，假设被摄体是植被。在检测可见范围的信号的情况下，因为NIR信号大于可见范围的信号，所以NIR信号可以常常成为大的噪声源。鉴于此，在本示例中，将可调滤光器(A)的透射光谱特性强制限制到可见范围(图23的a-3中的框架线12指示可见范围)，如图23的a-3中所示。然后，图像捕获设备100从具有NDVI专用滤光器(B1、B2)的像素而不是从具有可调滤光器(A)的像素获取红光(RED)和NIR的信号。因而，图像捕获设备100可以提高NDVI的准确性，并且还可以提高由具有可调滤光器(A)的像素获得的信号的准确性。
注意的是，用于将可调滤光器(A)的透射光谱特性强制限制到可见范围的方法没有特别限制。例如，可以将具有在可见范围内的透射光谱特性的滤光器用作可调滤光器(A)，或者可以将具有可见范围内的透射光谱特性的另一个滤光器安装在可调滤光器(A)之前的级中。
另外，虽然本示例描述了通过具有NDVI专用滤光器(B1)的像素获取红光的波长带的图像的情况，但是不限于此。更具体而言，如在上面提到的示例中那样，可以通过具有可调滤光器(A)的像素来获取红光的波长带的图像。
另外，假设具有可调滤光器(A)的像素的输出灵敏度大约为1.0，具有NDVI专用滤光器(B1、B2)的像素的输出灵敏度大约为0.5(换句话说，大约为具有可调滤光器(A)的像素的输出灵敏度的1/2)，如图23的a-4、b-4和c-4中所示。另外，假设具有SIF专用滤光器(C1)(其具有761[nm]的透射光谱特性)的像素的输出灵敏度大约为0.04(换句话说，大约为具有可调滤光器(A)的像素的输出灵敏度的1/24)，并且具有SIF专用滤光器(C2)(其具有758[nm]的透射光谱特性)的像素的输出灵敏度大约为0.125(换句话说，大约为具有可调滤光器(A)的像素的输出灵敏度的1/8)。
将描述当以这种输出灵敏度捕获植被的图像时每个像素的曝光时间。如图24中所示，曝光控制单元130将NDVI专用滤光器(B1、B2)的像素(其输出灵敏度大约为具有可调滤光器(A)的像素的输出灵敏度的1/2)的曝光时间设置为比具有可调滤光器(A)的像素的曝光时间长大约两倍。另外，曝光控制单元130将SIF专用滤光器(C1)的像素(其输出灵敏度大约为具有可调滤光器(A)的像素的输出灵敏度的1/24)的曝光时间设置为比具有可调滤光器(A)的像素的曝光时间长大约二十四倍。另外，曝光控制单元130将SIF专用滤光器(C2)的像素(其输出灵敏度大约为具有可调滤光器(A)的像素的输出灵敏度的1/8)的曝光时间设置为比具有可调滤光器(A)的像素的曝光时间长大约八倍。
接下来，将描述通过包括三个图像捕获机构的图像捕获设备100来实现本示例的情况的示例。例如，关于可调滤光器(A)，如图25的d-1中所示，将以3×3阵列布置的九种类型的像素设置为用于感测的一个像素。利用这种配置，分辨率高于将以4×4阵列布置的十六种类型的像素用作用于感测的一个像素的示例的分辨率。另外，关于NDVI专用滤光器(B1、B2)，将包括具有NDVI专用滤光器(B1)的两个像素和具有NDVI专用滤光器(B2)的两个像素的2×2阵列中的像素设置为用于感测的一个像素。另外，关于SIF专用滤光器(C1、C2)，将包括具有SIF专用滤光器(C1)的十二个像素和具有SIF专用滤光器(C2)的四个像素的4×4阵列中的像素设置为用于感测的一个像素。
在这种配置中，用于感测的一个像素的输出灵敏度在可调滤光器(A)与NDVI专用滤光器(B1、B2)之间基本相同，而关于SIF专用滤光器(C1、C2)的用于感测的一个像素的输出灵敏度大约为可调滤光器(A)和NDVI专用滤光器(B1、B2)的输出灵敏度的一半。因此，如图26的d-1中所示，曝光控制单元130将可调滤光器(A)和NDVI专用滤光器(B1、B2)的曝光时间设置为基本相同，并将SIF专用滤光器(C1、C2)的像素的曝光时间设置为比具有可调滤光器(A)的像素和具有NDVI专用滤光器(B1、B2)的像素的曝光时间长大约两倍。
另外，考虑以下情况：关于SIF专用滤光器(C1、C2)，包括具有SIF专用滤光器(C1)的二十四个像素和具有SIF专用滤光器(C2)的八个像素的4×8(或8×4)阵列中的像素被设置为用于感测的一个像素，如图25的d-2中所示(值得注意的是，可调滤光器(A)和NDVI专用滤光器(B1、B2)的配置与图25的d-1中所示的配置相似)。在这种配置中，曝光控制单元130将具有可调滤光器(A)、NDVI专用滤光器(B1、B2)和SIF专用滤光器(C1、C2)的像素的曝光时间设置为与图26的d-2中所示的基本相同。
另外，考虑以下情况：关于SIF专用滤光器(C1、C2)，包括具有SIF专用滤光器(C1)的三个像素和具有SIF专用滤光器(C2)的一个像素的2×2阵列中的像素被设置为用于感测的一个像素，如图25的d-3中所示，以便优先考虑分辨率(值得注意的是，可调滤光器(A)和NDVI专用滤光器(B1、B2)的配置与图25的d-1中所示的配置相似)。在这种配置中，如图26的d-3中所示，曝光控制单元130将具有可调滤光器(A)的像素和具有NDVI专用滤光器(B1、B2)的像素的曝光时间设置为基本相同，并将具有SIF专用滤光器(C1、C2)的像素的曝光时间设置为比具有可调滤光器(A)的像素和具有NDVI专用滤光器(B1、B2)的像素的曝光时间长大约八倍。
注意的是，如在上面提到的示例中一样，根据用于感测的一个像素的尺寸，假设光学低通滤光器被插入在相应滤光器之前的级中。
(3.6.第六示例)
随后，将描述第六示例。本示例示出了一种情况，其中将根据第五示例(图25)的配备有SIF专用滤光器(C1、C2)的图像捕获机构改变为RGB相机。更具体而言，关于RGB相机(C1、C2、C3)，包括具有用于红光的滤光器的一个像素(RGB相机(C1))、具有用于绿光的滤光器的两个像素(RGB相机(C2))和具有用于蓝光的滤光器的一个像素(RGB相机(C3))的2×2阵列中的像素被设置为用于感测的一个像素，如图27中所示(值得注意的是，可调滤光器(A)和NDVI专用滤光器(B1、B2)的配置与图25中所示的配置相似)。在这种情况下，假设将RGB相机(C1、C2、C3)的像素的输出灵敏度分别调整为大约1.0，如图28的c-3中所示。
将描述当以这种输出灵敏度捕获植被的图像时每个像素的曝光时间。如图29中所示，曝光控制单元130将具有可调滤光器(A)、NDVI专用滤光器(B1、B2)和RGB相机(C1、C2、C3)的像素的曝光时间设置为基本相同。
在这个示例中，还根据与用于感测的一个像素对应的像素数将光学低通滤光器插入到滤光器140之前的级中。但是，由于将高级去马赛克技术应用于RGB Bayer阵列，因此常常根据用于调制传递函数(MTF)的GRN的采样间隔插入光学低通滤光器。
(3.7.第七示例)
随后，将描述第七示例。如图30中所示，这个示例示出了使用B&W相机(或单色相机)代替第六示例中使用的RGB相机的情况。在这种情况下，假设将黑白相机(C)的像素的输出灵敏度调整为大约1.0，如图31的c-3中所示。
将描述当以这种输出灵敏度捕获植被的图像时每个像素的曝光时间。如图32中所示，曝光控制单元130将具有可调滤光器(A)、NDVI专用滤光器(B1、B2)和B&W相机(C)的像素的曝光时间设置为基本相同。
在此，将参考图33描述在第六示例中安装RGB相机和在第七示例中安装B&W相机的优点。图33是示出在安装RGB相机或B&W相机的情况下的信号处理的流程的示例的流程图。如上所述，虽然作为外部设备的信息处理设备200a或云服务器200b可以实现图像捕获设备100的信号处理单元170的功能，但是下面将作为一个示例描述图像捕获设备100的信号处理单元170实现所有信号处理的情况。
在步骤S1100中，图像捕获设备100的信号处理单元170经由输出单元160获取由图像传感器150生成的原始数据。在步骤S1104中，信号处理单元170针对每个滤光器分离获取的原始数据，因此，获得九个可调图像、用于NDVI的两个图像(红光(RED)的波长带的图像和NIR波长带的图像)以及RGB波长带的三个图像或者一个B&W(或单色)图像。在步骤S1108中，用户选择要计算的植被指数。
当用户选择GNDVI作为要计算的植被指数时，信号处理单元170在步骤S1112中对九个可调图像执行去马赛克，并且在步骤S1116中获得绿光的波长带(波长：大约550[nm])的图像。此后，信号处理单元170在步骤S1120中对NIR波长带(波长：大约800[nm])的图像执行去马赛克，并且在步骤S1124中使用NIR波长带的图像和绿光的波长带的图像通过上述(等式2)的计算来计算GNDVI。
当用户在步骤S1108中选择NDVI作为要计算的植被指数时，信号处理单元170在步骤S1120中对NIR波长带的图像执行去马赛克，并且在步骤S1128中对红光的波长带(波长：大约为650[nm])的图像执行去马赛克。在步骤S1132中，信号处理单元170使用NIR波长带的图像和红光的波长带的图像通过上述(等式1)的计算来计算NDVI。在步骤S1136中，信号处理单元170基于在前一级中计算出的GNDVI或NDVI来诊断植被的状态。
在步骤S1140中，信号处理单元170对RGB的波长带的图像或B&W图像执行去马赛克。此后，信号处理单元170在步骤S1144中在显示器上显示RGB波长带的高分辨率图像或B&W图像，并且在步骤S1148中在图像上叠加并显示(叠加并显示)GNDVI或NDVI的植被指数的低分辨率图像。因此，一系列处理结束(在这种情况下，信号处理单元170还用作显示控制单元)。因而，图像捕获设备100以可识别出的方式显示RGB波长带的高分辨率图像或B&W图像，同时保持GNDVI或NDVI的植被指数的图像的高准确性，由此可以容易地识别有问题的区域。
注意的是，图33中所示的流程图中的步骤的处理不必以所描述的次序按时间序列执行。即，流程图中的相应步骤的处理可以以与所描述的次序不同的次序执行，或者可以并行执行。另外，虽然在以上描述中将GNDVI或NDVI用作植被指数，但是PRI或SIF可以被计算并显示为叠加。另外，在步骤S1112、步骤S1120、步骤S1128和步骤S1140中，去马赛克并非总是必要的，并且可以根据获取的图像数据适当地省略。
(3.8.第八示例)
以上，已经描述了可调滤光器和专用滤光器的组合、曝光控制等。接下来，将参考图34描述用于构造可调滤光器和专用滤光器的方法。
图34的a示出了可调滤光器和专用滤光器的示例，其中像素级微滤光器布置在阵列中。通过例如在几[nm]到几[μm]的玻璃上沉积多层介电膜来形成微滤光器，并且其透射光谱特性(例如，可以被透射的光的波长带、半带宽等)没有特别限制。
图34的b示出了这样一种情况的示例：其中，可调滤光器由等离振子(plasmon)共振滤光器利用等离振子共振的原理构成，而专用滤光器是通过将像素级微滤光器布置在阵列中而形成，如图34的a中所示。等离振子共振滤光器是在单个金属板上形成数十个到数百个各自具有几[nm]尺寸的孔的滤光器，并且可以被透射的光的波长带根据孔直径和间距而改变。注意的是，等离振子共振滤光器的孔直径和间距没有特别限制。
接下来描述通过RGB传感器和双带通滤光器(下文中有时称为“DBP”)的组合来实现PRI和SIF专用滤光器的情况的示例。考虑使用配备有具有大约531[nm]和大约761[nm]的透射光谱特性的DBP1的相机(下文中称为“DBP1相机”)和配备有具有大约570[nm]和大约758[nm]的透射光谱特性的DBP2的相机(下文中称为“DBP2相机”)的情况，如图35中所示。
然后，如图35中所示，通过获取DBP1相机中用于红光(RED)的波长带的像素来提取大约761[nm]波长带的图像。另外，通过获取用于绿光(GRN)的波长带的像素来提取具有大约531[nm]的波长带和大约761[nm]的波长带的图像。大约531[nm]的波长带与大约761[nm]的波长带之间的比率由K1表示，其中K1是当将用于红光(RED)波长带的像素的输出定义为1时用于绿光(GRN)的波长带的像素的输出，如图35中所示。即，通过以下(等式5)计算大约531[nm]的波长带的图像λ531。注意的是，(等式5)中的“GRN”指示用于绿光(GRN)的波长带的像素的输出。另外，“RED”指示用于红光的波长带(RED)的像素的输出，并且是如上所述的大约761[nm]的波长带的图像λ761。
[等式5]
λ531＝GRN-K1*RED...(等式5)
另外，如图35中所示，通过获取DBP2相机中用于红光(RED)的波长带的像素来提取大约758[nm]的波长带的图像。另外，通过获取用于绿光(GRN)的波长带的像素来提取具有大约570[nm]的波长带和大约758[nm]的波长带的图像。大约570[nm]的波长带与大约758[nm]的波长带之间的比率由K2表示，其中K2是当将用于红光(RED)的波长带的像素定义为1时用于绿光(GRN)的波长带的像素的输出，如图35中所示。即，通过以下(等式6)计算大约570[nm]的波长带的图像λ570。注意的是，(等式6)中的“GRN”指示用于绿光(GRN)的波长带的像素的输出。另外，“RED”指示用于红光的波长带(RED)的像素的输出，并且是如上所述的大约758[nm]的波长带的图像λ758。
[等式6]
λ570＝GRN-K2*RED...(等式6)
然后，信号处理单元170可以使用从DBP1相机获得的大约531[nm]的波长带的图像λ531和从DBP2相机获得的大约570[nm]的波长带的图像λ570通过上面提到的(等式3)的计算来计算PRI。此外，信号处理单元170可以使用从DBP1相机获得的大约761[nm]的波长带的图像λ761和从DBP2相机获得的大约758[nm]的波长带的图像λ758通过上面提到的(等式4)的计算来计算SIF。
(3.9.第九示例)
随后，将描述第九示例。本示例示出了通过RGB传感器和DBP来实现第六示例(图27)中的专用滤光器的情况。更具体而言，考虑如图36中所示通过RGB传感器和DBP实现NDVI专用滤光器(B1、B2)的情况。在这种情况下，关于NDVI专用滤光器(B1、B2)，包括具有用于红光(RED)的滤光器的一个像素、具有用于NIR的滤光器的一个像素以及具有用于绿光(GRN)的滤光器的两个像素的2×2阵列中的像素用作用于感测的一个像素，如图36中所示。换句话说，在这个示例中，用于计算NDVI的用于红光(RED)的波长带的像素数和NIR波长带的像素数仅为第六示例中的一半(图27)。
因此，在本示例中，将NDVI专用滤光器(B1、B2)和图像传感器150的光谱特性的半带宽设置为第六示例中的两倍(参见图28中的b-2)，如图37中的b-2中所示。因此，以像素为基础，可以实现大约为第六示例中的输出灵敏度的两倍的输出灵敏度(作为整个NDVI专用滤光器，输出灵敏度基本等于第六示例中的输出灵敏度)，如图37的b-3中所示。因而，曝光控制单元130将具有可调滤光器(A)、NDVI专用滤光器(B1、B2)和RGB相机(C1、C2、C3)的像素的曝光时间设置为与图38中所示的基本相同。根据本示例，图像捕获设备100可以使用具有专用滤光器的像素的高质量、高分辨率输出来提高具有可调滤光器的像素的输出的图像质量或分辨率。注意的是，可以使用具有专用滤光器的像素的输出来适当地校正具有可调滤光器的像素的输出。
在此，在图37的b-2中红光的半带宽大于NIR的半带宽的原因是，与NIS波长带的光相比，植物吸收的红光更多。由于吸收了多少红光是用于诊断植被状态的关键信息，因此期望地考虑将用于红光的输出灵敏度设置为多少是关键点。
(3.10.第十示例)
如上述第四示例、第五示例、第六示例和第七示例中那样，本示例考虑如下情况：其中图像捕获设备100包括多个图像捕获机构，并且在不同的图像传感器150上布置有可调滤光器和专用滤光器。在这种情况下，图像捕获设备100可以在可调滤光器和专用滤光器之前的级中包括二向色滤光器，以通过二向色滤光器将入射光分离成多个光束。利用这种配置，图像捕获设备100可以使分离的入射光束分别进入可调滤光器和专用滤光器，从而能够在不改变光轴的情况下获取适当的图像。
首先，将描述将二向色滤光器应用于第四示例的情况的示例。如图39中所示，图像捕获设备100在可调滤光器和专用滤光器之前的级中包括二向色滤光器1和二向色滤光器2，以将入射光分离成三个光束。
在此，如图40中所示，假设二向色滤光器1在整个区域(在这个示例中为400至1000[nm])上具有50[％]的透射率和50[％]的反射率。另外，假设二向色滤光器2在400至700[nm]中具有0[％]的透射率和100[％]的反射率、在700至1000[nm]中具有100[％]的透射率和0[％]的反射率。然后，如图41中所示，由二向色滤光器1反射的光进入可调滤光器，由二向色滤光器2反射的光进入PRI专用滤光器，并且透射通过二向色滤光器1和二向色滤光器2的光进入SIF专用滤光器。在这种情况下，50[％]的入射光进入可调滤光器、PRI专用滤光器和SIF专用滤光器，从而图像捕获设备100可以从相应滤光器的像素中获取适当的图像。更具体而言，图像捕获设备100可以获取光轴彼此匹配并且像素的位置彼此匹配的图像。
接下来，将描述将二向色滤光器应用于第五示例的情况的示例。入射光与二向色滤光器1和2之间的位置关系与图39中所示示例中的位置关系相似。
如图42中所示，假设二向色滤光器1在400至800[nm]中具有50[％]的透射率和50[％]的反射率，并且在800至1000[nm]中具有100[％]的透射率和0[％]的反射率。另外，假设二向色滤光器2在400至800[nm]中具有0[％]的透射率和100[％]的反射率，并且在800至1000[nm]中具有66[％]的透射率和33[％]的反射率。然后，如图43中所示，由二向色滤光器1反射的光进入可调滤光器，由二向色滤光器2反射的光进入NDVI专用滤光器，并且透射通过二向色滤光器1和二向色滤光器2的光进入SIF专用滤光器。在这种情况下，50[％]的入射光进入可调滤光器和NDVI专用滤光器(RED)，33[％]的入射光进入NDVI专用滤光器(NIR)，并且66[％]的入射光进入SIF专用滤光器。这改善了入射在相应滤光器上的光量的平衡，因此图像捕获设备100可以从相应滤光器的像素获取更适当的图像。
接下来，将描述将二向色滤光器应用于第六示例的情况的示例。入射光与二向色滤光器1和2之间的位置关系与图39中所示示例中的位置关系相似。
在这个示例中，假设NDVI专用滤光器仅以NIR为目标，并且从可调滤光器或RGB相机计算出的红光(RED)用于计算NDVI。如图44中所示，假设二向色滤光器1在400至800[nm]中具有50[％]的透射率和50[％]的反射率，并且在800至1000[nm]中具有100[％]的透射率和0[％]的反射率。另外，假设二向色滤光器2在400至800[nm]中具有0[％]的透射率和100[％]的反射率，并且在800至1000[nm]中具有100[％]的透射率和0[％]的反射率。然后，如图45中所示，由二向色滤光器1反射的光进入可调滤光器，由二向色滤光器2反射的光进入RGB相机，并且透射通过二向色滤光器1和二向色滤光器2的光进入NDVI专用的滤光器(NIR)。在这种情况下，50[％]的入射光进入可调滤光器和RGB相机，100[％]的入射光进入NDVI专用滤光器(NIR)。这改善了入射在相应滤光器上的光量的平衡，因此图像捕获设备100可以从相应滤光器的像素获取适当的图像。
注意的是，可以适当地修改被描述为第十示例的上面提到的示例。例如，可以适当地改变每个波长带中的二向色滤光器1和二向色滤光器2的透射率。
<4.应用示例>
在上面，已经描述了已经对其应用本公开的实施例的各种示例。随后，将描述本公开的应用示例。根据本公开的技术可以被应用于各种设备或系统。例如，根据本公开的技术可以应用于包括医用显微镜、医用内窥镜等的医用图像捕获设备以及包括这些设备的医用图像捕获系统(医用显微镜系统、医用内窥镜系统等)。
(4.1.医用图像捕获设备的应用示例)
在此，将参考图46描述将根据本公开的技术应用于医用图像捕获设备的情况的示例。如图46中所示，对其应用本公开的医用图像捕获设备包括显微镜300和数据处理单元310。
根据这个应用示例的显微镜300具有图像传感器46以及在图像传感器46之前的级中提供的可调滤光器和专用滤光器(换句话说，在这个应用示例中，图像传感器46用作检测第一波长带的信号的第一检测单元和检测第二波长带的信号的第二检测单元)。注意的是，上述各种布置模式可以应用于可调滤光器和专用滤光器的布置。另外，在显微镜300包括如复眼相机的多个图像捕获机构的情况下，可以将可调滤光器和专用滤光器布置在不同的图像传感器46上。
另外，显微镜300包括多种类型的光源，并且可以通过控制这些光源来切换明场成像模式和暗场成像模式。在此，明视场成像模式指示其中用正常的照明光照射生物样本SPL的模式，通过该模式，整个生物样本SPL的明场图像(明场全像或明场部分像)或者可以获取生物样本SPL的一部分。另一方面，暗场成像模式指示其中用激发染色部分的光来照射具有荧光染色部分的生物样本SPL，通过该模式，可以获得生物样本SPL的一部分的荧光图像(下文中称为“暗场部分图像”)。
在暗场成像模式下，根据本应用示例的数据处理单元310使用来自其上布置有专用滤光器的像素的输出来执行聚焦，然后，使用来自其上布置有可调滤光器的像素的输出来获取期望的暗场部分图像(换句话说，在本应用示例中，数据处理单元310用作使用第二波长带的信号执行聚焦的聚焦单元)。
按照惯例，用户为了使用特定波长带的图像执行聚焦而更换滤光器或执行其它处理，因此，花费大量时间进行聚焦。另一方面，在本应用示例中，如上所述，显微镜300在图像传感器46的前一级中具有设有可调滤光器和专用滤光器的图像传感器46，由此数据处理单元310执行聚焦和聚焦之后的图像捕获，而无需更换滤光器。考虑到在医用领域中可能要求在短时间内获取大量病理图像或医用图像，因此能够在较短时间内聚焦并在聚焦之后进行图像捕获的本公开是有用的。另外，在分辨率、准确性等方面，其上布置有专用滤光器的像素的输出优于其上布置有可调滤光器的像素的输出，因此更适于聚焦。即，数据处理单元310可以以更高准确性实现聚焦。
另外，数据处理单元310可以通过在聚焦之后对从其上布置有可调滤光器的像素输出的数据执行上述信号处理来提取期望的波长带的图像。这为用户提高了便利性。在下文中，将更详细地描述包括显微镜300的配置的本应用示例。
(显微镜300的配置等的细节)
显微镜300具有在与其上放置载玻片SG(诸如玻璃板)的表面(下文中称为载玻片放置表面)平行和垂直的方向(x轴、y轴以及z轴方向)上可移动的载物台(下文中称为可移动载物台)31。在这个载玻片放置表面上设有载玻片保持器32。
在放置载玻片SG的情况下，将载玻片保持器32移动到指定为放置位置的位置(下文中也称为载玻片放置位置)。在载玻片放置位置处，容纳在载玻片容器(未示出)中的载玻片SG通过载玻片放置机构(未示出)被移出并放置在载玻片保持器32中。
例如，包括结缔组织(诸如血液、上皮组织或它们两者)的组织切片或分泌细胞通过预定的固定技术被固定到容纳在载玻片容器(未示出)中的载玻片SG作为生物样本SPL，并根据需要进行染色。
染色不仅包括以苏木精-曙红(HE)染色、Giemsa染色、巴氏染色等为代表的典型染色技术，而且还包括以荧光原位杂交(FISH)、酶抗体技术等为代表的荧光染色技术等。
除了应用于探针的荧光标签(以下也称为荧光标记)外，荧光染色技术一般还使用与探针上的荧光标记进行对照的另一种荧光标签(以下也称为对照标记)。
对照标记的激发波长不同于荧光标记的激发波长。例如，激发波长为大约365[nm]，并且通常使用4′,6-diamidino-2-pheylindole(DAPI)。利用DAPI，与荧光标记的目标形成对照的目标(以下也称为对照目标)是细胞核。
在捕获生物样本SPL的图像的情况下，将载玻片保持器32移动到指定为用作显微镜检查地点的位置(下文中也称为显微镜检查位置)。在这种情况下，执行明场成像模式或暗场成像模式。
在明场成像模式下，明场光源41用照明光照射生物样本SPL。照明光被反射镜42反射，并通过明场滤光器43作为可见光发射到显微镜检查位置中的生物体样本SPL，然后到达物镜44。
物镜44的功率或者低至可以形成整个生物样本SPL的图像(以下也称为明场全像)，或者高至可以形成仅生物样本SPL的仅一部分的图像(以下也称为明场部分像)。
显微镜300在使用物镜44和图像形成透镜45放大图像之后将通过照明光在图像传感器46的成像表面上获得的生物样本SPL的图像形成为明场全像或明场部分像。
如上所述，显微镜300被配置为在明场成像模式下获得生物样本SPL的全部或一部分的明场图像(明场全像或明场部分像)。
注意的是，在图46中，在物镜44和图像形成透镜45之间的光路上提供有二向色反射镜54和发射滤光器55。但是，在明场成像模式下，二向色反射镜54和发射滤光器55被缩回到不在光路中的位置，使得从明场滤光器43进入的可见光不会被这些滤光器吸收或反射。
另一方面，在暗场成像模式下，激发光源51发射激发探针的荧光标记和对照标记两者的光(在下文中也称为激发光)。将发射激发光时的物镜44的功率设置得足够高，以形成作为荧光图像的生物样本SPL的一部分的图像。
从激发光源51发射的激发光被准直透镜52准直，并且除激发光以外的光被激发滤光器53移除。透射通过激发滤光器53的激发光被二向色反射镜54反射，并被物镜44会聚在显微镜检查位置。
当探针在显微镜检查位置处耦合到生物样本SPL的目标和对照目标时，施加到探针的荧光标记和对照标记通过激发光产生发光(luminescence)。发光经由物镜44透射通过二向色反射镜54并且在除荧光材料的发光以外的光被发射滤光器55吸收之后到达图像形成透镜45。
显微镜300使用物镜44和图像形成透镜45将通过荧光标记和对照标记的发光而获得的图像放大，并且在放大的图像上形成图像传感器46的成像表面作为暗场部分像。
如上所述，显微镜300被配置为能够在暗场成像模式下获取样本部分的荧光图像(暗场部分像)。
注意的是，虽然在图46中在激发滤光器53和二向色反射镜54之间的光路上提供了二向色反射镜63，但是二向色反射镜63透射通过激发滤光器53的激发光。
除上述配置之外，显微镜300还包括被配置为在不激发荧光标记的同时发射激发对照标记的激发光(以下也称为控制标记专有激发光)的光源61(以下也称为控制标记激发光源)。
当获得生物样本SPL的暗场部分像时，在聚焦过程中从控制标记激发光源61发射控制标记专有激发光。
从控制标记激发光源61发射的控制标记专有激发光由准直透镜62准直、由二向色反射镜63和二向色反射镜54反射，然后由物镜44聚焦在显微检查位置上。
当探针在显微镜检查位置中耦合到生物样本SPL的对照目标时，施加到探针的对照标记通过对照标记专有激发光产生发光。发光经由物镜44透射通过二向色反射镜54并且在除荧光材料的发光以外的光被发射滤光器55吸收之后到达图像形成透镜45。
显微镜300使用物镜44和图像形成透镜45放大通过对照标记的发光而获得的图像，并且在图像传感器46的成像表面上形成放大的图像，作为暗场部分像。
数据处理单元310控制可移动载物台31，使得使用暗场部分像来聚焦对应的样本部分。另外，当样本部分处于焦点对准时，数据处理单元310使激发光源51代替对照标记激发光源61发射激发光，并且存储由激发光获得的暗场部分像。
如上所述，医用图像捕获设备被配置为获取由控制标记专有激发光获得的暗场部分像作为要聚焦的暗场部分图像，并且获取由激发光获得的暗场部分像作为要存储的暗场部分像。
(处理流程)
上面已经描述了显微镜300的配置的细节等。接下来，将参考图47描述医用图像捕获设备中的处理流程的示例。
在步骤S1200中，数据处理单元310将载玻片保持器32放置在显微镜检查位置处，并且在二向色反射镜54和图像形成透镜45之间在光轴上放置具有高功率的物镜44。数据处理单元310可以将其它组件放置在预定位置处。
在步骤S1204中，数据处理单元310确定放置在载玻片保持器32上的生物样本SPL的要获取的样本部分。用于确定要获取的样本部分的方法没有特别限制。例如，可以基于来自用户的指定来确定要获取的样本部分。
在步骤S1208中，数据处理单元310驱动对照标记激发光源61以获取图像传感器46中具有专用滤光器的像素的输出。在步骤S1212中，数据处理单元310基于要获取的样本部分中的对照标记的暗场图像的一部分(暗场部分像)的对比度将焦点集中在要获取的样本部分上。
在步骤S1216中，数据处理单元310停止对照标记激发光源61的驱动并驱动激发光源51。在步骤S1220中，数据处理单元310获取要获取的样本部分中的荧光标记的暗场图像作为要记录的暗场部分像，并且一系列处理结束。
注意的是，图47中所示的流程图中的步骤的处理不必以所描述的次序按时间序列执行。即，流程图中的相应步骤的处理可以以与所描述的次序不同的次序执行，或者可以并行执行。
上面已经描述了根据本公开的技术应用于医用图像捕获设备的情况的示例，但是没有特别限制对其应用根据本公开的技术的设备或系统。更具体而言，根据本公开的技术可以应用于除医用图像捕获设备以外的任何设备，并且来自其上布置有专用滤光器的像素的输出可以用于由该设备执行的聚焦处理。
(4.2.对手术室系统的应用的示例)
接下来，将描述将根据本公开的技术应用于手术室系统的情况的示例。
图48是示意性地示出可以对其应用根据本公开的技术的手术室系统5100的整体配置的图。参考图48，通过连接在手术室中提供的设备组来配置手术室系统5100，以便能够经由视听控制器(AV控制器)5107和手术室控制设备5109相互协作。
手术室中可以提供各种设备。作为一个示例，图48图示了用于内窥镜外科手术的设备组5101、在手术室的天花板上提供并捕获手术者的手的图像的天花板相机5187、在手术室上的天花板上提供并捕获整个手术室的图像的手术部位相机5189、多个显示设备5103A至5103D、记录器5105、病床5183和照明装置5191。
在此，在这些设备当中，设备组5101属于后述的内窥镜外科手术系统5113，并且包括内窥镜、显示由内窥镜捕获的图像的显示设备等。属于内窥镜外科手术系统5113的每个设备被称为医疗设备。同时，显示设备5103A至5103D、记录器5105、病床5183和照明装置5191例如与内窥镜外科手术系统5113分开安装在手术室中。不属于内窥镜外科手术系统5113的每个设备被称为非医疗设备。AV控制器5107和/或手术室控制设备5109协同控制医疗设备和非医疗设备的操作。
AV控制器5107全面地控制与医疗设备和非医疗设备的图像显示相关的处理。具体而言，在手术室系统5100中包括的设备当中，设备组5101、天花板相机5187和手术部位相机5189可以是具有用于传输在外科手术期间要显示的信息(以下称为显示信息)的功能的设备(以下称为源设备)。此外，显示设备5103A至5103D可以是向其输出显示信息的设备(以下称为输出目的地设备)。此外，记录器5105可以是与源设备和输出目的地设备都对应的设备。AV控制器5107具有用于控制源设备和输出目的地设备的操作、从源设备获得显示信息、将显示信息传输到输出目的地设备以及允许输出目的地设备显示或记录显示信息的功能。注意的是，显示信息包括在外科手术期间捕获的各种图像、与外科手术相关的各种信息(例如，患者的身体信息、过去的检查结果、关于外科手术方法的信息等)等。
具体而言，设备组5101可以将关于由内窥镜捕获的患者的体腔中的手术部位的图像的信息作为显示信息传输到AV控制器5107。另外，天花板相机5187可以传输关于由天花板相机5187捕获的手术者的手的图像的信息作为显示信息。此外，手术部位相机5189可以传输关于指示由手术部位相机5189捕获的整个手术室的状态的图像的信息作为显示信息。注意的是，在手术室系统5100包括具有图像捕获功能的另一个设备的情况下，AV控制器5107可以从另一个设备获取关于由该另一个设备捕获的图像的信息作为显示信息。
可替代地，例如，通过AV控制器5107将关于过去捕获的这些图像的信息记录在记录器5105中。AV控制器5107可以从记录器5105获得关于过去捕获的图像的信息作为显示信息。注意的是，关于外科手术的各种信息可以预先记录在记录器5105中。
AV控制器5107使作为输出目的地设备的显示设备5103A至5103D中的至少一个显示获得的显示信息(换句话说，在外科手术期间捕获的图像和关于外科手术的各种信息)。在所示的示例中，显示设备5103A是提供为悬挂在手术室的天花板上的显示设备，显示设备5103B是在手术室的墙壁上提供的显示设备，显示设备5103C是在手术室的桌子上提供的显示设备，并且显示设备5103D是具有显示功能的移动设备(例如，平板个人计算机(PC))。
另外，虽然在图48中未示出，但是手术室外部的设备可以被包括在手术室系统5100中。手术室外部的设备可以是例如连接到在医院内部或外部构建的网络的服务器、医务人员使用的PC、医院会议室中提供的投影仪等。在将这种外部设备在医院外部提供的情况下，AV控制器5107可以使另一个医院中的显示设备经由电视会议系统等显示显示信息以进行远程医疗。
手术室控制设备5109全面控制除关于由非医疗设备进行的图像显示的处理以外的处理。例如，手术室控制设备5109控制患者床5183、天花板相机5187、手术部位相机5189以及照明装置5191的驱动。
手术室系统5100中提供有集中式操作面板5111，并且用户可以经由集中式操作面板5111向AV控制器5107发布关于图像显示的指令，并且经由集中式操作面板5111向操作室控制设备5109发布关于非医疗设备的操作的指令。集中式操作面板5111通过在显示设备的显示表面上提供触摸面板来配置。
图49是示出集中式操作面板5111上的操作屏幕的显示示例的图。作为示例，图49图示了与在手术室系统5100中提供两个显示设备作为输出目的地设备的情况对应的操作屏幕。参考图49，在操作屏幕5193中提供了源选择区域5195、预览区域5197和控制区域5201。
在源选择区域5195中，将手术室系统5100中包括的源设备和指示该源设备的显示信息的缩略图画面彼此关联地显示。用户可以从在源选择区域5195中显示的源设备当中选择要在显示设备上显示的显示信息。
在预览区域5197中，显示作为输出目的地设备的两个显示设备(监视器1和监视器2)的屏幕的预览。在所示示例中，四个图像以画中画(PinP)模式显示在单个显示设备中。这四个图像与从在源选择区域5195中选择的源设备传输的显示信息对应。四个图像之一作为主图像显示为相对大，并且其它三个图像作为子图像显示为相对小。用户从显示四个图像的区域当中适当地选择区域，以在主图像和子图像之间进行切换。此外，状态显示区域5199在显示四个图像的区域的下部中提供，并且可以在该区域中适当地显示关于外科手术的状态(例如，外科手术的经过时间、患者的身体信息等)。
在控制区域5201中，提供显示用于相对于源设备执行操作的图形用户界面(GUI)组件的源操作区域5203，以及显示用于相对于输出目的地设备执行操作的GUI组件的输出目的地操作区域5205。在所示示例中，在源操作区域5203中，提供了用于相对于具有图像捕获功能的源设备的相机执行各种操作(平移、倾斜和缩放)的GUI组件。用户适当地选择GUI组件，以便操作源设备的相机的移动。注意的是，虽然未示出，但是在源选择区域5195中选择的源设备是记录器的情况下(换句话说，在预览区域5197中显示过去记录在记录器中的图像)，在源操作区域5203中可以提供用于执行诸如播放、停止、倒带或快进图像之类的操作的GUI组件。
此外，在输出目的地操作区域5205中，提供用于执行关于在作为输出目的地设备的显示设备上的显示的各种操作(交换、翻转、颜色调整、对比度调整以及在2D显示和3D显示之间的切换)的GUI组件。用户适当地选择这些GUI组件，以便操作显示设备上的显示。
注意的是，显示在集中式操作面板5111上的操作屏幕不限于所示的示例。用户可以能够经由集中式操作面板5111向包括在手术室系统5100中的每个设备输入操作，并且可以由AV控制器5107和手术室控制设备5109控制。
图50是示出对其应用上述手术室系统的外科手术状态的示例的图。天花板相机5187和手术部位相机5189在手术室的天花板上提供，并且可以捕获指示整个手术室的状态的图像以及对躺在病床5183上的患者5185的患部进行治疗的手术者(外科医生)5181的手的图像。天花板相机5187和手术部位相机5189可以具有放大率调整功能、焦距调整功能、成像方向调整功能等。照明装置5191在手术室的天花板上提供并且照亮至少手术者5181的手。照明装置5191可以能够适当地调整照射光的量、照射光的波长(颜色)、光的照射方向等。
如图48中所示，内窥镜外科手术系统5113、病床5183、天花板相机5187、手术部位相机5189以及照明装置5191相互连接，从而经由AV控制器5107和手术室控制设备5109(图50中未示出)彼此协作。在手术室中，提供有集中式操作面板5111，并且如上所述，用户可以经由集中式操作面板5111适当地操作存在于手术室中的这些设备。
内窥镜外科手术系统5113的配置将在下面详细描述。如图50中所示，内窥镜外科手术系统5113包括内窥镜5115、其它外科手术工具5131、用于支撑内窥镜5115的支撑臂设备5141以及其上安装有用于内窥镜外科手术的各种设备的推车5151。
在内窥镜外科手术中，不是切开腹壁并打开腹部，而是通过被称为套管针5139a至5139d的多个圆柱形穿刺设备刺穿腹壁。然后，通过套管针5139a至5139d，将内窥镜5115的镜筒5117和其它外科手术工具5131插入患者5185的体腔中。在所示的示例中，作为其它外科手术工具5131，将气腹管5133、能量治疗仪5135和钳子5137插入患者5185的体腔中。此外，能量治疗仪5135是通过高频电流或超声振动执行组织的解剖和剥离、血管的密封等的治疗仪。但是，所示的外科手术工具5131仅仅是示例性的，并且允许使用例如用于一般内窥镜外科手术的各种外科手术工具(诸如镊子或牵开器)作为手术工具5131。
由内窥镜5115捕获的患者5185的体腔中的手术部位的图像显示在显示设备5155上。在实时观看显示在显示设备5155上的手术部位的图像的同时，手术者5181通过使用能量治疗仪5135和钳子5137执行处理，诸如移除患处。注意的是，虽然未示出，但是在外科手术期间，气腹管5133、能量治疗仪5135和钳子5137由手术者5181、助手等支撑。
(支撑臂设备)
支撑臂设备5141包括从基部5143延伸的臂部5145。在所示的示例中，臂部5145包括接头部分5147a、5147b和5147c以及连杆5149a和5149b，并且由臂控制设备5159的控制来驱动。臂部5145支撑内窥镜5115，并控制内窥镜5115的位置和朝向。因而，可以稳定地定位内窥镜5115。
(内窥镜)
内窥镜5115包括：镜筒5117，其从前端以预定长度插入到患者5185的体腔中；以及相机头5119，其连接到镜筒5117的基端。图50示出了其中内窥镜5115是具有刚性镜筒5117的所谓刚性内窥镜的示例。但是，内窥镜5115可以是具有柔性镜筒5117的所谓柔性内窥镜。
在镜筒5117的前端处提供有其中装配物镜的开口。光源设备5157连接到内窥镜5115，并且由光源设备5157生成的光通过在镜筒5117中延伸的光导被引导至镜筒的前端并且通过物镜被发射到患者5185的体腔中要观察的对象。注意的是，内窥镜5115可以是前视内窥镜、斜视内窥镜或侧视内窥镜。
在相机头5119中提供有光学系统和成像元件，并且由光学系统将由要观察的对象反射的光(观察光)会聚在成像元件上。成像元件光电转换观察光并生成与观察光对应的电信号，即，与观察图像对应的图像信号。图像信号作为原始数据被传输到相机控制单元(CCU)5153。注意的是，相机5119具有用于通过适当地驱动相机5119的光学系统来调整放大率和焦距的功能。
注意的是，为了实现例如立体观看(3D显示)等，可以在相机头5119中提供多个成像元件。在这种情况下，在镜筒5117中提供多个中继光学系统，因此分别将观察光引导至多个成像元件。
(安装在购物车上的各种设备)
CCU 5153包括中央处理单元(CPU)、图形处理单元(GPU)等，并且全面控制内窥镜5115和显示设备5155的操作。具体而言，CCU 5153对从相机头5119接收到的图像信号执行各种图像处理，诸如显影处理(去马赛克)，以基于该图像信号显示图像。CCU 5153将经过图像处理的图像信号提供给显示设备5155。此外，CCU 5153连接到图48中所示的AV控制器5107。CCU 5153还将经过图像处理的图像信号提供给AV控制器5107。CCU 5153还向相机头5119传输控制信号以控制相机5119的驱动。控制信号可以包括关于成像条件的信息，诸如放大率和焦距。关于成像条件的信息可以经由输入设备5161输入或者可以经由上述集中式操作面板5111输入。
显示设备5155在CCU 5153的控制下基于已经由CCU 5153进行了图像处理的图像信号显示图像。在例如内窥镜5115与高分辨率成像(诸如4K(3840像素(水平)×2160像素(垂直))或8K(7680像素(水平)×4320像素(垂直))的兼容的情况下，和/或在内窥镜5115与3D显示兼容的情况下，可以将可以实现高分辨率显示和/或3D显示以适合两种情况的显示设备用作显示设备5155。在显示设备5155与高分辨率成像(诸如4K或8K)兼容的情况下，通过使用尺寸等于或大于55英寸的显示设备5155，可以获得更加身临其境的感觉。此外，取决于应用，可以提供具有不同分辨率和不同尺寸的多个显示设备5155。
光源设备5157包括例如诸如发光二极管(LED)之类的光源，并且将用于对手术部位成像的照射光供应给内窥镜5115。
臂控制设备5159包括例如诸如CPU之类的处理器，并且根据预定程序进行操作，从而根据预定控制方法来控制支撑臂设备5141的臂部5145的驱动。
输入设备5161可以是用于内窥镜外科手术系统5113的输入接口。用户可以经由输入设备5161向内窥镜外科手术系统5113输入各种信息和指令。例如，用户经由输入设备5161输入关于外科手术的各种信息，诸如患者的身体信息和手术方法。此外，例如，用户经由输入设备5161输入驱动臂部5145的指令、改变内窥镜5115的成像条件(照射光的种类、放大率、焦距等)的指令、驱动能量治疗仪5135的指令等。
输入设备5161的类型不受限制，并且各种已知的输入设备可以被用作输入设备5161。作为输入设备5161，例如，可以应用诸如鼠标、键盘、触摸面板、开关、脚踏开关5171和/或操纵杆之类的组件。在使用触摸面板作为输入设备5161的情况下，可以在显示设备5155的显示表面上提供触摸面板。
可替代地，输入设备5161是用户穿戴的设备，例如眼镜型可穿戴设备、头戴式显示器(HMD)等，并且根据由这些设备检测到的用户的手势和视线执行各种输入。此外，输入设备5161包括可以检测用户的运动的相机，并且根据从相机拍摄的图像检测到的用户的手势和视线来执行各种输入。此外，输入设备5161包括可以收集用户的语音的麦克风，并且通过经由麦克风使用语音来执行各种输入。以这种方式，输入设备5161被配置为能够以非接触方式输入各种信息，使得属于特别干净的区域的用户(例如，手术者5181)能够以非接触方式操作属于非干净区域的设备。此外，由于用户可以在不从他/她使用的手术工具上松开手的情况下操作设备，因此提高了用户的便利性。
治疗仪控制设备5163控制能量治疗仪5135的驱动，以例如烧灼或解剖组织或密封血管。为了通过内窥镜5115确保手术者的视野和操作空间，气腹设备5165通过气腹管5133将气体注入到体腔内，以使患者5185的体腔膨胀。记录器5167是能够记录关于外科手术的各种信息的设备。打印机5169是能够以诸如文本、图像或图形之类的各种格式打印关于外科手术的各种信息的设备。
内窥镜外科手术系统5113的特别特性配置将在下面更详细地描述。
(支撑臂设备)
支撑臂设备5141包括作为基座的基部5143和从基部5143延伸的臂部5145。在所示的示例中，臂部5145包括多个接头部分5147a、5147b和5147c以及通过接头部分5147b耦合的多个连杆5149a和5149b。但是，为了易于理解，在图50中简化了臂部5145的构造。实际上，可以适当地设置接头部分5147a至5147c以及连杆5149a和5149b的形状、数量和布置、接头部分5147a至5147c的旋转轴线的方向等，以使臂部5145具有期望的自由度。例如，臂部5145可以优选地具有等于或大于六个自由度的自由度。利用这种配置，内窥镜5115可以在臂部5145的可能的移动范围内自由地移动，由此内窥镜5115的镜筒5117可以在期望的方向上插入患者5185的体腔中。
在接头部分5147a至5147c中提供有致动器，并且接头部分5147a至5147c可以通过致动器的驱动而绕预定的旋转轴线旋转。通过臂控制设备5159控制致动器的驱动，从而控制每个接头部分5147a至5147c的旋转角度，并且控制臂部5145的驱动。利用这个操作，可以控制内窥镜5115的位置和朝向。此时，臂控制设备5159可以通过诸如力控制或位置控制之类的各种已知的控制方法来控制臂部5145的驱动。
例如，手术者5181经由输入设备5161(包括脚踏开关5171)适当地执行操作输入，以根据该操作输入由臂控制设备5159适当地控制臂部5145的驱动，并且可以控制内窥镜5115的位置和朝向。利用这种控制，在将臂部5145的前端处提供的内窥镜5115从特定位置移动到特定位置之后，可以将内窥镜5115固定地支撑在移动之后的位置。注意的是，臂部5145可以通过所谓的主-从方法来操作。在这种情况下，用户可以经由在远离手术室的地方提供的输入设备5161来遥控臂部5145。
此外，在施加力控制的情况下，臂控制设备5159可以执行所谓的动力辅助控制，以接收来自用户的外力并驱动接头部分5147a至5147c中的每一个的致动器以使根据外力平滑地移动臂部5145。利用这种控制，当用户在与臂部5145直接接触的同时移动臂部5145时，可以用相对弱的力使臂部5145移动。因此，可以通过更简单的操作来更直观地移动内窥镜5115，从而可以提高用户的便利性。
在此，一般而言，在内窥镜外科手术中由称为内窥镜医师的医生拿着内窥镜5115。另一方面，在使用支撑臂设备5141时，无需手动操作就可以更可靠地固定内窥镜5115的位置。因此，可以稳定地获得手术部位的图像，并且可以顺利地执行手术。
注意的是，臂控制设备5159不必在推车5151上提供。此外，臂控制设备5159不必是单个设备。例如，臂控制设备5159可以在支撑臂设备5141的臂部5145的每个接头部分5147a至5147c中提供，并且臂部5145的驱动可以由彼此协作地执行的多个臂控制设备5159控制。
(光源设备)
光源装置5157将用于对手术部位成像的照射光供应给内窥镜5115。光源设备5157包括例如LED、激光光源或包括LED和激光光源的组合的白色光源。在这种配置中，在白光源包括RGB激光光源的组合的情况下，可以以高准确性控制每种颜色(每个波长)的输出强度和输出定时，由此光源设备5157可以调整捕获的图像的白平衡。此外，在这种情况下，还可以通过以时分方式用来自每个RGB激光源的激光照射要观察的对象并与照射定时同步地控制相机头5119的成像元件的驱动来以时分方式捕获分别与R、G和B对应的图像。根据这个方法，无需在成像元件中提供滤色器即可获得彩色图像。
此外，可以控制光源设备5157的驱动，以便对每个预定时间段改变输出光的强度。以时分方式与改变光强度以获得图像的定时同步地控制相机头5119的成像元件的驱动，并且获得的图像被合成，由此可以生成具有高动态范围的图像，该高动态范围没有所谓的遮挡阴影和高光。
此外，光源设备5157可以被形成为能够供应与特殊光观察兼容的预定波长带的光。在特殊光观察中，例如，使用人体组织的波长依存性来发射比正常观察时的照射光(换句话说，白光)更窄的频带的光，以吸收光，由此执行所谓的窄带成像，其中以高对比度对粘膜表面层中的预定组织(诸如血管)成像。可替代地，在特殊光观察中，可以执行荧光观察，该荧光观察用于获得具有通过激发光照射而生成的荧光的图像。在荧光观察中，可以用激发光照射身体组织，并且例如可以观察来自身体组织的荧光(自发荧光观察)。可替代地，可以将诸如吲哚菁绿(ICG)之类的试剂注入身体组织中，并且可以用与该试剂的荧光波长对应的激发光照射身体组织，从而获得例如荧光图像。光源设备5157可以供应与这种特殊光观察兼容的窄带光和/或激发光。
(相机头和CCU)
参考图51，将更详细地描述内窥镜5115的相机头5119和CCU 5153的功能。图51是示出图50中所示的相机头5119和CCU 5153的功能配置的示例的框图。
参考图51，作为相机头5119的功能，相机头5119包括透镜单元5121、图像捕获单元5123、驱动单元5125、通信单元5127和相机头控制单元5129。另外，作为CCU 5153的功能，CCU 5153包括通信单元5173、图像处理单元5175和控制单元5177。相机头5119和CCU 5153通过传输电缆5179可通信地彼此连接。
首先，将描述相机头5119的功能配置。透镜单元5121是在与镜筒5117的连接部分处提供的光学系统。从镜筒5117的前端获取的观察光被引导至相机头5119并进入镜头单元5121。透镜单元5121通过组合包括变焦透镜和聚焦透镜的多个透镜而形成。调整透镜单元5121的光学特性以将观察光收集到图像捕获单元5123的成像元件的光接收表面上。此外，变焦透镜和聚焦透镜是可移动的，使得其在光轴上的位置可以被移动以调整捕获的图像的放大率和焦点。
图像捕获单元5123包括成像元件，并且布置在透镜单元5121之后的级中。通过透镜单元5121的观察光会聚在成像元件的光接收表面上，并且通过光电转换生成与观察图像对应的图像信号。由图像捕获单元5123生成的图像信号被提供给通信单元5127。
构成图像捕获单元5123的成像元件是例如互补金属氧化物半导体(CMOS)图像传感器，其具有Bayer阵列并且可以执行彩色成像。注意的是，作为成像元件，可以使用可以适于捕获例如具有等于或高于4K的高分辨率的图像的成像元件。由于可以以高分辨率获得手术部位的图像，因此手术者5181可以更详细地识别手术部位的状态，并且可以顺利地进行外科手术。
此外，构成图像捕获单元5123的成像元件包括一对成像元件，用于分别获得用于3D显示的右眼和左眼的图像信号。由于3D显示，手术者5181可以更准确地识别手术部位中的活组织的深度。注意的是，在图像捕获单元5123具有多板型配置的情况下，与成像元件对应地提供多个透镜单元5121。
此外，相机头5119中不必提供图像捕获单元5123。例如，图像捕获单元5123可以在镜筒5117中的物镜之后提供。
驱动单元5125包括致动器，并且在相机头控制单元5129的控制下使透镜单元5121的变焦透镜和聚焦透镜沿着光轴移动预定距离。通过这种移动，可以适当地调整由图像捕获单元5123捕获的图像的放大率和焦点。
通信单元5127包括用于向CCU 5153传输和从其接收各种信息的通信设备。通信单元5127经由传输电缆5179将从图像捕获单元5123获得的图像信号作为原始数据传输到CCU5153。此时，为了以低时延显示手术部位的捕获的图像，优选的是通过光通信来传输图像信号。这是因为，由于手术者5181在外科手术期间在通过使用捕获的图像观察患部的状态的同时执行外科手术，因此，为了更安全和更可靠的外科手术，要求尽可能实时地实时显示手术部位的移动图像。在执行光通信的情况下，在通信单元5127中提供有将电信号转换成光信号的光电转换模块。图像信号在被光电转换模块转换成光信号之后经由传输电缆5179传输到CCU 5153。
此外，通信单元5127从CCU 5153接收用于控制相机头5119的驱动的控制信号。控制信号包括例如关于成像条件的信息，诸如指定捕获的图像的帧速率的信息、指定图像捕获期间的曝光值的信息和/或指定捕获的图像的放大率和焦点的信息。通信单元5127将接收到的控制信号提供给相机头控制单元5129。注意的是，可以通过光通信来传输来自CCU5153的控制信号。在这种情况下，在通信单元5127中提供将光信号转换成电信号的光电转换模块，并且在通过光电转换模块将控制信号转换成电信号之后将其提供给相机头控制单元5129。
注意的是，CCU 5153的控制单元5177基于获得的图像信号自动设置上面提到的成像条件，诸如帧速率、曝光值、放大率和焦点。即，内窥镜5115具有所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
相机头控制单元5129基于经由通信单元5127接收的来自CCU 5153的控制信号来控制相机头5119的驱动。例如，相机头控制单元5129基于指定捕获的图像的帧速率的信息和/或指定图像捕获期间的曝光的信息来控制图像捕获单元5123的成像元件的驱动。此外，例如，相机头控制单元5129基于指定捕获的图像的放大率和焦点的信息经由驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头控制单元5129还可以具有用于存储用于识别镜筒5117和相机头5119的信息的功能。
注意的是，通过将诸如透镜单元5121和图像捕获单元5123之类的组件布置在具有高气密性和防水性的密封结构中，可以向相机头5119提供对高压灭菌的抵抗力。
接下来，将描述CCU 5153的功能配置。通信单元5173包括用于向相机头5119传输各种信息和从其接收各种信息的通信设备。通信单元5173经由传输电缆5179接收从相机头5119传输的图像信号。此时，如上所述，可以优选地通过光通信来传输图像信号。在这种情况下，在通信单元5173中提供了将光信号转换成电信号的光电转换模块，以使得能够进行光通信。通信单元5173将转换成电信号的图像信号提供给图像处理单元5175。
另外，通信单元5173将用于控制相机5119的驱动的控制信号传输到相机5119。控制信号也可以通过光通信来传输。
图像处理单元5175对作为从相机头5119传输来的原始数据的图像信号执行各种图像处理。图像处理包括例如各种已知的信号处理，诸如显影处理、图像质量增强处理(频带强调处理、超分辨率处理、降噪(NR)处理、相机抖动校正处理等)，和/或放大处理(电子变焦处理)。另外，图像处理单元5175对图像信号执行检测处理，以实现AE、AF和AWB。
图像处理单元5175包括诸如CPU和GPU之类的处理器，并且处理器根据预定程序进行操作，从而可以执行上述图像处理和检测处理。注意的是，在图像处理单元5175包括多个GPU的情况下，图像处理单元5175适当地划分关于图像信号的信息并且通过使用多个GPU并行地执行图像处理。
控制单元5177执行关于通过内窥镜5115进行的手术部位的图像捕获以及捕获的图像的显示的各种控制。例如，控制单元5177生成控制相机5119的驱动的控制信号。此时，在由用户输入成像条件的情况下，控制单元5177基于由用户执行的输入来生成控制信号。可替代地，在内窥镜5115具有AE功能、AF功能和AWB功能的情况下，控制单元5177根据由图像处理单元5175进行的检测处理的结果适当地计算最优曝光值、焦距和白平衡，并生成控制信号。
另外，控制单元5177基于图像处理单元5175已经对其执行了图像处理的图像信号在显示设备5155中显示操作部位的图像。在这种情况下，控制单元5177通过使用各种图像识别技术来识别手术部位的图像中的各种对象。例如，控制单元5177检测包括在手术部位的图像中的对象的边缘形状、颜色等，从而能够识别诸如钳子之类的外科手术工具、特定身体部分、出血、当使用能量治疗仪5135时的雾等。当在显示设备5155中显示手术部位的图像时，控制单元5177使用识别结果在手术部位的图像上叠加各种外科手术辅助信息。外科手术辅助信息被叠加显示，并呈现给手术者5181，从而手术者5181可以更安全和更可靠地进行手术。
用于连接相机头5119和CCU 5153的传输电缆5179是与电信号通信兼容的电信号电缆、与光通信兼容的光纤或其复合电缆。
在此，在所示的示例中，已经通过使用传输电缆5179执行了有线通信。但是，相机头5119和CCU 5153可以彼此无线通信。在相机头5119和CCU 5153彼此无线通信的情况下，不必在手术室中提供传输电缆5179。因此，可以解决由于传输电缆5179而阻止医务人员在手术室中移动的情况。
上面已经描述了可以对其应用根据本公开的技术的手术室系统5100的示例。注意的是，在此，已经以对其应用用手术室系统5100的医疗系统为内窥镜外科手术系统5113为例进行了描述。但是，手术室系统5100的配置不限于这个示例。例如，代替内窥镜外科手术系统5113，手术室系统5100可以应用于检查用的柔性内窥镜系统和显微镜外科手术系统。
根据本公开的技术可应用于相机头5119中的图像捕获单元5123的成像元件。更具体而言，图像捕获单元5123可以在成像元件之前的级中包括可调滤光器和专用滤光器。利用这种配置，图像捕获单元5123可以获取其中有可能以可调的方式提取波长的图像数据和用于特定用途的图像数据。例如，在预先将特定的患部或部位确定为获取目标的情况下，诸如图像处理单元5175之类的各个组件可以使用用于特定用途的图像数据来执行预定处理。此外，在未预先将特定的患部或部位确定为获取目标的情况下或者在无法区分被摄体的捕获图像的情况下(例如，在无法区分血管或神经的情况下等等)，诸如图像处理单元5175之类的每个组件可以使用其中有可能以可调的方式提取波长的图像数据执行预定处理。
虽然上面已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于此。显然，在本公开的技术领域中具有普通知识的人可以在权利要求书阐述的技术构思的范围内进行各种改变或修改，并且应该理解的是，这样的改变或修改自然属于本公开的技术范围。
注意的是，以上描述中使用的数值仅仅是示例，并且可以适当地改变。例如，在以上描述中，可以通过专用滤光器的光的波长为大约531[nm]、大约570[nm]、大约761[nm]、大约758[nm]等。但是，可以根据要分析的目标、设计等来灵活地改变这些波长。另外，这些波长是例如相应波长带中的中心波长(但不限于此)。在此，波长带中的中心波长是例如半带宽的中心(但不限于此)。另外，在以上描述中使用的半带宽是具有大约50[％]的滤光器透射率的波长之间的宽度(但不限于此)。
另外，本说明书中描述的效果仅仅是说明性或示例性的，而不是限制性的。即，除了上述效果以外或者代替上述效果，根据本公开的技术还可以提供根据本说明书的描述对于本领域技术人员显而易见的其它效果。
注意的是，以下配置也属于本公开的技术范围。
(1)一种信号处理设备，包括：
获取单元，其获取能够通过后处理以可调的方式提取波长的第一波长带的信号和要用于特定用途的第二波长带的信号；以及
信号处理单元，其使用第一波长带的信号和第二波长带的信号执行信号处理。
(2)根据(1)所述的信号处理设备，
其中信号处理单元使用第一波长带的信号提取期望波长带的信号。
(3)根据(2)所述的信号处理设备，
其中信号处理单元使用期望波长带的信号或第二波长带的信号中的至少一个来计算植被指数。
(4)根据(3)所述的信号处理设备，
其中信号处理单元计算归一化差异植被指数(NDVI)、绿色归一化差异植被指数(GNDVI)、光化学反射率指数(PRI)或太阳诱导荧光(SIF)中的至少任何一个，作为植被指数。
(5)一种由计算机执行的信号处理方法，该方法包括：
获取能够通过后处理以可调的方式提取波长的第一波长带的信号和要用于特定用途的第二波长带的信号；以及
使用第一波长带的信号和第二波长带的信号执行信号处理。
(6)一种图像捕获设备，包括：
第一检测单元，其检测能够通过后处理以可调的方式提取波长的第一波长带的信号；以及
第二检测单元，其检测要用于特定用途的第二波长带的信号。
(7)根据(6)所述的图像捕获设备，
其中第一检测单元和第二检测单元构成图像传感器的各像素。
(8)根据(7)所述的图像捕获设备，
其中第一检测单元和第二检测单元包括按像素单位具有不同光谱特性的滤光器。
(9)根据(8)所述的图像捕获设备，
其中分别基于第一检测单元和第二检测单元的输出灵敏度来确定第一检测单元和第二检测单元各自具备的滤光器的透射率。
(10)根据(8)所述的图像捕获设备，
其中分别基于第一检测单元和第二检测单元的输出灵敏度来确定第一检测单元中的像素数和第二检测单元中的像素数。
(11)根据权利要求8所述的图像捕获设备，还包括
曝光控制单元，其基于第一检测单元和第二检测单元各自的输出灵敏度来控制曝光。
(12)根据(8)至(11)中的任一项所述的图像捕获设备，
其中第一检测单元具备的滤光器是等离子体共振滤光器。
(13)根据(8)至(12)中的任一项所述的图像捕获设备，
其中第二检测单元具备的滤光器由RGB传感器和双带通滤光器构成。
(14)根据(6)至(13)中的任一项所述的图像捕获设备，
其中第一检测单元和第二检测单元被设置于互不相同的相机或图像捕获机构。
(15)根据(14)所述的图像捕获设备，还包括
二向色滤光器，其分离向第一检测单元和第二检测单元的入射光。
(16)根据(6)至(15)中的任一项所述的图像捕获设备，
其中第一波长带是宽带。
(17)根据(6)至(16)中的任一项所述的图像捕获设备，
其中第二波长带是宽带或窄带。
(18)根据(6)至(17)中的任一项所述的图像捕获设备，还包括
显示控制单元，其使基于第一波长带的信号生成的图像显示为叠加在基于第二波长带的信号生成的图像上。
(19)一种医用图像捕获设备，包括：
第一检测单元，其检测能够通过后处理以可调的方式提取波长的第一波长带的信号；以及
第二检测单元，其检测要用于特定用途的第二波长带的信号。
(20)根据(19)所述的医用图像捕获设备，还包括
聚焦单元，其使用第二波长带的信号来执行聚焦。
附图标记列表
100 图像捕获设备
110 成像光学系统
120 曝光处理单元
130 曝光控制单元
140 滤光器
150 图像传感器
160 输出单元
170 信号处理单元
180 存储单元
190 通信单元
200 信息处理设备
300 显微镜
310 数据处理单元

Claims (20)

1.一种信号处理设备，包括：
获取单元，其获取能够通过后处理以可调的方式提取波长的第一波长带的信号和要用于特定用途的第二波长带的信号；以及
信号处理单元，其使用第一波长带的信号和第二波长带的信号执行信号处理。
2.根据权利要求1所述的信号处理设备，
其中信号处理单元使用第一波长带的信号提取期望波长带的信号。
3.根据权利要求2所述的信号处理设备，
其中信号处理单元使用期望波长带的信号或第二波长带的信号中的至少一个来计算植被指数。
4.根据权利要求3所述的信号处理设备，
其中信号处理单元计算归一化差异植被指数(NDVI)、绿色归一化差异植被指数(GNDVI)、光化学反射率指数(PRI)或太阳诱导荧光(SIF)中的至少任何一个，作为植被指数。
5.一种由计算机执行的信号处理方法，该方法包括：
获取能够通过后处理以可调的方式提取波长的第一波长带的信号和要用于特定用途的第二波长带的信号；以及
使用第一波长带的信号和第二波长带的信号执行信号处理。
6.一种图像捕获设备，包括：
第一检测单元，其检测能够通过后处理以可调的方式提取波长的第一波长带的信号；以及
第二检测单元，其检测要用于特定用途的第二波长带的信号。
7.根据权利要求6所述的图像捕获设备，
其中第一检测单元和第二检测单元构成图像传感器的各像素。
8.根据权利要求7所述的图像捕获设备，
其中第一检测单元和第二检测单元包括按像素单位具有不同光谱特性的滤光器。
9.根据权利要求8所述的图像捕获设备，
其中分别基于第一检测单元和第二检测单元的输出灵敏度来确定第一检测单元和第二检测单元各自具备的滤光器的透射率。
10.根据权利要求8所述的图像捕获设备，
其中分别基于第一检测单元和第二检测单元的输出灵敏度来确定第一检测单元中的像素数和第二检测单元中的像素数。
11.根据权利要求8所述的图像捕获设备，还包括
曝光控制单元，其基于第一检测单元和第二检测单元各自的输出灵敏度来控制曝光。
12.根据权利要求8所述的图像捕获设备，
其中第一检测单元具备的滤光器是等离子体共振滤光器。
13.根据权利要求8所述的图像捕获设备，
其中第二检测单元具备的滤光器由RGB传感器和双带通滤光器构成。
14.根据权利要求6所述的图像捕获设备，
其中第一检测单元和第二检测单元被设置于互不相同的相机或图像捕获机构。
15.根据权利要求14所述的图像捕获设备，还包括
二向色滤光器，其分离向第一检测单元和第二检测单元的入射光。
16.根据权利要求6所述的图像捕获设备，
其中第一波长带是宽带。
17.根据权利要求6所述的图像捕获设备，
其中第二波长带是宽带或窄带。
18.根据权利要求6所述的图像捕获设备，还包括
显示控制单元，其使基于第一波长带的信号生成的图像显示为叠加在基于第二波长带的信号生成的图像上。
19.一种医用图像捕获设备，包括：
第一检测单元，其检测能够通过后处理以可调的方式提取波长的第一波长带的信号；以及
第二检测单元，其检测要用于特定用途的第二波长带的信号。
20.根据权利要求19所述的医用图像捕获设备，还包括
聚焦单元，其使用第二波长带的信号来执行聚焦。
CN201980026574.7A 2018-03-23 2019-01-16 信号处理设备、信号处理方法、图像捕获设备以及医用图像捕获设备 Active CN112005546B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-055815 2018-03-23
JP2018055815A JP2021097254A (ja) 2018-03-23 2018-03-23 信号処理装置、信号処理方法、撮像装置および医療用撮像装置
PCT/JP2019/000997 WO2019181154A1 (ja) 2018-03-23 2019-01-16 信号処理装置、信号処理方法、撮像装置および医療用撮像装置

Publications (2)

Publication Number Publication Date
CN112005546A true CN112005546A (zh) 2020-11-27
CN112005546B CN112005546B (zh) 2022-09-16

Family

ID=67986976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026574.7A Active CN112005546B (zh) 2018-03-23 2019-01-16 信号处理设备、信号处理方法、图像捕获设备以及医用图像捕获设备

Country Status (5)

Country Link
US (3) US11399161B2 (zh)
EP (1) EP3761638A4 (zh)
JP (1) JP2021097254A (zh)
CN (1) CN112005546B (zh)
WO (1) WO2019181154A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112971695A (zh) * 2021-02-05 2021-06-18 吉林大学 成像设备、手持和内窥镜近红外成像系统及搭建方法
TWI831091B (zh) * 2021-11-30 2024-02-01 財團法人金屬工業研究發展中心 高光譜影像的分析方法及系統

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111912392A (zh) * 2019-12-09 2020-11-10 南开大学 一种基于轮转式滤光片的无人机用轻型光谱成像装置
TW202137749A (zh) * 2020-02-26 2021-10-01 日商索尼半導體解決方案公司 攝像裝置、攝像方法及電子機器
AU2022439107A1 (en) 2022-02-01 2024-09-19 Landscan Llc Systems and methods for multispectral landscape mapping
NL2031092B1 (en) * 2022-02-28 2023-09-07 Db2 Vision B V Multispectral imaging system and method for using the system

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005172976A (ja) * 2003-12-09 2005-06-30 Nippon Telegr & Teleph Corp <Ntt> 波長可変光フィルタ装置
JP2006324810A (ja) * 2005-05-17 2006-11-30 Fujifilm Holdings Corp 光学モジュール
US20070153099A1 (en) * 2005-12-22 2007-07-05 Mitsuharu Ohki Image signal processing apparatus, imaging apparatus, image signal processing method and computer program thereof
US20080024788A1 (en) * 2003-09-26 2008-01-31 School Juridical Person Kitasato Gakuen Wavelength-tunable light generator and optical coherence tomography device
CN101742103A (zh) * 2008-11-14 2010-06-16 株式会社东芝 固体摄像器件
JP2011053361A (ja) * 2009-08-31 2011-03-17 Sony Corp 蛍光像取得方法、蛍光像取得装置及び蛍光像取得プログラム
KR20120114895A (ko) * 2011-04-08 2012-10-17 삼성전자주식회사 내시경 장치 및 상기 내시경 장치의 영상 획득 방법
US20140191116A1 (en) * 2013-01-07 2014-07-10 Seiko Epson Corporation Wavelength tunable interference filter, method for manufacturing wavelength tunable interference filter, optical module, and electronic apparatus
WO2015156153A1 (ja) * 2014-04-08 2015-10-15 オリンパス株式会社 蛍光観察内視鏡システム
WO2016208415A1 (ja) * 2015-06-26 2016-12-29 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
US20170003316A1 (en) * 2013-03-15 2017-01-05 Anasys Instruments Method and Apparatus for Infrared Scattering Scanning Near-field Optical Microscopy with High Speed Point Spectroscopy
JP2017011459A (ja) * 2015-06-19 2017-01-12 パナソニックＩｐマネジメント株式会社 撮像装置及び画像処理方法
CN106455942A (zh) * 2014-06-05 2017-02-22 奥林巴斯株式会社 处理装置、内窥镜系统、内窥镜装置、图像处理方法以及图像处理程序
JP2017208496A (ja) * 2016-05-20 2017-11-24 ソニー株式会社 固体撮像装置、及び、電子機器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4633129B2 (ja) 2003-11-11 2011-02-16 オリンパス株式会社 マルチスペクトル画像撮影装置
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
JP2014187554A (ja) * 2013-03-22 2014-10-02 Fujitsu Ltd 撮像装置、情報処理装置、携帯端末装置及び表示装置
JP2016114627A (ja) * 2014-12-11 2016-06-23 シャープ株式会社 光学フィルタ
JP6750194B2 (ja) * 2015-06-19 2020-09-02 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム
EP3504959A4 (en) * 2016-09-23 2019-10-16 Sony Corporation CONTROL DEVICE, CONTROL METHOD, AND CONTROL SYSTEM

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080024788A1 (en) * 2003-09-26 2008-01-31 School Juridical Person Kitasato Gakuen Wavelength-tunable light generator and optical coherence tomography device
JP2005172976A (ja) * 2003-12-09 2005-06-30 Nippon Telegr & Teleph Corp <Ntt> 波長可変光フィルタ装置
JP2006324810A (ja) * 2005-05-17 2006-11-30 Fujifilm Holdings Corp 光学モジュール
US20070153099A1 (en) * 2005-12-22 2007-07-05 Mitsuharu Ohki Image signal processing apparatus, imaging apparatus, image signal processing method and computer program thereof
CN101742103A (zh) * 2008-11-14 2010-06-16 株式会社东芝 固体摄像器件
JP2011053361A (ja) * 2009-08-31 2011-03-17 Sony Corp 蛍光像取得方法、蛍光像取得装置及び蛍光像取得プログラム
KR20120114895A (ko) * 2011-04-08 2012-10-17 삼성전자주식회사 내시경 장치 및 상기 내시경 장치의 영상 획득 방법
US20140191116A1 (en) * 2013-01-07 2014-07-10 Seiko Epson Corporation Wavelength tunable interference filter, method for manufacturing wavelength tunable interference filter, optical module, and electronic apparatus
US20170003316A1 (en) * 2013-03-15 2017-01-05 Anasys Instruments Method and Apparatus for Infrared Scattering Scanning Near-field Optical Microscopy with High Speed Point Spectroscopy
WO2015156153A1 (ja) * 2014-04-08 2015-10-15 オリンパス株式会社 蛍光観察内視鏡システム
CN106455942A (zh) * 2014-06-05 2017-02-22 奥林巴斯株式会社 处理装置、内窥镜系统、内窥镜装置、图像处理方法以及图像处理程序
JP2017011459A (ja) * 2015-06-19 2017-01-12 パナソニックＩｐマネジメント株式会社 撮像装置及び画像処理方法
WO2016208415A1 (ja) * 2015-06-26 2016-12-29 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
JP2017208496A (ja) * 2016-05-20 2017-11-24 ソニー株式会社 固体撮像装置、及び、電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张兵: "智能遥感卫星系统", 《遥感学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112971695A (zh) * 2021-02-05 2021-06-18 吉林大学 成像设备、手持和内窥镜近红外成像系统及搭建方法
TWI831091B (zh) * 2021-11-30 2024-02-01 財團法人金屬工業研究發展中心 高光譜影像的分析方法及系統

Also Published As

Publication number Publication date
CN112005546B (zh) 2022-09-16
US20210058591A1 (en) 2021-02-25
US11399161B2 (en) 2022-07-26
EP3761638A1 (en) 2021-01-06
JP2021097254A (ja) 2021-06-24
US20220210380A1 (en) 2022-06-30
WO2019181154A1 (ja) 2019-09-26
US20220247981A1 (en) 2022-08-04
EP3761638A4 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
CN112005546B (zh) 信号处理设备、信号处理方法、图像捕获设备以及医用图像捕获设备
US11788966B2 (en) Imaging system
JP6996518B2 (ja) 分岐光学系、撮像装置、及び撮像システム
JP7095693B2 (ja) 医療用観察システム
JPWO2019035374A1 (ja) 撮像素子および撮像装置
US20230308628A1 (en) Medical imaging system, medical imaging device, and operation method
CN110945399B (zh) 信号处理设备、成像设备、信号处理方法和存储器
CN209172253U (zh) 一种多模态成像内窥镜系统
EP3934234A1 (en) Imaging device, imaging method, and program
WO2019198293A1 (ja) 顕微鏡システム及び医療用光源装置
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11310481B2 (en) Imaging device, system, method and program for converting a first image into a plurality of second images
Bartczak et al. Spectral video in image-guided microsurgical applications: Integrating imaging technology into the clinical environment and ergonomic considerations
US11357388B2 (en) Medical imaging system, method and computer program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant