CN107923851A - 观察辅助装置、信息处理方法以及程序 - Google Patents

观察辅助装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN107923851A
CN107923851A CN201680045313.6A CN201680045313A CN107923851A CN 107923851 A CN107923851 A CN 107923851A CN 201680045313 A CN201680045313 A CN 201680045313A CN 107923851 A CN107923851 A CN 107923851A
Authority
CN
China
Prior art keywords
light
observation
image
light source
auxiliary device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680045313.6A
Other languages
English (en)
Inventor
镰田恭辅
田村有希惠
竹内文也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems Schweiz AG
Original Assignee
Asahikawa Medical University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahikawa Medical University NUC filed Critical Asahikawa Medical University NUC
Priority to CN202111536559.2A priority Critical patent/CN114414046A/zh
Priority to CN202111537082.XA priority patent/CN114324268A/zh
Publication of CN107923851A publication Critical patent/CN107923851A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0218—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
    • G01J3/0221—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers the fibers defining an entry slit
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0028—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders specially adapted for specific applications, e.g. for endoscopes, ophthalmoscopes, attachments to conventional microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J2003/003—Comparing spectra of two light sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明的问题在于，提供一种观察辅助装置，其能够正确且容易地进行使用激发光作为光源的观察。本发明的解决方案是，该观察辅助装置具备：拍摄部(104)，其使用从能够切换地利用激发光和观察光作为光源且具备第二分束器(202)的显微镜(2)的第二分束器(202)射出的光，拍摄分别使用激发光和观察光作为光源时的显微镜(2)的相同观察区域的图像，其中，所述观察光包含激发光以外的波长的光；以及输出部(106)，其将拍摄部(104)分别使用激发光和观察光作为光源而拍摄的图像叠加合成后输出。

Description

观察辅助装置、信息处理方法以及程序
技术领域
本发明涉及安装于能够利用激发光作为光源的显微镜上并能够利用于诊断的装置等。
背景技术
作为现有技术，已知有如下荧光手术用立体显微镜：其是用于识别观察对象区域内的观察对象的荧光区域的荧光手术用立体显微镜，包括：第一照明装置，其在激发操作状态下，通过至少一个照明光路采用激发波长区域内的光照射所述观察对象区域，并在手术操作状态下，通过所述至少一个照明光路使用照明波长区域内的光照射所述观察对象区域；观察光路，其用于引导所述观察对象区域所带来的反射光和发出的光；以及第一观察滤波器，其在所述激发波长区域内及发光波长区域内为透光性且位于所述观察光路内(优选能够选择性地插入的)(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2012-58732号公报(第1页、图1等)
发明内容
发明要解决的问题
然而，在现有技术中，存在使用激发光作为光源而利用显微镜对观察对象进行观察时不能正确且容易地进行观察的问题。
例如，在使用激发光作为光源的观察中，由于仅能够观察激发光所激发的部分，因此无法确认未被激发的部分变得如何，并且无法同时把握未被激发的部分的情况。另外，仅使用激发光进行观察，医师等难以判断是否正在观察正确的区域。
例如，在使用激发光作为光源的观察中，由于观察的区域的外观与使用自然光等作为光源的情况大不相同，因此也存在以下问题：医师等难以判断是否正在观察正确的区域，难以掌握荧光的部分与自然光图像的位置对应关系。即，仅通过荧光图像难以获得与解剖学位置的统一性，也需要同时把握荧光发色部分和自然光下的解剖学上的手术区这两者。
本发明是为了消除上述问题而作出的，其目的在于，提供一种观察辅助装置等，其能够正确且容易地进行使用激发光作为光源的观察。
用于解决问题的方案
本发明的观察辅助装置为如下观察辅助装置，其具备：拍摄部，其使用从能够切换地利用激发光和观察光作为光源且具备第二分束器的显微镜的第二分束器射出的光，拍摄分别使用激发光和观察光作为光源时的显微镜的相同观察区域的图像，其中，所述观察光包含激发光以外的波长的光；以及输出部，其将拍摄部分别使用激发光和观察光作为光源而拍摄的图像叠加合成后输出。
通过所述构成，能够正确且容易地进行使用激发光作为光源的观察。例如，通过将分别使用激发光和观察光作为光源而拍摄的图像叠加合成后输出，能够同时观察在使用观察光而拍摄的图像中能够观察的而使用激发光不能观察的部分、和在使用激发光而拍摄的图像中能够观察的发出荧光的部位。另外，例如，通过查看使用观察光能够观察的而使用激发光不能观察的部分，能够确认是否正在观察正确的位置，并能够进行利用激发光的观察。另外，由于使用激发光而拍摄的图像和使用观察光拍摄成的图像叠加合成后输出，因此能够一目了然地容易地把握两者的图像中所示的部位等的对应关系。另外，由于不需要在两者的图像间移动视线，因此可视性优异。
另外，本发明的观察辅助装置为如下观察辅助装置：在所述观察辅助装置中，显微镜还具备第一分束器，所述观察辅助装置还具备分光部，该分光部在利用激发光作为光源时对从显微镜的第一分束器射出的光进行分光，输出部还进行与分光部所进行的分光结果相应的输出。
通过所述构成，在利用显微镜对观察对象进行观察时，能够同时对显微镜的观察区域进行分光分析。
另外，本发明的观察辅助装置为如下观察辅助装置：在所述观察辅助装置中，还具备光纤，从第一分束器射出的光之中的至少一部分的光入射至所述光纤，并且所述光纤使入射的光对分光部射出，分光部对从第一分束器射出的光之中的通过光纤入射的光进行分光。
通过所述构成，在利用显微镜对观察对象进行观察时，能够同时对显微镜的观察区域进行分光分析。另外，通过利用光纤进行连接，例如能够提高配置观察辅助装置尤其是配置分光部的位置的自由度
另外，本发明的观察辅助装置为如下观察辅助装置：在所述观察辅助装置中，还具备接收部，该接收部接收显微镜的放大率及焦距中的至少一方，输出部根据接收部接收的放大率及焦距中的至少一方，对分光部的分光结果进行校正。
通过所述构成，能够获得对放大率、焦距的变化所导致的入射至分光部的光的变化进行校正后的分光结果。
另外，本发明的观察辅助装置为如下观察辅助装置：在所述观察辅助装置中，显微镜具有自动变焦机构，输出部根据由自动变焦机构输出的变焦的放大率对分光部的分光结果进行校正。
通过所述构成，能够自动地进行与显微镜的变焦的放大率相应的校正。
另外，本发明的观察辅助装置为如下观察辅助装置：在所述观察辅助装置中，输出部在分光部的分光结果满足预先指定的条件时进行预先指定的输出。
通过所述构成，能够判断在观察区域所观察的观察对象是否满足预先指定的条件。
另外，本发明的观察辅助装置为如下观察辅助装置：在所述观察辅助装置中，分光部分别进行以激发光作为光源观察通常组织时从第一分束器射出的光的分光、以及观察异常组织时从第一分束器射出的光的分光，输出部输出对通常组织的分光结果与对异常组织的分光结果的比较的相关信息。
通过所述构成，例如能够参考对正常组织的分光结果来分析对异常组织的分光结果。
另外，本发明的观察辅助装置为如下观察辅助装置：在所述观察辅助装置中，分光部分别对以观察光作为光源观察相同观察对象时从第一分束器射出的光、以及以激发光作为光源观察相同观察对象时从第一分束器射出的光进行分光，输出部使用分光部的以观察光作为光源时的分光结果，对以激发光作为光源而获得的分光结果进行校正。
通过所述构成，能够从以激发光作为光源时所获得的分光结果中去除观察光的影响。
另外，本发明的观察辅助装置为如下观察辅助装置：在所述观察辅助装置中，所述拍摄部使用从显微镜的第二分束器射出的光，拍摄使用相同光源的情况下的显微镜的相同观察区域的多个图像，输出部还输出将拍摄部所拍摄的多个图像合成后的图像。
通过所述构成，能够输出将多个图像合成并强调图像内的特定的部分等例如发出荧光的部分等的图像。
另外，本发明的观察辅助装置为如下观察辅助装置：在所述观察辅助装置中，输出部还使拍摄部分别使用激发光和观察光作为光源而拍摄的图像以彼此不叠加的方式同时输出。
通过所述构成，除了合成后的图像以外，还能够输出未合成的以观察光作为光源时的观察区域的图像、以及以激发光作为光源时的观察区域的图像。由此，例如，能够对以观察光作为光源时的观察区域的图像和以激发光作为光源时的观察区域的图像进行比较。另外，能够将以观察光作为光源的图像中所显示的部分和以激发光作为光源的图像中所显示的部分明确地分离并看到。
另外，本发明的观察辅助装置为如下观察辅助装置：在所述观察辅助装置中，还具备判断部，该判断部在使用激发光作为光源时，针对拍摄部拍摄的图像，判断拍摄的图像是否移动、或图像的放大率是否发生变化，拍摄部在判断部检测到图像的移动或放大率的变化时，将光源切换为观察光来拍摄显微镜的观察区域的图像，输出部更新拍摄部以观察光作为光源而拍摄的图像的输出。
通过所述构成，对使用激发光正在观察时的观察区域的改变进行检测，能够自动获取对于改变后的观察区域的使用观察光作为光源的拍摄图像。
另外，本发明的观察辅助装置如下观察辅助装置：在所述观察辅助装置中，观察光为自然光。
通过所述构成，能够正确且容易地进行使用激发光作为光源的观察。例如，通过将分别使用激发光和自然光作为光源而拍摄的图像叠加合成后输出，能够同时观察在使用自然光而拍摄的图像中能够观察的而使用激发光不能观察的部分、和在使用激发光而拍摄的图像中能够观察的发出荧光的部位。另外，例如，通过查看使用自然光能够观察的而使用激发光不能观察的部分，能够确认是否正在观察正确的位置，并能够进行利用激发光的观察。另外，由于使用激发光而拍摄的图像和使用自然光而拍摄的图像叠加合成后输出，因此能够一目了然地容易地把握两者的图像中所示的部位等的对应关系。另外，由于不需要在两者的图像间移动视线，因此可视性优异。
发明效果
利用根据本发明的观察辅助装置等，能够正确且容易地进行使用激发光作为光源的观察。
附图说明
图1是示出本发明的实施方式中的诊断系统的构成的一例的示意图。
图2是对该诊断系统的观察辅助装置的动作进行说明的流程图。
图3是示出该诊断系统的观察辅助装置所获取的分光结果的一例的图。
图4是示出该诊断系统的观察辅助装置所获取的曲线图的一例的图。
图5是用于说明该诊断系统的观察辅助装置所得到的多个图像合成的处理的、示出作为合成对象的4张帧图像的示意图(图5(a))、以及示出合成后的图像的示意图(图5(b))。
图6是示出根据该诊断系统的观察辅助装置的显示例的图。
图7是示出该诊断系统的观察辅助装置所获取的曲线图的一例的图。
图8是示出本发明的实施方式中的计算机系统的外观的一例的图。
图9是示出该计算机系统的构成的一例的图。
具体实施方式
下面参照附图对观察辅助装置等的实施方式进行说明。需要说明的是，实施方式中赋予了相同附图标记的构成部件进行同样的动作，因此有时省略再次的说明。
(实施方式)
图1为示出本发明的实施方式中的诊断系统1000的一例的示意图。
诊断系统1000具备观察辅助装置1以及显微镜2。
观察辅助装置1具备分光部101、光纤102、接收部103、拍摄部104、判断部105、以及输出部106。
显微镜2具备第一分束器201、第二分束器202、透镜组203、自动变焦机构204、目镜部205、光源206、以及偏转棱镜207。
显微镜2为能够利用激发光作为光源的显微镜。显微镜2例如为光学显微镜。显微镜2例如为手术用立体显微镜。激发光例如为使观察对象中所存储的荧光物质激发的波长的光。通过对包含存储有荧光物质的部分的区域照射激发光，能够从存储有荧光物质的部分发出(放射)荧光，从而能够通过显微镜看到存储有荧光物质的部分。
显微镜2具备：配置于同一光路20上的透镜组203、第一分束器201、第二分束器202和目镜部205，通过透镜组203、第一分束器201以及第二分束器202，能从目镜部205观察配置在与透镜组203相对的位置上的观察对象。此处的同一光路20例如为从观察对象入射到透镜组203的光前进至目镜部205为止的光路。第一分束器201和第二分束器202相对于该光路20的配置可以相反。
透镜组203由一个以上的透镜构成，通常由多个透镜构成。此处作为一例，示出了透镜组203具有配置于观察对象侧的物镜203a和变焦镜头203b的情况。物镜203a由未图示的一个以上的透镜(通常为多个透镜)构成。物镜203a由多个透镜构成的情况下，对其个数、所构成的透镜的种类、组合等没有限制。
变焦镜头203b由多个透镜(未图示)构成，通过使一个以上的透镜的位置前后移动，从而能够改变焦距、放大率。放大率可以认为是倍率。在此，变焦镜头203b通过自动变焦机构204根据用户对未图示的操作部进行的操作，使构成的一个以上的透镜的位置电动地移动，从而能够改变放大率。但是，变焦镜头203b也可以为能够手动操作的变焦镜头。自动变焦机构204例如可以获取表示变焦镜头203b当前的放大率的信息、因变焦而改变的焦距等的信息，并对观察辅助装置1输出。此外，自动变焦机构204的结构、自动变焦机构204用于获取放大率的信息等的结构是公知的，因此在此省略详细的说明。
另外，物镜203a可以获取物镜203a自身的焦距的信息、放大率的信息等，并对观察辅助装置1输出。关于用于获取物镜203a的放大率的信息等的结构是公知的，因此在此省略详细的说明。这在后面叙述的目镜部205所具有的目镜透镜(未图示)等中也同样。
此外，本实施方式中，透镜组203可以为与变焦镜头同样的具有能够移动透镜位置的结构的由多个透镜构成的物镜。另外，透镜组203可以不具有变焦镜头203b。另外，对变焦镜头203b的设置位置没有限制。
第一分束器201将从观察对象经透镜组203入射的光分离为两束，并将分离后的一方的光射出至上述到达目镜部205为止的光路20。另外，将分离后的另一方的光对观察辅助装置1的分光部101射出。即，将分离后的另一方的光对从第一分束器201入射至分光部101的光路21射出。在此，具体而言，使分离后的光入射至与分光部101光学结合的光纤102。在光纤102的第一分束器201侧的端面附近可以具备一个以上的透镜(未图示)，该一个以上的透镜用于对第一分束器201所分离的光进行聚光，并使其入射至光纤102的端面。例如，第一分束器201通过使入射的光的一部分反射并使剩余的光透过而将光分离为两束。通常，将反射光对分光部101射出。作为第一分束器201，例如已知有棱镜型、平面型、楔形基板型等。在此，作为一例，使用棱镜型的第一分束器201的情况作为例子而示出。此外，第一分束器201可以为半透半反镜。此外，分束器的结构为公知的，因此，在此省略详细说明。
第二分束器202将从观察对象经透镜组203和第一分束器201而入射的光分离为两束，将分离后的一方的光射出至上述到达目镜部205为止的光路20。另外，将分离后的另一方的光对观察辅助装置1的拍摄部104射出。即，将分离后的另一方的光对从第一分束器201入射至分光部101的光路21射出。拍摄部104与第二分束器202之间通过例如连接管、固定构件等的连接部202b而连接。在拍摄部104与第二分束器202之间可以具备一个以上的透镜(未图示)，该一个以上的透镜用于对第二分束器202所分离的光进行聚光，并使其入射至拍摄部104的拍摄面(未图示)等。关于第二分束器202的结构等，可利用与第一分束器201同样的结构，因此在此省略详细的说明。
显微镜2通常具备两个目镜部205。但是，目镜部205也可以为一个。在目镜部205上例如设置有目镜透镜(未图示)。
此外，显微镜2可以具备上述以外的一个以上的透镜等的光学系统。例如，在上述同一光路上可以具备成像透镜(未图示)、偏转棱镜(未图示)等。在具备成像透镜的情况下，优选第一分束器201、第二分束器202各自设置在物镜203a与成像透镜之间。
另外，在此省略了说明，但显微镜2可以具备聚焦机构等。
另外，显微镜2可以具备显微镜信息输出部(未图示)等，该显微镜信息输出部获取焦距的信息和放大率的信息中的至少一方，并输出至观察辅助装置1。此外，显微镜的获取并输出焦距、放大率的信息的结构为公知技术，因此在此省略详细的说明。
光源206对显微镜2的观察对象照射激发光。光源206例如对观察对象照射由偏转棱镜207所偏转的激发光。观察对象例如为试样。具体而言，观察对象为生物体的产生肿瘤的患部等。对观察对象照射激发光可以认为是对观察区域照射激发光。此外，可以不通过偏转棱镜207，而直接从光源206对观察对象照射光。另外，可以在观察对象与光源206之间配置一个以上的透镜(未图示)、一个以上的凹面镜等的镜(未图示)等。
光源206可以从观察对象的表面照射光，也可以从背面照射光。例如，显微镜2为手术用显微镜的情况下，光源206从观察对象的正面照射光。
光源206照射的激发光的波长为能激发观察对象所具有的荧光物质并使其发出荧光的波长或波长带的光，该波长或波长带根据作为激发对象的荧光物质来确定。例如，在观察对象为肿瘤的情况下，投与5-ALA(5-氨基乙酰丙酸，5-Aminolevulinic Acid)时，该5-ALA聚集在肿瘤细胞内而成为荧光物质(原卟啉IX，ProtoporphyrinIX:PpIX)，为了使从该荧光物质发出荧光，例如使用波长为400nm的激发光。
在显微镜2中，例如通过点亮光源206，从而能够利用激发光作为向观察对象照射的光的光源，通过熄灭光源206，从而能够利用自然光作为向观察对象照射的光的光源。即，显微镜2通过光源206的点亮与熄灭的切换，从而能切换并利用激发光和自然光作为向观察对象照射的光的光源。或者，可以通过改变光源206的照射方向、偏转棱镜207的位置来切换对观察对象照射或不照射光源206的光。此处的自然光可以认为是环境光、可见光、白色光等，可以不一定是太阳光。自然光例如可以认为是设置于室内的照明等所发出的室内光等。例如，自然光可以是在手术室等中在手术过程中对观察对象照射的照明光。此外，显微镜2可以具有用于对观察对象照射自然光的光源(未图示)、偏转棱镜(未图示)等。
光源206可以为能切换射出的激发光的强度的光源。例如，光源206可以由照射相同波长带的光的多个光源(未图示)构成，在该情况下，通过多个光源的打开、关闭的组合，能改变射出的光的强度。
此外，显微镜2可以为能根据观察辅助装置1所输出的信息例如控制信息，适当切换利用激发光作为光源的情况和利用自然光作为光源的情况的显微镜。例如，显微镜2可以为根据观察辅助装置1所输出的信息，能够切换照射激发光的光源206的点亮、熄灭的显微镜。
此外，图1中示出的显微镜2为一例，在本实施方式中，只要为具备所叙述的功能、结构等的显微镜，也可以为其它结构的显微镜。
观察辅助装置1例如为用于辅助显微镜2所进行的观察的装置。观察辅助装置1优选以可拆装的方式安装于显微镜2上。但是，观察辅助装置1也可以以安装于显微镜2上的状态而被固定。观察辅助装置1例如为在用于医疗用途的装置。用于医疗用途是指例如用于诊断、手术灯的医疗行为、与医疗行为相关的检查等。
分光部101对从显微镜2的第一分束器201射出的光进行分光。例如，分光部101对从第一分束器201射出的光之中的经由光纤102入射的光进行分光。例如，分光部101通过光纤102与第一分束器201光学连接。光纤102例如可以认为是观察辅助装置1的一部分。
分光部101例如对入射的光进行分光并获取每个波长的光强度。此外，此处的波长可以适当置换为频率来考虑。这在下面的叙述中也同样。分光部101获取的光强度例如为相对强度。对光强度的单位等没有限制。光强度可以为表示光强度的信号强度。分光部101例如获取入射光的光谱。光谱例如为分光光谱。分光光谱例如为针对观察对象的荧光光谱、反射光谱。例如，分光部101获取从光源206照射的激发光使从观察对象的荧光物质发光且由第一分束器201分离并入射的荧光的光谱。另外，例如，分光部101获取由观察对象反射且由第一分束器201分离并入射的自然光的光谱。此外，分光部101获取的光谱例如可以为吸收光谱或振荡光谱。此外，分光部101获取的光强度例如为相对强度。例如，分光部101获取的光谱为具有将多个波长和相对的光强度相对应的信息。
例如，分光部101可以分别，对在以自然光作为光源观察相同的观察对象时从第一分束器201射出的光，以及在以激发光作为光源206观察相同的观察对象时从第一分束器201射出的光进行分光，并获取各自的分光结果。分光结果为每个波长的光强度的值、光谱。获取的各自的分光结果例如存储在未图示的存储部等中。此外，仅使用激发光作为光源进行观察时，优选将配置有显微镜2的房间等的照明熄灭、或对自外部向房间等的光进行遮光。不如此进行熄灭、遮光而使用激发光作为光源进行观察的情况下，分光部101会对由激发光所产生的荧光和基于自然光的反射光这两者进行分光。
另外，分光部101可以分别对在以激发光作为光源206观察通常组织时第一分束器201射出的光，以及在观察异常组织时从第一分束器201射出的光进行分光，并获取各自的分光结果。例如，用户将作为观察对象的组织切换为通常组织和异常组织，分光部101获取对各自的组织的分光结果。组织通常是指生物体的组织。异常组织例如为病变部位的组织。病变部位的组织是指肿瘤组织。通常组织是指除异常组织以外的组织。但是，用作通常组织和异常组织的组织优选为相同的生物体，例如相同的被试验者的同样的部位，例如相同的脏器、邻近的部位等的组织。获取的各自的分光结果例如存储在未图示的存储部等中。
此外，关于分光部101的结构、分光部101用于进行分光的动作等，与以下的URL等中所示的分光器之类的通常的分光器是同样的，因此，在此省略详细的说明(“迷你分光器：拉曼分光装置用|Hamamatsu Photonics K.K.”、[online]、[2015年5月29日检索]、网址<URL：http：//www.hamamatsu.com/jp/ja/product/application/1505/4517/4387/index.html>。
从第一分束器201射出的光之中的至少一部分的光入射至光纤102。而且，光纤102使入射的光对分光部101射出。由第一分束器201所分离的光之中的与射出至到达目镜部205为止的光路20的光不同的光可以全部入射至光纤102中，也可以仅其一部分入射至光纤102中。例如，可以通过未图示的透镜等仅对一部分的光进行聚光并使其入射至光纤102。例如，可以仅使从显微镜2的观察区域内的一部分区域、优选观察区域的中央附近获得的光入射至光纤102。观察区域的中央附近例如是指为包含观察区域的中心位置的对象区域，且占观察区域的50％以下的面积，优选占7～13％的面积的区域。例如，通过设为7～13％的面积，从而接收与通常的摄像机的中央重点测光为同样的面积的光，能够接收观察区域的正确的部位的光。显微镜2的观察区域例如可以认为为显微镜2的观察场、视场等。
接收部103接收显微镜2的放大率及焦距中的至少一方。例如，接收部103可以接收如上所述的显微镜2的自动变焦机构204、物镜203a、目镜部205、未图示的显微镜信息输出部等所输出的放大率及焦距中的至少一方的信息。另外，接收部103可以接收如上所述的显微镜2的自动变焦机构204、物镜203a、目镜部205、未图示的显微镜信息输出部等所输出的表示显微镜2正在使用的透镜的信息、表示变焦镜头的情况的信息等，并利用该接收的信息计算出放大率、焦距的信息。在这种情况下，实质上也可以认为是接收放大率及焦距中的至少一方。另外，用户可以通过未图示的输入设备等接收输入的放大率及焦距的信息。显微镜2的放大率与通常的显微镜的放大率(或倍率)同样，例如，为显微镜2的透镜组203的放大率与目镜部205所具有的目镜透镜(未图示)的放大率的积。此外，关于显微镜2的放大率、焦距的计算方法、获取方法为公知技术，因此在此省略详细的说明。此处的接收为包括通过输入接口(未图示)的信息的输入的接收、从键盘、鼠标、触摸面板等输入设备输入的信息的接收等的概念。对于输入单元，十键数字键、键盘、鼠标、菜单画面者等均可以。接收部103可以利用十键数字键、键盘等输入单元的设备驱动程序、菜单画面的控制软件等来实现。
拍摄部104使用从显微镜2的第二分束器202射出的光，来拍摄显微镜2的相同观察区域的图像。拍摄部104具备CCD、CMOS等拍摄元件(未图示)。对拍摄部104所具备的拍摄元件的像素数、尺寸等没有限制。拍摄部104所拍摄的图像通常为彩色的图像，但也可以为黑白的图像。拍摄部104所拍摄的图像可以为运动图像，也可以为静止图像，也可以为其两者。拍摄部104可以每隔固定或不固定的时间间隔连续拍摄2个以上的静止图像。例如，拍摄部104对从第二分束器202射出的、通过未图示的连接管、固定构件等入射的光进行分光。例如，拍摄部104通过连接管、固定构件等与第二分束器202光学连接。在拍摄部104与第二分束器202之间可以适当设置有未图示的一个以上的透镜、镜、棱镜等。
拍摄部104例如可以使用从显微镜2的第二分束器202射出的光，拍摄显微镜2的相同观察区域的多个图像。例如，拍摄部104可以每隔预先指定的时间间隔连续多次地拍摄相同观察区域的图像，以拍摄显微镜2的相同观察区域的多个图像。另外，该多个图像可以是对相同观察区域所拍摄的运动图像的连续的多个帧图像或从运动图像每隔预先指定的一个以上的帧图像数依次获取的多个帧图像。例如，拍摄部104可以获取运动图像并从该运动图像获取该多个帧图像。相同观察区域的多个图像是指例如不使观察区域移动且不对观察区域进行放大率的改变等而拍摄的多个图像。例如，拍摄部104可以在未图示的接收部接收到拍摄相同观察区域的多个图像的指示时拍摄多个图像，也可以经常拍摄多个图像。
另外，拍摄部104可以使用从显微镜2的第二分束器202射出的光，拍摄分别使用激发光和自然光作为光源206时的显微镜2的相同观察区域的图像。相同观察区域的图像是指与上述同样地不使观察区域移动且不进行放大率的改变而拍摄的图像。此处拍摄的图像可以均为静止图像，也可以均为运动图像，也可以一方为静止图像，另一方为运动图像。
另外，拍摄部104可以在后面叙述的判断部105检测到图像的移动或放大率的变化时，将光源切换为自然光来拍摄显微镜2的观察区域的图像。作为移动或放大率的变化的检测对象的图像例如为使用激发光作为光源而拍摄的运动图像或2个以上的静止图像，优选为2个以上的以连续的顺序所拍摄的静止图像。图像的移动是指例如图像内的拍摄对象的移动、或者对应的像素、像素组的移动、或者对应的运动对象的移动。这对于放大率的变化也是同样的。另外，此处的图像的移动可以是伴随显微镜2的移动等的观察区域的移动所引起的移动，也可以是观察对象的移动所引起的移动。这对于放大率的变化也是同样的。此处的图像的移动、放大率的变化为阈值以上的图像的移动、放大率的变化。例如，拍摄部104在对使用激发光作为光源的图像进行拍摄的情况下，可以在后述的判断部105检测到图像的移动或放大率的变化时，临时将光源切换为自然光来拍摄显微镜2的观察区域的图像，拍摄后再次将光源切换为激发光来拍摄显微镜2的观察区域的图像。由此，在观察区域的设定有变化的情况下，能够获取以自然光对变化的观察区域所拍摄的图像，并能够获取以自然光对变化后的观察区域所拍摄的图像。
判断部105在使用激发光作为光源206的情况下，对拍摄部104所拍摄的图像判断所拍摄的图像是否移动、或图像的放大率是否发生变化。例如，判断部105对使用激发光所拍摄的运动图像或者2个以上的静止图像，优选2个以上的以连续的顺序所拍摄的静止图像，判断图像是否移动或是否要改变图像的放大率。例如，在运动图像的帧图像之间或者2个以上的静止图像之间，使用差分图像等对像素、像素块、像素对象等像素组进行运动检测，并根据该运动检测图像的移动、图像的放大率的变化。例如，对于像素、像素组，检测到的运动为阈值以上时，则判断图像移动了。另外，通过运动检测而检测到的像素组、运动对象的大小的变化、例如面积的变化为阈值以上时，则判断图像的放大率变化了。此外，根据所拍摄的图像检测图像的运动、或判断图像的放大率变化的有无的处理作为检测被摄体的运动等的技术等是公知的技术，因此，在此省略详细的说明。
输出部106进行与分光部101所进行的分光结果相应的输出。输出部106例如输出分光部101所进行的分光结果。例如，输出部106以曲线图或表输出分光部101作为分光结果而获取的每个波长的光强度的值。例如，输出部106以横轴为波长、纵轴为光强度的曲线图表示每个波长的光强度的值。例如，输出部106可以使用作为分光结果所获取的每个波长的光强度之中的预先指定的波长带(波长的范围)的光强度而设定基准值，作为针对该波长带以外的其它波长所获取的光强度，可以输出将该基准值作为基准而获取的值。将基准值作为基准而获取的光强度的值是指例如以分光部101所获取的每个波长的光强度与基准值的差所表示的光强度的值。例如，输出部106可以算出并输出将与设定的基准值对应的光强度设为0时的每个波长的光强度。基准值根据预先指定的波长带的光强度来设定。预先指定的波长带例如优选为在对异常组织的分光结果和对通常组织的分光结果中均在光强度的值上没有大幅不同的波长带。预先指定的波长带例如为设定为500～530nm的范围内的波长带。例如，对于输出部106，为分光结果之中的对预先指定的波长带中所包含的波长所获取的光强度的平均值或中间值等。但是，根据预先指定的波长带中所包含的波长如何获取基准值均可。
另外，输出部106使用分光部101作为分光结果所获取的每个波长的光强度的值，检测光强度取最大值的波长，并输出该波长的值以作为与分光结果相应的输出。此处的最大值可以为预先指定的波长带即波长的范围内的最大值。例如，波长可以为550～750nm的范围内的最大值。另外，可以获取该最大值的光强度的值并输出作为与分光结果相应的输出。另外，可以计算并输出该上述的曲线图的光强度为最大的波长的附近的面积。该面积怎样计算均可，例如，可以利用积分等计算。另外，输出部106可以使用分光部101作为分光结果而获取的每个波长的光强度的值，检测2个以上的峰，计算并输出该峰的光强度的值的比。由于自动检测峰的技术为公知的，因此省略详细的说明。此外，作为此处的光强度，可以使用分光部101所获取的光强度的值，也可以使用如上所述的分光结果所表示的光强度与基准值的差。这在以下也同样。
另外，输出部106可以根据接收部103所接收的放大率及焦距中的至少一方对分光部101的分光结果进行校正。此处的校正可以对分光结果整体进行，也可以对一部分进行。而且，输出部106可以进行与校正后的分光结果相应的输出。具体而言，可以根据接收部103所接收的放大率及焦距中的至少一方，对分光结果所具有的一个以上的波长的光强度的值进行校正。例如，若放大率变大(或焦距变长)，则入射至显微镜2的观察区域(例如，观察场)的光的量减少，因此输出部106可以随着放大率增加(或随着焦距变长)而连续或非连续地使一个以上的波长的光强度的值增加。此处的一个以上的波长可以为分光部101获取光强度的值的全部的波长、也可以为其一部分的波长。例如，可以仅对获得了最大值的光强度的波长的光强度、或者获得了峰的光强度的波长的光强度进行校正。或者，可以仅对获得了最大值的光强度的波长及其附近的波长的光强度、或者获得了峰的光强度的波长及其附近的波长的光强度进行校正。此处的最大值可以为预先指定的波长带，即波长的范围中的最大值。
例如，若放大率变为n倍，则从观察区域入射的光减少至1/n2倍，因此输出部106在放大率变为n倍时将分光结果所具有的一个以上的波长的光强度的值校正为n2倍。例如，输出部106将光强度的最大值校正为n2倍。作为该情况下的n倍基准的放大率只要预先指定即可。只要考虑作为该基准的放大率的情况下的放大率为1倍即可。此外，关于焦距也是，为了对焦距的变化所带来的观察区域的面积的变化所导致的光量的变化进行补偿，只要校正光强度即可。
此外，例如可以如下：若将分光部101所获取的分光结果的光强度的最大值设为L1，将如上所述求出的基准值设为LB，则对于该最大值L1，根据放大率的n倍将光强度校正为n2倍而使校正后的光强度为n2L1，并且对其它波长X的光强度LX，以该基准值LB的光强度在校正的前后不改变的方式，获取(n2L1-LB)Lx/n2L1作为校正值。即，可以将各波长的光强度校正在最大值与基准值之间，以分配分光结果的各波长的光强度。
此外，输出部106可以根据自动变焦机构204输出的变焦的放大率对分光部101的分光结果进行校正。例如，从自动变焦机构204获得变焦的放大率的信息即表示显微镜2的放大率的信息，并根据该放大率，进行与上述放大率相应的校正同样的校正。
输出部106可以在使用激发光作为光源时的分光部101的分光结果满足预先指定的条件时，进行预先指定的输出。例如，输出部106可以判断在作为分光结果的每个波长的光强度之中是否存在预先设定的阈值以上的光强度，如果存在，则判断满足条件并进行预先指定的输出。另外，例如，输出部106可以判断作为分光结果的每个波长的光强度的最大值是否为预先设定的阈值以上的光强度，如果为阈值以上，则判断满足条件并进行预先指定的输出。另外，例如，输出部106可以判断对作为分光结果的每个波长的光强度的最大值如上所述那样所获取的面积是否为预先设定的阈值以上，如果为阈值以上，则判断满足条件并进行预先指定的输出。此外，此处的光强度的最大值、阈值等可以为分光部101所获取的光强度的最大值、阈值，也可以为将如上所述的基准值作为基准而获取的光强度的最大值、阈值。
此处的预先指定的输出例如为用于将设定了正确的观察区域以作为显微镜2的观察区域(例如观察场)等通知给观察者的输出。此处的预先指定的输出例如为预先指定的声音的输出、预先指定的图像的显示、预先指定的灯等的点亮、闪烁。预先指定的声音例如可以为蜂鸣器音、报警器音，也可以为预先准备的音频文件的播放等。通过输出声音，从而能够对满足条件进行通知而不妨碍利用显微镜2的观察。例如可以在显微镜2的目镜部205内设置透光型的液晶面板(未图示)、或能局部发光的透明的面板等，输出部106在该液晶面板上进行预先指定的显示、或使其发出预先指定的光。此外，进行预先指定的输出可以认为是在输出中添加预先指定的变化，例如，为也包括使在不满足预先指定的条件时输出的输出在满足条件时结束等的概念。
此外，输出部106可以在使用激发光作为光源的时的分光部101所进行的分光结果中，判断在预先指定的波长、波长带中是否存在光强度的峰，并根据判断结果，输出表示观察对象是否为异常组织的信息。例如如以下所述的非专利文献1所示，已知，使用荧光物质PpIX对观察对象照射激发光而得到的光进行分光分析时，在肿瘤组织中在636nm处存在峰，因此检测到峰的频率为636nm的情况下，可以输出表示观察区域中包含异常组织的信息、例如声音。(非专利文献1：岛谷浩二、另外1名、“手术显微镜下基于5-ALA感应荧光测量的脑肿瘤的手术中鉴定的相关研究”、[online]、[2015年5月26日检索]、网址<URL：http：//repository.dl.itc.u-tokyo.ac.jp/dspace/bitstream/2261/20382/1/K-01362-a.pdf>)。
此外，输出部106可以分别输出如上所述的校正后的分光结果和未校正的分光结果。另外，可以分别输出如上所述的校正后的分光结果和未校正的分光结果中的至少一方、以及如上所述的预先指定的输出。
输出部106例如输出分光部101所获取的对通常组织的分光结果与对异常组织的分光结果的比较的相关信息。比较的相关信息是指例如将对通常组织的分光结果和对异常组织的分光结果以能够比较的方式而示出的信息。例如，优选将分光部101所获取并存储的这些分光结果的相关信息同时输出在相同画面中。例如为将对通常组织的分光结果的曲线图和对异常组织的分光结果的曲线图叠加而示出的曲线图。另外，比较的相关信息为示出对通常组织的分光结果与对异常组织的分光结果的差的信息，例如为示出每个波长的值的差的曲线图。
输出部106可以使用分光部101的以自然光作为光源时的分光结果，对以激发光作为光源而得到的分光结果进行校正。而且，可以与上述未校正的分光结果同样地输出与校正后的分光结果相应的信息。例如，输出部106可以获取并输出以激发光作为光源而得到的分光结果与以自然光作为光源时的分光结果的差作为校正后的分光结果。例如，输出部106从以激发光作为光源而得到的分光结果所表示的每个频率的光强度中，减去以自然光作为光源时的分光结果所表示的与上述各频率相对应的每个频率的光强度，并输出经减法计算而得到的每个频率的光强度的值。
输出部106例如还可以输出将如上所述拍摄部104对相同观察区域所拍摄的多个图像的合成后的图像。此处的对相同观察区域所拍摄的多个图像例如为使用相同光源例如激发光的光源206拍摄的多个图像。例如，输出部106对拍摄部104所拍摄的多个图像进行合成。而且，输出合成后的图像，例如显示在未图示的显示器等上。输出部106例如从对相同观察区域所拍摄的运动图像中依次获取预先指定的数量的多个帧图像，并每当获取预先指定的数量的帧图像时，则将该帧图像进行合成，并依次显示合成后的图像。在该情况下，例如，在显示新合成的图像时，只要以新合成的图像更新正在显示的图像即可。
多个图像的合成例如优选强调由荧光物质发出荧光的部分、或变得易于看到的合成。例如，优选亮度高的部分(明亮的部分)变得更明亮的合成。例如，多个图像的合成为多个图像的相加平均。另外，多个图像的合成可以为多个图像的屏幕合成。关于图像的相加平均、屏幕合成，为公知技术，因此在此省略详细的说明。但是，也可以进行上述以外的合成。合成方法用户可以适当设定。
输出部106例如还可以输出拍摄部104分别使用激发光和自然光作为光源而拍摄的图像(例如显示)。例如，输出部106可以同时显示使用各个光源所拍摄的图像。例如，可以将使用各个光源拍摄的图像配置在一个画面内而同时显示。在该情况下，例如，图像彼此可以不叠加。另外，输出部106可以使图像彼此完全重叠地显示。完全重叠是指图像彼此的四个边、朝向、角一致地重叠。重叠时，例如，可以将配置于上方的图像的透光度设置为0％以外的值、例如50％左右而配置，以使配置于下方的图像显示。也可以将配置于上方的图像以叠加合成、屏幕合成、刻入合成、相乘合成等合成模式与下方的图像合成。另外，输出部106例如可以将拍摄部104分别使用激发光和自然光作为光源而拍摄的图像叠加合成后输出，并且以拍摄部104分别使用激发光和自然光作为光源而拍摄的该图像彼此不叠加的方式输出。输出部106例如可以：在拍摄部104当前正在使用激发光作为光源拍摄图像(例如运动图像)的情况下，依次显示所拍摄的最新的图像，以作为使用激发光拍摄的图像，对于使用自然光拍摄的图像，则显示存储在未图示的存储部等中的即将在使用激发光拍摄之前以自然光作为光源对相同拍摄区域所拍摄的图像。另外，输出部106可以：在拍摄部104当前正在使用自然光作为光源拍摄图像(例如，运动图像)的情况下，依次显示所拍摄的最新的图像，以作为使用自然光拍摄的图像，对于使用激发光拍摄的图像，则显示存储在未图示的存储部等中的即将在使用自然光拍摄之前以激发光作为光源对相同拍摄区域所拍摄的图像。另外，输出部106还可以输出将拍摄部104使用相同光源对显微镜2的相同观察区域所拍摄的多个图像的合成后的图像。例如，输出部106可以将使用相同光源拍摄的相同区域的多个图像的合成后的图像与将分别使用激发光和自然光作为光源对相同观察区域所拍摄的图像叠加合成后的图像一起输出。
此外，在当前正在以激发光作为光源而拍摄图像(例如运动图像)的情况下，也可以每隔预先指定的固定或不固定的时间，依次以自然光作为光源进行拍摄，每当以自然光作为光源进行拍摄时，则以该图像更新即将显示的以自然光作为光源而拍摄的图像。例如，拍摄部104每当以激发光作为光源拍摄29帧的帧图像，则以自然光作为光源拍摄1帧的帧图像，输出部106依次显示以激发光作为光源而拍摄的帧图像，同时作为以自然光作为光源而拍摄的图像，依次更新并显示每隔29帧所拍摄的帧图像即可。另外，拍摄部104例如可以每当以激发光作为光源进行预先确定的时间(例如，20秒钟等)的拍摄时，一瞬间照射自然光来进行拍摄。此外，拍摄部104例如通过对显微镜2输出切换光源的指示，能够适当切换拍摄中所利用的光源。
另外，输出部106例如根据判断部105所进行的图像的移动或放大率的变化的检测，在拍摄部104以自然光作为光源206拍摄图像时，可以以该图像更新拍摄部104以自然光作为光源206而拍摄的图像的输出。尤其是在拍摄部104当前正在使用激发光作为光源进行拍摄时，优选如此。由此，在观察区域改变时，能够更新使用自然光作为光源而拍摄的图像，也能够在使用自然光拍摄的图像中示出使用激发光而拍摄的部分。
此外，在分光部101通过光纤102而接收光的范围为如上所述显微镜2的观察区域的一部分的范围的情况下，输出部106可以将该显微镜2的观察区域之中的表示分光部101通过光纤102而接收光的一部分的范围的图像显示在拍摄部104所拍摄的观察区域的图像内。例如，可以在图像中显示表示范围的轮廓的图像等。另外，输出部106可以在设置于目镜部205的透光型的液层面板等上显示表示分光部101通过该光纤102接收光的一部分的范围的图像。
另外，输出部106在对以自然光作为光源而摄影的图像和以激发光作为光源而摄影的图像进行合成时，可以将以激发光作为光源而摄影的图像的荧光显示范围(例如，病性区域等)的亮度设定为默认(default)的亮度，也可以根据用户等的指示手动地设定。另外，输出部106可以自动设定拍摄的图像的荧光显示范围的亮度，以成为与分光部101的分光结果相对应的亮度。例如，输出部106可以以拍摄的图像的荧光显示范围的亮度成为分光部106所获取的分光结果所示出的荧光值的最大值附近的值的预先确定的比率的值的方式设定荧光显示范围的亮度值。例如，输出部106可以以荧光显示范围的亮度的最大值成为分光部106所获取的分光结果所示出的荧光值的最大值附近的值的预先确定的比率的值的方式来设定分配在拍摄的图像的荧光显示范围内的亮度值的范围。最大值附近的值可以为最大值。预先确定的比率例如可以为1％以上且小于100％的值。
输出为包括在显示器上的显示、使用投影仪的投影、在打印机上的打字、声音输出、灯等的点亮、向外部的装置的发送、在记录介质上的存储、处理结果向其它处理装置、其它程序等的传送等的概念。此处的显示为也包括在有线连接、无线连接的显示器上的显示、在无线连接的其它装置的显示器上的显示等的概念。
输出部106可以认为包括显示器、扬声器等输出设备，也可以认为不包括。另外，输出部106可以具备多个输出设备。该多个输出设备可以包括相同种类的输出设备，也可以包括不同种类的输出设备。输出部106通过1个或2个以上的输出设备的驱动软件或输出设备的驱动软件和输出设备等能够实现。
接着，利用图2的流程图对诊断系统1000的观察辅助装置1的动作的一例进行说明。
(步骤S101)分光部101判断是否为接收从使用自然光作为光源的状态的显微镜2的第一分束器201射出的光的时机。接收光的时机可以为预先指定的固定或不固定的时间间隔，也可以为即将以激发光作为光源进行观察前的时机。如果为接收光的时机，则通过光纤102等接收光，并前进到步骤S102，如果不为接收光时机，则前进到步骤S106。
(步骤S102)分光部101对在步骤S101中接收的光进行分光，获取作为分光结果的每个波长的光强度的值。
(步骤S103)分光部101将在步骤S101中接收的光存储在未图示的存储部等中。此外，如果不需要使用自然光作为光源时的分光结果，则可以省略步骤S102和步骤S103的处理。
(步骤S104)拍摄部101使用从第二分束器202输出的光，拍摄以自然光作为光源时的拍摄区域的图像。
(步骤S105)拍摄部101将在步骤S104中拍摄的图像存储在未图示的存储部中，并返回至步骤S101。
(步骤S106)分光部101判断是否利用显微镜2进行使用激发光作为光源的观察。例如，从显微镜2接收到表示射出激发光的光源206点亮了或正在点亮的信息时，可以判断为进行使用激发光作为光源的观察，未图示的接收部等从用户接收到表示将激发光用于光源的信息时，可以判断进行使用激发光作为光源的观察。如果进行使用激发光作为光源的观察，则前进到步骤S107，如果不进行，则返回到步骤S101。
(步骤S107)分光部101判断是否为接收从使用激发光作为光源的状态的显微镜2的第一分束器201射出的光的时机。例如，分光部101自电源接通后或观察辅助装置1启动后，每经过预先指定的时间，判断为接收光的时机。如果为接收光的时机，则通过光纤102等接收光并前进到步骤S108，如果不为接收光的时机，则前进到步骤S116。
(步骤S108)分光部101对在步骤S107中接收的光进行分光，获取作为分光结果的每个波长的光强度的值。
(步骤S109)接收部103从显微镜2接收放大率、焦距的信息。另外，可以读取利用自然光作为光源而在步骤S102等中获取并存储的每个波长的光强度的值。
(步骤S110)输出部106，对于在步骤S109中获取的放大率、焦距的信息，使用利用自然光作为光源而获取的每个波长的光强度的值，对在步骤S108中所获取的分光结果进行校正。
(步骤S111)输出部106判断在步骤S110中校正后的分光结果是否满足预先指定的条件。例如，判断分光结果所示出的预先指定的波长带(波长范围)中的光强度的最大值是否超过预先指定的阈值，如果超过，则判断满足条件，如果不超过，则判断不满足条件。如果判断满足条件，则前进到步骤S112，如果判断不满足条件的情况下，则前进到步骤S113。
(步骤S112)输出部106进行预先指定的输出。预先指定的输出例如为声音的输出、灯等的点亮。
(步骤S113)输出部106显示表示分光结果的曲线图。此外，在后述的步骤S114中，存储针对正常的组织所获取的分光结果的信息时，可以将该针对正常的组织所获取的分光结果的曲线图例如与上述的分光结果的曲线图叠加地显示。例如，上述的分光结果的曲线图为例如针对异常的组织所获取的分光结果的曲线图时，能够显示将针对正常的组织和异常的组织分别所获取的分光结果进行比较的曲线图。
(步骤S114)输出部106判断是否将在步骤108中所获取的分光结果、在步骤S110中校正后的分光结果的信息存储为针对正常的组织所获取的分光结果的信息。例如，输出部106判断未图示的操作接收部等是否从用户等接收到指示，所述指示为将在步骤S110中校正后的分光结果的信息存储为针对正常的组织所获取的分光结果的信息。如果存储为针对正常的组织所获取的分光结果的信息，则前进到步骤S115，如果未存储，则返回到步骤S101。
(步骤S115)输出部106将在步骤S108中所获取的分光结果、在步骤S110中校正后的分光结果等存储在未图示的存储部等。然后，返回到步骤S101。
(步骤S116)拍摄部104使用从显微镜2的第二分束器202射出的光，依次拍摄利用激发光作为光源的时的观察区域的图像。例如，拍摄部104拍摄观察区域的运动图像。
(步骤S117)判断部105对在步骤S116中拍摄部104依次拍摄的多个图像(例如，构成运动图像的连续的帧图像)进行检测图像的移动、放大率的变化的处理，如果检测到预先指定的阈值以上的图像的移动、放大率的变化，则前进到步骤S121，如果未检测到，则前进到步骤S118。
(步骤S118)输出部106判断在步骤S116中是否拍摄了预先指定数量的多个图像。如果拍摄了，则前进到步骤S119，如果未拍摄，则返回到步骤S116。
(步骤S119)输出部106对在步骤S116中拍摄的多个图像之中的预先指定数量的多个图像进行合成。例如，进行多个图像的相加平均，从而获取一个图像。
(步骤S120)输出部106将在步骤S119中通过合成而获取的图像显示在未图示的显示器等上。例如，输出部106可以将拍摄部104利用自然光作为光源而拍摄的最新的观察区域的图像与在步骤S119中合成的图像同时显示在同一画面中。然后，返回到步骤S101。
(步骤S121)拍摄部104例如向显微镜2发送用于使光源切换为自然光的指示等从而将显微镜2的光源切换为自然光，并使用从第二分束器202射出的光，拍摄利用自然光作为光源时的显微镜2的观察区域的图像。此处拍摄的图像可以为静止图像，也可以为运动图像，也可以为运动图像的1帧图像或连续的多帧图像。
(步骤S122)拍摄部104将拍摄的图像存储在未图示的存储部等。
(步骤S123)分光部101通过光纤102等而接收将光源切换为自然光的状态的从第一分束器201射出的光，并获取每个波长的光强度作为分光结果。
(步骤S124)分光部101将在步骤S123中所获取的分光结果存储在未图示的存储部等。然后，返回到步骤S116。
此外，在图2的流程图中，通过切断电源、处理结束的插入来结束处理。
下面对本实施方式中的诊断系统1000的具体的动作进行说明。在此，显微镜2为手术用显微镜，举将该手术用显微镜用于在手术室中以口服投与了5-ALA的患者的患部为观察对象进行观察的情况作为例子进行说明。另外，设定光源206射出的激发光的波长为400nm，自然光为手术室内的照明。
首先，若用户使显微镜2的透镜组203的物镜203a在作为观察对象的肿瘤组织上移动，并对显微镜2的未图示的操作部等进行使用自然光作为光源进行观察的操作，则显微镜2的光源206不点亮，自然光中的在观察对象中反射的光经过透镜组203等射出至到达目镜部205的光路20，从显微镜2的目镜部205用肉眼观察到由透镜组203等放大的观察对象。由此，能够利用自然光对观察对象进行观察。
从观察对象经过透镜组203射出的光由第一分束器201分离为两束，分离后的一方光入射至光纤102，经过光纤102而入射至观察辅助装置1的分光部101。
另外，由第一分束器201所分离的光之中的射出至朝向目镜部205的光路的光由第二分束器202分离为两束，分离后的一方的光入射至观察辅助装置1的拍摄部104。
分光部101对是否为使用自然光作为光源时入射的光的接收时机进行判断。在此，例如，判断从未图示的钟表等所获取的当前的时刻为表示自上述的操作起经过了预先指定的时间的接收光的时机的时刻，从而从经由光纤102入射的光获取每个波长的光强度。该每个波长的光强度为使用自然光作为光源时的分光结果。获取的分光结果存储在未图示的存储部等。
另外，拍摄部104使用入射的光拍摄显微镜2的观察区域的静止图像。该图像为使用自然光对观察区域所拍摄的图像。拍摄的图像存储在未图示的存储部等。
在此，若用户将手术室的照明熄灭，并对显微镜2的未图示的操作部等进行用于使用激发光作为光源进行观察的操作，则光源206对患部照射预先指定的亮度(例如1800勒克斯)的激发光。在此，例如，显微镜2的放大率设定为作为基准的放大率，焦距也设定为作为基准的焦距。通过照射激发光，作为观察对象的肿瘤组织的存储有荧光物质的部分发出荧光，从显微镜2的观察对象发出的荧光经过透镜组203等射出至到达目镜部205的光路，从显微镜2的目镜部205用肉眼观察到被透镜组203等放大的观察对象的荧光。另外，显微镜2例如向观察辅助装置1发送表示进行了利用激发光作为光源的观察的信息。另外，显微镜2的透镜组203等向观察辅助装置1发送当前的放大率、焦距等的信息。
从观察对象经过透镜组203射出的光(荧光)由第一分束器201分离为两束，分离后的一方的光入射至光纤102，经过光纤102入射至观察辅助装置1的分光部101。
另外，由第一分束器201分离的光之中的射出至朝向目镜部205的光路的光被第二分束器202分离为两束，分离后的一方的光入射至观察辅助装置1的拍摄部104。
若观察辅助装置1的未图示的接收部等从显微镜2接收到表示进行了利用激发光作为光源的观察的信息，则分光部101从通过光纤102入射的光获取每个波长的光强度。
另外，接收部103接收显微镜2所发送的放大率等的信息。
图3为示出分光部101所获取的每个波长的光强度的光谱的曲线图的一例。图3中，横轴表示波长，纵轴表示光强度。此处的光强度为相对强度。
输出部106根据分光部101所获取的分光结果的500nm～520nm的范围的每个波长的光强度获取基准值，并利用分光部101所获取的分光结果，获取将该基准值所示出的光强度的值设为0时每个频率的光强度。而且，获取示出如此获取的分光结果即每个频率的光强度的曲线图的图像。在此，作为一例，获取示出每个波长的光强度的近似曲线的曲线图的图像。
图4为示出输出部106所获取的曲线图的图像的图。图4中，横轴表示波长、纵轴表示光强度。此处的光强度为相对强度。
此外，可以在使用自然光作为光源的情况下，使用分光部101针对相同观察区域所获取的如上所述的分光结果，对使用激发光作为光源时所得到的分光结果进行校正。但在此，由于在进行使用激发光作为光源的观察时要熄灭自然光，因此自然光对观察的影响少，因此预先进行设定以不进行这样的校正。
另外，对通过改变分光部101所获取的分光结果以使基准值所表示的光强度的值成为0而获得的分光结果之中的550nm～750nm间的波长中的光强度的最大值进行检测。而且，根据需要对检测到的光强度进行校正。但是，在此，由于从显微镜2接收的放大率、焦距的值均与预先指定的作为基准的值一致，因此不根据放大率、焦距等进行校正。此外，接收的放大率等与基准值不同的情况下，只要根据放大率相对于该基准值的差异等对最大值进行校正即可。而且，输出部106对分光部101所获取的光强度的最大值(进行了校正的情况下，为最大值校正后的值)是否为预先设定的光强度的阈值以上进行判断。例如，为阈值以上时，可以认为在显微镜2的观察区域中正确地配置有含有荧光物质的部分、即存储有荧光物质的肿瘤组织。在此，若为阈值以上，则输出部106输出预先指定的声音。通过该声音，用户能够从目镜部205确认观察区域的同时，识别出当前设定的观察区域为正确的观察区域。此外，该声音优选仅在小于阈值的光强度最初达到阈值以上时发出。
未发出声音时，可以认为未设置正确的观察区域，因此用户只要使显微镜2的观察区域移动直到发出声音为止来寻找正确的观察区域即可。
另外，拍摄部104通过接收从第二分束器202输出的光来拍摄显微镜2的观察区域的图像。在此，拍摄由连续的多个帧图像构成的运动图像。而且，从拍摄的帧图像获取预先指定数量的多个连续的帧图像例如4张连续的帧图像，并进行获取的帧图像的合成，在此进行相加平均。
图5是用于说明输出部106进行的合成多个图像的处理的、示出作为合成对象的4张帧图像的示意图(图5(a))、以及示出合成后的图像的示意图(图5(b))。在图中，区域51～54为各帧图像的荧光部分。另外，区域55为合成后的图像之中的荧光部分合成的区域。
通过进行相加平均，例如，即使在相同观察区域进行观察时观察对象的被观察的部分稍微移动的情况下，在拍摄的多个图像间有变化的部分的像素在多个图像间被平均化，从而值发生变化，无变化的部分即使被平均化，值也不发生变化，因此无变化的部分被强调地显示出来。观察对象为生物体的情况下，不能避免由心律、呼吸等所导致的观察对象的小的移动，但如图5所示通过进行相加平均，表示荧光部分的像素之中的变化少的部分被强调地显示出来，结果能够获得强调荧光部分的图像。
而且，输出部106将图5(b)中所示的以激发光作为光源而拍摄的多个图像进行合成而得到的图像、和上述中以自然光作为光源时拍摄部104所拍摄的观察区域的图像排列于显示器106a上并同时显示。在此，例如，图4中示出的分光结果的曲线图也同时显示。
图6是表示示出输出部106所输出的分光结果的曲线图和拍摄观察区域而得到的图像的显示例的图，图像61为示出分光结果的曲线图，图像62为使用激发光作为光源时所拍摄的多个图像的合成后的图像，图像63为使用自然光作为光源是所拍摄的多个图像的合成后的图像。
此外，判断部105利用拍摄部104在使用激发光作为光源时所拍摄的多个帧图像适当进行运动检测等，从而判断帧图像间的图像的移动、放大率的变化的有无，并在检测到图像的移动、放大率的变化时，不如上所述对连续的4个帧图像进行合成，而是将显微镜2的光源206熄灭，通过将光源切换为自然光，使拍摄部104暂时使用自然光拍摄有变化的观察区域的图像，并以该拍摄的图像更新输出部106所显示的观察区域的图像。而且，通过再次使用激发光拍摄观察区域的图像，从而在所拍摄的图像有变化时，能够将使用自然光作为光源对变化后的观察区域所拍摄的图像和使用激发光作为光源对变化后的观察区域所拍摄的图像输出，例如显示。
此外，分光部101等进行与上述同样的处理，从而预先获取使用激发光作为光源对正常组织进行观察时的分光结果，输出部106等根据用户等的操作，将该分光结果作为正常的组织的分光结果，预先存储在未图示的存储部等。而且，制作如图4所示的示出异常组织的分光结果的曲线图时，可以制作根据该正常的组织的分光结果所制作的图叠加而成的曲线图，并将该曲线图显示在显示器106a等上，以代替图4所示的曲线图。
图7是表示将示出异常组织的分光结果的曲线图和示出正常组织的分光结果的曲线图叠加的曲线图的图，实线71为示出异常组织的分光结果的曲线图，虚线72为示出正常组织的分光结果的曲线图。
以上，根据本实施方式，在使用激发光作为光源，利用显微镜对观察对象进行观察时，能够同时对观察区域进行分光分析。由此，利用分光分析结果，例如能够实时地识别显微镜2的观察区域是否设定在正确的位置，能够使用激发光进行正确的观察。另外，利用分光分析结果也能够实时地检测观察区域中的异常组织。
例如，在现有技术中，由于不能定量地掌握利用显微镜观察的区域内的荧光物质根据激发光而发出的光量，因此观察者自身必须主观地判断是否正在观察光量多的部分、即荧光物质多的部分，其结果是，不能正确判断显微镜的观察区域是否设定在荧光物质多的区域，从而存在不能进行正确的观察的问题、以及为了寻找正确的观察区域而需要长时间的问题。但根据本实施方式，利用分光结果，能够实时且容易地确认是否正在观察正确的观察区域。
另外，在现有技术中，用显微镜进行观察时，不能利用分光结果判断观察对象是否为异常组织等。例如存在如下问题：由于为了输出分光结果，必须暂时中断观察，而不能进行实时的判断等，因此在手术等想要在短时间内进行判断的情况下难以利用。与此相对，在本实施方式中，能够利用分光分析结果实时地对观察区域中的异常组织进行检测，即使在想要在短时间内进行判断的情况等中也能够利用。
另外，在本实施方式中，例如，通过将分别使用激发光和自然光作为光源而拍摄的图像叠加合成后输出，能够在使用自然光而拍摄的图像中确认是否正在观察正确的观察部位，并且也能够同时在使用激发光而拍摄的图像中观察发出荧光的部位。另外，由于将使用激发光而拍摄的图像和使用自然光而拍摄的图像叠加合成后输出，因此能够一目了然地容易地把握两者的图像中所示出的部位等的对应关系。另外，由于用户不必在两者的图像间移动视线，因此能够提高可视性。由此，在本实施方式中，能够正确且容易地进行使用激发光作为光源的观察。
此外，在上述实施方式中，对使用激发光和自然光作为光源的情况进行了说明，但本发明也能够适用于使用激发光和包含激发光以外的波长的光(以下，称为观察光)作为光源的情况。由于使用观察光而拍摄的图像中包含在使用激发光拍摄的图像中看不见的部分，因此如上所述，通过使用激发光和观察光作为光源，由此将各自作为光源而拍摄的图像叠加合成并后输出，从而也能够同时观察仅用激发光不能观察的部分，能够正确且容易地进行观察。
包含激发光以外的波长的光可以认为是至少包含激发光的波长以外的波长的光的光。观察光只要包含激发光以外的波长的光，则可以包含激发光，也可以不包含激发光。观察光可以为上述实施方式中所说明的自然光，可以包含自然光，也可以不包含自然光。观察光可以为单色光，也可以为复色光。观察光可以包含可见光，也可以不包含可见光。例如，激发光不是红色光的情况下，观察光可以为红色光或包含红色光的光。另外，激发光为波长800nm以外的光的情况下，观察光可以为作为非可见光的波长800nm的光。这样，观察光为非可见光的情况下，作为拍摄部等，优选使用红外线摄像机等之类的具备能使用非可见光作为光源进行拍摄的结构的拍摄部等。
此外，在上述各实施方式中，各处理(各功能)可以通过利用单一的装置(系统)进行集中处理来实现，或者也可以通过利用多个装置进行分散处理来实现。
另外，在上述实施方式中，各构成要素所执行的处理的有关信息、例如各构成要素接收、或获取、或选择、或生成、或发送、或接收的信息、各构成要素在处理中使用的阈值、公式、地址等的信息等，即使在上述说明中没有明确说明的情况下，也暂时或长期保持在未图示的记录介质中。另外，各构成要素或未图示的存储部可以进行信息在该未图示的记录介质中的存储。另外，各构成要素或未图示的读取部可以进行从该未图示的记录介质的信息读取。
另外，在上述各实施方式中，对观察辅助装置为独立的情况进行了说明，但观察辅助装置可以为独立的装置，也可以为服务器、客户端系统中的服务器装置。在后者的情况下，输出部、接收部通过通信线路接收输入、或输出画面。
另外，在上述各实施方式中，各构成要素可以由专用的硬件构成，或者对于利用软件能够实现的构成要素，也可以通过执行程序来实现。例如，能够通过CPU等程序执行部读取并执行记录于硬盘、半导体存储器等记录介质中的软件、程序来实现各构成要素。在该执行时，程序执行部可以在访问存储部(例如，硬盘、存储器等记录介质)的同时执行程序。
此外，实现上述各实施方式的观察辅助装置的软件为如下的程序。即，该程序为使计算机作为拍摄部和输出部而发挥功能的程序，所述拍摄部使用从能够切换地利用激发光和观察光作为光源且具备第二分束器的显微镜的该第二分束器射出的光，拍摄分别使用激发光和观察光作为光源时的所述显微镜的相同观察区域的图像，其中所述观察光包含激发光以外的波长的光；所述输出部将所述拍摄部分别使用激发光和观察光作为光源而拍摄的图像叠加合成后输出。
此外，在上述程序中，上述程序实现的功能中不包括只能由硬件实现的功能。例如，只能由获取信息的获取部、输出信息的输出部等中的调制解调器、接口卡等硬件实现的功能不包括在上述程序所实现的功能中。
另外，执行该程序的计算机可以为单数，也可以为复数。即可以进行集中处理，或者可以进行分散处理。
图8为示出执行上述程序而实现基于上述实施方式的观察辅助装置的计算机的外观的一例的示意图。上述实施方式由计算机硬件及在其上执行的计算机程序能够实现。
在图8中，计算机系统900具备：包括CD-ROM(光盘只读存储器，Compact Disk ReadOnly Memory)驱动器905的计算机901、键盘902、鼠标903、以及显示器904。
图9为示出计算机系统900的内部构成的图。在图9中，计算机901除了CD-ROM驱动器905以外，还具备MPU(微处理单元，Micro Processing Unit)911、用于存储启动程序等程序的ROM912、与MPU911连接且临时存储应用程序指令并提供临时存储空间的RAM(随机存取存储器，Random Access Memory)913、存储应用程序、系统程序及数据的硬盘914、以及将MPU911、ROM912等彼此连接的总线915。此外，计算机901可以包括提供与LAN连接的未图示的网卡。
使计算机系统900执行根据上述实施方式的观察辅助装置等的功能的程序可以存储在CD-ROM921中、插入至CD-ROM驱动器905中、传送至硬盘914中。该程序还可以通过未图示的网络发送至计算机901并存储在硬盘914中以取而代之。程序在执行时被下载到RAM913中。此外，程序可以从CD-ROM921、或网络直接下载。
程序可以不一定包括使计算机901执行根据上述实施方式的观察辅助装置的功能的操作系统(OS)、或第三方程序等。程序可以只包含以受控的方式调用合适的功能(模块)，以获得所需的结果的指令的一部分。关于计算机系统900是如何运行是公知的，省略详细的说明。
本发明不限定于以上的实施方式，能够进行各种改变，当然所述改变也包含在本发明的范围内。
工业实用性
如上所述，本发明所述的观察辅助装置等适于作为辅助使用显微镜的观察的装置等，尤其是作为对从显微镜的观察区域所获得的光进行分光的装置等是有用的。

Claims (14)

1.一种观察辅助装置，其特征在于，具备：
拍摄部，其使用从能够切换地利用激发光和观察光作为光源且具备第二分束器的显微镜的该第二分束器射出的光，拍摄分别使用激发光和观察光作为光源时的所述显微镜的相同观察区域的图像，其中，所述观察光是包含激发光以外的波长的光；以及
输出部，其将所述拍摄部分别使用激发光和观察光作为光源而拍摄的图像叠加合成后输出。
2.根据权利要求1所述的观察辅助装置，其特征在于，
所述显微镜还具备第一分束器，
所述观察辅助装置还具备分光部，所述分光部在利用激发光作为光源时，对从所述显微镜的第一分束器射出的光进行分光，
所述输出部还进行与所述分光部所进行的分光结果相应的输出。
3.根据权利要求2所述的观察辅助装置，其特征在于，
所述观察辅助装置还具备光纤，从所述第一分束器射出的光之中的至少一部分的光入射到所述光纤，并且所述光纤使该入射的光对所述分光部射出，
所述分光部对从所述第一分束器射出的光之中的经由所述光纤入射的光进行分光。
4.根据权利要求2所述的观察辅助装置，其特征在于，
所述观察辅助装置还具备接收部，所述接收部接收所述显微镜的放大率及焦距中的至少一方，
所述输出部根据所述接收部接收的放大率及焦距中的至少一方，对所述分光部的分光结果进行校正。
5.根据权利要求4所述的观察辅助装置，其特征在于，
所述显微镜具有自动变焦机构，
所述输出部根据由所述自动变焦机构输出的变焦的放大率，对所述分光部的分光结果进行校正。
6.根据权利要求2所述的观察辅助装置，其特征在于，
所述输出部在所述分光部的分光结果满足预先指定的条件时，进行预先指定的输出。
7.根据权利要求2所述的观察辅助装置，其特征在于，
所述分光部分别进行以激发光作为光源观察通常组织时从所述第一分束器射出的光的分光、以及观察异常组织时从所述第一分束器射出的光的分光，
所述输出部输出对通常组织的分光结果与对异常组织的分光结果的比较的相关信息。
8.根据权利要求2所述的观察辅助装置，其特征在于，
所述分光部分别对以观察光作为光源观察相同观察对象时从所述第一分束器射出的光、以及以激发光作为光源观察相同观察对象时从所述第一分束器射出的光进行分光，
所述输出部利用所述分光部的以观察光作为光源时的分光结果，对以激发光作为光源而获得的分光结果进行校正。
9.根据权利要求1所述的观察辅助装置，其特征在于，
所述拍摄部使用从所述显微镜的第二分束器射出的光，拍摄使用相同光源时的显微镜的相同观察区域的多个图像，
所述输出部还输出将所述拍摄部所拍摄的多个图像合成后的图像。
10.根据权利要求1所述的观察辅助装置，其特征在于，
所述输出部还使所述拍摄部分别使用激发光和观察光作为光源而拍摄的图像以彼此不叠加的方式同时输出。
11.根据权利要求1所述的观察辅助装置，其特征在于，
所述观察辅助装置还具备判断部，所述判断部在使用激发光作为光源时，针对所述拍摄部拍摄的图像，判断该拍摄的图像是否移动或图像的放大率是否发生变化，
所述拍摄部在所述判断部检测到图像的移动或放大率的变化时，将光源切换为观察光来拍摄显微镜的观察区域的图像，
所述输出部更新所述拍摄部以观察光作为光源而拍摄的图像的输出。
12.根据权利要求1所述的观察辅助装置，其特征在于，
所述观察光为自然光。
13.一种信息处理方法，其特征在于，是利用拍摄部和输出部进行的信息处理方法，所述信息处理方法具备：
拍摄步骤，所述拍摄部使用从能够切换地利用激发光和观察光作为光源且具备第二分束器的显微镜的该第二分束器射出的光，拍摄分别使用激发光和观察光作为光源时的所述显微镜的相同观察区域的图像，其中，所述观察光包含激发光以外的波长的光；以及
输出步骤，所述输出部将所述拍摄部分别使用激发光和观察光作为光源而拍摄的图像叠加合成后输出。
14.一种程序，其特征在于，用于使计算机作为拍摄部和输出部发挥功能，
所述拍摄部使用从能够切换地利用激发光和观察光作为光源且具备第二分束器的显微镜的该第二分束器射出的光，拍摄分别使用激发光和观察光作为光源时的所述显微镜的相同观察区域的图像，其中，所述观察光包含激发光以外的波长的光，
所述输出部将所述拍摄部分别使用激发光和观察光作为光源而拍摄的图像叠加合成后输出。
CN201680045313.6A 2015-06-02 2016-05-24 观察辅助装置、信息处理方法以及程序 Pending CN107923851A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111536559.2A CN114414046A (zh) 2015-06-02 2016-05-24 观察辅助装置、信息处理方法以及程序
CN202111537082.XA CN114324268A (zh) 2015-06-02 2016-05-24 观察辅助装置、信息处理方法以及程序

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015112179 2015-06-02
JP2015-112179 2015-06-02
PCT/JP2016/065272 WO2016194699A1 (ja) 2015-06-02 2016-05-24 観察補助装置、情報処理方法、およびプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202111537082.XA Division CN114324268A (zh) 2015-06-02 2016-05-24 观察辅助装置、信息处理方法以及程序
CN202111536559.2A Division CN114414046A (zh) 2015-06-02 2016-05-24 观察辅助装置、信息处理方法以及程序

Publications (1)

Publication Number Publication Date
CN107923851A true CN107923851A (zh) 2018-04-17

Family

ID=57441510

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202111537082.XA Pending CN114324268A (zh) 2015-06-02 2016-05-24 观察辅助装置、信息处理方法以及程序
CN201680045313.6A Pending CN107923851A (zh) 2015-06-02 2016-05-24 观察辅助装置、信息处理方法以及程序
CN202111536559.2A Pending CN114414046A (zh) 2015-06-02 2016-05-24 观察辅助装置、信息处理方法以及程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111537082.XA Pending CN114324268A (zh) 2015-06-02 2016-05-24 观察辅助装置、信息处理方法以及程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111536559.2A Pending CN114414046A (zh) 2015-06-02 2016-05-24 观察辅助装置、信息处理方法以及程序

Country Status (5)

Country Link
US (2) US10852517B2 (zh)
EP (1) EP3306307A4 (zh)
JP (1) JP6859554B2 (zh)
CN (3) CN114324268A (zh)
WO (1) WO2016194699A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306307A4 (en) * 2015-06-02 2019-02-27 National University Corporation Asahikawa Medical University OBSERVATION SUPPORT DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
WO2018042413A1 (en) * 2016-08-28 2018-03-08 Siegel Gabriel A system for histological examination of tissue specimens
GB201907953D0 (en) * 2019-06-04 2019-07-17 Smi Drug Discovery Ltd An optical microscope
US20220309678A1 (en) * 2019-06-18 2022-09-29 Surgvision Gmbh Luminescence imaging with refining loop based on combination of partial illuminations

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5329352A (en) * 1991-04-12 1994-07-12 Bayer Aktiengesellschaft Spectroscopically correlated light scanning microscopy
JP2002521685A (ja) * 1998-07-27 2002-07-16 セダーシナイ メディカル センター 哺乳類の物質のスペクトル・トポグラフィ
CN102370462A (zh) * 2010-07-13 2012-03-14 索尼公司 成像装置、成像系统、手术导航系统和成像方法
JP2015061598A (ja) * 2008-12-17 2015-04-02 カール ツアイス メディテック アクチエンゲゼルシャフト 赤外蛍光を観察するための手術用顕微鏡、顕微鏡検査方法、および手術用顕微鏡の使用
CN104597590A (zh) * 2014-12-30 2015-05-06 深圳先进技术研究院 一种超分辨荧光光谱成像显微镜

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528368A (en) * 1992-03-06 1996-06-18 The United States Of America As Represented By The Department Of Health And Human Services Spectroscopic imaging device employing imaging quality spectral filters
JPH11103471A (ja) 1997-09-25 1999-04-13 Olympus Optical Co Ltd 映像信号処理装置
JP2000097859A (ja) * 1998-09-24 2000-04-07 Olympus Optical Co Ltd 蛍光観察方法及び装置
JP2006509573A (ja) 2002-12-13 2006-03-23 イエトメド リミテッド 手術中に腫瘍と正常組織とを実時間で区別するのに特に有用な光学的検査方法および装置
CN100416333C (zh) * 2004-03-31 2008-09-03 奥林巴斯株式会社 观察装置
JP2006171024A (ja) 2004-12-10 2006-06-29 Olympus Corp 多点蛍光分光測光顕微鏡および多点蛍光分光測光方法
CN101151378B (zh) * 2005-03-30 2013-04-03 奥林巴斯株式会社 规定部位发光量测定方法、规定部位发光量测定装置、表达量测定方法及测定装置
JP2008139796A (ja) * 2006-12-05 2008-06-19 Keyence Corp 蛍光顕微鏡、蛍光顕微鏡の操作方法、蛍光顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP5074044B2 (ja) * 2007-01-18 2012-11-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
ATE555711T1 (de) 2007-12-19 2012-05-15 Kantonsspital Aarau Ag Verfahren zur analyse und bearbeitung von fluoreszenzbildern
JP4288323B1 (ja) * 2008-09-13 2009-07-01 独立行政法人科学技術振興機構 顕微鏡装置及びそれを用いた蛍光観察方法
KR101061004B1 (ko) 2008-12-10 2011-09-01 한국전기연구원 광역학 치료 및 광 검출을 위한 장치
KR101172745B1 (ko) 2010-01-29 2012-08-14 한국전기연구원 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치
EP2359745A1 (en) 2010-02-12 2011-08-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Method and device for multi-spectral photonic imaging
DE102010044503B4 (de) 2010-09-06 2017-11-02 Leica Microsystems (Schweiz) Ag Fluoreszenz-Operations-Stereomikroskop
JP6053673B2 (ja) * 2011-04-28 2016-12-27 オリンパス株式会社 蛍光観察装置とその画像表示方法
US20140378843A1 (en) * 2012-01-20 2014-12-25 The Trustees Of Dartmouth College Method And Apparatus For Quantitative Hyperspectral Fluorescence And Reflectance Imaging For Surgical Guidance
CN105263390A (zh) 2013-04-23 2016-01-20 雪松-西奈医学中心 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
EP3306307A4 (en) * 2015-06-02 2019-02-27 National University Corporation Asahikawa Medical University OBSERVATION SUPPORT DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5329352A (en) * 1991-04-12 1994-07-12 Bayer Aktiengesellschaft Spectroscopically correlated light scanning microscopy
JP2002521685A (ja) * 1998-07-27 2002-07-16 セダーシナイ メディカル センター 哺乳類の物質のスペクトル・トポグラフィ
JP2015061598A (ja) * 2008-12-17 2015-04-02 カール ツアイス メディテック アクチエンゲゼルシャフト 赤外蛍光を観察するための手術用顕微鏡、顕微鏡検査方法、および手術用顕微鏡の使用
CN102370462A (zh) * 2010-07-13 2012-03-14 索尼公司 成像装置、成像系统、手术导航系统和成像方法
CN104597590A (zh) * 2014-12-30 2015-05-06 深圳先进技术研究院 一种超分辨荧光光谱成像显微镜

Also Published As

Publication number Publication date
EP3306307A1 (en) 2018-04-11
US20180157020A1 (en) 2018-06-07
WO2016194699A1 (ja) 2016-12-08
JP6859554B2 (ja) 2021-04-14
US11719920B2 (en) 2023-08-08
JPWO2016194699A1 (ja) 2018-04-12
US20210109333A1 (en) 2021-04-15
EP3306307A4 (en) 2019-02-27
CN114414046A (zh) 2022-04-29
US10852517B2 (en) 2020-12-01
CN114324268A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
KR100411631B1 (ko) 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
US10285585B2 (en) Ophthalmic surgical apparatus and attachment for ophthalmic surgery
CN101677767B (zh) 用于观察眼睛的设备和方法、以及oct模块
US6603552B1 (en) Portable system for detecting skin abnormalities based on characteristic autofluorescence
US20120056996A1 (en) Special-illumination surgical video stereomicroscope
JP6766413B2 (ja) 眼底撮影装置
JPH09511579A (ja) 測定点の位置データを求める方法および光路の倍率測定装置
JP2013150830A (ja) コンパクトな蛍光内視鏡映像システム
CN107923851A (zh) 观察辅助装置、信息处理方法以及程序
WO2017043539A1 (ja) 画像処理システム、画像処理装置、投影装置、及び投影方法
EP1239771B1 (en) Portable system for detecting skin abnormalities
JP6720653B2 (ja) 眼科撮影装置
JP6919749B2 (ja) 眼科撮影装置
WO2019100449A1 (zh) 一种基于传像光纤的手术导航系统
CN217792957U (zh) 内窥镜系统
JP6617774B2 (ja) 顕微鏡装置
JP2003000528A (ja) 蛍光診断画像生成方法および装置
JP2017195944A (ja) 眼科撮影装置
US7925331B2 (en) Apparatus for displaying a tissue containing a fluorescent dye
JPH0779926A (ja) 眼撮影装置
JP2019063243A (ja) 眼科撮影装置
US20230324668A1 (en) Operating microscope having at least two camera devices
JPH07111983A (ja) 眼底カメラ
JP2020127853A (ja) 眼科撮影装置
CN116725458A (zh) 内窥镜系统及内窥镜检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220818

Address after: Swiss Hill Brugger

Applicant after: LEICA MICROSYSTEMS (SCHWEIZ) AG

Address before: Hokkaido, Asahikawa, Japan

Applicant before: NATIONAL UNIVERSITY CORPORATION ASAHIKAWA MEDICAL University

TA01 Transfer of patent application right