CN109983767B - 图像处理装置、显微镜系统、图像处理方法及计算机程序 - Google Patents

图像处理装置、显微镜系统、图像处理方法及计算机程序 Download PDF

Info

Publication number
CN109983767B
CN109983767B CN201680091041.3A CN201680091041A CN109983767B CN 109983767 B CN109983767 B CN 109983767B CN 201680091041 A CN201680091041 A CN 201680091041A CN 109983767 B CN109983767 B CN 109983767B
Authority
CN
China
Prior art keywords
image
microscope
stereoscopic
enlarged
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680091041.3A
Other languages
English (en)
Other versions
CN109983767A (zh
Inventor
佐佐木丰
冈部敏也
佐濑一郎
小松亮介
J·特罗亚诺娃
M·斯沃博达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN109983767A publication Critical patent/CN109983767A/zh
Application granted granted Critical
Publication of CN109983767B publication Critical patent/CN109983767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

容易进行立体显微镜图像的观察。图像处理装置包括：受理部，其受理对立体显微镜图像数据的至少一部分的指定；以及图像生成部，其基于指定来生成立体放大图像数据。图像生成部也可以依次输出基于立体放大图像数据的至少一部分数据的第1放大图像和基于至少一部分数据与第1放大图像不同的立体放大图像数据的至少一部分数据的第2放大图像。

Description

图像处理装置、显微镜系统、图像处理方法及计算机程序
技术领域
本发明涉及图像处理装置、显微镜系统、图像处理方法及计算机程序。
背景技术
已有能够生成具有与标本相关的三维位置信息的立体显微镜图像的显微镜(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2010-243597号公报
发明内容
立体显微镜图像的观察作业是需要时间的困难作业。
本发明的第1方案提供一种图像处理装置，其包括：受理部，其受理对立体显微镜图像数据的至少一部分的指定；以及图像生成部，其基于指定来生成立体放大图像数据。
本发明的第2方案提供一种显微镜系统，其包括：上述的图像处理装置；显微镜，其将显微镜图像数据向图像处理装置输出；以及显示装置，其显示从图像处理装置输出的图像。
本发明的第3方案提供一种图像处理方法，其包括以下的步骤：受理对立体显微镜图像数据的至少一部分的指定；以及基于指定来生成立体放大图像数据。
本发明的第4方案提供一种计算机程序，其使计算机执行以下处理：受理对立体显微镜图像数据的至少一部分的指定；以及基于指定来生成立体放大图像数据。
上述的发明概要并未列举本发明的全部特征。上述特征组的子组合也能够形成发明。
附图说明
图1是显微镜系统100的框图。
图2是显微镜输出的图像数据410的示意图。
图3是立体显微镜图像数据310的示意图。
图4是表示在显示装置150显示的图像的图。
图5是表示在显示装置150显示的图像的图。
图6是说明立体放大图像数据340的概念的示意图。
图7是放大图像341的示意图。
图8是表示在显示装置150显示的图像的图。
图9是表示在显示装置150显示的图像的图。
图10是表示在显示装置150显示的图像的图。
图11是图像处理装置101执行的处理的流程图。
图12是表示在显示装置150显示的图像的图。
图13是表示在显示装置150显示的图像的图。
图14是表示在显示装置150显示的图像的图。
图15是表示在显示装置150显示的图像的图。
图16是表示在显示装置150显示的图像的图。
图17是表示在显示装置150显示的图像的图。
图18是表示在显示装置150显示的图像的图。
图19是表示在显示装置150显示的图像的图。
图20是表示在显示装置150显示的图像的图。
图21是表示在显示装置150显示的图像的图。
图22是图像处理装置101执行的处理的流程图。
图23是表示在显示装置150显示的图像的图。
图24是表示在显示装置150显示的图像的图。
图25是显微镜系统100的框图。
图26是表示在显示装置150显示的图像的图。
图27是表示图像处理装置102执行的处理的概念的示意图。
图28是表示在显示装置150显示的图像的图。
具体实施方式
以下通过发明的实施方式说明本发明。下述实施方式并非限定权利要求涉及的发明。另外，实施方式中说明的全部特征组合未必是发明的解决手段所必需。
图1是显微镜系统100的框图。显微镜系统100包括图像处理装置101、显微镜110、输入装置120及显示装置150。
显微镜110是共焦点显微镜。共焦点显微镜在一个标本中生成针对每个不同焦点面的图像数据。通过显微镜110生成的图像数据被向图像处理装置101输出。
输入装置120对应于用户的操作输出针对图像处理装置101的指示。作为输入装置120能够使用鼠标及键盘。并且，作为输入装置120，也可以代替鼠标而使用操纵杆、触摸板、触摸面板等。另外，也可以在鼠标及键盘的基础上同时使用3D鼠标、运动传感器等。显示装置150具有液晶显示面板，将图像处理装置101输出的显微镜的图像以用户能够视觉辨认的状态显示。
图像处理装置101具有受理部130及图像生成部140。受理部130从用户操作的输入装置120受理指示，反映给图像生成部140。另外，受理部130受理处理的开始、中断及结束等，并反映在图像生成部140的动作中。另外，受理部130在图像生成部140执行图像处理的情况下指定处理的种类，通过输入装置120从用户受理处理内容的选项、处理的程度等，并反映在图像生成部140的动作中。
图像生成部140按照通过受理部130受理的指示来执行针对从显微镜110获取的图像数据的图像处理。另外，图像生成部140按照通过受理部130受理的指示来生成图像并输出至显示装置150。
作为一例，图像生成部140合成从显微镜110获取的与不同焦点面相关的多个图像数据(标本的二维像的信息)，生成具有三维亮度分布信息(标本的三维像的信息)的立体显微镜图像数据。另外，图像生成部140基于所生成的立体显微镜图像数据生成二维显微镜图像(二维显微镜图像数据)，输出到显示装置150并使之显示。
来自显微镜110的图像数据以JPEG、BMP等通用格式生成。并且，也可以取而代之以图像处理装置101能够进行图像处理的专用格式生成。
并且，由图像生成部140根据立体显微镜图像数据生成的二维显微镜图像，能够说是根据由图像生成部140基于从显微镜110获取的图像数据而生成的立体显微镜图像数据的一部分的显微镜图像。此外，该二维显微镜图像能够说是对立体显微镜图像数据进行所谓渲染(rendering)而生成的图像。
图2及图3是表示图像生成部140根据显微镜110获取的多个图像数据410生成立体显微镜图像数据310的处理的示意图。图2及图3中为了说明而示出正交坐标系(X-Y-Z坐标系)。图像数据410是通过利用显微镜110在标本中的一个焦点面进行拍摄而生成的表示该标本中的荧光亮度分布的图像数据。显微镜110分别在多个不同的焦点面获取图像数据410。
图像生成部140在将图像数据410的各焦点面设为与图中的坐标系中的X-Y平面平行的面的情况下，通过将图像数据410在Z轴方向上堆叠，重新构成各焦点面间的亮度分布，从而生成图3所示的立体显微镜图像数据310。换言之，图像生成部140通过将包含二维排列像素在内的多个二维图像数据堆叠并合成而生成立体显微镜图像数据310。此处的像素是将二维图像数据作为图像处理时的最小单位，各像素具有亮度值。立体显微镜图像数据310具有三维亮度分布信息。
立体显微镜图像数据310能够说是具有将二维排列的多个像素的多个层重叠而成的结构的立体图像数据。另外，上述的立体显微镜图像数据也能够说是由三维排列的体素形成的立体图像数据。并且，在以下说明中，也将立体显微镜图像数据310的上述像素和体素统称为“像素”。另外，图示的正交坐标系(X-Y-Z坐标系)用于表示立体显微镜图像数据310的方向。
另外，直到在显示装置170上显示为止，立体显微镜图像数据310被作为图像数据处理(例如在图像处理装置101中作为图像数据进行处理)，因此以下称为立体显微镜图像数据310，但由于该数据表示的信息为图像，因此，为了便于说明，使用相同的附图标记并适当称为立体显微镜图像310。对于后述的立体放大图像数据340也同样地，为了便于说明，使用相同的附图标记并称为立体放大图像340。
此外，如上所述，作为能够在不同焦点面获取亮度分布的显微镜110，能够例示STORM(STochastic Optical Reconstruction Microscopy：随机光学重建显微镜)、SIM(Structured Illumination Microscopy：结构光照明显微镜)、LSFM(Light SheetFluorescence Microscopy：激光层照荧光显微镜)、STED(STimulated EmissionDepletion：受激发射损耗显微镜)、PALM(PhotoActivated Localization Microscopy：光敏定位显微镜)、相位差显微镜、微分干涉显微镜、电子显微镜等现有显微镜。另外，也可以使用非现有显微镜获得的图像，例如通过MRI(Magnetic Resonance Imaging：磁共振成像)、CT(Computed Tomography：计算机断层扫描)、PET(Positron Emission Tomography：正电子放射断层扫描)等获取的图像。
如图4所示，图像生成部140使显示装置150显示基于上述立体显微镜图像数据生成的显微镜图像331、332、333，受理部130受理显微镜图像331、332、333的位置指定，从而受理立体显微镜图像数据310的至少一部分指定。
在图4的例子中，显示装置150显示包含三幅显微镜图像331、332、333在内的三面图像330和按键520。显微镜图像331是与图3所示的立体显微镜图像310的X-Z面平行的侧面图像，显微镜图像332是与Y-Z面平行的侧面图像，显微镜图像333是与X-Y面平行的侧面图像。
显微镜图像331、332、333能够说是立体显微镜图像数据310的一部分。此外，显微镜图像331、332、333能够说是对立体显微镜图像数据310进行所谓渲染而生成的图像。
在显微镜图像331中重叠显示与三维正交坐标系中的X轴平行的直线421和与Z轴平行的直线423。直线421、423相互正交。直线421、423能够通过将鼠标光标570置于其上并对鼠标进行拖拽操作而独立移动。受理部130受理与直线421、423的延伸方向正交的方向上的移动。由此，受理部130通过来自用户的作为输入装置120的鼠标操作，受理显微镜图像331内的直线421、423的交点429的位置指定。
同样地，在显微镜图像332中重叠显示有与上述三维正交坐标系中的Y轴平行的直线422和与Z轴平行的直线423。直线422、423相互正交，能够通过鼠标的拖拽操作而独立移动。受理部130受理与直线422、423的延伸方向正交的方向上的移动。由此，受理部130通过用户对作为输入装置120的鼠标进行的操作，受理显微镜图像332内的直线422、423的交点428的位置指定。
此外，在显微镜图像333中重叠显示有与上述三维正交坐标系中的X轴平行的直线421和与Y轴平行的直线422。直线421、422相互正交，能够通过鼠标的拖拽操作独立移动。受理部130受理与直线421、422的延伸方向正交的方向上的移动。由此，受理部130通过用户对作为输入装置120的鼠标进行的操作，受理显微镜图像333内的直线421、422的交点427的位置指定。
显微镜图像331、332、333是基于同一立体显微镜图像数据310的图像，因此，对于与上述显微镜图像331重叠的直线421和与显微镜图像333重叠的直线421来说，在使其中一方移动的情况下，另一方也连动。另外，对于与显微镜图像332重叠的直线422和与显微镜图像333重叠的直线422来说，在使其中一方移动的情况下，另一方也连动。此外，对于与显微镜图像333重叠的直线423和与显微镜图像331重叠的直线422来说，在使其中一方移动的情况下，另一方也连动。
由此，如果在三幅显微镜图像331、332、333中的某两幅图像中使三条直线421、422、423移动，则能够指定立体显微镜图像数据310内的一点的位置。显微镜图像331、332、333能够说是位置指定用的图像。
此外，在用户操作作为输入装置120的鼠标而按下在显示装置150上与三面图像330一起显示的按键520的情况下，受理部130受理通过直线421、422、423的交点427、428、429指定的位置来作为指定位置。
如图6所示，图像生成部140基于被受理部130受理的指定位置420，确定待放大的立体显微镜图像数据310的一部分(即立体显微镜图像310的一部分)。在图6所示的例子中，图像生成部140作为一部分而确定出以指定位置420为中心的具有预定半径的球。并且，基于指定位置420而确定的立体显微镜图像数据310的一部分也可以是其他形状，可以是圆锥或棱锥、圆柱或棱柱、多面体等。该一部分的形状可以默认设定，由用户通过输入装置120来选择。
图像生成部140生成将基于指定位置420确定的立体显微镜图像310的一部分放大的立体放大图像数据340。在图6所示的例子中该一部分为球状，与此对应，图像生成部140生成表示球状立体图像的立体放大图像数据340。
立体放大图像数据340能够说是在显示装置150中显示得比立体显微镜图像310的该一部分大的图像数据。并且，在所生成的立体放大图像数据340中缺少形成图像的像素的一部分而致使图像存在缺损的情况下，也可以由生成图像生成部140生成补足用的像素，对缺损的像素进行填补。
图像生成部140从立体显微镜图像数据310生成图5所示的显示用显微镜图像321。另外，图像生成部140从立体放大图像数据340生成图7所示的放大图像341。
在图5所示的例子中，图像生成部140生成将基于三维立体显微镜图像数据310的像(立体显微镜图像340)投影到投影面322上得到的二维显示用显微镜图像321。在这里，显示用显微镜图像321能够说是立体显微镜图像数据310的一部分。此外，显示用显微镜图像321能够说是对立体显微镜图像数据310进行所谓渲染而生成的图像。
在图7所示的例子中，图像生成部140将基于立体放大图像数据340的像(立体放大图像340)投影到投影面342上，生成放大图像341。立体放大图像数据340是将立体显微镜图像310中包含指定位置420的一部分250放大了的图像的数据，因此，放大图像341为相对于显示用显微镜图像321放大了的图像。由此，在显微镜系统100中，在从用户受理了立体显微镜图像310内的指定位置420的情况下，显示基于将包含指定位置420在内的区域放大了的立体放大图像340的放大图像341，因此能够详细观察立体显微镜图像。由此立体显微镜图像的观察作业变得容易。
另外，由图像生成部140根据立体放大图像数据340生成的放大图像341，能够说是由图像生成部140生成的立体显微镜图像数据310的一部分。此外，放大图像341能够说是对立体放大图像数据340进行所谓渲染而生成的图像。
此外，图像生成部140在将立体放大图像340投影到投影面342上的情况下，也可以对亮度高于预定阈值的像进行投影而生成放大图像341。由此，放大图像341的对比度提高，且能够生成表现立体放大图像数据340具有的标本内部构造信息的放大图像341。由此，在放大图像341中对应关注部位的观察变容易，立体显微镜图像的观察作业变得容易。
图8是在生成了放大图像341后由图像生成部140使显示装置150显示的图像的图。图像生成部140生成将所生成的放大图像341与显示用显微镜图像321重叠后的图像，并使显示装置150进行显示。
在这里，放大图像341在显示用显微镜图像321中以使放大图像341的中心位置与用户指定的指定位置一致的方式重合。由此，能够直观理解放大图像341在显示用显微镜图像321整体中的位置，因此基于显微镜的立体显微镜图像的观察变得更加容易。
另外，在显微镜系统100中，将立体显微镜图像310的一部分放大显示在显示装置150上，因此，放大图像生成的图像处理的负荷小，能够实现顺畅的图像显示。由此立体显微镜图像310的观察作业变得容易。
图9是说明图像生成部140的其他图像处理的图。在使鼠标光标移至图8中在显示装置150的画面上显示的按键520并按下鼠标按键的情况下，如图9所示，在显示装置150上显示与放大图像341重叠了的显示用显微镜图像321以及两个按键510、530。
此外，在受理了将鼠标光标置于在图中上侧显示的按键510并按下鼠标按键的操作的情况下，以就像立体显微镜图像310仅旋转了用按键510上的鼠标光标的位置而确定的旋转方向及旋转量的方式，使显示用显微镜图像321变化。在图9的例子中，以立体显微镜图像310从图8的状态绕Z轴旋转了的方式显示显示用显微镜图像321。这可以说是假想地由图像生成部140生成使图5所示的立体显微镜图像310相对于投影面322的倾角变化并将立体显微镜图像310投影到该投影面322上的新的显示用显微镜图像321并显示。
同样地，以就像立体放大图像340旋转了由在按键510上的鼠标光标的位置确定的旋转方向及旋转量的方式，使放大图像341变化。在图9的例子中，以立体放大图像310从图8的状态绕Z轴旋转了的方式显示放大图像341。这是假想地由图像生成部140生成使图7所示的立体放大图像310相对于投影面322的倾角变化并将立体放大图像340投影到该投影面322上的新的放大图像341并显示。需要说明的是，投影面322是说明用的假想的面。图像生成部140使新生成的放大图像341与新生成的显示用显微镜图像321重合并输出至显示装置150。按照这种方式，每当有针对按键510的操作时依次显示新的显示用显微镜图像321及放大图像341，由此，在显示装置150上显示就像立体显微镜图像310及立体放大图像340同步旋转的状态。由此能够从各个方向全面地观察立体显微镜图像310。由此立体放大显微镜图像310的观察作业变得容易。
在这里，图像生成部140以在立体显微镜图像310内持续保持用户指定的指定位置420与放大图像341的中心一致的位置关系的方式，使放大图像341与显示用显微镜图像321重合。由此，用户即使改变观察方向也能够容易掌握放大图像341与显示用显微镜图像321的位置关系，立体显微镜图像310的观察变得更加容易。
图10是说明在图9所示的图像显示在显示装置150上的状态下对位于图中下侧的按键530进行了操作的情况下由图像生成部140执行的处理的图。按键530的操作方法与按键510的情况相同。在受理部130通过鼠标受理了按键530的操作输入的情况下，图像生成部140显示使仅针对立体放大图像340的观察方向变化了的放大图像341。
由此，在显示用显微镜图像321固定的状态下，依次显示与观察方向的变化对应的放大图像341。由此能够从多个方向全面地观察希望关注的区域。另外，能够不增加针对图像处理装置101的处理负荷地，详细地观察基于放大图像341的立体放大图像。由此基于显微镜的立体图像的观察作业变得更加容易。
并且，在上述的例子中，受理部130通过与显示用显微镜图像321及放大图像341一起在显示装置150上显示的按键510、530受理旋转的输入。但也可以不使用按键510、530。例如，在显示装置150上，在鼠标光标位于显示显示用显微镜图像321及放大图像341的区域内的状态下对鼠标进行了拖拽操作的情况下，受理与拖拽操作对应的旋转输入。例如，在受理部130受理了在显示用显微镜图像321的上方位置(+Z方向)进行下拉拖拽(向-Z方向)的操作的情况下，图像生成部140生成与使立体显微镜图像310绕Z轴旋转的情况对应的新的显示用显微镜图像321。同样地，图像生成部140生成与使立体放大图像340假想地绕与Z轴正交的X轴旋转的情况对应的新的放大图像341。由此，能够更直观地操作立体显微镜图像310及立体放大图像340的观察方向的输入，使基于显微镜的立体图像的观察更加容易。
图11是表示图像处理装置101的处理步骤的流程图。若基于图像处理装置101的图像处理开始，则首先，图像生成部140基于从显微镜110获取的多个图像数据410，如图2及图3所示那样生成立体显微镜图像数据310。(步骤S101)。
接下来，图像生成部140基于立体显微镜图像数据310，生成包含多个显微镜图像331、332、333在内的位置指定用的三面图像330(步骤S102)，如图4所示使显示装置150显示(步骤S103)。接下来，图像生成部140等待受理部130受理用户针对所显示的三面图像330指定的指定位置而待机(步骤S104：否)。
接下来，在步骤S104中，若由用户确定指定位置(步骤S104：是)，则图像生成部140在立体显微镜图像310中确定包含指定位置的区域，生成将该区域放大了的立体放大图像数据340(步骤S105)。此外，图像生成部140基于立体放大图像数据340生成在显示装置150显示的放大图像341(步骤S106)。
接下来，图像生成部140使显示装置150显示所生成的放大图像341(步骤S107)，结束处理。由此，用户能够通过三面图像330观察包含所指定的指定位置420的区域的放大图像。按照这种方式，具有图像处理装置101的显微镜系统100容易输入关注区域的指定。另外，由于仅对立体显微镜图像数据310中的指定位置或区域进行处理，因此处理负荷减轻，能够顺畅地动作。由此基于显微镜的立体显微镜图像的观察作业的效率提高，缩减所需的劳力及时间，因此观察作业变得容易。
并且，在上述实施例中，在指定位置的情况下使用立体显微镜图像数据310的3面的显微镜图像331、332、333。但是，在立体显微镜图像数据310中，由于能够以相互交叉的2面的显微镜图像指定立体显微镜图像数据310内的一点，因此也可以仅显示2面的显微镜图像。另外，也可以显示4面以上的显微镜图像。在显示4面以上显微镜图像的情况下，也可以包含从相对于立体显微镜图像数据310某一面倾斜的方向观察的显微镜图像。
另外，在显示多个显微镜图像的情况下，一部分显微镜图像的显示大小也可以不同。例如，为了指定位置，也可以将正在沿直线421、422、423移动的显微镜图像显示得较大，而其他显微镜图像显示得较小。
并且，在上述实施例中，图像生成部140从立体显微镜图像数据310生成的位置指定用的二维显微镜图像是立体显微镜图像数据310的三个侧面的显微镜图像331、332、333，但也可以是立体显微镜图像310的任意截面图像。此外，图像生成部140从立体显微镜图像数据310生成的位置指定用的二维显微镜图像，也可以是将立体显微镜图像310投影到任意面上而生成的图像。在该情况下，图像生成部140也可以取代上述三个侧面的显微镜图像331、332、333，使用将立体显微镜图像310投影到相互交叉的三个假想的投影面上的三个二维显微镜图像。此外，位置指定用的显微镜图像也可以以根据三维图像数据生成二维图像的现有其他方法生成。
图12是说明通过输入装置120在图像处理装置101中进行指定位置的指定操作的变形例的图。图12表示显示装置150显示的图像。
在图12所示的例子中，在图11的步骤103中，图像生成部140作为指定立体显微镜图像数据310的一部分数据(即立体显微镜图像310的一部分位置)的位置指定用图像，而将显微镜图像333显示在显示装置150上。另外，图像生成部140将在显微镜图像323的下方配置的滑动条540和与显微镜图像323分离的位置配置的按键520一并显示在显示装置150上。
图像生成部140生成将立体显微镜图像310(立体显微镜图像数据310)以与Z轴垂直的平面剖切而形成的截面的图像即显微镜图像333，并显示在显示装置150上用于位置指定。
另外，图像生成部140显示的滑动条540具有刻度541及滑块542。滑块542通过相对置的刻度541表示当前在显示装置150上显示的显微镜图像333为在Z轴方向上排列的多个显微镜图像333中的第几幅。另外，滑块542能够通过以鼠标拖拽在图中水平滑动来选择将显示装置150显示的显微镜图像333设为在Z轴方向上排列的多个显微镜图像333中的第几幅。按照这种方式，图像生成部140将用户利用鼠标使滑块542滑动而指定的显微镜图像333显示在显示装置150上。并且，也可以取代滑动条540的刻度541，在滑动条540的横轴上示出立体显微镜图像310中的Z坐标等表示显微镜图像333在Z轴方向上的位置的指标。
此外，在图12所示的例子中也与图4同样地，将与由标识430表示的正交坐标系的X轴平行的直线421和与其Y轴平行的直线422重叠显示在显微镜图像333上。直线421、423能够通过将光标570置于其上并进行鼠标的拖拽操作而独立移动。在使直线421、422移动的情况下，直线421、422在与各自的延伸方向正交的方向上移动。由此，能够通过对作为输入装置120的鼠标进行操作使直线421、422移动，使直线421、423的交点429移动至显示用显微镜图像331内的一点。
按照这种方式，能够通过操作滑动条540的滑块542指定由标识430表示的三维坐标中的Z方向上的位置，进而能够使直线421、422移动，使直线421、422的交点移动至显微镜图像333上的一点。
此外，在图11的步骤S104中，用户操作作为输入装置120的鼠标，按下在显示装置150上显示的按键520，从而受理部130在所选择的显微镜图像333所形成的平面上受理直线421、422相交叉的位置作为指定位置420。在这里，通过特定显微镜图像333的选择指定Z方向的位置，通过显微镜图像333内的位置指定来指定XY平面内的位置，因此可以说是该指定位置420指定了三维空间上的位置。
进而，图像生成部140在立体显微镜图像310中确定包含指定位置420在内的区域，生成将该区域放大了的立体放大图像数据340(图11的步骤S105)。此外，图像生成部140基于立体放大图像数据340，生成在显示装置150上显示的放大图像341(图11的步骤S106)，使显示装置150显示放大图像341(步骤S107)。
按照这种方式，图12所示的例子中，通过从在Z轴方向上排列的多个显微镜图像333中确定其中某一个与在确定出的显微镜图像333的面内指定的位置的组合，能够容易地指定立体显微镜图像310中的位置(立体显微镜图像数据310中的数据的一部分)。由此在步骤S105到S106中显示将包含该位置的区域放大了的放大图像341，因此容易进行立体显微镜图像的观察。
另外，在上述例子中，图像生成部140显示并选择以与X-Y平面平行的截面剖切立体显微镜图像数据410得到的显微镜图像。但是，图像生成部140使进行显示的显微镜图像所形成的平面不限于与X-Y平面平行的面，也可以是与Y-Z平面或X-Z平面平行的面。另外，也可以使用在与任一坐标轴均不平行的平面上形成的显微镜图像。
图13是说明图11的步骤S102至S104的其他例的图。图13表示显示装置150显示的图像。在图13的例子中，取代在步骤S102及S103中生成并显示位置指定用的显微镜图像334，而生成并显示位置指定用的参照图像440。
在图13所示的例子中，图像生成部140将图中左侧的显示用显微镜图像334和图中右侧的参照图像440显示在显示装置150上。另外，图像生成部140在显示用显微镜图像334的下方显示按键510，在参照图像440的下方显示字段450及按键520。
在图13中，图像生成部140显示的显示用显微镜图像334是将立体显微镜图像数据310投影到投影面322上并由图像生成部140生成。在这里，通过受理部130受理利用鼠标按下按键510的操作，与图9中的说明同样地，对应于由在按键510上的鼠标光标的位置确定的旋转方向及旋转量，显示用显微镜图像334就像立体显微镜图像310旋转那样地变化。在图9的例子中，以立体显微镜图像310从图8的状态绕Z轴旋转的方式显示显示用显微镜图像321。这能够说是，图像生成部140假想地生成使图5所示的立体显微镜图像310相对于投影面322的倾角变化而将立体显微镜图像310投影到该投影面322上得到的新的显示用显微镜图像334并显示。需要说明的是，投影面322是用于说明的假想的面。
图像生成部140生成并显示的参照图像440是由图像生成部140将基于立体显微镜图像数据310生成的立体参照图像数据投影到投影面上而生成的。在这里，立体参照图像数据例如是表示消除立体显微镜图像310中的像的信息(亮度分布)而保留立体显微镜图像310的生成区域(与参照图像440的外框对应)的图像的数据。
例如，在如图5所示立体显微镜图像310的生成区域为长方体的情况下，显示装置150显示的参照图像440如图13所示，由分别平行对置的两对壁面441、442形成短筒状的框体443。
此外，在受理部130受理利用鼠标按下按键510的操作的情况下，图像生成部140按照上述方式通过该操作生成与旋转量及旋转方向对应的新的显示用显微镜图像324，并且，还生成与相同旋转量及旋转方向对应的新的参照图像440，并显示这些生成的图像。由此，在图13所示的显示装置150的画面中，显示用显微镜图像334和参照图像440始终以相同朝向显示。
并且，由标识430表示的三维正交坐标系始终与参照图像440形成的长方体的某两个面平行。由此，在用鼠标进行的对按键510的操作对显示用显微镜图像334进行了更新的情况下，伴随参照图像440的更新，标识430的朝向也被更新。
图像生成部140进一步将图中与由标识430表示的三维坐标系的X轴、Y轴或Z轴平行的三条直线421、422、423显示在参照图像440的内侧。上述直线421、422、423能够分别在鼠标的拖拽操作的作用下独立移动。并且，直线421、422、423分别仅在与各自的延伸方向正交的方向上移动。
另外，直线421、422、423相互正交，三条直线在一点处交叉。由此，例如，在使直线421沿由标识430表示的Y轴方向移动的情况下，直线423也在Y方向上移动，在使直线421沿Z方向移动的情况下，直线422也在Z方向上移动。由此，通过使三条直线421、422、423中的两条移动，能够使直线421、422、423的交点移动至立体参照图像数据形成的空间内的任意位置。
换言之，在显微镜系统100中，通过操作输入装置120而使直线421、422、423中的两条直线移动，从而能够指定指定位置420。此外，在显微镜系统100中，能够通过作为输入装置120的鼠标的点击操作按下按键520，确定所输入的指定位置420。
此外，图像生成部140在立体显微镜图像310中确定包含指定位置420的区域，生成将该区域放大了的立体放大图像数据340(图11的步骤S105)。进而，图像生成部140基于立体放大图像数据340，生成在显示装置150上显示的放大图像341(图11的步骤S106)，使显示装置150显示放大图像341(步骤S107)。
根据图13的例子，利用鼠标对简化显示的参照图像440内的直线421、422、423进行操作，能够容易地指定立体显微镜图像数据310内的指定位置。由此，能够容易进行基于显微镜的立体图像的观察。
并且，如上所述，能够通过使三条直线421、422、423中的两条直线移动，来指定立体显微镜图像数据310内的任意位置。由此，还能够将参照图像440中显示的直线设为两条来简化显示。由此，能够减轻图像生成部140的处理负担。
另外，在图13所示的例子中，在显示装置150上显示文字，另外显示能够进行文字输入的字段450。图像生成部140在利用参照图像440内的直线421、422、423指定了指定位置420的情况下，也可以将所指定的指定位置420以由标识430表示的三维正交坐标系中的坐标值显示在字段450中。由此，使用参照图像440的直线421、422、423输入的指定位置420的位置精度得到提高。由此能够使基于显微镜的立体图像的观察更加容易。
另外，图像生成部140在受理部130受理了利用作为输入装置120的键盘等输入到字段450中的坐标值的情况下，也可以将输入的坐标值反映至参照图像440的直线421、422、423的位置。由此能够提高指定位置的位置精度，并使指定位置420的微调变得容易。由此能够使基于显微镜的立体图像的观察更加容易。
并且，在上述的例子中，受理部130通过在显示装置150上显示的按键510受理旋转输入。但也可以不使用按键510。例如，在显示装置150上在鼠标光标位于显示显示用显微镜图像334的区域内的状态下对鼠标进行了拖拽操作的情况下，也可以受理与拖拽操作对应的旋转的输入。例如，在受理部130受理了在显示用显微镜图像321的上方(+Z方向)位置进行拖拽而下拉(向-Z方向)的操作的情况下，图像生成部140生成与使立体显微镜图像310绕Z轴旋转的情况对应的新的显示用显微镜图像334。由此，能够更加直观操作立体显微镜图像310及立体放大图像340的观察方向的输入，使基于显微镜的立体图像的观察更加容易。
图14是说明通过输入装置120在图像处理装置101中指定指定位置420的操作的其他变形例的图。图14表示显示装置150显示的图像。
在图14所示的例子中，图像生成部140在图11的步骤S102中生成位置指定用的显微镜图像634并显示在显示装置150上(该图步骤S103)。另外，图像生成部140在显微镜图像634的侧方显示按键510。
图14所示的显微镜图像634与使用图5说明的情况同样地，将立体显微镜图像数据310投影在投影面322上，由图像生成部140生成。在这里，通过受理部130受理利用鼠标按下按键510的操作，与使用图9进行说明的情况同样地，图像生成部140生成将立体显微镜图像310投影到假想地使图5所示的立体显微镜图像310相对于投影面322的倾角变化了的情况下的该投影面322上得到的新的显示用显微镜图像324，并使显示装置150进行显示。由此，在显示装置150上显示就像立体显微镜图像310旋转而使观察方向变化了的状态。
在显微镜系统100中，通过鼠标的操作使光标570相对于上述显微镜图像634移动至显微镜图像634的希望位置，进而在该位置进行鼠标的点击操作。在这里，受理部130确定由在进行了鼠标点击操作时刻的光标570的位置指定的标本在显微镜图像634内的位置(XY坐标)。另外，该显微镜图像634基于立体显微镜图像数据310而生成，因此受理部130根据显微镜图像634的标本的位置与立体显微镜图像310的标本的位置的关系，确定由光标570的位置指定的标本在Z方向的位置(深度方向上的位置)。若假想地对其进行说明，则受理部130将下述像素的位置受理作为指定位置420：该像素位于与在进行了鼠标点击操作时刻的光标570的位置形成有显微镜图像634的面正交的方向上，其亮度值为立体显微镜图像数据310内的规定阈值以上，且该像素在该方向上位于最近前位置。按照这种方式，在显微镜系统100中，能够以简单的步骤直观地指定指定位置420，因此基于显微镜的立体图像的观察变得容易。
并且，在上述的例子中，受理部130通过在显示装置150上显示的按键510受理观察方向的输入。但也可以不使用按键510。例如，在显示装置150上在鼠标光标位于显示显微镜图像634的区域内的状态下对鼠标进行了拖拽操作的情况下，也可以受理与拖拽操作对应的观察方向的输入。例如，在受理部130受理了在显微镜图像634的上方(+Z方向)位置进行拖拽并下拉(向-Z方向)的操作的情况下，图像生成部140生成将立体显微镜图像310投影到使图5所示的立体显微镜图像310相对于投影面322的倾角假想地绕与Z轴正交的X轴变化的情况下的该投影面322上的新的显微镜图像634。由此，能够更加直观地操作立体显微镜图像310的观察方向的输入，使基于显微镜的立体图像的观察更加容易。
并且，取代将二维显微镜图像用于位置指定，也可以使用用户利用视差等感觉到立体感的立体图像。另外，取代显示放大图像341，也可以显示用户利用视差等感觉到立体感的立体放大图像。在该情况下，作为显示该立体图像和立体放大图像的显示装置150，使用VR头戴式显示器、VR眼镜、裸眼3D监视器、3D全息等立体显示装置。另外，在作为显示装置150使用立体显示装置的情况下，也可以取代鼠标或在鼠标的基础上使用3D鼠标(3Dconnexion(注册商标))或运动传感器设备(Kinect(注册商标)、LEAP(注册商标)等)等定点设备。
在该情况下，取代图11的步骤S102，图像生成部140基于立体显微镜图像数据310生成立体图像用于位置指定，并取代步骤S103将该立体图像显示在立体显示装置上。在步骤S104中，受理部130经由定点设备受理来自用户对三维立体图像内的位置指定而设为指定位置。图像生成部140在步骤S105中生成将包含指定位置的区域放大了的立体放大图像数据，取代步骤S106而基于立体放大图像数据生成立体放大图像，取代步骤S107将该立体放大图像显示在立体显示装置上。由此，由于用户直接使用感觉到立体感的立体图像，因此放大了的立体显微镜图像数据的指定变得容易，在立体显示装置上显示立体放大图像，因此放大了的部位的观察变得容易。因此，能够更加容易进行立体显微镜图像中的一连串观察作业。
并且，在上述任一实施例中，均根据立体显微镜图像数据310生成二维显示用显微镜图像321，另外，根据参照图像数据生成二维显示用参照图像440并显示在显示装置150上。也可以取而代之，在立体显示装置上立体显示显示用显微镜图像321及显示用参照图像440。
另外，在上述任一实施例中，受理部120均通过显微镜图像内的位置指定受理立体显微镜图像数据310的至少一部分指定，但指定的方法不限于此。受理部120作为立体显微镜图像数据310的至少一部分指定，也可以取代位置指定，受理立体显微镜图像数据310的三维空间区域的指定。在该情况下，例如也可以在二维显微镜图像内，通过用户在某个位置拖拽并移动鼠标而显示以移动量为对角线的矩形，通过释放拖拽而由受理部130受理该矩形。然后，图像生成部140从受理部130获取与指定矩形的位置相关的信息(例如矩形四个顶点的坐标)，并基于该信息，将包含指定矩形的预先设定区域(例如以指定矩形的对角线为直径的区域)确定为待放大的区域。另外，受理部120也可以将作为输入装置130利用键盘等直接输入的立体显微镜图像310(立体显微镜图像数据310)的坐标受理作为位置信息。在该情况下，可以以指定立体显微镜图像310上的点的方式受理一点的坐标，也可以以指定立体显微镜图像310上的区域的方式受理多个点的坐标(例如若是矩形区域则为四个顶点的坐标)。图像生成部140获取所受理的坐标，将包含与该坐标对应的点或区域的区域确定作为待放大的区域。此外，受理部120也可以以立体显微镜图像310受理待放大的区域本身的指定。在该情况下，也可以在立体显微镜图像310中，通过在某个位置拖拽鼠标并进行移动而显示以移动量为直径或半径的圆，通过释放拖拽将该圆作为待放大的区域受理。并且，图像生成部140获取与所指定的圆的位置相关的信息(例如圆的中心坐标和半径)，将所指定的圆确定为待放大的区域。在上述任一情况下，区域的指定均不限于矩形或圆，也可以以其他形状指定。
图15是说明通过输入装置120在图像处理装置101中指定指定位置420的操作的其他变形例的图。图15表示在显示装置150显示的图像。
在图15所示的例子中，在图11的步骤S103中，图像生成部140在显示装置150的图中左侧显示与图12所示的显微镜图像333、滑动条540及按键520相同的图像。另外，图像生成部140在显示装置150的图中右侧显示位置参照图像640、字段450及按键520。位置参照图像640的类型可以与图13的立体放大图像数据340相同。
与图12同样地，通过由用户使用作为输入装置120的鼠标来操作与显微镜图像333重叠显示的直线421、422和与显微镜图像333的下部相邻显示的滑动条540来指定位置(图11的步骤S104))。通过按下按键520，受理部130受理指定位置420的指定。
此外，图像生成部140在立体显微镜图像310中确定包含指定位置420的区域，生成将该区域放大了的立体放大图像数据340(图11的步骤S105)。此外，图像生成部140基于立体放大图像数据340，生成在显示装置150上显示的放大图像341(图11的步骤S106)，使显示装置150显示放大图像341(步骤S107)。
在这里，在图15所示的例子中，图像生成部140与显微镜图像333中的直线421、422的移动连动，使在位置参照图像640内显示的直线421、422移动。由此，用户能够在位置参照图像640中实时确认在显微镜图像333侧自身使之移动的指定位置420的位置。
由此，指定指定位置420情况下的指定位置420的确认变得容易，且指定位置420的位置精度也得到提高。由此，基于显微镜的立体图像的观察作业变得容易。
另外，在图15所示的例子中，也在显示装置150上显示文字，并显示能够输入文字的字段450。图像生成部140在显微镜图像333内指定了指定位置420的情况下，也可以将所指定的指定位置420以由标识430表示的三维正交坐标系中的坐标值显示在字段450中。由此，使用位置参照图像640的直线421、422、423输入的指定位置420的位置精度提高。由此，基于显微镜的立体图像的观察更加容易。
此外，图像生成部140在受理部130受理了通过作为输入装置120的键盘等输入到字段450中的坐标值的情况下，也可以将所输入的坐标值反映在位置参照图像640的直线421、422、423的位置中。由此能够提高指定位置的位置精度，且指定位置420的微调变得容易。由此能够使基于显微镜的立体图像的观察更加容易。
在上述任一实施例及变形例中，放大图像341均为将立体放大图像340的至少一部分投影到任意面上而生成的图像。取而代之，放大图像341也可以是在立体放大图像340的截面上表现的图像。此外，放大图像341也可以是通过根据三维图像数据即立体放大图像数据340生成二维图像的其他现有方法生成的图像。
同样地，在上述任一实施例及变形例中，显示用显微镜图像321均为将立体显微镜图像310的至少一部分投影到任意面上而生成的图像。取而代之，显示用显微镜图像321也可以是在立体显微镜图像310的截面上表现的图像。此外，显示用显微镜图像321也可以以从三维图像数据即立体显微镜图像数据310生成二维图像的其他现有方法生成。
图16表示在显示装置150显示的显示用显微镜图像及放大图像的变形例(图11的步骤S106、S107的变形例)。在图16的例子中，受理部130受理立体放大图像数据340的截面位置。另外，图像生成部140输出立体放大图像数据340中的指定位置的截面图像作为二维图像。
图像生成部140将显示用显微镜图像321、放大图像341、面指定显示424、按键510、按键520及字段450显示在显示装置150上。放大图像341与显示用显微镜图像321重叠显示。
图像生成部140通过鼠标对图中左侧的按键510的操作，以指示的倾角显示显示用显微镜图像321。另外，图像生成部140对应于鼠标对图中右侧按键510的操作，将放大图像341以指示的倾角显示在显示装置150上。
此外，图像生成部140对应于针对字段450的数值输入或基于鼠标的截面追加按键520的操作，在放大图像341上重叠显示面指定显示424。另外，图像生成部140通过鼠标的拖拽操作使画面上的面指定显示424移动，将面指定显示424配置在能够获得希望截面的位置。此外，图像生成部140对应于针对位于图中右侧的按键的鼠标操作变更面指定显示424的倾角。按照这种方式，在面指定显示424与希望截面一致的情况下，利用鼠标按下按键520之一来将面指定显示424的位置固定。
以下，直到预定的全部截面被指定为止重复进行上述操作，针对立体放大图像数据340指定多个截面位置及倾角。在图像处理装置101中，除了基于上述鼠标操作的面指定显示424以外，也可以通过在字段450中输入数值来指定截面的倾角、数量等。输入在字段450中的数值也可以是无单位的相对值或标本的实际尺寸。
并且，在上述例子中，利用通过在显示装置150上显示的按键510的鼠标操作，输入显示用显微镜图像321及面指定显示424的旋转指示。然而，即使没有将按键510明示地显示在显示装置150上，也可以为能够通过在光标570位于显示显示用显微镜图像321或面指定显示424的区域内的状态下对鼠标进行拖拽操作而使显示用显微镜图像321或面指定显示424追随光标570的移动方向而旋转的界面。由此，能够更直观地操作在显示装置150上显示的显示用显微镜图像321及面指定显示424的旋转，使基于显微镜的立体图像的观察更加容易。
图17表示如上所述在面指定显示424的配置完成后，由图像生成部140执行图像处理并输出至显示装置150的图像。在显示装置150上，显示由在图16所示的图像中通过面指定显示424指定的截面表现的多个截面图像370。
各截面图像370分别包含显示用截面图像371及显示用放大截面图像372。显示用截面图像371是在生成图16所示的显示用显微镜图像321的情况下，在通过面指定显示424剖切形成的截面上表现还原后立体显微镜图像数据310的图像。另外，显示用放大截面图像372是在生成图16所示的放大图像341的情况下，在通过面指定显示424剖切形成的截面上显示出还原后的立体放大图像数据340的图像。图像生成部140使在通过面指定显示424指定的各截面上表现的显示用截面图像371及显示用放大截面图像372重合而生成截面图像370。
按照这种方式，在显微镜系统100中，通过利用面指定显示424的配置指定面的位置，能够将在该位置的面生成的截面图像输出至显示装置150。由此，能够在任意截面上简单地观察立体显微镜图像数据310的内部。由此基于显微镜的立体图像的观察变得容易。
图18是在执行了基于图像处理装置101的其他处理后在显示装置150上显示的图像的图。此处由图像生成部140执行的处理是在从立体放大图像数据340生成放大图像341的情况下，一并生成在包含放大图像341的中心在内的第1区域中显示的第1图像343和在位于第1区域外侧的第2区域中显示的第2图像344的处理。
在图示的例子中，作为图像生成部140输出的第1图像343，生成将立体放大图像数据340的相应区域放大了的神经细胞550的立体放大图像数据。神经细胞550包括块状的细胞体551、突出到细胞体551附近的树状突起552和从细胞体551较长地延伸出的轴突553。
在这里，图像生成部140作为主要包含细胞体551在内的显示用显微镜图像生成第1图像343。另外，图像生成部140生成在第1图像343的周围区域形成并包含树状突起552在内的第2图像344。
在这里，第1图像343是将立体放大图像数据340所包含的细胞体551的图像直接放大了的图像。第2图像344在立体放大图像数据340的相应区域中作为强调向细胞体551的周围突出的树状突起552的图像而生成。换言之，第2图像344中能够说是抑制了除了树状突起552以外的要素的显示的图像。由此，图像生成部140在根据立体放大图像数据340生成了放大图像341的情况下，如图18所示，在第1图像中显示的神经细胞的细胞体551的周围显示强调以放射状延伸的树状突起552的第2图像344。
由此，在放大图像341中也能够直观掌握神经细胞的树状突起向周围扩展的情况，容易理解作为关心对象的神经细胞与相邻细胞(相邻构造)的接触状态、连接状态等。由此基于显微镜的立体图像的观察作业变得容易。
并且，在第2图像344中强调的对象不限于树状突起552这样的在第1区域和第2区域中相连的构造。作为其他例子，也可以是共同包含在第1区域和第2区域中且离散存在的细胞这样的对象。另外，第2图像344中的特定对象的强调是显示条件与第1图像343不同的一例，也可以使除了强调以外的显示条件不同。
并且，在上述的例子中，利用通过在显示装置150上显示的按键510的鼠标操作，输入显示用显微镜图像321及放大图像341的旋转指示。然而，即使未将按键510明示地显示在显示装置150上，也可以为通过在光标570位于显示显示用显微镜图像321或放大图像341的区域内的状态下对鼠标进行拖拽操作来使显示用显微镜图像321或放大图像341追随光标570的移动方向而旋转的界面。由此，能够更直观地操作在显示装置150上显示的显示用显微镜图像321及放大图像341的旋转，使基于显微镜的立体图像的观察更加容易。
图19是逐步说明进行使视野沿长标本移动的轨迹观察的情况下的处理的图。在该例中，以与长轴突相连的神经细胞为观察的对象。
图像生成部140基于从显微镜110获取的图像数据410生成立体显微镜图像数据310，将生成的立体显微镜图像数据310投影到投影面322上而生成显示用显微镜图像321。按照这种方式生成的显示用显微镜图像321被从图像生成部140输出到显示装置150并显示。由此，如图所示，在显示装置150上显示包含长轴突的显示用显微镜图像321。
在显示装置150上显示的显示用显微镜图像321通过经由鼠标操作按键510，能够在显示装置150的画面上从任意角度进行观察。由此，能够以容易看到成为观察对象的带轴突的神经细胞的位置及倾角显示显示用显微镜图像321。
在显微镜系统100中，针对在显示装置150上显示的显示用显微镜图像321通过鼠标的操作来指定轨迹观察的开始位置。并且，显微镜110作为轨迹线461的输入方法设有两种方法。作为形成轨迹线461的方法之一，存在以通过鼠标的拖拽操作绘制的连续的线指定轨迹线的方法。另外，存在指定轨迹线461的路径上的多个点的位置以在图像处理装置101上插补多个点间的轨迹线的方法。
在显微镜系统100中设有上述两种方法，能够根据用途选择而分开使用。在图示的例子中，利用显示装置150的显示图像右上方的按键521，选择通过线即鼠标的拖拽操作连续地输入轨迹线461。
在该情况下，用户首先在使光标570对准观察开始位置的状态下按下鼠标按键，通过保持按下按键的状态使鼠标移动的拖拽操作，使光标570沿作为观察对象的神经细胞的轴突移动。由此，直到松开鼠标按键的期间，作为轨迹路径的轨迹线461利用图像生成部140与在显示装置150上显示的显示用显微镜图像321重叠显示。关于另一方法，参照图23如后所述。
图20是说明接着上述操作的步骤的图。如图中以箭头460所示，若光标570通过鼠标的拖拽到达观察范围的终端，则用户通过松开鼠标按键而在用显微镜图像321上确定观察范围的指定输入。由此受理部130受理观察的开始位置及结束位置的指定，图像生成部140将与所指定的轴突的影像重叠并作为光标570的轨迹绘制的轨迹线461，与显示用显微镜图像321重叠显示在显示装置150上。
图21是说明在上述操作之后由图像处理装置101执行的处理的图。如图所示，在作为轨迹线指定了生成放大图像的位置后，若利用用户操作的鼠标按下执行的按键520，则图像生成部140首先获取轨迹线461的开始位置作为初始指定位置420，基于立体显微镜图像数据310生成立体放大图像数据340。接下来，图像生成部140从所生成的立体放大图像数据340生成放大图像341。
按照上述方式生成的放大图像341以中心与显示用显微镜图像321中的轨迹线461的起点一致的方式，与显示用显微镜图像321重叠显示。此外，图像生成部140在将放大图像341输出至显示装置150时，选择轨迹线461上的距离终端侧最近的点，以该位置为中心，生成下一立体放大图像数据340。
图像生成部140重复进行上述的从轨迹线上的新的指定位置获取到放大图像341显示的一连串图像处理，从而在显示装置150中沿轨迹线461朝向终端依次显示放大图像341。由此，能够以长度大于放大图像341的视野的轴突553为轨迹连续地进行观察。由此，容易执行同时实现显微镜的高分辨率和长标本的连续观察的观察。
并且，在上述例子中，通过经由在显示装置150上显示的按键510的鼠标操作，输入显示用显微镜图像321的旋转指示。然而，即使未将按键510明示地显示在显示装置150上，也可以为通过在光标570位于显示显示用显微镜图像321的区域内的状态下对鼠标进行拖拽操作而使显示用显微镜图像321追随光标570的移动方向而旋转的界面。由此，能够更直观地操作在显示装置150上显示的显示用显微镜图像321的旋转，使基于显微镜的立体图像的观察更加容易。
图22是表示基于参照图19至图21说明的图像处理装置101的处理步骤的流程图。若基于图像处理装置101的图像处理开始，则首先，图像生成部140基于从显微镜110获取的多个图像数据410如图2及图3所示地生成立体显微镜图像数据310。(步骤S111)。
接下来，图像生成部140生成基于立体显微镜图像数据310的显微镜图像(步骤S112)并使显示装置150显示(步骤S113)。并且，在该例中，生成将立体显微镜图像数据310投影到投影面322上而生成的显示用显微镜图像321(步骤S111)并使显示装置150显示(步骤S113)。
接下来，受理部130监视作为位置指定的输入而针对使显示装置150显示的显示用显微镜图像321由用户输入轨迹线461的情况，并且图像生成部140待机(步骤S114：否)。若用户作为位置指定的输入而输入轨迹线461(步骤S114：是)，则受理部130受理所输入的轨迹线(步骤S115)，供图像生成部140参照。
接下来，图像生成部140基于所获取的轨迹线461，将轨迹线461与显示用显微镜图像321重叠地依次显示在显示装置150上(步骤S116)。之后，在持续进行鼠标拖拽操作的期间内，图像生成部140用于在显示装置150上显示的轨迹线461的延伸(步骤S117：是)。
接下来，若基于鼠标的轨迹线输入完成(步骤S117：是)，则图像生成部140监视用户指示执行的按下按键520这一情况并待机(步骤S118：否)。若用户通过鼠标的操作按下按键520而指示图像处理开始(步骤S118：是)，则图像生成部140从立体显微镜图像数据310的一部分生成立体放大图像数据340(步骤S119)，从所生成的立体放大图像数据340生成放大图像341(步骤S120)。
此外，图像生成部140无论是否通过轨迹线461进行了指定均查询是否残留未生成放大图像341的位置(步骤S121)，在轨迹线上的位置残留有未处理的情况下(步骤S121：否)，对作为处理对象的指定位置420进行更新(步骤S122)，重复进行步骤S119至121的步骤。并且，在未残留未处理位置的情况下结束处理。按照这种方式，通过用户预先指定轨迹的路径，容易观察线状等长标本。
图23是说明针对图像处理装置101输入轨迹线461的情况的另一方法的图。该方法通过取代参照图19至图21说明的步骤而执行，能够向图像处理装置101输入轨迹线461。首先，在图19所示的画面中，利用按键521作为轨迹线461的输入选择点。由此在显示装置150上显示图23所示的图像。
如图所示，图像生成部140在显示装置150的图中左侧显示在图9中也示出的显示用显微镜图像321。另外，图像生成部140在显示装置150的图中右侧显示在图13中也示出的显示用参照图像440。此外，图像生成部140在显示装置150的图中下部显示按键510、按键520及字段450。
图示的显示用显微镜图像321与图19所示的显示用显微镜图像321同样地，能够利用鼠标操作按键510使之旋转。显示用参照图像440如针对图9所说明的那样，在显示用显微镜图像321旋转的情况下追随其旋转而旋转。由此，显示用显微镜图像321及显示用参照图像440的相对位置固定。
另外，在显示用参照图像440的内侧显示直线421、422、423。用户通过经由鼠标的操作使直线421、422、423中的两条直线移动，能够使其交点的位置在立体显微镜图像数据310的区域内移动。
因此，用户指定与追踪的对象物重叠的位置，将该位置420设为轨迹线461上的一个点，通过利用鼠标的操作按下登录按键520而登录到受理部130。按照这种方式，初始轨迹的点A通过登录而保持于图像处理装置101。
进一步重复上述操作，在图示的例子中，使受理部130受理从轨迹点B到D的位置的多个点。并且，在登录了足够数量轨迹点后，用户通过鼠标的操作按下指示轨迹执行的按键520，向图像生成部140指示图像处理的执行。
由此，在图像处理装置101中，图像生成部140生成经由多个轨迹点A～D的轨迹线461，与显示用显微镜图像321重叠并显示在显示装置150上。此外，图像生成部140与图21所示的情况同样地，一边更新放大图像341一边追踪轨迹线461使放大图像341移动。按照这种方式，用户沿指定的轨迹线连续地观察轴突整体。
并且，在上述例子中，通过经由在显示装置150上显示的按键510的鼠标操作输入显示用显微镜图像321及显示用参照图像440的旋转指示。然而，即使未将按键510明示地显示在显示装置150上，也可以为通过在光标570位于显示显示用显微镜图像321或显示用参照图像440的区域内的状态下对鼠标进行拖拽操作而使显示用显微镜图像321及显示用参照图像440追随光标570的移动方向而旋转的界面。由此，能够更直观地操作在显示装置150上显示的显示用显微镜图像321及显示用参照图像440的旋转，使基于显微镜的立体图像的观察更加容易。
图24示出在图像处理装置101执行其他处理的情况下在显示装置150上显示的图像。图像生成部140在图中左侧部分显示与放大图像341重合的显示用显微镜图像321。
另外，图像生成部140在图中右侧部分显示通过图像处理使放大图像341二值化得到的二值化图像380。此外，在图像的中央配置以数值显示所设定的阈值的字段450和指示接下来说明的处理的设定及执行的按键520。另外，在二值化图像380的上方配置有显示后述判定结果的显示栏480。
在将图示的图像显示在显示装置150上的情况下，图像处理装置101中的图像生成部140已经生成与所输入的位置420对应的立体放大图像数据340，进而将立体放大图像数据340投影到与显示用显微镜图像321形成的面平行的投影面，生成放大图像341。
在上述状态下，用户使用鼠标及键盘在图像处理装置101上设定阈值。在设定阈值的情况下，所输入的阈值的值以数值显示在字段450中。所输入的数值通过以鼠标操作指示设定的按键520而确定，在通过形成阈值受理部的受理部130受理后保持于图像生成部140。
接下来，若用户操作鼠标而按下指示执行的按键520，则图像生成部140将形成立体放大图像数据340的各像素的亮度与阈值比较，根据是否超过阈值而二值化。此外，图像生成部140将二值化了的像素重新构成为立体放大图像数据。此外，图像生成部140例如基于在重新构成的立体放大图像数据340中超过阈值的像素的比例，判定所处理的立体放大图像数据340的、作为图像的品质是否良好。
图像生成部140将判定结果输出至显示装置150并显示。在显示装置150上显示的画面的显示栏480中显示判定结果。另外，在该画面上一并显示重新构成的二值化图像380。由此用户能够确认判定结果的妥当性。按照这种方式，图像处理装置101能够自动评价与位置420对应的立体放大图像，因此能够使显微镜图像评价作业更省力。由此，基于显微镜的立体图像的观察作业变得容易。并且，二值化是显示条件的一例，图像生成部140也可以根据各像素的亮度是否超过阈值，以除了二值化以外的方法输出在不同的显示条件下显示的放大图像。
图25是包含图像处理装置102的显微镜系统100的框图。在图25所示的显微镜系统100中，图像处理装置102在以下说明的部分与图1所示的显微镜系统100不同。另外，显微镜111也与图1所示的显微镜110不同。其他部分具有与图像处理装置101相同的构造，因此对共同的要素标注相同的附图标记而省略重复的说明。
图像处理装置102与图像处理装置101的区别点在于具有图像对应部160，该图像对应部160接受来自显微镜111的输入，使图像生成部140及显示装置150获取立体显微镜图像数据310。另外，在该显微镜系统100中，与图像处理装置101的区别点在于，显微镜111包含通过互不相同的显微镜法根据标本生成立体显微镜图像数据310的多个显微镜。
在上述的显微镜系统100中，图像处理装置102的图像对应部160从显微镜111获取通过互不相同的显微镜法构成的两个立体显微镜图像数据310，并执行使其建立对应的处理。图像对应部160将构成一方的立体显微镜图像数据310的各像素的三维坐标值即像素位置与另一立体显微镜图像数据310的像素位置建立对应。此处所说的像素位置由于是各立体显微镜图像数据的内侧位置，因此也可以称为图像位置。
图26示出将根据利用图像对应部160建立了对应关联的两个立体显微镜图像数据310生成的第1显示用显微镜图像401及第2显示用显微镜图像402并列显示在显示装置150上的状态。
在本实施例中，第1显示用显微镜图像401利用SIM(Structured IlluminationMicroscopy：结构光照明显微镜)拍摄标本。SIM在具有周期性照度模式的照明下观察标本，基于观察像产生的干涉条纹，能够重新构成表示波长小于照明光的标本的微细构造的显微镜图像。
另外，第2显示用显微镜图像402从利用STORM(STochastic OpticalReconstruction Microscopy：随机光学重建显微镜)拍摄标本而得到的立体显微镜图像数据310生成。STORM通过使从多个荧光图像高精度检测到的荧光色素的位置信息重合而以比照明光波长高的分辨率重建荧光图像。
第1显示用显微镜图像401及第2显示用显微镜图像402分别如参照图2所说明，将通过堆叠在多个焦点面处拍摄的二维显微镜图像而生成的立体显微镜图像数据310按照参照图5说明的方式投影到投影面上而生成。此外，第1显示用显微镜图像401及第2显示用显微镜图像402与图像对应部160建立对应，使像的大小、倾角及显示位置一致。
由此，除了由显微镜的差异引起的纹理区别，显示相同大小、相同倾角、相同显示位置的第1显示用显微镜图像401及第2显示用显微镜图像402。另外，第1放大图像403及第2放大图像404由于相互建立对应，因此在通过按键510的操作将第1放大图像403更新为旋转了的图像的情况下，第2放大图像404也更新为以相同方式旋转了的显示用显微镜图像。
图27是说明通过图像生成部140执行的处理的概念的图。若受理部130利用鼠标操作的光标570受理第1显示用显微镜图像401的还原了的立体显微镜图像数据310内的一个位置，则图像生成部140确定与受理位置对应的另一立体显微镜图像数据310内的位置。此外，图像生成部140针对指定的位置和确定的位置确定预先设定大小的区域。在本实施例中确定的区域为由以所指定位置和所确定的位置为中心的规定半径的球包围的区域。
此外，图像生成部140关于所确定的区域生成立体放大图像数据，将所生成的立体放大图像数据投影到投影面上，生成第1放大图像403。立体放大图像数据的倍率可以是预先设定的倍率，也可以在指定了位置后由图像处理装置101向用户询问。
接下来，图像生成部140将从放大显微镜图像数据生成的放大图像341的位置确定为由第1显示用显微镜图像401指定的位置和由第2显示用显微镜图像402确定的位置。第1显微镜图像数据及第2显微镜图像数据已经利用图像对应部160匹配为相同的大小、朝向及位置，因此图像生成部140将与第1显示用显微镜图像401内的位置相同的位置确定为第2显示用显微镜图像402中的对应位置。
接下来，图像生成部140在第2显示用显微镜图像402的还原了的立体显微镜图像数据310中，确定半径与第1显示用显微镜图像401的情况相同的圆形区域。此外，图像生成部140在生成了立体放大图像数据的基础上，以与之前说明的情况相同的倍率生成立体放大图像数据340。此外，将所生成的立体放大图像数据投影到投影面上，生成第2放大图像404。
图28是在上述一连串处理结束后在显示装置150上显示的图像的图。在显示装置150上并列显示与第1放大图像403重合了的第1显示用显微镜图像401和与第2放大图像404重合了的第2显示用显微镜图像402。在这里，第1放大图像403的中心与针对第1显示用显微镜图像401指定的位置一致。
由此，第1放大图像403将第1显示用显微镜图像401的指定位置的周围以就像以放大镜放大观察的方式显示。由此，用户能够观察通过第1显示用显微镜图像401俯瞰整体并对用户自身关注的区域进行了放大的第1放大图像。由此能够实施显微镜图像的直观的观察作业。
另外，图像生成部140将第2放大图像404与第2显示用显微镜图像402重叠显示。第2放大图像404的中心与针对第1显示用显微镜图像401指定的位置对应。由此，第2放大图像404在第2显示用显微镜图像402中将与第1放大图像403对应位置的周围就像以放大镜放大观察那样显示，因此用户实施俯瞰第2显示用显微镜图像402整体的显微镜图像的直观的观察作业。
此外，第1显示用显微镜图像401及第2显示用显微镜图像402预先对准像的大小、朝向及位置地来显示。另外，第1放大图像403及第2放大图像404分别针对所显示的第1显示用显微镜图像401及第2显示用显微镜图像402以相同的倍率放大。
由此，即使使第1显示用显微镜图像401与第2显示用显微镜图像402的倍率或朝向不同进行拍摄，也容易实施第1显示用显微镜图像401与第2显示用显微镜图像402的图像整体对比观察。进而容易实施在第1显示用显微镜图像401和第2显示用显微镜图像402中用户关注的区域的对比观察。
此外，用户指定第1显示用显微镜图像401及第2显示用显微镜图像402中一方的内部位置，从而能够将第1放大图像403及与之一起生成的第2放大图像404并列观察。由此，对第1显示用显微镜图像401及第2显示用显微镜图像402进行对比观察的情况下的用户操作步骤简化，对比观察的作业效率得到提高。
并且，在上述例子中，第1放大图像403及第2放大图像404分别与第1显示用显微镜图像401及第2显示用显微镜图像402重叠显示。另外，第1放大图像403及第2放大图像404的中心以在第1显示用显微镜图像401及第2显示用显微镜图像402中与指定位置一致的方式显示。
但是，显示的布局不限于以上所述。例如，图像生成部140也可以使第1显示用显微镜图像401及第1放大图像403彼此不重合而并列显示在显示装置150上。另外，图像生成部140也可以将第1放大图像403单独显示在显示装置150上。此外，图像生成部140也可以将第1放大图像403的中心配置在第1显示用显微镜图像401中与用户指定位置不同位置并显示。
关于第2显示用显微镜图像402及第2放大图像404也同样地，显示的布局不限于以上所述。例如，图像生成部140将第2显示用显微镜图像402及第2放大图像404彼此不重合而并列显示在装置150上。另外，图像生成部140也可以将第2放大图像404单独显示在显示装置150上。此外，图像生成部140也可以将第2放大图像404的中心配置在第2显示用显微镜图像402中与用户指定位置不同位置并显示。
并且，图像生成部140也可以将第1放大图像403及第1显示用显微镜图像401与第2放大图像404及第2显示用显微镜图像402的至少一方不重叠地并列显示在显示装置150上。另外，图像生成部140也可以不将第1显示用显微镜图像401及第2显示用显微镜图像402的至少一方显示在显示装置150上，而将第1放大图像403及第2放大图像404的至少一方单独显示在显示装置150上。在任一情况下，由于均在显示装置150上显示包含用户指定位置的区域的第1放大图像403及第2放大图像404的至少一方，因此能够详细观察所指定的区域，立体显微镜图像的观察作业变得容易。
另外，图像生成部140也可以根据在第1放大图像的数据及第2放大图像的数据中是位于近前侧还是位于里侧，来执行使第1显示用显微镜图像401、第2显示用显微镜图像402、第1放大图像403及第2放大图像404的明亮度及颜色变化的图像处理。在该情况下，例如在立体显微镜图像数据310及立体放大图像数据340中，使位于相对近前侧的部分较亮或较红，在立体显微镜图像数据310及立体放大图像数据340中，使位于较里侧的部分较暗或较蓝。由此，能够强调第1显示用显微镜图像401、第2显示用显微镜图像402、第1放大图像403及第2放大图像404的进深感，使立体显微镜图像更加容易观察。
并且，在上述任一实施例及变形例中，图像生成部140均可以变更立体放大图像数据340所表示区域的形状及大小。在这里，形状包含立体图形例如球、圆锥或棱锥、圆柱或棱柱、多面体等。例如，包括将立体放大图像数据340表示区域的形状从球体变更为圆盘状或透镜状或者减小球体直径。由此，在投影到投影面342上的情况下，使位于立体放大图像数据340内部被隐蔽的情况变少，从而对立体放大图像数据340的内部的观察变得容易。由此，基于显微镜的立体图像的观察作业变得容易。
另外，在上述任一实施例及变形例中，受理部130均通过受理显微镜图像或三维立体图像的位置指定而受理立体显微镜图像数据310的至少一部分指定。取而代之，受理部130也可以通过受理显微镜图像或三维立体图像的范围指定来受理立体显微镜图像数据310的至少一部分指定。在该情况下，受理部130也可以受理针对显微镜图像或三维立体图像的鼠标拖放操作，受理以拖拽的开始位置为中心并以释放位置为半径的球的区域或以拖拽的开始位置和释放位置为对角顶点的立方体的区域的指定。
另外，在上述任一实施例及变形例中，图像生成部140也可以不使放大图像341及显示用显微镜图像321重叠而并列显示在显示装置150上。另外，图像生成部140也可以不将显示用显微镜图像321显示在显示装置150上，而将放大图像341单独显示在显示装置150上。在任一情况下，显示装置150均显示包含用户指定位置的区域的放大图像341，因此能够详细观察所指定的区域，立体显微镜图像的观察作业变得容易。
另外，在上述任一实施例及变形例中，图像生成部140也可以进行使输入到显示装置150上并使之显示的放大图像341中的亮度值分布为特定范围的亮度变换。图像生成部140在例如放大图像341中的亮度值(换言之放大图像341的各像素的亮度值)集中分布于256灰度中较低(较暗)值的情况下，图像生成部140以其分布扩展至256灰度整体的方式进行亮度变换。具体来说，以放大图像341各像素的亮度值中的亮度值较高像素的亮度值变得更高(更亮)的方式对各像素的亮度进行变换。另一方面，例如，在放大图像341中的亮度值(换言之放大图像341的各像素的亮度值)集中分布于256灰度中的较高(较亮)值的情况下，图像生成部140以使其分布扩展至256灰度整体且放大图像341的像素中的亮度值较低的像素的亮度值变得更低(更暗)的方式对各像素的亮度进行变换。由此，能够在放大图像341中表现出在此之前未看出的亮度差，从而能够观察标本的微细构造的像。在该情况下，变换前亮度值与变换后亮度值的关系使用所述的已知查阅表等。
另外，在上述任一实施例及变形例中，图像生成部140也可以执行以立体显微镜图像310及立体放大图像340中位于近前侧的像和位于里侧的像使显示用显微镜图像321及放大图像341的明亮度及颜色变化的图像处理。在该情况下，在例如立体显微镜图像310及立体放大图像340中，使位于较近前侧的像较亮，使位于较里侧的像较暗。或者，也可以在立体显微镜图像数据310及立体放大图像数据340中，使位于较近前侧的像较红，使位于较里侧的部分较蓝。由此能够强调显示用显微镜图像321及放大图像341的进深感，使立体显微镜图像更容易观察。由此，立体显微镜放大图像的观察作业变得更加容易。
图像处理装置101的各动作也可以采用计算机程序提供，通过安装该计算机程序来实现。
以上使用实施方式对本发明进行了说明，但本发明的技术范围不限定于上述实施方式记载的范围。本领域技术人员可知，上述实施方式能够实施多种变更或改良。实施了上述变更或改良的方式也能够包含在本发明的技术范围内，这一点根据权利要求的记载可知。
对于在权利要求、说明书及附图中示出的装置、系统、程序及方法中的动作、步骤、步骤及阶段等各处理的执行顺序来说，只要没有特别明示为“之前”、“在先”等以及在后处理使用在前处理的输出，应知能够以任意顺序实现。关于权利要求、说明书及附图中的动作流程，即使为了方便而使用“首先，”、“接下来，”等进行说明，也并不意味着必须按照该顺序实施。
附图标记说明
100显微镜系统、101、102图像处理装置、110、111显微镜、120输入装置、130受理部、140图像生成部、150显示装置、160图像对应部、310立体显微镜图像数据、321显示用显微镜图像、331、332、333显微镜图像、334显示用显微镜图像、322、342投影面、330三面图、340立体放大图像数据、341放大图像、343第1图像、344第2图像、370截面图像、371显示用截面图像、372显示用放大截面图像、380二值化图像、401第1显示用显微镜图像、402第2显示用显微镜图像、403第1放大图像、404第2放大图像、410图像数据、421、422、423直线、424面指定显示、420位置、427、428、429交点、430标识、440参照图像、441、442壁面、443框体、450域、460箭头、461轨迹线、480显示栏、510、530按键、520、521按键、540滑动条、541刻度、542旋钮、550神经细胞、551细胞体、552树状突起、553轴突、570光标、634显微镜图像、640位置参照图像。

Claims (29)

1.一种图像处理装置，其特征在于，包括：
受理部，其受理对显微镜的立体图像的至少一部分的指定；以及
图像生成部，其生成图像数据，该图像数据用于在显示装置上显示与所述指定的所述立体图像的一部分对应的第1放大图像、以及与所述指定的所述立体图像的一部分对应且所述立体图像的观察方向与第1放大图像不同的第2放大图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述第1放大图像和所述第2放大图像分别为与所述立体图像中的不同的观察方向对应的图像，
所述受理部还受理对所述立体图像的观察方向的变更指示，
所述图像生成部根据所述观察方向的变更指示，以使显示在所述显示装置的图像从所述第1放大图像变更为所述第2放大图像的方式将所述第1放大图像的图像数据和所述第2放大图像的图像数据输出至所述显示装置。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述图像生成部生成将所述指定的所述立体图像的一部分放大了的立体放大图像，
根据所述观察方向的变更指示，使所述立体放大图像相对于任意的投影面的倾角变化，生成从不同的观察方向将所述立体放大图像投影到所述投影面上得到的所述第1放大图像的图像数据和所述第2放大图像的图像数据。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述图像生成部以使所述第1放大图像和所述第2放大图像在不同的时刻显示在所述显示装置上的方式将所述第1放大图像的图像数据和所述第2放大图像的图像数据输出至所述显示装置。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述图像生成部生成用于在所述显示装置上显示比在第1放大图像中被放大的所述立体图像的区域更广的区域的第1显微镜图像、以及具有比在第2放大图像中被放大的所述立体图像的区域更广的区域的第2显微镜图像的图像数据。
6.根据权利要求3所述的图像处理装置，其特征在于，
所述图像生成部生成用于在所述显示装置上重叠显示所述第1放大图像和作为所述显微镜的所述立体图像的至少一部分的显微镜图像、且重叠显示所述第2放大图像和所述显微镜图像的图像数据。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述图像生成部生成用于在所述显示装置上显示作为所述显微镜的所述立体图像的至少一部分的显微镜图像的图像数据，
所述受理部受理对所述显微镜图像的至少一部分的指定。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述显微镜图像包含所述显微镜的所述立体图像中的相互不平行的至少两个面的显微镜图像，
所述受理部受理对所述至少两个面的显微镜图像各自的至少一部分的指定。
9.根据权利要求7所述的图像处理装置，其特征在于，
所述显微镜图像包含所述显微镜的所述立体图像中的相互平行的多个面的显微镜图像，
所述受理部受理从所述多个面的显微镜图像中对特定的显微镜图像的选择，并且受理对所述特定的显微镜图像的至少一部分的指定。
10.根据权利要求7所述的图像处理装置，其特征在于，
所述显微镜图像包含将所述显微镜的所述立体图像投影到任意面上得到的投影图像，
所述受理部受理对所述投影图像的至少一部分的指定。
11.根据权利要求1所述的图像处理装置，其特征在于，
所述图像生成部生成用于在所述显示装置上显示基于与所述立体图像相关的图像数据而生成的参照图像的图像数据，
所述受理部受理对所述参照图像的至少一部分的指定，
所述图像生成部生成用于在显示装置上显示与特定立体图像的一部分对应的所述第1放大图像、以及与所述特定立体图像的一部分对应且与所述第1放大图像不同的所述第2放大图像的图像数据，所述特定立体图像为与所指定的所述参照图像的至少一部分对应的所述立体图像。
12.根据权利要求1所述的图像处理装置，其特征在于，
所述图像生成部生成用于在所述显示装置显示表示与由所述受理部受理了指定的所述立体图像中的位置的位置参照图像。
13.根据权利要求1所述的图像处理装置，其特征在于，
所述受理部受理与显示放大图像的、轨迹观察的路径相关的信息的输入，
所述图像生成部以使与路径上的多个位置对应的所述第1放大图像和所述第2放大图像沿着所述路径在不同的时刻显示在所述显示装置上的方式将所述第1放大图像的图像数据和所述第2放大图像的图像数据输出至所述显示装置。
14.根据权利要求1所述的图像处理装置，其特征在于，
所述受理部受理与放大图像的像素值相关的阈值的输入，
所述图像生成部生成用于在基于所述阈值的不同显示条件下在所述显示装置上显示所述第1放大图像和所述第2放大图像的图像数据。
15.根据权利要求1所述的图像处理装置，其特征在于，
所述图像生成部生成用于在所述显示装置上显示利用与所述显微镜不同的显微镜法获取的第2立体图像中的、与受理了所述指定的所述立体图像的一部分对应的区域的放大图像的图像数据。
16.一种显微镜系统，其特征在于，包括：
权利要求1至15中任一项所述的图像处理装置；
显微镜，其将显微镜图像数据输出至所述图像处理装置；以及
显示装置，其显示基于从所述图像处理装置输出的图像数据的图像。
17.一种图像处理方法，其特征在于，包括以下的步骤：
受理对显微镜的立体图像的至少一部分的指定；以及
生成图像数据，该图像数据用于在显示装置上显示与所述指定的所述立体图像的一部分对应的第1放大图像、以及与所述指定的所述立体图像的一部分对应且所述立体图像的观察方向与第1放大图像不同的第2放大图像。
18.根据权利要求17所述的图像处理方法，其特征在于，
所述第1放大图像和所述第2放大图像分别为与所述立体图像中的不同的观察方向对应的图像，
所述受理的步骤还包括受理对所述立体图像的观察方向的变更指示的步骤，
所述生成图像数据的步骤包括如下的步骤：根据所述观察方向的变更指示，以使显示在所述显示装置的图像从所述第1放大图像变更为所述第2放大图像的方式将所述第1放大图像的图像数据和所述第2放大图像的图像数据输出至所述显示装置。
19.根据权利要求18所述的图像处理方法，其特征在于，
所述生成图像数据的步骤包括生成将所述指定的所述立体图像的一部分放大了的立体放大图像的步骤，
根据所述观察方向的变更指示，使所述立体放大图像相对于任意的投影面的倾角变化，生成从不同的观察方向将所述立体放大图像投影到所述投影面上得到的所述第1放大图像的图像数据和所述第2放大图像的图像数据。
20.根据权利要求17所述的图像处理方法，其特征在于，
所述生成的步骤包括以使第1放大图像和所述第2放大图像在不同的时刻显示在所述显示装置上的方式将所述第1放大图像的图像数据和所述第2放大图像数据的图像数据输出至所述显示装置的步骤。
21.根据权利要求20所述的图像处理方法，其特征在于，
所述生成的步骤包括如下的步骤：
生成用于在所述显示装置上显示具有比在第1放大图像中被放大的所述立体图像的区域更广的区域的第1显微镜图像、以及具有比在第2放大图像中被放大的所述立体图像的区域更广的区域的第2显微镜图像的图像数据。
22.根据权利要求17所述的图像处理方法，其特征在于，
所述生成的步骤包括生成用于在所述显示装置上重叠显示所述第1放大图像和作为所述显微镜的所述立体图像的至少一部分的显微镜图像、且重叠显示所述第2放大图像和所述显微镜图像的图像数据的步骤。
23.根据权利要求17所述的图像处理方法，其特征在于，
还包括生成用于在所述显示装置上显示作为所述显微镜的所述立体图像的至少一部分的显微镜图像的图像数据的步骤，
所述受理的步骤包括受理对所述显微镜图像的至少一部分的指定。
24.根据权利要求23所述的图像处理方法，其特征在于，
所述显微镜图像包含所述显微镜的所述立体图像中的相互不平行的至少两个面的显微镜图像，
所述受理的步骤包括受理对所述至少两个面的显微镜图像各自的至少一部分的指定的步骤。
25.根据权利要求23所述的图像处理方法，其特征在于，
所述显微镜图像包含所述显微镜的所述立体图像中的相互平行的多个面的显微镜图像，
所述受理的步骤包括如下的步骤：受理从所述多个面的显微镜图像中对特定的显微镜图像的选择，并且受理对所述特定的显微镜图像的至少一部分的指定。
26.根据权利要求23所述的图像处理方法，其特征在于，
所述显微镜图像包含所述显微镜的所述立体图像，
所述受理的步骤包括受理对所述立体图像的至少一部分的指定的步骤。
27.根据权利要求23所述的图像处理方法，其特征在于，
所述显微镜图像包含将所述显微镜的所述立体图像投影到任意面上得到的投影图像，
所述受理的步骤包括受理对所述投影图像的至少一部分的指定的步骤。
28.根据权利要求17至22中任一项所述的图像处理方法，其特征在于，
还包括生成用于在所述显示装置上显示基于与所述立体图像相关的图像数据而生成的参照图像的图像数据的步骤，
所述受理的步骤包括受理对所述参照图像的至少一部分的指定的步骤，
所述生成的步骤包括如下的步骤：生成用于在显示装置上显示与特定立体图像的一部分对应的所述第1放大图像、以及与所述特定立体图像的一部分对应且与所述第1放大图像不同的所述第2放大图像的图像数据，所述特定立体图像为与所指定的所述参照图像的至少一部分对应的所述立体图像。
29.一种记录介质，其特征在于，记录有使计算机执行以下处理的计算机程序：
受理对显微镜的立体图像的至少一部分的指定；以及
生成图像数据，该图像数据用于在显示装置上显示与所述指定的所述立体图像的一部分对应的第1放大图像、以及与所述指定的所述立体图像的一部分对应且所述立体图像的观察方向与第1放大图像不同的第2放大图像。
CN201680091041.3A 2016-11-24 2016-11-24 图像处理装置、显微镜系统、图像处理方法及计算机程序 Active CN109983767B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/084865 WO2018096638A1 (ja) 2016-11-24 2016-11-24 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
CN109983767A CN109983767A (zh) 2019-07-05
CN109983767B true CN109983767B (zh) 2021-12-07

Family

ID=62194961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680091041.3A Active CN109983767B (zh) 2016-11-24 2016-11-24 图像处理装置、显微镜系统、图像处理方法及计算机程序

Country Status (5)

Country Link
US (1) US11222400B2 (zh)
EP (1) EP3547675A4 (zh)
JP (1) JP6766882B2 (zh)
CN (1) CN109983767B (zh)
WO (1) WO2018096638A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11112952B2 (en) * 2018-03-26 2021-09-07 Microscopes International, Llc Interface for display of multi-layer images in digital microscopy
CN109459846B (zh) * 2018-12-25 2020-02-14 西安交通大学 一种用于捕获目标物运动全过程的显微成像装置及方法
JP7371345B2 (ja) * 2019-04-08 2023-10-31 株式会社ニコン 顕微鏡、及び、顕微鏡の測定方法
CN113393407B (zh) * 2020-03-12 2023-02-10 平湖莱顿光学仪器制造有限公司 一种获取试样的显微图像信息的方法与设备
JP2023096267A (ja) * 2021-12-27 2023-07-07 株式会社エビデント 顕微鏡システム、投影ユニット、及び、選別支援方法
CN116468598B (zh) * 2023-03-16 2023-11-17 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) 高分航空影像与低分卫星影像匹配方法、设备及存储设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW449662B (en) * 1999-02-04 2001-08-11 Olympus Optical Co Microscope image transmitting system, method of processing microscope images, and recording medium for use in processing microscope images
JP2006049155A (ja) * 2004-08-05 2006-02-16 Keyence Corp ３次元画像生成装置、３次元画像生成方法、３次元画像生成プログラムおよびコンピュータで読み取り可能な記録媒体又は記録した機器
JP2006075216A (ja) * 2004-09-07 2006-03-23 Toshiba Corp 医用画像処理システム、医用画像処理プログラムおよび医用画像処理方法
DE102004056685B4 (de) * 2004-11-24 2007-06-06 Leica Microsystems (Schweiz) Ag Durchlichtbasis für ein Mikroskop und Verfahren zur Regelung der Beleuchtungsintensität einer Durchlichtbasis
CN102760630B (zh) * 2006-02-17 2015-09-23 株式会社日立高新技术 扫描型电子显微镜装置以及使用它的摄影方法
JP5152077B2 (ja) 2009-04-01 2013-02-27 ソニー株式会社 生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システム
JP5589366B2 (ja) * 2009-11-27 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5577977B2 (ja) 2010-09-16 2014-08-27 株式会社島津製作所 表面分析装置
JP5221614B2 (ja) * 2010-09-17 2013-06-26 独立行政法人科学技術振興機構 ３次元共焦点観察用装置及び観察焦点面変位・補正ユニット
EP2450936B1 (en) * 2010-11-03 2013-03-13 Carl Zeiss NTS Ltd. Microscope system, method for operating a charged-particle microscope
JP5226887B2 (ja) * 2011-06-09 2013-07-03 株式会社東芝 画像処理システム及び方法
JP5909055B2 (ja) * 2011-06-13 2016-04-26 株式会社東芝 画像処理システム、装置、方法及びプログラム
JP5797485B2 (ja) * 2011-07-19 2015-10-21 株式会社東芝 画像処理装置、画像処理方法及び医用画像診断装置
JP2013058956A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP2013134574A (ja) * 2011-12-26 2013-07-08 Canon Inc 画像データ生成装置、画像データ表示システムおよび画像データ生成方法
JP2013171370A (ja) * 2012-02-20 2013-09-02 Sony Corp 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP5582584B2 (ja) * 2012-03-22 2014-09-03 日本ビジュアルサイエンス株式会社 表示用画像データファイル生成装置及び表示装置並びにプログラム
DE102012009257B4 (de) * 2012-05-02 2023-10-05 Leica Microsystems Cms Gmbh Verfahren zur Ausführung beim Betreiben eines Mikroskops und Mikroskop
WO2014013720A1 (ja) * 2012-07-19 2014-01-23 株式会社ニコン 構造化照明顕微鏡装置
JP2014109489A (ja) * 2012-11-30 2014-06-12 Keyence Corp 計測顕微鏡装置及びこれを用いた画像撮像方法
JP2015057682A (ja) * 2013-08-12 2015-03-26 キヤノン株式会社 画像生成装置および画像生成方法
JP2014130221A (ja) 2012-12-28 2014-07-10 Canon Inc 画像処理装置、その制御方法、画像処理システム、及びプログラム
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2014176435A2 (en) * 2013-04-25 2014-10-30 Bergo Vladislav B Microarray compositions and methods of their use
JP6261443B2 (ja) 2013-06-26 2018-01-17 キヤノン株式会社 分光情報を処理する情報処理装置及び情報処理方法
US10783697B2 (en) * 2016-02-26 2020-09-22 Yale University Systems, methods, and computer-readable media for ultra-high resolution 3D imaging of whole cells
US11416997B2 (en) * 2016-05-12 2022-08-16 Life Technologies Corporation Systems, methods, and apparatuses for image capture and display

Also Published As

Publication number Publication date
CN109983767A (zh) 2019-07-05
EP3547675A4 (en) 2020-04-22
JPWO2018096638A1 (ja) 2019-10-17
US11222400B2 (en) 2022-01-11
US20190295219A1 (en) 2019-09-26
EP3547675A1 (en) 2019-10-02
JP6766882B2 (ja) 2020-10-14
WO2018096638A1 (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
CN109983767B (zh) 图像处理装置、显微镜系统、图像处理方法及计算机程序
JP4667944B2 (ja) 画像作成装置
CN102662229B (zh) 具有触摸屏的显微镜
JP4739002B2 (ja) 画像処理方法、画像処理装置
JP6849430B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2001522098A (ja) 画像処理方法および装置
CN102908142B (zh) 磁共振成像中三维图形化片层定位方法及磁共振成像系统
JP2019114250A5 (ja) 画像処理装置、画像処理プログラム、画像処理方法および顕微鏡
US10261306B2 (en) Method to be carried out when operating a microscope and microscope
CN109983766B (zh) 图像处理装置、显微镜系统、图像处理方法、及程序
JP5670945B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP7375007B2 (ja) サンプル領域を画像化するための顕微鏡システムおよび相応する方法
JP2002101428A (ja) 画像立体視表示装置
CN108292578B (zh) 带电粒子射线装置、使用带电粒子射线装置的观察方法及程序
JP7239717B2 (ja) 試料画像表示システムおよび荷電粒子線装置
JP2011034279A (ja) 三次元温度分布表示装置、テクスチャ作成装置および三次元温度分布表示方法
JP6796524B2 (ja) 画像処理装置、観察装置、および画像処理方法
WO2019215861A1 (ja) 撮像装置
WO2017204211A1 (ja) 計測装置、計測方法及び計測プログラム
JP2008027439A (ja) 画像ズームとモンタージュを統合させる方法及びシステム
JP2016177229A (ja) ドーム画像操作装置およびプラネタリウム設備

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant