CN109983766B - 图像处理装置、显微镜系统、图像处理方法、及程序 - Google Patents

图像处理装置、显微镜系统、图像处理方法、及程序 Download PDF

Info

Publication number
CN109983766B
CN109983766B CN201680091040.9A CN201680091040A CN109983766B CN 109983766 B CN109983766 B CN 109983766B CN 201680091040 A CN201680091040 A CN 201680091040A CN 109983766 B CN109983766 B CN 109983766B
Authority
CN
China
Prior art keywords
image
microscope
enlarged
microscope image
magnified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680091040.9A
Other languages
English (en)
Other versions
CN109983766A (zh
Inventor
冈部敏也
佐濑一郎
小松亮介
佐佐木丰
M·斯沃博达
M·萨杰德尔
J·桑斯凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to CN202111502788.2A priority Critical patent/CN114219779A/zh
Publication of CN109983766A publication Critical patent/CN109983766A/zh
Application granted granted Critical
Publication of CN109983766B publication Critical patent/CN109983766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Microscoopes, Condenser (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种图像处理装置，包括：接受部，其接受立体显微镜图像数据的至少一部分的指定；和图像生成部，其基于指定，生成立体放大图像数据。在上述图像处理装置中，图像生成部可以依次输出基于立体放大图像数据的至少一部分数据得到的第1放大图像、和基于至少一部分数据与第1放大图像不同的、立体放大图像数据的至少一部分数据得到的第2放大图像。

Description

图像处理装置、显微镜系统、图像处理方法、及程序
技术领域
本发明涉及图像处理装置、显微镜系统、图像处理方法、及程序。
背景技术
有将CT图像的一部分放大显示的技术(例如，参照专利文献1)。
专利文献1日本特开2015-208539号公报
然而，难以对多个显微镜图像进行比较观察。
发明内容
本发明的第1方式中，提供一种图像处理装置，包括：接受部，其接受第1显微镜图像的至少一部分的位置信息的指定；和图像生成部，其基于位置信息，输出将第1显微镜图像的一部分区域放大的第1放大图像、和第2显微镜图像中与第1放大图像相关联的第2放大图像。
本发明的第2方式中，提供一种图像处理方法，包括：接受第1显微镜图像的至少一部分的位置信息的指定；和基于位置信息，输出将第1显微镜图像的一部分区域放大的第1放大图像、和第2显微镜图像中与第1放大图像相关联的第2放大图像。
本发明的第3方式中，提供一种计算机程序，使计算机执行：接受第1显微镜图像的至少一部分的位置信息的指定；和基于位置信息，输出将第1显微镜图像的一部分区域放大的第1放大图像、和第2显微镜图像中与第1放大图像相关联的第2放大图像。
上述发明概要并非列举了本发明的全部特征。这些特征群的子组合也可成为发明。
附图说明
图1是显微镜系统100的框图。
图2示出了显示装置170上显示的图像。
图3示出了显示装置170上显示的图像。
图4是示出了图像处理装置101中的处理的概念的图。
图5是示出了图像处理装置101中的处理的概念的图。
图6是示出了图像处理装置101中的处理的概念的图。
图7是示出了图像处理装置101中的处理的概念的图。
图8示出了显示装置170上显示的图像。
图9示出了显示装置170上显示的图像。
图10是示出了图像处理装置101中的处理的概念的图。
图11是示出了图像处理装置101中的处理的概念的图。
图12示出了显示装置170上显示的图像。
图13是示出了图像处理装置101中的处理顺序的流程图。
图14是说明图13的步骤S102的其他例的图。
图15是说明图13的步骤S102的又一其他例的图。
图16是显微镜系统105的框图。
图17是说明显微镜图像的其他组合的图。
图18是说明显微镜图像的又一其他组合的图。
图19示出了第1放大图像411和第2放大图像412显示在显示装置170上的状态。
图20是说明使用延时图像的其他例的图。
图21是具备其他图像处理装置102的显微镜系统100的框图。
图22是说明指定第1放大图像411中被放大的区域作为显示条件的情况的图。
图23是说明接着图22的处理的图。
图24是示出了图像处理装置102中的处理的执行顺序的流程图。
图25是说明接受第1显微镜图像401及第2显微镜图像402上的扫描的处理的图。
图26是说明接受第1显微镜图像401及第2显微镜图像402上的扫描的处理的图。
图27是其他图像处理装置103的框图。
图28是说明图像处理装置103的处理的图。
图29示出了显示着重合图像414的状态。
图30是示出了图像处理装置103的动作顺序的流程图。
图31是说明图像处理装置101的又一其他动作的图。
具体实施方式
以下，通过发明的实施方式对本发明进行说明。下述实施方式并非用于限定权利要求的技术方案。此外，实施方式中说明的特征的组合不一定全部是发明的解决手段所必需的。
图1是包括图像处理装置101的显微镜系统100的框图。显微镜系统100具备显微镜700、输入装置130、图像处理装置101、及显示装置170。
在要将来自用户的指示输入到图像处理装置101的情况下，输入装置130被操作。作为输入装置130，能够使用鼠标等定点设备、键盘、触控面板等现有的通用输入装置。输入装置130用于对图像处理装置101进行输入，但也可以兼用作为了操作第1显微镜110及第2显微镜120而设置的装置。
显示装置170为液晶显示面板等，将图像处理装置101输出的显示图像以用户能够视觉识别的状态显示。显示装置170也可以兼用作以显示图像的目的而为第1显微镜110、第2显微镜120等设置的装置。
图像处理装置101具有图像对应部140、接受部150、及图像生成部160。图像处理装置101由通用信息处理装置构成，该通用信息处理装置由执行后文所述的图像处理的程序控制。图像处理装置101对从显微镜700获取的显微镜图像数据进行处理，生成显示装置170上显示的图像。
显微镜700具有以彼此不同的显微镜法拍摄样品的第1显微镜710和第2显微镜720。第1显微镜710和第2显微镜720共用两个显微镜中的光学系统的至少一部分(即，两个显微镜中的光轴的至少一部分同轴)。另外，关于第1显微镜710和第2显微镜720，两个显微镜中的光学系统也可以是独立的光学系统。
第1显微镜710采用SIM(Structured Illumination Microscopy：结构化照明显微镜技术)拍摄样品。SIM使用具有周期性照度图案的结构化照明对样品照明，基于样品像所产生的干涉条纹生成示出比照明光波长小的样品的精细结构的超分辨率显微镜图像。该超分辨率显微镜图像是通过演算处理来对分别使结构化照明的照度图案的方向和位置变化并对样品进行照明所得到的多个图像进行重构而生成的。另外，为便于说明，以下，将重构这一用语仅表述为生成和/或拍摄。
另一方面，第2显微镜720采用STORM(STochastic Optical ReconstructionMicroscopy：随机光学重建显微技术)拍摄样品。STORM能够通过将从多个荧光图像高精度地检测出的荧光色素的位置信息整合，从而以比照明光波长高的分辨率重构荧光图像(超分辨率显微镜图像)。另外，为便于说明，以下，将重构这一用语仅表述为生成和/或拍摄。
显微镜700用第1显微镜710拍摄包括样品的至少一部分的观察区域，生成第1显微镜图像数据401。并且，显微镜700用第2显微镜720拍摄与由第1显微镜710拍摄的观察区域对应的、包括样品的至少一部分的观察区域，生成第2显微镜图像数据402。在本实施方式中，与第1显微镜710的观察区域对应的第2显微镜720的观察区域，具体而言是第2显微镜720的、包括第1显微镜710的拍摄视野(即，被拍摄的区域)所包含的样品的至少一部分区域的拍摄视野。因而，由第2显微镜720拍摄到的图像中的样品的像包括由第1显微镜710拍摄到的图像中的样品的像的至少一部分。
第1显微镜图像数据401及第2显微镜图像数据402被从显微镜700发送到图像处理装置101。此处，第1显微镜图像数据401及第2显微镜图像数据402以JPEG、BMP等通用格式生成。另外，也可以代替这些格式而以图像处理装置101能够进行图像处理的专用格式生成。此外，至显示在显示装置170上之前，由第1显微镜710拍摄的图像被作为数据处理(例如，在图像处理装置101被作为图像数据处理)，因此，下文中称之为第1显微镜图像数据401，但由于该数据所表示的信息为图像，所以为便于说明，使用相同的附图标记称之为第1显微镜图像401。第2显微镜图像数据402也同样，为便于说明，使用相同的附图标记称之为第2显微镜图像402。
图2是表示显示装置170的显示画面的图。图2中示出了被获取至图像处理装置101的时间点的第1显微镜图像401及第2显微镜图像402。另外，在图2及其之后的图中，适当地标注了X轴及Y轴，但它们是为了说明方向的标记，并不代表实际空间中的特定方向。
显示在图中左侧的第1显微镜图像401包含样品像501。显示在图中右侧的第2显微镜图像402包含与第1显微镜710相同的样品的样品像502。
第1显微镜图像401及第2显微镜图像402基于彼此不同的显微镜法生成，因此，两个显微镜图像中的2个样品像501、502的像的倍率大小(有时也称为像的大小)、方向、位置不同。即，在图2的例子中，相对于第1显微镜图像401中的样品像501，第2显微镜图像402中的样品像502在显示装置170的画面上的尺寸小。
此外，相对于第1显微镜图像401中的样品像501的长度方向与X轴大致平行，第2显微镜图像402中的样品像502从X轴向Y轴倾斜45°左右(即，向右上方倾斜)。而且，相对于样品像501位于第1显微镜图像401的中央附近，样品像502位于第2显微镜图像402的左端附近。
像这样，在第1显微镜图像401和第2显微镜图像402中，在各图像内的样品像501、502的大小、倾斜度、位置均不同。因此，即使将第1显微镜图像401及第2显微镜图像402排列显示在显示装置170上，用户也难以对两个图像进行对比观察。
图3至图8是说明图像对应部140的处理的图。图像对应部140例如如下文所述，进行将第1显微镜图像401与第2显微镜图像402建立对应的处理。该建立对应的处理能够换种表述为，将构成第1显微镜图像401的像素的二维坐标位置即像素位置与构成第2显微镜图像402的像素的二维坐标位置即像素位置建立对应的处理。该建立对应的处理还能够换种表述为，对第1显微镜图像401及第2显微镜图像402的至少一部分像素，建立当确定了第1显微镜图像401的某个位置的像素时，第2显微镜图像402的某个位置的像素被唯一确定这样的对应关系的处理。例如，该处理包括在第2显微镜图像402中确定显微镜图像上的位置与第1显微镜图像401中的像素位置相同的像素的处理。该像素位置是第1显微镜图像401及第2显微镜图像402内的位置，因此，也能够称为图像位置。而且，该建立对应的处理还能够换种表述为，将第1显微镜图像数据401与第2显微镜图像数据402建立对应的处理。
图3示出了在图2的状态后，显示在显示装置170上的图像。接受部150经由输入装置130从用户接受对第1显微镜图像401内的位置的指定。图像对应部140在被指定的位置显示标记511。在图3的例子中，指定了样品像501内的位置。
接受部150还从用户接受对第2显微镜图像402内被认为与在第1显微镜图像401内所指定的位置对应的位置的指定。该情况下，用户在第2显微镜图像402中指定被认为与第1显微镜图像401中所指定的样品的部位相同的部位的位置。图像对应部140在被指定的位置显示标记512。在图3的例子中，指定了样品像502内的位置。
同样地，从用户接受与第1显微镜图像401内的标记511不同的位置的指定，和在第2显微镜图像402内被认为与第1显微镜图像401内指定的位置(即，与标记511不同的位置)对应的位置(换言之，与标记512不同的位置)的指定的输入。基于对输入装置130的输入，接受部150确定出第1显微镜图像401内的该位置并显示标记521，并且确定出第2显微镜图像402内的该位置并显示标记522。在指定第1显微镜图像401内及第2显微镜图像402内的位置的情况下，例如用户使用鼠标点击第1显微镜图像401内及第2显微镜图像402内的位置，由此指定确定出该位置的位置信息，接受部150获取该位置信息。
图4至图7是说明图3中说明的位置指定后，图像对应部140执行的处理的概念的图。在图4至图8中，第1显微镜图像401及第2显微镜图像402作为“图像”示出，但这是为了说明在图像处理装置101的内部处理的图像数据而进行的图示，而并非会生成这样的“图像”或在显示装置170上显示这样的“图像”。此外，图像处理装置101将第1显微镜图像401作为数据进行处理，因此下文中也称为第1显微镜图像数据，但因为该数据所表示的信息为图像，因此，有时使用相同的附图标记并作为图像进行图示。对于第2显微镜图像402也相同。
图4是说明使第1显微镜图像401中的样品像501和第2显微镜图像402中的样品像502的方向一致的图像数据的处理的图。首先，图像对应部140在第1显微镜图像401生成连结标记511、521的虚拟直线601的数据。同样地，图像对应部140在第2显微镜图像402生成连结标记512、522的虚拟直线602的数据。
图5是说明利用图像对应部140进行的图4之后的处理的图。为了使第1显微镜图像401的直线601与第2显微镜图像402的直线602的倾斜度一致，图像对应部140对第2显微镜图像数据402进行处理，以使得如图5中箭头611所示那样将第2显微镜图像402整体从图5的虚线框所示的图4的状态沿图5中的顺时针方向旋转至图5所示的方向。
而且，图像对应部140算出第1显微镜图像401的标记511、521之间的距离D1。接着，图像对应部140算出第2显微镜图像402的标记512、522之间的距离D2。
图6是说明利用图像对应部140进行的图5之后的处理的图。距离D2、D1的大小关系为D2＜D1，因此，当样品像502(即，第2显微镜图像402)被放大D1/D2倍时，如图6所示，与样品像501(即，第1显微镜图像401)大小(倍率)一致。因而，图像对应部140对第2显微镜图像数据402进行处理，以使得第2显微镜图像402放大D1/D2倍。
图7是说明利用图像对应部140进行的处理的下一阶段的图。图像对应部140对第2显微镜图像数据402进行处理，以使得第2显微镜图像402的标记512的位置与第1显微镜图像401的标记511的位置一致。此处，使标记512的位置与标记511的位置一致是将第2显微镜图像402的XY坐标系中的标记512的位置(坐标)调整为与第1显微镜图像401的XY坐标系中的标记511的位置(坐标)处于相同位置(坐标)。
图8示出了将利用图像对应部140使样品像(即，第1显微镜图像401和第2显微镜图像402)的大小、倾斜度及位置一致了的第1显微镜图像401及第2显微镜图像排列显示在显示装置170的画面中的状态。在图8所示的例子中，图像生成部160仅在显示装置170上显示被图像处理成如图7所示那样使第1显微镜图像401中的样品像501与第2显微镜图像402中的样品像502的倍率大小、倾斜度、位置一致的第2显微镜图像402中的、与第1显微镜图像401大小相同的部分。第1显微镜图像401中的样品像501与第2显微镜图像402中的样品像502的倍率大小、倾斜度、位置一致。因而，用户能够容易地对第1显微镜图像401和第2显微镜图像402进行比较观察。
另外，在上述例子中，图像对应部140以将第2显微镜图像402旋转、缩小并使其移动的方式对第2显微镜图像数据402进行处理，从而使第2显微镜图像402的样品像502的大小、方向及位置与第1显微镜图像401的样品像501的大小、方向及位置一致。也可以代替该方法，图像对应部140以将第1显微镜图像401旋转、放大、并使其移动的方式对第1显微镜图像数据401进行处理，而使第1显微镜图像401的样品像501的大小、方向及位置与第2显微镜图像402的样品像502的大小、方向及位置一致。
图9中关于图像生成部160的处理示出了显示在显示装置170上的图像。在图9中，如上述图8所示那样以第1显微镜图像401和第2显微镜图像402的样品像的大小、方向及位置一致的状态进行了显示，接受部150利用输入装置130接受第1显微镜图像401中的至少一部分的位置信息的指定。
该情况下，图像生成部160通过利用输入装置130进行的来自用户的输入，例如鼠标的移动，如图9所示在第1显微镜图像401上显示光标530。而且，接受部150接受通过来自用户对鼠标按键的按下操作而指定的点的位置作为位置信息(例如点的坐标)。另外，在图9中，用户在光标530所显示的位置按下鼠标按键，指定点。利用X字型的标记531在显示装置170的画面上显示所接受的点的位置。另外，也可以代替按下鼠标按键，接受部150通过按下返回键、在显示装置170为触控面板的情况下触碰该显示装置170等操作，接受点的指定。
图10是说明图像生成部160的处理的图。图像生成部160从接受部150获取由接受部150接受的第1显微镜图像401中的点的位置信息(例如，点的坐标)。然后，图像生成部160确定与该点的位置对应的第1放大区域631。更具体而言，图像生成部160基于获取的第1显微镜图像401中的点的位置信息，将包括由接受部150接受的点在内的预先设定的区域确定为要放大的区域，即第1放大区域631。在图示的例子中，第1放大区域631是以标记531的位置为中心的、由预先设定的半径621的圆围成的区域。
另外，接受部150也可以代替接受利用输入装置130将第1显微镜图像401中的点的位置作为位置信息的指定，而接受将第1显微镜图像401中的区域的位置作为位置信息的指定。该情况下，可以是，例如在第1显微镜图像401中用户在某位置拖动并移动鼠标而显示以移动量为对角线的矩形，然后解除拖动，由此由接受部150接受该矩形。并且，图像生成部160从接受部150获取与被指定的矩形的位置相关的信息(例如，矩形的4个顶点的坐标)，基于该信息，确定包括被指定的矩形在内的预先设定的区域(例如，以被指定的矩形的对角线为直径的区域)作为第1放大区域631。此外，接受部150也可以接受利用作为输入装置130的键盘等直接输入的第1显微镜图像401(第1显微镜图像数据401)的坐标来作为位置信息。该情况下，既可以以指定第1显微镜图像401上的点的方式接受一个点的坐标，也可以以指定第1显微镜图像401上的区域的方式接受多个点的坐标(例如，如果是矩形区域则为4个顶点的坐标)。图像生成部160获取所接受的坐标，确定出包括与该坐标对应的点或区域在内的第1放大区域631。而且，接受部150也可以接受将第1放大区域631自身的位置作为位置信息的指定。该情况下，可以是，在第1显微镜图像401，在某位置拖动并移动鼠标而显示以移动量为直径或半径的圆，然后解除拖动，由此接受该圆作为第1放大区域631。并且，图像生成部160获取与被指定的圆(第1放大区域631)的位置相关的信息(例如，圆的中心坐标和半径)，将所指定的圆确定为第1放大区域631。在上述任一情况下，区域的指定均不限定于矩形或圆，也可以以其他形状进行指定。
而且，如图10所示，图像生成部160生成将第1显微镜图像401中的第1放大区域631放大的第1放大图像411。第1放大图像411的放大倍率既可以是图像处理装置101中预先设定的倍率，也可以在指定了位置信息后由图像处理装置101询问用户。可以说，与第1显微镜图像401的第1放大区域631显示在显示装置170上时的大小相比，第1放大图像411是较大地显示的图像。另外，在生成第1放大图像411时形成图像的像素的一部分未存在于第1显微镜图像401而图像产生了缺损的情况下，图像生成部160可以生成补全用的像素以填补缺损的像素。另外，第1放大区域631是第1显微镜图像401的至少一部分区域，因此，第1放大图像411可以说是将第1显微镜图像401的至少一部分区域放大的图像。
图11是说明图10之后的处理的图。图像生成部160确定出与由接受部150接受了指定的第1显微镜图像401中的点对应的、第2显微镜图像402中的点。具体而言，图像生成部160确定出与接受了指定的第1显微镜图像401中的点的位置相同的、第2显微镜图像402中的位置的点。换言之，图像生成部160在第2显微镜图像402中确定出显微镜图像上的位置与接受了指定的第1显微镜图像401中的点的位置相同的点。再换言之，图像生成部160确定与接受了指定的第1显微镜图像401中的点对应的像素的位置相同的、第2显微镜图像402中的像素。
接下来，图像生成部160以在第2显微镜图像402中确定出的点为中心确定圆形的区域，从而确定出第2放大区域632。第2放大区域632具有与第1放大区域631相同的半径622。而且，对于第2显微镜图像数据402，图像生成部160以与放大第1放大区域631的倍率相同的倍率放大第2放大区域632的图像，生成第2放大图像412。另外，由图像生成部160确定出的第2放大区域632也可以不将第2显微镜图像402中的点(由图像生成部160确定出的点)设在中心，在不对第2放大图像412的观察造成影响的范围内，也可以使设定第2放大区域632的位置与第2显微镜图像402中的点(由图像生成部160确定出的点)的中心隔开距离。
另外，第2放大图像412是将包括与想要在第1显微镜图像401放大而指定的点对应的、第2显微镜图像402的点在内的区域放大的图像，在这一点上可以说与第1放大图像411关联。但是，图像生成部160与第1放大图像411关联地生成的第2放大图像412不限定于各个点的位置对应，只要具有某种关联性即可。此外，第2放大区域632是第2显微镜图像402的至少一部分区域，因此，第2放大图像412可以说是将第2显微镜图像402的至少一部分区域放大的图像。
图12是第1放大图像411及第2放大图像412显示在显示装置170上的一例。图像生成部160将第1放大图像411与第1显微镜图像401重叠地显示于显示装置170上。第1放大图像411的中心与第1显微镜图像401中由接受部150接受了指定的点的位置一致。因而，第1放大图像411宛如用放大镜放大观察那样显示第1显微镜图像401的接受了指定的点的周围，因此，用户能够在俯瞰第1显微镜图像401整体的同时，观察将用户自身关注的区域(即，包括在第1显微镜图像401内指定的位置在内的区域)放大了的图像，因此，能够实施显微镜图像的直观的观察作业。
此外，图像生成部160将第2放大图像412与第2显微镜图像402重叠地显示。第2放大图像412的中心与在第2显微镜图像402中由图像生成部160确定出的点的位置一致。因而，第2放大图像412宛如用放大镜放大观察那样显示第2显微镜图像402中所确定出的点的周围，因此，用户能够在俯瞰第2显微镜图像402整体的同时，实施显微镜图像的直观的观察作业。
而且，预先使第1显微镜图像401(样品像)及第2显微镜图像402(样品像)的大小(倍率)、方向及位置一致地显示第1显微镜图像401(样品像)及第2显微镜图像402(样品像)。此外，相对于所显示的第1显微镜图像401及第2显微镜图像402，第1放大图像411及第2放大图像412分别以相同的倍率放大。由此，即使第1显微镜图像401(样品像)与第2显微镜图像402(样品像)的倍率和/或方向不同地被拍摄，也能够容易地实施第1显微镜图像401与第2显微镜图像402的图像整体的比较观察。进一步，能够在第1显微镜图像401和第2显微镜图像402容易地实施用户关注的区域的比较观察。
此外，如果用户在第1显微镜图像401中指定了想要放大的点的位置，那么不仅包括该位置在内的区域的第1放大图像411显示在显示装置170上，包括与其对应的点在内的区域的第2放大图像412也显示在显示装置170上。因而，能够省去分别在第1显微镜图像401和第2显微镜图像402指定想要放大的点的位置的麻烦，能够容易地对比观察第1放大图像411和第2放大图像412。
另外，在第1放大图像411的一部分超出第1显微镜图像401而与第2显微镜图像402重叠的情况下，图像生成部160可以隐藏与第1放大图像411重叠的第2显微镜图像402的一部分而显示第1放大图像411。此外，在第2放大图像412的一部分超出第2显微镜图像402而与第1显微镜图像401重叠的情况下，图像生成部160可以隐藏与第2放大图像412重叠的第1显微镜图像401的一部分而显示第2放大图像412。
此外，在第1放大区域631及第2放大区域632的一部分超出第1显微镜图像401及第2显微镜图像402的情况下，图像生成部160可以在第1放大图像411及第2放大图像412对与超出的放大区域对应的区域填充素色的图像。
图13是表示图像处理装置101中的处理顺序的流程图。图像处理装置101首先从显微镜700获取第1显微镜图像401(第1显微镜图像数据)及第2显微镜图像402(第2显微镜图像数据)(S101)。
接下来，图像对应部140使用图3至图7所示的方法，对第1显微镜图像401及第2显微镜图像402执行第1显微镜图像401与第2显微镜图像402的对应建立(S102)。图像对应部140基于该对应的建立，使第1显微镜图像401及第2显微镜图像402的样品像的大小、方向及位置一致，并如图8所示那样显示在显示装置170上(S103)。
接下来，图像处理装置101利用接受部150监视来自输入装置130的输入，等待第1显微镜图像401中的位置信息的输入(S104：否)。当经由输入装置130输入了来自用户的位置信息时(S104：是)，图像生成部160确定第1显微镜图像401的第1放大区域631(S105)。图像生成部160生成将第1显微镜图像401中的第1放大区域631放大的第1放大图像411(S109)。
接下来，图像生成部160确定第2显微镜图像402的第2放大区域632(S106)。此处，第1显微镜图像401和第2显微镜图像402的样品像的大小、方向及位置一致，因此，如使用图11所说明的那样，与在步骤S104中输入的第1显微镜图像401中的点的位置相同的、第2显微镜图像402中的点的位置被确定为第2放大区域632的中心的位置。接着，图像生成部160生成将第2显微镜图像402中的第2放大区域632放大的第2放大图像412(S107)。然后，如使用图12所说明的那样，图像生成部160使第1显微镜图像401及第2显微镜图像402和第1放大图像411及第2放大图像412排列显示在显示装置170上(S108)。
另外，也可以在图像处理装置101设置能够从显微镜系统100的外部获取显微镜图像的通信部。通信部可以通过互联网、专用线路等，从外部的数据库等获取第1显微镜图像401或第2显微镜图像402，在图像处理装置101中使用。
在图13的步骤S102中，能够代替从用户接受使第1显微镜图像401与第2显微镜图像402建立对应所使用的位置的指定，而由图像对应部140自动抽取包含在第1显微镜图像401及第2显微镜图像402中的、多个标记的像并使用该位置。该情况下，在拍摄第1显微镜图像401和第2显微镜图像402之前，将标记导入样品或样品的周围。导入的标记能够使用金微粒和/或荧光标识等现有标记。
在该情况下，图像对应部140采用与图3至图7中说明的方法同样的方法，计算出使第1显微镜图像401中的多个标记的像的位置(在第1显微镜图像401内的位置坐标)和第2显微镜图像402中的多个标记的像的位置(在第2显微镜图像402内的位置坐标)一致那样的、第2显微镜图像402的旋转量、大小之比及移动量。由此，无需用户在步骤S102中指定用于将第1显微镜图像401和第2显微镜图像402建立对应的位置，图像对应部140就能够自动地将第1显微镜图像401与第2显微镜图像402建立对应，因此，能够减少第1显微镜图像401和第2显微镜图像402的比较观察所耗的工夫。此外，导入到样品和/或样品周围的标记的位置在拍摄第1显微镜图像401和第2显微镜图像402时不会变化，因此，通过使用标记的像进行对应，能够进行正确的对应。另外，用户也可以指定第1显微镜图像401中的多个标记和第2显微镜图像402中的多个标记。
另外，在步骤S102中，图像对应部140也可以利用第1显微镜图像401和第2显微镜图像402中均表现出的形态上的特征，来将显微镜图像彼此建立对应。例如，可以将细胞表面的突起结构、细胞内的线粒体的形状、盖片玻璃的痕迹等用作标记。另外，既可以由图像对应部140自动抽取这些标记的像来执行显微镜图像彼此的对应，也可以由图像对应部140接受用户对这些标记的像的位置的指定，来执行显微镜图像彼此的对应。
图14是说明图13的步骤S102的其他例的图。在图14中，第1显微镜图像401是通过SIM得到的图像，第2显微镜图像402是由电子显微镜得到的图像。此处，在SIM的显微镜图像和电子显微镜的显微镜图像中，均原样表示了样品像451、452。因而，在图13的步骤S102中，图像对应部140将通过SIM得到的第1显微镜图像401和利用电子显微镜得到的第2显微镜图像402进行图案匹配，从而将第1显微镜图像401和第2显微镜图像402建立对应。
在该例子中，在图13的步骤S102中，代替从用户接受两个显微镜图像中的多个位置的指定，图像对应部140进行第1显微镜图像401与第2显微镜图像402的图案匹配。在该情况下，图像对应部140计算出使该显微镜图像彼此的相似度最高的、第2显微镜图像402相对于第1显微镜图像401的旋转量、倍率、位置位移量。并且，图像对应部140如图8那样，基于计算出的这些值对第2显微镜图像402(第2显微镜图像数据)进行图像处理，将第1显微镜图像401与第2显微镜图像402建立对应。因而，能够通过图案匹配容易地将显微镜图像彼此建立对应，减轻显微镜图像彼此的比较观察所耗的工夫。此处，图案匹配使用例如归一化相关法、几何学形状图案匹配法那样的已知方法。此外，图案匹配也能够称作模板匹配(template matching)。
另外，图像对应部140也可以不使用各个显微镜图像中的图像整体进行图案匹配。例如，既可以是，接受部150从用户接受将第1显微镜图像401的一部分区域作为执行图案匹配的区域的指定，图像对应部140对指定的第1显微镜图像401中的区域与第2显微镜图像402进行图案匹配，也可以是，由接受部150从用户接受第2显微镜图像402的一部分的区域的指定，图像对应部140对指定的第1显微镜图像401中的区域与指定的第2显微镜图像402中的区域进行图案匹配。在显微镜图像中，通过缩小图案匹配使用的图像的区域，能够降低成为图案匹配的相似度下降的原因的异物(垃圾等)和/或纹理(斑点等)包含于图案匹配使用的一个图像(图案匹配所使用的区域)中的可能性，因此，能够提高显微镜图像彼此的对应的精度，能够正确地比较观察显微镜图像彼此。
图15是说明图14的图案匹配的变形例的图。在该例子中，代替图14中说明的第1显微镜图像401与第2显微镜图像402的图案匹配，图像对应部140进行第1放大图像461与第2显微镜图像402的图案匹配。
在该情况下，图像对应部140在图13的步骤S102中，经由输入装置130从用户接受为了进行图案匹配而放大的位置的输入。在该步骤S102中，图像对应部140如图15所示那样使用该位置处的第1放大图像461所包含的图案进行图案匹配。图案匹配的方法与图14中说明的方法相同。
通过基于第1放大图像461所包含的图案将第1显微镜图像401及第2显微镜图像402建立对应，因为第1放大图像461的区域比第1显微镜图像401狭小，所以如上所述，第1放大图像461中含有垃圾等的可能性降低，因此能够降低图案匹配的误检的可能性。另外，在上述例子中，对第2显微镜图像402检索了第1放大图像461所包含的图案。但是，也可以接受想要在第2显微镜图像402放大的位置的指定，而对第1显微镜图像401进行放大图像(其是将包括该位置在内的区域放大的图像)所包含的图案的图案匹配。
此外，作为图13的步骤S102的其他方法，图像对应部140也可以获取拍摄第1显微镜图像401时的显微镜700的设定条件和拍摄第2显微镜图像402时的显微镜700的设定条件，基于它们将第1显微镜图像401及第2显微镜图像402建立对应。此处，设定条件包括显微镜的成像倍率和/或载物台坐标等。图像对应部140既可以使用成像倍率和载物台坐标这两者进行显微镜图像彼此的对应，也可以使用任一者来进行对应。
成像倍率是在使用各个显微镜拍摄载物台上的样品时，样品的像在显微镜的拍摄装置(CCD和/或CMOS等)的拍摄面上成像的倍率。图像对应部140能够根据拍摄第1显微镜图像401时的成像倍率和拍摄第2显微镜图像402时的成像倍率，将第1显微镜图像401中的样品像501的倍率与第2显微镜图像402中的样品像502的倍率建立对应。由此，例如能够使显示到显示装置170时的第1显微镜图像401中的样品像501的大小和第2显微镜图像402中的样品像502的大小一致。因而，易于比较观察两者。
此外，载物台坐标是使用各个显微镜拍摄样品时获取的、载有样品的载物台的坐标。图像对应部140能够根据拍摄第1显微镜图像401时的载物台坐标和拍摄第2显微镜图像402时的载物台坐标，将第1显微镜图像401中的样品像501的位置与第2显微镜图像402中的样品像502的位置建立对应。由此，例如能够使显示到显示装置170时的第1显微镜图像401中的样品像501的位置和第2显微镜图像402中的样品像502的位置一致。因而，易于比较观察两者。
另外，在图13的步骤S103中，基于第1显微镜图像401和第2显微镜图像402的对应，使像的大小、方向及位置一致地进行显示，但也可以省略在第1显微镜图像401和第2显微镜图像402使像的大小、方向及位置一致地进行显示的步骤。在该情况下，在步骤S102使用图3至图7中说明的将显微镜图像彼此建立对应的方法、使用图14及图15中说明的将显微镜图像彼此建立对应的方法、及使用上述显微镜图像的拍摄时的显微镜的设定条件进行对应建立的方法的任一情况下，图像生成部160均基于在将第1显微镜图像401和第2显微镜图像402建立对应时确定出的各个像的大小、方向及位置，而在步骤S106中与步骤S105中的第1放大区域的确定相应地确定出第2放大区域。
图16是使用其他显微镜图像的显微镜系统105的框图，图17是说明显微镜系统105中使用的显微镜图像的图。在该例子中，使用了在彼此不同的焦点面拍摄样品所得到的显微镜图像。另外，显微镜系统105的显微镜700单一这一点，与显微镜系统100不同。在显微镜系统105中，对与显微镜系统100相同的构成标注相同的附图标记，省略说明。
在STED、共聚焦激光扫描型显微镜(CLSM)等显微镜法中，以样品的不同高度作为焦点面，在各个焦点面进行拍摄，由此，能够生成在高度方向上连续(换言之，具有三维位置信息)的显微镜图像群。在本实施例中，在图13的步骤S101中，图像对应部140从单一的显微镜700获取在多个焦点面拍摄的显微镜图像群。
在该情况下，图像对应部140通过合成显微镜图像群的显微镜图像(亮度分布)，生成具有三维亮度分布信息的立体显微镜图像数据(立体显微镜图像)。接受部150从立体显微镜图像数据(立体显微镜图像)接受以相互平行的平面切出的2个平面显微镜图像数据(平面显微镜图像)的指定，作为第1显微镜图像401和第2显微镜图像402。该情况下，例如接受部150接受在显示在显示装置170上的基于立体显微镜图像数据的绘制图像中，由用户使用鼠标进行的第1显微镜图像401和第2显微镜图像402的指定。
图像对应部140还在图13的步骤S102中，将第1显微镜图像401与第2显微镜图像402建立对应。在该情况下，图像对应部140可以使用图3至图7中说明的显微镜图像彼此的对应建立方法、图14及图15中说明的显微镜彼此的对应建立方法、及使用显微镜图像拍摄时的显微镜的设定信息进行对应的方法的某个。由此，例如在因拍摄不同焦点面时产生的时间差而样品移动这样的情况下，也能够恰当地建立对应。因而，即使是以不同的平面切出的平面显微镜图像彼此，两个显微镜图像的样品的像的大小、方向及位置也一致，因此，能够容易地对它们进行比较观察。
进而进行图13的步骤S103之后的动作。具体而言，图像对应部140在显示装置170上显示第1显微镜图像401及第2显微镜图像402(图13的S103)。当经由输入装置130输入了来自用户的位置信息时(图13的S104：是)，图像生成部160确定出第1显微镜图像401的第1放大区域631(图13的S105)，生成将第1显微镜图像401中的第1放大区域631放大的第1放大图像411(图13的S109)。
接下来，图像生成部160确定出第2显微镜图像402的第2放大区域632(图3的S106)，生成将第2显微镜图像402中的第2放大区域632放大的第2放大图像412(图13的S107)。进一步，如使用图12说明的那样，图像生成部160将第1显微镜图像401及第2显微镜图像402和第1放大图像411及第2放大图像412排列显示在显示装置170上(图13的S108)。
另外，在本实施例中，根据从单一的显微镜700获取的显微镜图像群生成了立体显微镜图像数据。也可以代替该方法，而从多个显微镜分别获取显微镜图像，合成这多个显微镜图像并生成立体显微镜图像数据。
此外，作为第1显微镜图像401和第2显微镜图像402，切出立体显微镜图像的各个平面的方向可以由用户经由输入装置130自由地指定。例如，作为第1显微镜图像401和第2显微镜图像402，可以从立体显微镜图像数据(立体显微镜图像)切出在任意方向上相互平行的平面。此外，只要不妨碍比较观察，则第1显微镜图像401和第2显微镜图像402也可以在立体显微镜图像数据(立体显微镜图像)由相互不平行的平面切出。
另外，STED、共聚焦激光扫描型显微镜(CLSM)等显微镜法中，各个焦点面上的荧光强度的检测中多使用相同的物镜。在将使用相同物镜的、基于在多个焦点面的显微镜图像群而生成的平面显微镜图像作为第1显微镜图像401及第2显微镜图像402的情况下，在图13的步骤S102中的、图3至图7所示的第1显微镜图像401和第2显微镜图像402的对应建立方法中，图像对应部140可以省略使像的大小一致的处理。此外，有时在不移动样品的情况下，第1显微镜图像401与第2显微镜图像402的方向、大小及位置一致。在该情况下，可以省略图13的步骤S102中的、图3至图7所示的将第1显微镜图像401和第2显微镜图像402建立对应的步骤。
图18是示例了图16的显微镜系统105中所使用的其他显微镜图像的组合的图。图18的显微镜图像群450包括每隔任意经过时间对观察区域(显微镜的拍摄视野)进行拍摄而得到的多个显微镜图像(所谓的通过延时拍摄所获取的图像群)。在本实施例中，在图13的步骤S101中，图像对应部140获取由单一的显微镜700延时拍摄的显微镜图像群。图18中，以两列显示了上述显微镜图像群450中的、彼此不同的时间范围的图像群。
在图13的步骤S102中，图像对应部140接受经由输入装置130从上述显微镜图像群450中的不同的时间范围获取的第1显微镜图像401及第2显微镜图像402的指定。即，在该例子中，作为第1显微镜图像401及第2显微镜图像402，指定了拍摄时刻彼此不同的显微镜图像。图像对应部140进一步按照使用图3至图7所说明的方法，将第1显微镜图像401和第2显微镜图像402建立对应。由此，即使在因拍摄的时间差而样品移动这样的情况下，也能够适当地进行对应建立。另外，也可以代替使用图3至图7中说明的点的方法，而使用图14及图15中说明的图案匹配的方法、及使用拍摄显微镜图像时的显微镜的设定条件的方法的某个。
如图19所示，图像对应部140在图13的步骤S103中，将第1显微镜图像401及第2显微镜图像402显示于显示装置170上。接受部150在图13的步骤S104中经由输入装置130接受想要在第1显微镜图像401中放大的位置信息的指定。
然后，进行图13的步骤S105之后的动作。具体而言，当经由输入装置130输入有来自用户的位置信息时，图像生成部160确定出第1显微镜图像401的第1放大区域631(图13的S105)，生成将第1显微镜图像401中的第1放大区域631放大的第1放大图像411(图13的S109)。
此外，图像生成部160基于在将第1显微镜图像401和第2显微镜图像402建立对应时确定出的各个像的大小、方向及位置，如使用图10及图11所说明的那样，确定出与由用户指定的第1显微镜图像401的点的位置对应的、第2显微镜图像402的点的位置(图13的S106)。图像生成部160还生成将包含确定出的第2显微镜图像402的点在内的区域放大的第2放大图像412(图13的S107)。
而且，如使用图12说明的那样，图像生成部160使第1显微镜图像401及第2显微镜图像402和第1放大图像411及第2放大图像412排列显示在显示装置170上(图13的S108)。
图像生成部160使第1放大图像411与第1显微镜图像401重叠，且使第2放大图像412与第2显微镜图像402重叠地显示在显示装置170上(图13的S108)。由此，能够将从通过延时拍摄生成的显微镜图像群450选择的、拍摄时刻彼此不同的第1显微镜图像401及第2显微镜图像402的局部放大图像即第1放大图像411及第2放大图像412显示在显示装置170上进行比较观察。因而，还能够容易地进行延时图像彼此的比较观察。
而且，图像生成部160沿时间经过在显示装置170上显示第1显微镜图像401及第2显微镜图像402。此处，第1放大图像411与依次显示的第1显微镜图像401对应地切换。此外，第2放大图像412也伴随依次显示的第2显微镜图像402而切换。由此，能够高效地比较观察样品中产生的现象的时间变化。
另外，图像生成部160通过滑条551的操作而从用户接受显示在显示装置170上的第1放大图像411及第2放大图像412的切换。具体而言，图像生成部160将图18中以2列配置的图像群所表示的延时拍摄的时间的长度(如果2列图像群所表示的时间长度相同则为该时间，在时间长度不同的情况下为某一个)如图19所示那样以横条(bar)552的长度显示在显示装置170上。该横条552示出了从用户接受的滑条551的可动的区域。在经由输入装置130接受了滑条551的操作的情况下，图像生成部160根据滑条551在横条552上的位置确定与该位置对应的时间。图像生成部160从各图像群中确定与确定出的时间对应的第1显微镜图像401及第2显微镜图像402，与确定出的第1显微镜图像401的第1放大图像411及第2显微镜图像402的第2放大图像412一同显示。由此，用户能够通过操作滑条551，来观察第1放大图像411及第2放大图像412各自的时间变化，能够进一步提高比较观察的效率。
另外，在本实施例中，使用了由单一显微镜延时拍摄的显微镜图像，但也可以代替其，而从多个显微镜分别获取显微镜图像，将这些多个显微镜图像按拍摄的顺序排列，从而作为延时拍摄的显微镜图像。
此外，在上述例子中，作为显微镜图像群450，从按时刻顺序观察一个样品的图像中获取了第1显微镜图像401及第2显微镜图像402。但是，第1显微镜图像401和第2显微镜图像402也可以不包含于一系列的沿时间经过拍摄的显微镜图像群中。例如，对于相同样品，可以从对样品滴加试剂A并沿时间经过拍摄的显微镜图像群中选择第1显微镜图像401，然后，从对样品滴加试剂B并沿时间经过拍摄的显微镜图像群中选择第2显微镜图像402。此外，也可以从对不同的样品滴加相同的试剂并沿时间经过拍摄各个样品所得到的各个显微镜图像群中选择第1显微镜图像401和第2显微镜图像402。
另外，图19的滑条551能够用于如下情况，即：如使用图17所说明的那样，用户从切出立体显微镜图像数据中的多个平面所得到的图像中指定第1显微镜图像401和第2显微镜图像402、或图像生成部160将这些显微镜图像显示在显示装置170上。在该情况下，接受部150将滑条551的位置与立体显微镜图像数据的切出平面的位置建立对应地存储。接受部150在经由输入装置130从用户接受了滑条551的位置的输入的情况下，根据所接受的滑条551的位置确定出立体显微镜图像数据的切出平面的位置并输出到图像生成部160，由此，图像生成部160将该平面处的平面显微镜图像显示在显示装置170上。
图20是说明使用延时图像的其他例的图。关于使用图18及图19说明的延时图像，存在用户关注的位置和/或区域移动的情况。因而，在该例子中，检测在第1显微镜图像401中为了放大而接受了指定的位置在之后拍摄的第1显微镜图像401及第2显微镜图像402中分别移动到了哪个位置。在该情况下，能够使用图14及图15中说明的图案匹配。
在该情况下，在图13的步骤S101中，图像对应部140获取使用单一显微镜700延时拍摄的显微镜图像群。图像对应部140经由输入装置130接受从上述显微镜图像群中的不同的时间范围获取的第1显微镜图像401及第2显微镜图像402的指定。
而且，在本实施例中，图像处理装置101代替图13的步骤S102至S107，以如下方式动作。接受部150从输入装置130接受被认为是用户希望关注的第1显微镜图像401的位置的指定，图像对应部140确定出包括该位置在内的区域453。图像对应部140使用区域453，和与现在显示的第1显微镜图像401相比之后的时刻的多个第1显微镜图像401进行图案匹配。由此，图像对应部140分别将在与该第1显微镜图像401相比之后的时刻的多个第1显微镜图像401中的、检测为与区域453相似度高的区域放大，从而生成多个第1放大图像411。
图像对应部140还使用区域453，与现在显示的第2显微镜图像402及其之后的时刻的多个第2显微镜图像402进行图案匹配，将第1显微镜图像401与第2显微镜图像402建立对应。由此，图像对应部140分别将这些多个第2显微镜图像402中的、检测为与区域453相似度高的区域454放大，从而生成多个第2放大图像412。
如图20所示，图像生成部160沿时间经过在显示装置170上显示第1放大图像411和第2放大图像。由此，即使在延时图像中用户关注的位置和/或区域移动，也能够容易地对将该位置和/或区域放大的放大图像进行比较。
另外，也可以在图19及图20中说明的例子中，不改变第1显微镜图像401及第1放大图像411地、仅沿时间经过显示第2显微镜图像402及第2放大图像412。
图21是具备其他图像处理装置102的显微镜系统100的框图。除接下来说明的部分之外，图像处理装置102与图1示出的图像处理装置101具有相同的结构。对与图像处理装置101共通的要素标注相同的附图标记并省略重复的说明。
图像处理装置102除了具备接受通过输入装置130指定的位置的接受部150之外，还具备接受同样从输入装置130输入的显示条件的处理接受部151，就该点而言，图像处理装置102与图像处理装置101不同。显示条件是对暂时生成的第1放大图像411进行图像处理而改变显示装置170上的显示的条件。显示条件包括第1放大图像411中放大的区域、图像的倍率、图像的明亮度、图像的对比度、图像的旋转及图像的反转。
图22是说明指定了第1放大图像411中放大的区域作为显示条件的情况的图。用户对于显示在显示装置170上的第1放大图像411，利用光标530拖动第1放大图像411的轮廓，指定改变后的大小。如图22中箭头641所示，将光标530向第1放大图像411的径向外侧拖动，由此，用户能够指示第1放大图像411的显示区域的放大。此外，用户能够通过在所需的位置解除拖动，从而确定图像处理后的第1放大图像411的大小。
图23是说明接着图22的处理的图。图像生成部160基于处理接受部151接受的第1放大图像411的大小，将最初的第1放大图像411放大至与放大的显示区域对应的第1放大图像421的范围。伴随此，图像处理装置102将最初的第2放大图像412放大至与放大的第1放大图像421相同的大小，生成放大的第2放大图像422。该情况下，第1显微镜图像401和第2显微镜图像402的像的大小、方向及位置一致，因此，在第1显微镜图像401(样品像)和第2显微镜图像402(样品像)，在相同的位置、以相同的倍率并在相同的区域进行放大处理。由此，放大的第1放大图像421和放大的第2放大图像422被排列设置。
图24是表示图像处理装置102中的处理的执行顺序的流程图。在图24的顺序中，步骤S101至S108与图13相同，因此省略说明。
在显示装置170上显示有第1显微镜图像401、第2显微镜图像402、第1放大图像411、及第2放大图像412的状态下，处理接受部151在该状态下接受有无显示条件的输入(S121)。
当处理接受部151接受到显示条件时(S121：是)，图像生成部160对第1放大图像411执行根据显示条件的图像处理(S122)。此外，图像生成部160对与第1放大图像411对应地生成的第2放大图像412也反映并执行对第1放大图像411执行了的图像处理(S123)。
接下来，图像生成部160生成图像处理后的第1放大图像421及第2放大图像422(S124)，并使其显示在显示装置170上(S125)。由此，在处理接受部151接受到显示条件的情况下所执行的处理完成。
像这样，图像处理装置102能够在由图像生成部160进行的处理暂时完成后，进一步根据输入的显示条件对第1放大图像411及第2放大图像412进行图像处理。由此，更易观察显示在显示装置170上的处理后的第1放大图像411及第2放大图像412，能够进一步提高比较观察的效率。
此外，图像处理装置102在输入了对第1放大图像411的显示条件的情况下，对第2放大图像412也执行与第1放大图像411同等的图像处理。由此，能够省去分别指定第1放大图像411及第2放大图像412的显示条件的麻烦，从而能够高效地对二者进行比较观察。
另外，在上述步骤S121中指定显示条件的情况下的指定方法不限定于在第1放大图像411上操作光标移动的方法。例如，可以显示列举了图像处理的种类及参数的值作为选项的菜单，选择该菜单指示的内容。而且，在例如指定放大图像的显示区域的情况下，既可以通过数值指定样品的实际的大小，也可以通过显示装置170上的像素数、相对于原来区域的大小的倍率等进行指定。而且，还可以显示大小不同的多个第1放大图像411，并从其中进行选择。
在图24的步骤S121中，处理接受部151可以接受图23中说明的、第1放大图像411中放大的区域以外的显示条件作为显示条件。例如，在处理接受部151接受第1放大图像411的旋转作为显示条件的情况下，图像生成部160使第1放大图像411旋转并与第1显微镜图像401重叠。同样地，图像生成部160也使第2放大图像412旋转并与第2显微镜图像402重叠。在该情况下，第1显微镜图像401与第2显微镜图像402的像的大小、方向及位置一致，因此，图像生成部160只要将第2放大图像412旋转与第1放大图像411相同的角度即可。
在图24的步骤S121中，处理接受部151也可以还接受图像的倍率、图像的明亮度、图像的对比度及图像的反转作为其他显示条件。在接受任一显示条件的情况下，图像生成部160均生成根据该显示条件的图像处理后的第1放大图像411及第2放大图像412，分别与第1显微镜图像401及第2显微镜图像402重叠，并显示在显示装置170上。由此，能够省去分别指定第1放大图像411及第2放大图像412的处理的麻烦，因此，能够高效地对二者进行比较观察。
可以代替图24的步骤S121，由接受部150接受移动第1放大图像411的指示。该情况下，在用户经由输入装置130在显示装置170上拖动移动第1放大图像411的情况下，接受部150接受该移动，并向图像生成部160输出该移动方向及移动量。图像生成部160使第1放大区域631在第1显微镜图像401内以由接受部150接受到的移动方向及移动量移动，生成将移动后的第1放大区域631放大的第1放大图像411。而且，图像生成部160使第2放大区域632在第2显微镜图像402内以由接受部150接受到的移动方向及移动量移动，生成将移动后的第2放大区域632放大的第2放大图像412。图像生成部160将这些第1放大图像411及第2放大图像412显示在显示装置170上。由此，第2放大图像412与第1放大图像411的移动同步移动并显示在显示装置170上。根据对第1放大图像411的移动指示，第2放大图像412也一起移动，因此，用户能够将第1放大图像411及第2放大图像412向自己易于观察的位置移动，能够容易地对双方进行比较观察。
可以代替图24的步骤S121，由处理接受部151接受显示第1放大图像411的位置的变更。该情况下，在用户经由输入装置130在显示装置170上拖动移动第1放大图像411的情况下，处理接受部151接受该移动，并向图像生成部160输出该移动方向及移动量。图像生成部160将第1放大图像411显示在按照由处理接受部151接受的移动方向及移动量移动后的位置，并且将第2放大图像412也显示在以相同的移动方向及移动量移动后的位置。由此，第2放大图像412也与第1放大图像411的移动同步移动并显示在显示装置170上。根据对第1放大图像411的移动的指示，第2放大图像412也一起移动，因此，用户能够将第1放大图像411及第2放大图像412向自己易于观察的位置移动，能够容易地对双方进行比较观察。
图25及图26是说明代替在图24的步骤S121中接受显示条件，而接受第1显微镜图像401及第2显微镜图像402上的扫描的处理的图。
在该例子中，在比较观察第1放大图像411及第2放大图像412的情况下，用户能够对处理接受部151指示扫描模式。在扫描模式中，开始扫描的位置、扫描方向及结束扫描的位置通过系统默认设定，但也可以能够由用户经由输入装置130指定。
在扫描模式中，图像生成部160从第1显微镜图像401的起点沿着扫描方向对第1显微镜图像401进行扫描，依次生成并显示包括扫描位置在内的第1放大图像411。
图25示出了起点处的第1放大图像411及第2放大图像，图26示出了扫描途中的第1放大图像411及第2放大图像。图像生成部160与第1显微镜图像401的扫描同步地，依次生成并显示与第2显微镜图像402对应的位置的第2放大图像412。
因而，第1放大图像411及第2放大图像412反复进行彼此同步地向相同方向的水平移动，并在第1显微镜图像401及第2显微镜图像402上逐渐下降。通过这样的扫描模式，图像处理装置102能够提高对第1显微镜图像401和第2显微镜图像402的完整的比较观察的效率。
使用图25及图26说明的扫描模式还能够用于对比观察在孔板上以二维配置的多个孔的样品的情况。对于多个孔，使对样品滴加的药物的量、浓度、种类、从药物投入起的经过时间等互不相同。
在该情况下，首先，图像对应部140获取拍摄特定的孔的样品所得到的第1显微镜图像401、和拍摄与该特定的孔不同的多个孔的样品所得到的多个第2显微镜图像402。接受部150接受第1显微镜图像401中放大的点的位置的指定，图像生成部160生成将第1显微镜图像401的包括该点在内的区域放大的第1放大图像411。另外，如图10的例子中所说明的那样，接受部150也可以代替第1显微镜图像401的点的位置的指定，而接受第1显微镜图像401的区域的位置的指定。
图像生成部160确定出与由接受部150接受了指定的第1显微镜图像401中的点对应的、多个第2显微镜图像402各自中的点。具体而言，图像生成部160确定与接受了指定的第1显微镜图像401中的点的位置(第1显微镜图像401内的位置坐标)相同的、第2显微镜图像402中的位置(第2显微镜图像402内的位置坐标)的点。图像生成部160还生成将多个第2显微镜图像402的包括该点在内的区域放大的多个第2放大图像412，并与第1放大图像411一起将多个第2放大图像412依次显示在显示装置170上。也可以代替确定出与接受了指定的第1显微镜图像401中的点的位置相同的、第2显微镜图像402中的位置的点，而分别对第1显微镜图像401和多个第2显微镜图像402的每一个采用使用图14及图15说明的图案匹配，确定出在多个第2显微镜图像402分别生成第2放大图像412的位置。
在依次显示多个第2放大图像412的情况下，图像生成部160与图25及图26中说明的方法同样地，基于来自用户的输入或系统默认的设定，确定出开始扫描的位置、扫描方向及结束扫描的位置，并依次显示与扫描上的位置对应的孔的第2放大图像412。由此，能够容易地对滴加的药物的量、浓度、种类、从投入药物起的经过时间等互不相同的多个孔的样品进行比较观察。
图27是其他图像处理装置103的框图。图像处理装置103除如下说明的部分之外，具有与图1示出的图像处理装置101相同的构成。因而，对共通的构成标注相同的附图标记并省略重复的说明。
图像处理装置103还具备接受来自输入装置130的指示的透明化接受部152及重合接受部153。透明化接受部152接受通过输入装置130输入的来自用户的透明化的指示。重合接受部153接受通过输入装置130输入的来自用户的图像重合的指示。
图28是说明图像处理装置103的处理的图。在输入透明化指示前，图像对应部140显示在显示装置170上。在图28中，与第1显微镜图像401及第2显微镜图像402重叠地、分别显示有第1放大图像411及第2放大图像412。图28中还显示有支持透明化的按键491。
当利用按键491接受到透明化的指示时，通过透明化接受部152得到了指示的图像生成部160利用由鼠标等定点设备操作的光标530，选择将第1放大图像411和第2放大图像412的哪个透明化。在图示的例子中，选择了第1放大图像411，将其透明化。
另外，此处所言的透明化的意思是以能够看清第1放大图像411的内容，且能够透视地看到底层的程度进行半透明化，而不是使第1放大图像411消失。此外，图像处理装置103使调整透过率的滑条551显示在显示装置170上，用户能够对透过率进行设定。
重合接受部153在用户通过输入装置130输入了重合的指示的情况下，接受该指示。在重合接受部153接受了重合的指示的情况下，图像生成部160执行生成使第1放大图像411及第2放大图像412重合的重合图像414的重合处理。
在用户将光标530放置在第1放大图像411上的状态下进行拖动而使第1放大图像411移动，并与第2放大图像412重叠的情况下，重合接受部153判断为有重合的指示。也可以代替通过拖动第1放大图像411进行移动，而利用按键、菜单项等接受重合的指示。在利用按键、菜单项等接受重合的指示的情况下，既可以在第1放大图像411及第2放大图像412的一者的位置显示重合图像，也可以在与第1放大图像411及第2放大图像412的任一者位置均不同的位置显示重合图像。
图29示出了显示有重合图像414的状态。图像生成部160执行在第1放大图像411与第2放大图像412重叠的区域，将先前透明化的第1放大图像411作为上层，将没有透明化的第2放大图像412作为背景的重合处理。由此，能够容易地掌握第1放大图像411和第2放大图像412中不同的部分。因而，能够提高第1显微镜图像401和第2显微镜图像402的比较观察的效率。此外，图像生成部160也可以根据用户的指示，将透明化的放大图像和作为背景的放大图像互换。
而且，也可以在生成重合图像414之时，以如下方式进行图像处理，即：使第1放大图像411及第2放大图像412的一者的图像成为与另一者的图像不同的颜色和/或明亮度等。例如，在以使第1放大图像411及第2放大图像412的一者的图像成为与另一者的图像不同的颜色的方式进行图像处理的情况下，可以以使第1放大图像411及第2放大图像412的一者的图像成为与另一者的图像不同的色调的方式进行图像处理。由此，更容易进行第1放大图像411及第2放大图像的比较。
图30是示出了图像处理装置103的动作顺序的流程图。在图30的顺序中，步骤S101至步骤S108与图13相同，因此省略说明。
在显示装置170上显示有第1显微镜图像401、第2显微镜图像402、第1放大图像411、及第2放大图像412的状态下，透明化接受部152在该状态下接受透明化的指示(S131)。
接下来，当透明化接受部152接受到透明化的指示时(S131：是)，图像生成部160例如对第1放大图像411执行透明化(S132)。接着，重合接受部153监视有无重合的指示并待机(S133：否)。
当重合接受部153接受到重合的指示时(S133：是)，图像生成部160使第1放大图像411及第2放大图像412重合并生成重合图像414(S134)。图像生成部160使生成的重合图像414与第2显微镜图像402重叠并显示在显示装置170上(S135)。由此，由图像处理装置103进行的图像处理结束。
图31是说明图像处理装置101的其他动作的图。在图31中，与图12同样，显示有第1显微镜图像401、第2显微镜图像402、第1放大图像411、及第2放大图像412。
在图31中，每当从用户收到想要放大的位置的新指定时，重复图13的步骤S105至S108，在显示装置170上显示与该位置对应的第1放大图像411及第2放大图像412。通过此种方式，用户依次观察第1放大图像411及第2放大图像412，但有时会在之后想要观察之前比较观察过的特定的位置的第1放大图像411及第2放大图像412。于是，每当接受部150在图13的步骤S104接受到位置的指定时，执行步骤S105至S108，图像生成部160将第1放大图像411和第2放大图像412显示在显示装置170上，并且在第1显微镜图像401的各个位置显示标记475。此外，与该各个位置对应地，将第1放大图像411和第2放大图像412存储于图像处理装置101。
接下来，当由用户指定了标记475的某个时，图像生成部160将就与该标记475对应的位置所存储的第1放大图像411及第2放大图像412显示在显示装置170上。另外，图像生成部160也可以基于来自用户的指示，对于多个标记475，自动地依次显示第1放大图像411及第2放大图像412。另外，在第2显微镜图像402中，标记475既可以显示于与第1显微镜图像401中由用户指定的点对应的点处，也可以显示在第1显微镜图像401和第2显微镜图像402双方。
根据本实施例，能够在比较放大图像的作业过程中保留标记475，因此，在之后想要重新观察以前放大过的位置时，能够不费工夫地进行放大图像的比较观察。因而，能够容易地进行第1显微镜图像401和第2显微镜图像402的比较观察。
另外，在上述任一实施例及变形例中，图像生成部160均既可以使第1放大图像411不与第1显微镜图像401重叠地分开显示在显示装置170上，也可以使第2放大图像412不与第2显微镜图像402重叠地分开显示在显示装置170上。而且，在第1放大图像411与第1显微镜图像401重叠的情况下，图像生成部160也可以使第1放大图像411在第1显微镜图像401内与被指定放大的位置不同的位置重叠。同样地，在第2放大图像412与第2显微镜图像402重叠的情况下，图像生成部160也可以使第2放大图像412在第2显微镜图像402内与被指定放大的位置不同的位置重叠。
此外，在上述任一实施例及变形例中，均可以代替通过SIM、STORM及电子显微镜得到的第1显微镜图像401、第2显微镜图像402，而将通过其他显微镜法得到的图像作为第1显微镜图像401、第2显微镜图像402。也可以使用例如用体视荧光显微镜、落射荧光显微镜、共聚焦显微镜、STED(Stimulated Emission Depletion：受激辐射耗尽)显微镜、PALM(PhotoActivated Localization Microscopy：光敏定位显微镜)、Expansion Microscopy(扩展显微镜)、原子力显微镜等生成的显微镜图像。此外，也可以将使用同一显微镜法以彼此不同的条件处理的图像作为第1显微镜图像401及第2显微镜图像。该情况下，可以将在SIM中重构时设定的条件互不相同的超分辨率图像彼此作为第1显微镜图像和第2显微镜图像。
在使用通过任意显微镜方法得到的图像的情况下，图像对应部140也可以使用图3至图7中说明的将显微镜图像彼此建立对应的方法、图14及图15中说明的将显微镜图像彼此建立对应的方法、及使用显微镜图像拍摄时的显微镜的设定条件的方法的某个，将第1显微镜图像401与第2显微镜图像402建立对应。而且，在任一实施例及变形例中，第1显微镜图像401和第2显微镜图像402也可以是拍摄同一种类的样品但为不同个体的样品、和/或拍摄不同种类的样品所得到的图像。
另外，在上述任一实施例及变形例中，通过接受部150指定的第1显微镜图像401中的至少一部分、和与该一部分对应的、第2显微镜图像402的至少一部分也可以不是相同的位置。具体而言，由接受部150接受了指定的第1显微镜图像401中的点与由图像生成部160确定的第2显微镜图像402中的点在显微镜图像上的位置可以不同。例如，在比较观察将由接受部150接受了指定的、包括第1显微镜图像401中的点在内的区域放大的第1放大图像、和将由图像生成部160确定出的、包括第2显微镜图像402中的点在内的区域放大的第2放大图像时，在不影响比较的范围内，接受了指定的第1显微镜图像401中的点和由图像生成部160确定出的第2显微镜图像402中的点在显微镜图像上的位置可以相分离。
在上述任一实施例及变形例中，图像生成部160可以进行使第1放大图像411和第2放大图像412的亮度值分布在特定范围的亮度变换。图像生成部160优选为以第1放大图像411和第2放大图像412中，各自的明亮度的分布适当的方式，变化各自的亮度。例如，在第1放大图像411中的亮度值(换言之，第1放大图像411的各像素的亮度值)集中分布在256灰阶中较低(较暗)侧的情况下，图像生成部160以该分布扩展至256灰阶整体的方式，进行亮度变换。具体而言，以第1放大图像411的各像素的亮度值中的亮度值高的像素的亮度值变得更高(更明亮)的方式，变换各像素的亮度。另一方面，例如第2放大图像412的亮度值(换言之，第2放大图像412的各像素的亮度值)集中分布在256灰阶中较高(较明亮)侧的情况下，图像生成部160以该分布扩展至256灰阶整体、且第2放大图像412的像素中亮度值低的像素的亮度值变得更低(更暗)的方式变换各像素的亮度。由此，能够表现出至此以来在第1放大图像411及第2放大图像412中无法观察到的亮度差，能够观察到样品的精细结构的像。以第1放大图像411和第2放大图像412中各自的明亮度的分布适当的方式，分别变换亮度，由此，易于对双方进行比较观察。该情况下，使用记述了变换前的亮度值与变换后的亮度值之间的关系的已知的LUT(Look-Up-Table：查找表)等。
另外，第2放大图像412可以说在放大了与在第1显微镜图像401为了进行放大而指定并生成了第1放大图像411的位置对应的、第2显微镜图像402的位置这一点，与第1放大图像411相关联。但是，图像生成部160与第1放大图像411相关联地生成的第2放大图像412不限定于各个位置对应的图像，具有某种关联性即可。
以上，使用实施方式对本发明进行了说明，但本发明的技术范围不限定于上述实施方式所记载的范围。能够对上述实施方式实施多种变更或改进，对本领域技术人员而言是显而易见的。从权利要求的记载可明确知晓，实施了这样的变更或改进的方式也可包含于本发明的技术范围内。
需要留意的是：关于权利要求书、说明书、及附图中示出的装置、系统、程序、及方法的动作、顺序、步骤、及阶段等各处理的执行顺序，只要没有特别言明“与……相比之前”、“在……之前”等、并且前处理的输出是用于后处理，就可以按照任意的顺序实施。关于权利要求书、说明书、及附图中的动作流程，即使为方便起见，使用了“首先”、“接下来”等进行了说明，但也不意味着必须按照该顺序实施。
附图标记说明
100、105显微镜系统，101、102、103图像处理装置，110第1显微镜，120第2显微镜，130输入装置，140图像对应部，150接受部，151处理接受部，152透明化接受部，153重合接受部，160图像生成部，170显示装置，401第1显微镜图像，402第2显微镜图像，414重合图像，411、421、461第1放大图像，412、422第2放大图像，450显微镜图像群，451、452样品像，453、454区域，475、511、512、521、522标记，491按键，501、502样品像，530光标，531标记，551滑条，552横条，601、602直线，611、641箭头，621、622半径，631、632放大区域，700显微镜，710第1显微镜，720第2显微镜。

Claims (32)

1.一种图像处理装置，其特征在于，包括：
接受部，其接受第1显微镜图像的至少一部分的指定；和
图像生成部，其基于所述指定，生成用于使第1放大图像、第2放大图像、第1显微镜图像和第2显微镜图像显示在显示装置上的图像数据，其中所述第1放大图像是将所述第1显微镜图像的一部分区域放大得到的图像，所述第2放大图像是将所述第2显微镜图像中的与所述第1显微镜图像的所述区域具有关联性的区域放大得到的图像，
所述第1显微镜图像和所述第2显微镜图像包括在彼此不同的时刻拍摄的图像，
所述第1显微镜图像包括随时间经过而拍摄的第1时间范围的图像群，所述第2显微镜图像包括与所述第1时间范围不同的第2时间范围的图像群，
所述图像生成部对于各个所述图像群生成用于将所述第1放大图像及所述第2放大图像随着时间经过显示在所述显示装置上的图像数据。
2.如权利要求1所述的图像处理装置，其特征在于，
所述第1显微镜图像和所述第2显微镜图像包括通过彼此不同的显微镜法得到的图像。
3.如权利要求1所述的图像处理装置，其特征在于，
所述第1显微镜图像和所述第2显微镜图像包括彼此不同的焦点面的图像。
4.如权利要求1所述的图像处理装置，其特征在于，
所述第1显微镜图像和所述第2显微镜图像包括含有以彼此不同的处理条件处理了的观察对象物的图像。
5.如权利要求1所述的图像处理装置，其特征在于，
所述第1显微镜图像和所述第2显微镜图像均包括用结构化照明显微镜获得的图像，
所述第1显微镜图像和所述第2显微镜图像包括以彼此不同的条件生成的图像。
6.如权利要求1所述的图像处理装置，其特征在于，
所述图像生成部生成用于使所述第1放大图像与所述第1显微镜图像重叠、并且使所述第2放大图像与所述第2显微镜图像重叠地显示在所述显示装置上的图像数据。
7.如权利要求1所述的图像处理装置，其特征在于，
所述图像生成部生成用于以使所述第1显微镜图像和所述第2显微镜图像相邻并且所述第1放大图像和所述第2放大图像相邻的方式显示在所述显示装置上的图像数据。
8.如权利要求1所述的图像处理装置，其特征在于，
还包括图像对应部，所述图像对应部将所述第1显微镜图像与所述第2显微镜图像建立对应。
9.如权利要求8所述的图像处理装置，其特征在于，
所述接受部接受用于建立对应的、所述第1显微镜图像中的多个位置和所述第2显微镜图像中的多个位置，
所述图像对应部将所述第1显微镜图像中的所述多个位置与所述第2显微镜图像中的所述多个位置建立对应。
10.如权利要求8所述的图像处理装置，其特征在于，
所述图像对应部将包含于所述第1显微镜图像中的图案及包含于所述第2显微镜图像中的图案建立对应。
11.如权利要求8所述的图像处理装置，其特征在于，
所述图像对应部将包含于所述第1放大图像中的图案和包含于所述第2显微镜图像中的图案建立对应。
12.如权利要求8所述的图像处理装置，其特征在于，
所述第2显微镜图像中的样品像的大小、倾斜度及位置与所述第1显微镜图像中的样品像的大小、倾斜度及位置对应。
13.如权利要求1所述的图像处理装置，其特征在于，
所述接受部接受移动所述第1放大图像的指示，
所述图像生成部生成用于与基于所述移动的指示进行的所述第1显微镜图像上的所述区域的移动相应地使第1放大图像显示在所述显示装置上、并且使将所述第2显微镜图像中的与移动的所述区域具有关联性的区域放大得到的第2放大图像显示在所述显示装置上的图像数据。
14.如权利要求1所述的图像处理装置，其特征在于，
所述图像生成部生成用于使与沿预先设定的扫描路径进行的所述第1显微镜图像上的所述区域的移动相应的第1放大图像显示在所述显示装置上、并且使将所述第2显微镜图像中的与移动的所述区域具有关联性的区域放大得到的第2放大图像显示在所述显示装置上的图像数据。
15.如权利要求1所述的图像处理装置，其特征在于，
还具备处理接受部，所述处理接受部接受所述第1放大图像的显示条件的输入，
所述图像生成部生成用于使对所述第1放大图像执行由所述处理接受部接受的与所述显示条件相关的图像处理得到的图像显示于所述显示装置上、并且使对所述第2放大图像执行与对所述第1放大图像执行的图像处理相应的图像处理得到的图像显示于所述显示装置上的图像数据。
16.如权利要求15所述的图像处理装置，其特征在于，
所述显示条件为通过所述第1放大图像放大的区域、所述第1放大图像的倍率、所述第1放大图像的明亮度、所述第1放大图像的对比度、所述第1放大图像的旋转及所述第1放大图像的反转中的至少一个。
17.如权利要求1所述的图像处理装置，其特征在于，
所述图像生成部生成用于将所述第1放大图像与所述第2放大图像重合地显示在所述显示装置上的图像数据。
18.如权利要求1所述的图像处理装置，其特征在于，
所述图像生成部生成用于使所放大的所述第1显微镜图像的一部分的所述区域的位置显示在所述显示装置上的图像数据、和使所放大的所述第2显微镜图像的一部分区域的位置显示在所述显示装置上的图像数据中的至少一个图像数据。
19.如权利要求18所述的图像处理装置，其特征在于，
所述接受部接受所输出的所述显示的指定，
所述图像生成部输出与所述显示对应的第1放大图像和第2放大图像。
20.如权利要求1所述的图像处理装置，其特征在于，
所述图像生成部对于所述第1放大图像和所述第2放大图像的至少一个放大图像执行使所述放大图像中的亮度值的分布分布在特定亮度范围的图像处理。
21.一种显微镜系统，其特征在于，具备：
权利要求1至20中任一项所述的图像处理装置；
显微镜，其向所述图像处理装置输出显微镜图像；和
显示装置，其显示基于从所述图像处理装置输出的图像数据生成的图像。
22.一种图像处理方法，其特征在于，包括：
接受第1显微镜图像的至少一部分的指定；和
基于所述指定，生成用于使第1放大图像、第2放大图像、第1显微镜图像和第2显微镜图像显示在显示装置上的图像数据，其中所述第1放大图像是将所述第1显微镜图像的一部分区域放大得到的图像，所述第2放大图像是将所述第2显微镜图像中的与所述第1显微镜图像的所述区域具有关联性的区域放大得到的图像，
所述第1显微镜图像和所述第2显微镜图像包括在彼此不同的时刻拍摄的图像，
所述第1显微镜图像包括随时间经过拍摄的第1时间范围的图像群，所述第2显微镜图像包括与所述第1时间范围不同的第2时间范围的图像群，
生成所述图像数据包括对各个所述图像群生成用于使所述第1放大图像及所述第2放大图像随着时间经过显示在所述显示装置上的图像数据。
23.如权利要求22所述的图像处理方法，其特征在于，
所述第1显微镜图像和所述第2显微镜图像包括通过彼此不同的显微镜法得到的图像。
24.如权利要求22所述的图像处理方法，其特征在于，
所述第1显微镜图像和所述第2显微镜图像包括彼此不同的焦点面的图像。
25.如权利要求22所述的图像处理方法，其特征在于，
所述第1显微镜图像和所述第2显微镜图像包括含有以彼此不同的处理条件处理了的观察对象物的图像。
26.如权利要求22所述的图像处理方法，其特征在于，
所述第1显微镜图像和所述第2显微镜图像均包括用结构化照明显微镜获得的图像，
所述第1显微镜图像和所述第2显微镜图像包括以彼此不同的条件生成的图像。
27.如权利要求22所述的图像处理方法，其特征在于，
生成所述图像数据包括生成用于将所述第1放大图像与所述第1显微镜图像重叠并且将所述第2放大图像与所述第2显微镜图像重叠地显示在所述显示装置上的图像数据。
28.如权利要求22所述的图像处理方法，其特征在于，
生成所述图像数据包括生成用于以使所述第1显微镜图像和所述第2显微镜图像相邻并且所述第1放大图像和所述第2放大图像相邻的方式显示在所述显示装置上的图像数据。
29.如权利要求22至28中任一项所述的图像处理方法，其特征在于，
还包括将所述第1显微镜图像与所述第2显微镜图像建立对应。
30.如权利要求29所述的图像处理方法，其特征在于，
所述接受包括接受用于建立对应的、所述第1显微镜图像中的多个位置和所述第2显微镜图像中的多个位置，
所述建立对应包括将所述第1显微镜图像中的所述多个位置与所述第2显微镜图像中的所述多个位置建立对应。
31.如权利要求29所述的图像处理方法，其特征在于，
所述建立对应包括将包含于所述第1显微镜图像中的图案和包含于所述第2显微镜图像中的图案建立对应。
32.如权利要求29所述的图像处理方法，其特征在于，
所述第2显微镜图像中的样品像的大小、倾斜度及位置与所述第1显微镜图像中的样品像的大小、倾斜度及位置对应。
CN201680091040.9A 2016-11-24 2016-11-24 图像处理装置、显微镜系统、图像处理方法、及程序 Active CN109983766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111502788.2A CN114219779A (zh) 2016-11-24 2016-11-24 图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/084866 WO2018096639A1 (ja) 2016-11-24 2016-11-24 画像処理装置、顕微鏡システム、画像処理方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111502788.2A Division CN114219779A (zh) 2016-11-24 2016-11-24 图像处理装置

Publications (2)

Publication Number Publication Date
CN109983766A CN109983766A (zh) 2019-07-05
CN109983766B true CN109983766B (zh) 2021-12-31

Family

ID=62195083

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680091040.9A Active CN109983766B (zh) 2016-11-24 2016-11-24 图像处理装置、显微镜系统、图像处理方法、及程序
CN202111502788.2A Pending CN114219779A (zh) 2016-11-24 2016-11-24 图像处理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111502788.2A Pending CN114219779A (zh) 2016-11-24 2016-11-24 图像处理装置

Country Status (5)

Country Link
US (1) US11010914B2 (zh)
EP (1) EP3547674A4 (zh)
JP (1) JP6766883B2 (zh)
CN (2) CN109983766B (zh)
WO (1) WO2018096639A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021140591A1 (ja) * 2020-01-08 2021-07-15 オリンパス株式会社 画像処理装置、顕微鏡システムおよび画像処理方法
CN113395483B (zh) * 2020-03-12 2023-07-18 平湖莱顿光学仪器制造有限公司 一种用于呈现多个显微子视频信息的方法与设备
CN115953344B (zh) * 2023-03-08 2023-05-30 上海聚跃检测技术有限公司 图像处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006049155A (ja) * 2004-08-05 2006-02-16 Keyence Corp ３次元画像生成装置、３次元画像生成方法、３次元画像生成プログラムおよびコンピュータで読み取り可能な記録媒体又は記録した機器
CN105030265A (zh) * 2014-04-28 2015-11-11 富士通株式会社 图像显示设备、方法以及存储图像显示程序的存储介质
CN105997122A (zh) * 2015-03-31 2016-10-12 佳能株式会社 医用图像显示设备和显示控制方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4576112B2 (ja) 2003-11-19 2010-11-04 オリンパス株式会社 共焦点レーザ顕微鏡
JP5058444B2 (ja) * 2005-02-10 2012-10-24 オリンパス株式会社 顕微鏡写真装置および顕微鏡写真装置制御方法
US8249315B2 (en) * 2006-05-22 2012-08-21 Upmc System and method for improved viewing and navigation of digital images
JP5188693B2 (ja) 2006-10-13 2013-04-24 富士フイルム株式会社 画像処理装置
JP4936867B2 (ja) * 2006-12-05 2012-05-23 株式会社キーエンス 拡大画像観察装置、拡大画像観察方法
JP5152077B2 (ja) * 2009-04-01 2013-02-27 ソニー株式会社 生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システム
JP2011125568A (ja) * 2009-12-18 2011-06-30 Canon Inc 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP5587614B2 (ja) 2010-01-13 2014-09-10 富士フイルム株式会社 医用画像表示装置および方法、並びにプログラム
EP2450936B1 (en) * 2010-11-03 2013-03-13 Carl Zeiss NTS Ltd. Microscope system, method for operating a charged-particle microscope
JP5684382B2 (ja) 2011-06-10 2015-03-11 株式会社日立メディコ 画像診断支援装置、及び方法
JP5814709B2 (ja) * 2011-09-12 2015-11-17 オリンパス株式会社 タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
JP5888416B2 (ja) 2012-07-19 2016-03-22 株式会社ニコン 構造化照明顕微鏡装置
JP2014130221A (ja) * 2012-12-28 2014-07-10 Canon Inc 画像処理装置、その制御方法、画像処理システム、及びプログラム
DE102017109021B4 (de) * 2016-05-11 2022-10-27 Carl Zeiss Meditec Ag System für das stereoskopische Visualisieren eines Objektbereichs sowie Objektbereich-Visualisierungsverfahren

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006049155A (ja) * 2004-08-05 2006-02-16 Keyence Corp ３次元画像生成装置、３次元画像生成方法、３次元画像生成プログラムおよびコンピュータで読み取り可能な記録媒体又は記録した機器
CN105030265A (zh) * 2014-04-28 2015-11-11 富士通株式会社 图像显示设备、方法以及存储图像显示程序的存储介质
CN105997122A (zh) * 2015-03-31 2016-10-12 佳能株式会社 医用图像显示设备和显示控制方法

Also Published As

Publication number Publication date
US20200074669A1 (en) 2020-03-05
EP3547674A4 (en) 2020-06-17
EP3547674A1 (en) 2019-10-02
WO2018096639A1 (ja) 2018-05-31
US11010914B2 (en) 2021-05-18
JP6766883B2 (ja) 2020-10-14
JPWO2018096639A1 (ja) 2019-10-17
CN114219779A (zh) 2022-03-22
CN109983766A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
JP4667944B2 (ja) 画像作成装置
US7050622B2 (en) Image comparison apparatus, image comparison method, and program for causing computer to execute image comparison
CN109983767B (zh) 图像处理装置、显微镜系统、图像处理方法及计算机程序
JP5447516B2 (ja) 画像処理装置、画像処理方法、プログラム、および、顕微鏡
JP6147080B2 (ja) 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
CN109983766B (zh) 图像处理装置、显微镜系统、图像处理方法、及程序
JP2004101871A (ja) 顕微鏡画像撮影装置
JP6147079B2 (ja) 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
JP6447675B2 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
JP2012003197A (ja) 顕微鏡装置および画像取得方法
JP2005172805A (ja) 試料情報測定方法および走査型共焦点顕微鏡
JP2010112969A (ja) 共焦点顕微鏡
JP6480713B2 (ja) 顕微鏡システム
JP2010266461A (ja) 走査型共焦点顕微鏡
JP4885439B2 (ja) カラー画像取得方法及び共焦点レーザ顕微鏡
CN112955806B (zh) 用于对样本区域成像的显微镜系统和相应的方法
JP2017173653A (ja) 画像取得システム
JP2010085463A (ja) 顕微鏡装置
JPH10333056A (ja) 顕微鏡装置及び画像作成方法
JP2020191257A (ja) 画像処理方法および透過電子顕微鏡
JP6796524B2 (ja) 画像処理装置、観察装置、および画像処理方法
JP2023093819A (ja) 観察方法、観察装置、及び、プログラム
JP2005156847A (ja) 共焦点顕微鏡システム及びプログラム
JP2019159091A (ja) 顕微鏡システム、顕微鏡の制御装置および制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant