CN103577137A - 信息处理装置、信息处理方法、程序、以及图像显示装置 - Google Patents
信息处理装置、信息处理方法、程序、以及图像显示装置 Download PDFInfo
- Publication number
- CN103577137A CN103577137A CN201310313804.2A CN201310313804A CN103577137A CN 103577137 A CN103577137 A CN 103577137A CN 201310313804 A CN201310313804 A CN 201310313804A CN 103577137 A CN103577137 A CN 103577137A
- Authority
- CN
- China
- Prior art keywords
- image
- link information
- information
- combination image
- link
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 20
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 238000012876 topography Methods 0.000 claims description 62
- 230000003750 conditioning effect Effects 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 14
- 230000009897 systematic effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000010827 pathological analysis Methods 0.000 description 6
- 238000009958 sewing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种信息处理装置，包括图像组合部件，其连接多个局部图像，每个局部图像为一个通过对一个将被观察的区域的一部分进行成像所获得的图像；以及连接信息生成部件，其生成图像组合部件所组合的组合图像的连接信息。与组合图像一起，或者独立于组合图像，向能够显示组合图像的图像显示装置提供连接信息。
Description
技术领域
本发明涉及一种控制显微镜所成像的图像的显示的信息处理装置、信息处理方法、程序、以及图像显示装置。更具体地讲，本发明涉及一种对将被观察的区域进行分割成像，然后通过连接多个所获得的局部图像组合和显示一个宽视域显微图像的技术。
技术背景
为了获得具有宽视域和高放大倍率的显微观察图像，在医疗、病理学、生物学、材料等领域中，已经使用了对将数字显微镜被观察的区域进行分割成像，然后连接多个所获得的局部图像的技术。在病理诊断中的组织/细胞检测应用中，人们已对使用这一技术的虚拟显微镜系统特别加以关注，因为对于用户来说，可以在任意位置、以任意放大倍率显示所获得的显微观察图像，也可以经由网络在一个不同的地方显示所获得的显微观察图像。
因此，在相关技术中，为了使用户更加方便，已经推出了能够在显示部件上显示各种类型的信息以及显微观察图像的技术（参见JP 2001-181015A和JP 2011-133849A）。例如，在JP 2001-181015A中所公开的病理诊断系统中，除了染色的标本图像（显微观察图像）之外，还显示标本的属性信息、所需诊断区域信息等，用户（例如，病理学家）确认这一信息以及显微观察图像，并且进行诊断。
另一方面，在JP 2011-133849A中所公开的信息处理装置中，把注释显示信息与显微观察图像被组合，其中，注释显示信息直观地反映了诸如存在疾病风险的部位的某一具体部位的位置信息。在这一信息处理装置中，试图通过在显示部件上显示包括注释标记的图像数据，防止观察者失察。
发明内容
在以上所描述的相关技术的虚拟显微镜系统中，存在着这样的可能性：将在局部图像的连接部分中出现具有低可靠性的图像，其原因在于，失真校正的失真、因成像放大倍率的偏差所造成的失真、图象模糊、连接精度的误差等。当把这样的具有低可靠性的图像用于诊断等时，不太可能获得正确的结果。然而，在相关技术的虚拟显微镜系统中，由于不把局部图像的所连接的部分显示在取景器上，所以用户不能够识别哪些部分包括具有低可靠性的图像。
因此，在本发明中希望提供一种对于通过连接多个数字图像所生成的组合图像，用户能够容易地识别所连接的部分的可靠性的信息处理装置、信息处理方法、程序、以及图像显示装置。
根据本发明的一个实施例，提供了一种信息处理装置，包括图像组合部件，其连接多个局部图像，每个局部图像为一个通过对一个将被观察的区域的一部分进行成像所获得的图像；以及连接信息生成部件，其生成图像组合部件所组合的组合图像的连接信息。与组合图像一起，或者独立于组合图像，向能够显示组合图像的图像显示装置提供连接信息。
连接信息可以至少包括局部图像的连接位置以及连接位置中的连接可靠性。
另外，与连接可靠性相关的信息可以为每个局部图像的连接精度和/或失真的存在与否。
而且，可以根据与连接可靠性相关的信息进一步地改变连接信息的显示模式。
另外，连接信息还可以包括与异物的存在与否和/或异物的位置相关的信息。
信息处理装置还可以包括一个输入信息存储部件，其存储与用户所输入的组合图像相关的信息。也可以把存储在输入信息存储部件中的信息与连接信息一起提供于图像显示装置。
根据本发明的一个实施例，提供了一种信息处理方法，包括由图像组合部件连接多个局部图像，每个局部图像为一个将被观察的区域的一个所成像的部分；由连接信息生成部件生成图像组合部件所组合的组合图像的连接信息；以及与组合图像一起，或者独立于组合图像，向能够显示组合图像的图像显示装置提供连接信息。
根据本发明的一个实施例，提供了一种致使信息处理装置执行下列功能的程序：图像组合功能，其连接多个局部图像，每个局部图像为一个将被观察的区域的一个所成像的部分；连接信息生成功能，其生成图像组合部件所组合的组合图像的连接信息；以及一个与组合图像一起，或者独立于组合图像，向能够显示组合图像的图像显示装置提供连接信息的功能。
根据本发明的一个实施例，提供了一种图像显示装置，包括图像采集部件，其采集通过连接多个局部图像所获得的组合图像，每个局部图像为一个将被观察的区域的一个所成像的部分；连接信息采集部件，其采集组合图像的连接信息；以及显示部件，其显示组合图像和/或连接信息。
连接信息可以包括局部图像的至少一个连接位置以及连接位置中的连接可靠性。
另外，图像显示装置还可以包括一个连接信息处理部件，其根据与连接可靠性相关的信息确定连接位置的显示模式。其中，显示部件可以根据连接信息处理部件所确定的显示模式显示连接位置。
另外，图像显示装置还可以包括一个信息输入部件，用户把与组合图像相关的信息输入信息输入部件。
根据本发明，对于通过连接多个数字图像所生成的组合图像，用户能够容易地识别所连接的部分的可靠性，以独立于组合图像生成局部图像的连接信息。
附图说明
图1概要性地描述了本发明第一实施例的一个显微镜系统；
图2为描述了图1中所示数字显微镜1的一个配置实例的结构图；
图3为描述了图1中所示信息处理装置2的一个配置实例的结构图；
图4为描述了图3中所示图像生成部件22的一个配置实例的结构图；
图5为描述了图1中所示服务器3的一个配置实例的结构图；
图6为描述了图1中所示图像显示装置4的一个配置实例的结构图；
图7A～7C描述了连接信息的显示实例，其中，A描述了一个完整的幻灯片、B描述了一个完整的组合图像、以及C描述了显示部件上的一个显示状态。
图8描述了连接信息的另一个显示实例；
图9描述了连接信息的另一个显示实例；
图10描述了连接信息的另一个显示实例；
图11A～11C描述了连接信息的显示实例，其中，A描述了一个完整的幻灯片、B描述了一个完整的组合图像、以及C描述了显示部件上的一个显示状态。
图12描述了连接信息的另一个显示实例；
图13概要性地描述了本发明第一实施例的显微镜系统中显示连接信息的操作；
图14描述了显示连接信息的流程；
图15描述了从服务器3向图像显示装置4提供的连接信息的一个实例；
图16A～16C描述了图像显示装置4的操作；
图17概要性地描述了本发明第二实施例的显微镜系统中显示连接信息的操作；
图18描述了显示连接信息的流程；
图19A和19B描述了从服务器3向图像显示装置4提供的连接信息的一个实例；
图20A和20B描述了从服务器3向图像显示装置4提供的连接信息的另一个实例；以及
图21描述了其中把连接信息添加于瓦（tile）图像的情况下一个组合图像。
实施例详述
以下，将参照附图详细描述本发明的优选实施例。注意，在本说明书与附图中，将使用相同的参照数字表示那些具有基本相同功能与结构的结构图元，而且省略了对这些结构图元的重复解释。
另外，将按下列次序进行描述。
1.第一实施例
（确定取景器（viewer）中的连接信息的显示模式的实例）
2.第二实施例
（确定服务器中的连接信息的显示模式的实例）
＜第一实施例＞
［显微镜系统的配置］
首先，将描述一个根据本发明第一实施例的虚拟显微镜系统。图1概要性地描述了本实施例的显微镜系统。本实施例的显微镜系统过程通过以高放大倍率的标本进行成像，观察各种预先准备的标本，例如，其由数字显微镜1、信息处理装置2、以及图像显示装置4等构成。
在本实施例的显微镜系统中，可以把信息处理装置2和图像显示装置4直接互相连接，也可以经由网络5把它们互相连接。另外，尽管图1中所示的配置中仅描述了一个图像显示装置4，但实际上也可以把两个或者两个以上的图像显示装置4互相连接，或者可以把信息处理装置2用作图像显示装置4。
尽管可以把本实施例的虚拟显微镜系统应用于医疗、病理学、生物学、材料等各种领域，然而在将其用于病理诊断的情况下，例如，将被观察的对象为活体的内部器官、组织、细胞等，并且将这些切片封闭在一个预先准备的标本中。另外，例如，在预先准备的标本为病理标本的情况下，图像显示装置4的用户（图像的检查者）为医生等，并且根据所显示的图像进行病理诊断。
［数字显微镜1］
数字显微镜1包括光源、物镜、成像传感器、镜台等，其向安装在镜台上的预先准备的标本照射指定的照明光，并且对透过将被观察的对象的光、源自将被观察的对象的光等进行成像。图2为描述了数字显微镜1的一个配置实例的结构图。如图2中所示，把整体图像拾取部件11和局部图像拾取部件12包括在本实施例的显微镜系统的数字显微镜1中。
整体图像拾取部件11由光源、低放大倍率物镜、低分辨率成像元件等构成，并且以低放大倍率和低分辨率对安装在镜台上的预先准备的标本的整个将被观察的图像进行成像。另一方面，数字显微镜12由光源、高放大倍率物镜、高分辨率成像元件等构成，并且以高放大倍率和高分辨率对安装在镜台上的预先准备的标本的将被观察的一个区域的一些部分进行成像。即，数字显微镜1对低分辨率整个图像（微缩图像）和高分辨率局部图像（幻灯片图像）进行成像。
另外，也可以把通过整体图像拾取部件11和局部图像拾取部件12控制成像过程的成像装置控制器13和用于与信息处理装置2连接的输入/输出接口部件14包括在数字显微镜1中。包括输入/输出接口部件14，能够从信息处理装置2输入控制命令，并且能够把整体图像拾取部件11和局部图像拾取部件12所成像的每个图像数据输出于信息处理装置2。
［信息处理装置2］
图3为描述了信息处理装置2一个配置实例的结构图。如图3所示，把连接数字显微镜1所成像的局部图像（幻灯片图像）的图像生成部件22包括在信息处理装置2中。另外，也可以把成像控制部件21、图像处理部件23、CPU（中央处理器）24、存储器25、硬盘26、以及输入/输出接口部件27、28包括在信息处理装置2中。
（图像生成部件22）
图4为描述了图像生成部件22一个配置实例的结构图。如图4所示，图像生成部件22包括图像组合部件221，其连接多个局部图像（幻灯片图像），每个局部图像为一个通过对一个将被观察的区域的一部分进行成像所获得的图像；以及连接信息生成部件222，其生成图像组合部件221所组合的组合图像的连接信息。
在图像组合部件221中，通过连接数字显微镜1所成像的多个局部图像（幻灯片图像），组合高放大倍率和高分辨率的宽视域显微观察图像。具体地讲，针对将加以组合的局部图像（幻灯片图像）执行一个匹配过程，并且根据这一结果执行局部图像（幻灯片图像）的连接（缝合）过程。
另一方面，在连接信息生成部件222中，例如，作为连接信息，为图像组合部件221所组合的组合图像创建与每个局部图像（幻灯片图像）的连接位置相关的信息以及与每个连接位置中连接可靠性相关的信息。另外，还可以把与异物存在与否以及异物的位置相关的信息包括在连接信息中。
此处，作为与连接可靠性相关的信息，可以包括每个局部图像（幻灯片图像）的连接精度、失真存在与否等。例如，就连接精度而言，在匹配过程中，采集作为连接可靠性信息的模式匹配面积的每个像素的偏移量。在这一情况下，连接可靠性将随偏移量的减小而增强。
另外，作为连接可靠性信息，可以采集出现在缝合过程中的相邻局部图像（幻灯片图像）之间的相对偏移量。在这一情况下，在其中相对偏移量较大的情况下连接可靠性将较低，而且连接可靠性将随偏移量的减小而增强。另外，在其中在缝合过程时所计算的每个局部图像（幻灯片图像）的偏移量明显高于成像时根据位置精度所估计的偏移量的情况下，可以断定缝合过程的可靠性较低。例如，由于偏移的累积，或者在针对模糊的图像执行缝合过程的情况下，会在缝合过程中出现偏移量的这样的增加。
除此之外，作为连接可靠性信息，也可以采集具有低连接可靠性的部分的位置信息等，例如，所述部分为在不进行匹配，即不执行匹配过程的情况下连接局部图像（幻灯片图像）的部分，或者其中存在异物的部分。
另外，经由输入/输出接口部件28和网络5，把图像组合部件221所组合的组合图像（宽视域显微观察图像）以及连接信息生成部件222所生成的各种类型的连接信息输出于服务器3和图像显示装置4。
（成像控制部件21）
当对局部图像（幻灯片图像）或者整个图像（微缩图像）进行成像时，成像控制部件21控制数字显微镜1的驱动，并且控制图像生成部件22、图像处理部件23等的操作。
（图像处理部件23）
在图像处理部件23中，执行对整个将被观察的区域进行成像的整个图像（微缩图像）的分析、以及数字显微镜1对局部图像进行成像的一个序列（成像序列）的创建。
（CPU 24）
例如，CPU 24总地控制包括在信息处理装置2中的每个部件，并且执行一个总地控制以上所描述的图像处理部件23、成像控制部件21等的程序。另外，CPU 24还可以执行信息处理装置2的每个部件所执行的操作过程，并且可以执行图像的译码器，即以上所描述的图像组合部件221所执行的局部图像的模式匹配过程等。
（存储器25）
存储器25用作CPU 24的工作区，并且临时存储数字显微镜1所成像的以及从输入/输出接口部件27所输入的局部图像（幻灯片图像）和整个图像（微缩图像）。
（硬盘26）
例如，把图像处理部件23的处理结果（成像序列等）、图像组合部件221所组合的组合图像（显微观察图像）、连接信息生成部件222所生成的连接信息等存储在硬盘26中。
注意，可以把这一数据的一部分或者全部存储在网络5上。在这一情况下，可以把用于与服务器3连接的接口28包括在信息处理装置2中，并且可以经由网络5按共有以及可通信的方式加以设置。
另外，还能够创建用于实现以上所描述的信息处理装置2的每个功能的计算机程序，并且能够在个人计算机等中执行所述计算机程序。例如，可以把这样的计算机程序存储在诸如磁盘、光盘、磁光盘、或者闪存的记录媒体上，也可以经由网络加以提交。
［服务器3］
服务器3管理从信息处理装置2所上载的各种数据，并且当需要时把数据输出于图像显示装置4和信息处理装置2。图5为描述了服务器3的一个配置实例的结构图。如图5中所示，经由网络5把服务器3连接于信息处理装置2和图像显示装置4，服务器3由硬盘31、数据库32、CPU 33、存储器34、以及输入/输出接口部件35、36构成。
（数据库32）
把信息处理装置2的图像生成部件22所生成的组合图像（宽视域显微观察图像）、连接信息、与组合图像相关的各种信息（例如，大小等）、整个图像（微缩图像）等存储在数据库32中。另外，例如，服务器3经由网络5与图像显示装置4交换所述信息。
［图像显示装置4］
图6为描述了图像显示装置4的一个配置实例的结构图。如图6中所示，经由网络5把图像显示装置4连接于信息处理装置2和服务器3，图像显示装置4由显示部件41、控制部件42、连接信息处理部件43、帧缓冲器44、CPU 45、存储器46、硬盘47、以及输入/输出接口部分48构成。
（显示部件41）
显示部件41显示组合图像（显微观察图像）和连接信息，并且能够显示这一图像和信息。
（连接信息处理部件43）
连接信息处理部件43确定连接信息的显示模式。图7～13描述了连接信息的显示实例。当不特别限制连接信息的显示模式时，可以显示连接位置，例如，通过直线加以显示。具体地讲，在其中针对图7A中所示的幻灯片100对标本101进行成像的情况下，在组合图像102上显示每个连接位置，如图7B中所示。另外，如图7C中所示，在显示部件41上随连接位置一起显示组合图像102的一个指定的区域103。
在这一情况下，可望根据与连接可靠性相关的信息改变连接位置的显示模式。例如，在其中由直线描述连接位置的情况下，可以通过改变线的颜色、线的粗细、线的类型等描述连接位置。具体地讲，在图8中所示的显示实例中，由正常粗细的线描述具有高连接可靠性的部分，由粗线描述具有中可靠性的部分，以及由双线描述具有低可靠性的部分。
注意，尽管图7和图8中描述了所有连接位置，然而本发明并不局限于此，也可以仅显示具有低可靠性的连接位置。另外，也可以不通过附加线显示连接位置，而通过显示不显示连接部分的图像的空白空间显示连接位置。
而且，在其中互相连接具有不同大小和放大倍率的局部图像的情况下，或者在其中互相连接未处于焦点的局部图像的情况下，可以显示相应于局部图像的连接位置，如图9中所示。另外，如图10中所示，在其中存在多个具有相同视野和分辨率以及仅具有不同焦点位置的组合图像（显微观察图像）111～113的情况下，可以显示针对每个不同焦点位置的连接信息114a、114b。
另一方面，可以不随连接位置一起显示连接可靠性信息。例如，如图11A和图11B中所示，在其中把异物104附加于标本101的情况下，可以显示一个附加于异物104所处位置的标记105，例如，如图11C中所示。注意，在其中与连接可靠性相关地描述感兴趣的位置或者区域的情况下，例如，除了像图11C中所示的那样附加一个标记的方法之外，也可以向这一位置附加诸如白色的颜色，可以使颜色淡于其它区域，或者能够改变颜色。
而且，如图12中所示，例如，可以显示一种附加于具有低可靠性的局部图像115（例如，不能够使用相邻局部图像针对其执行连接过程的图像）的颜色。另外，还通过跟踪所显示的图像的变化显示这一连接信息的显示。具体地讲，在其中放大或者缩小组合图像的情况下，根据这一图像，也放大或者缩小连接信息，在其中已经移动了组合图像的显示区域的情况下，为移动之后的区域显示连接信息。
（帧缓冲器44）
帧缓冲器44临时存储显示在显示部件41上的组合图像的（显微观察图像）。
（信息输入部件）
注意，可以把其中用户输入与组合图像相关的信息的显示信息输入部件包括在图像显示装置4中。在这一情况下，经由网络5把用户输入的信息从图像显示装置4传输于信息处理装置2和服务器3，并且将其存储在输入信息存储部件中。此处，尽管对用户所输入的信息未特别加以限制，但在其中使用了所述信息（例如，针对病理诊断）的情况下，可以考虑所关注或者感兴趣部分、异物的位置等。
［网络5］
网络5为一个通信线网络，其共有以及可双向通信地连接信息处理装置2、服务器3以及图像显示装置4。例如，所述网络5由诸如Internet、电话网络或者卫星通信路由的公共网络构成，或者由诸如WAN（广域网）、LAN（局域网）、IP-VPN（Internt协议-虚拟专用网）、Ethernet（注册商标）、无线LAN等的租赁线网络构成，而无论所述网络是有线的还是无线的。另外，所述网络5还可以为专门包括在本实施例的显微镜系统中的通信线网络。
［操作］
以下，将描述使用本实施例的显微镜系统显示显微观察图像的方法。图13概要性地描述了本实施例的显微镜系统中显示连接信息的操作。图14描述了显示连接信息的流程，图15描述了从服务器3向图像显示装置4提供的连接信息的一个实例。图16A～16C描述了图像显示装置4的操作。
如图13中所示，在本实施例的显微镜系统中，在信息处理装置2中，创建连接信息201以及组合图像202。把所述组合图像202和连接信息201均传输于服务器3，并且将它们存储在数据库32中。另外，例如，如图14中所示，在其中存在来自用户的针对组合图像的显示的指令的情况下，图像显示装置（取景器）4向服务器3请求显示所需的信息。
与此相反，服务器3根据图像显示装置（取景器）4的请求，提供相应于从组合图像202所指出的显式区域的瓦（tile）图像212，以及构成所述显式区域的局部区域的连接信息211等。而且，还把从服务器3提供的每个瓦图像212存储在图像显示装置（取景器）4的帧缓冲器44中，并且把连接信息211存储在存储器46中。此后，在图像显示装置（取景器）4的连接信息处理部件43中确定连接信息211的显示模式，并且随存储在帧缓冲器44中的图像212一起在显示部件41上显示连接信息211。
此处，例如，作为从服务器3所提供的信息，可以包括成像信息（成像放大倍率、每个照片的像素数目、照片的数目等），例如图15A中所示的。另外，当确定连接信息的显示模式时，也可以使用图像显示装置（取景器）所管理的值，例如图15B中所示的。而且，当显示诸如图15A和15B中所示的参数时，图像变为诸如图15C中所示的图像。
另一方面，显示在显示部件41上的组合图像由明显小于局部图像的瓦图像构成。另外，一个具有图15中所示粗线的帧描述了把组合图像的哪一区域显示在显示部件41上，在把左顶点作为原点的情况下，使用组合图像的绝对坐标系设置坐标。而且，在一个大幅（gigantic）图像的绝对坐标系中，在显示部件41中，把位置（x，y）转换为坐标（0，0）。图像显示装置（取景器）4在根据绝对坐标系识别左顶点坐标（0，0）和位置（x，y）之间的关系的同时正常地进行描绘。
在连接信息处理部件43中，例如，可以通过请求多少个帧进入显示屏幕以及这些帧处于显示屏幕中的什么位置（相对坐标），执行帧内部的填充。另外，在改变显示放大倍率时，通过改变每个局部图像以及放大倍率的改变，计算相应于放大倍率的帧位置，从而能够执行相应图像或者区域的填充。
在本实施例的显微镜系统中，由于独立于组合图像（显微观察图像）创建连接信息，所以能够在连接信息的显示/非显示之间进行转换。具体地讲，如图16A～16C中所示，把用于连接信息的显示/非显示的UI（用户接口）包括在显示部件41的屏幕中，并且将其设置为可为用户加以选择。
如以上所描述的，在本实施例的显微镜系统中，由于独立于组合图像创建连接信息，并且随组合图像一起显示连接信息，所以用户能够容易地识别所连接的部分的可靠性。在这一方式下，能够在病理诊断中进行更精确的诊断。
＜第二实施例＞
以下，将描述根据本发明第二实施例的显微镜系统。尽管以上所描述的第一实施例的显微镜系统在图像显示装置4中确定连接信息的显示模式，然而本发明并不局限于此，也可以在信息处理装置2或者服务器3中确定连接信息的显示模式。
图17概要性地描述了本实施例的显微镜系统中显示连接信息的操作。图18描述了显示连接信息的流程。另外，图19和20描述了从服务器3向图像显示装置4提供的连接信息的实例。
如图17中所示，在本实施例的显微镜系统中，服务器3把连接信息201a提供于从图像显示装置4请求的每个瓦图像212。具体地讲，把连接信息处理部件包括在服务器3中，CPU 33把从信息处理装置2传输的连接信息201与组合图像的每个局部图像相关联，并且将其存储在数据库32中。另外，在存在来自图像显示装置4的请求时，与瓦图像212一起提供其中确定了显示模式的连接信息（帧信息）201a。
当通过对多个局部图像进行成像并且加以连接创建大幅图像，以及针对每个小瓦图像对所述大幅图像进行分割时，将把帧用于边界线的瓦。因此，服务器3计算瓦位置与边界线的关系，并且针对每个瓦，把一个帧信息的列表存储在数据库32中。例如，在针对一个诸如图19A中所示的瓦图像输入和计算一个帧（粗线）的情况下，可以预先计算诸如图19B的信息的信息，并且可以将其登记在数据库32中。
另外，在其中瓦图像212的采集请求来自图像显示装置4的情况下，把图19B的连接信息201a附加于瓦图像212。注意，在图20A中所示的组合图像的情况下，由于按最大放大倍率保持帧位置是不现实的，所以最好仅保存针对多个放大倍率的连接信息（帧信息），如图20B中所示。
另外，在本实施例的显微镜系统中，也可以在信息处理装置2而不是在服务器3中确定连接信息的显示模式。图21描述了其中把连接信息附加于瓦图像的情况下一个组合图像。在这一情况下，当在信息处理装置2中（例如，在图21中所示的组合图像120中）创建瓦图像122时，把局部图像121的连接信息添加于瓦数据的头标。按照这一方式，服务器3和图像显示装置4中的处理过程变得不必要。例如，也可以向瓦头标附加诸如异物标记的信息。
在本实施例的显微镜系统中，由于由服务器3和信息处理装置2确定连接信息的显示模式，所以可以减轻图像显示装置4中的处理负荷。按照这一方式，能够提高描绘速度（显示速度）。
注意，在本实施例的显微镜系统中，除了以上所描述的配置与效果之外的配置与效果与以上所描述的第一实施例的配置与效果类似。
本领域技术人员将会意识到：可以依据设计要求和其它因素，对本发明进行多方面的修改、组合、子组合、以及变动，只要这些修改、组合、子组合、以及变动处于所附权利要求或者其等效要求的范围内即可。
另外，也可以把本技术配置如下。
（1）一种信息处理装置，包括：
图像组合部件，其连接多个局部图像，每个局部图像为一个通过对一个将被观察的区域的一部分进行成像所获得的图像；以及
连接信息生成部件，其生成图像组合部件所组合的组合图像的连接信息，
其中，与组合图像一起，或者独立于组合图像，向能够显示组合图像的图像显示装置提供连接信息。
（2）根据（1）所述的信息处理装置，
其中，连接信息包括局部图像的至少一个连接位置以及连接位置中的连接可靠性。
（3）根据（2）所述的信息处理装置，
其中，与连接可靠性相关的信息为每个局部图像的连接精度和/或失真的存在与否。
（4）根据（2）或者（3）所述的信息处理装置，
其中，根据与连接可靠性相关的信息进一步地改变连接信息的显示模式。
（5）根据（2）～（4）所述的信息处理装置，
其中，连接信息还包括与异物的存在与否和/或异物的位置相关的信息。
（6）根据（1）～（5）所述的信息处理装置，还包括：
一个输入信息存储部件，其存储与用户所输入的组合图像相关的信息，
其中，也把存储在输入信息存储部件中的信息与连接信息一起提供于图像显示装置。
（7）一种信息处理方法，包括：
由图像组合部件连接多个局部图像，每个局部图像为一个将被观察的区域的一个所成像的部分；
由连接信息生成部件生成图像组合部件所组合的组合图像的连接信息；以及
与组合图像一起，或者独立于组合图像，向能够显示组合图像的图像显示装置提供连接信息。
（8）一种致使信息处理装置执行下列功能的程序：
图像组合功能，其连接多个局部图像，每个局部图像为一个将被观察的区域的一个所成像的部分；
连接信息生成功能，其生成图像组合部件所组合的组合图像的连接信息；以及
一个与组合图像一起，或者独立于组合图像，向能够显示组合图像的图像显示装置提供连接信息的功能。
（9）一种图像显示装置，包括：
图像采集部件，其采集通过连接多个局部图像所获得的组合图像，每个局部图像为一个将被观察的区域的一个所成像的部分；
连接信息采集部件，其采集组合图像的连接信息；以及
显示部件，其显示组合图像和/或连接信息。
（10）根据（9）所述的图像显示装置，
其中，连接信息包括局部图像的至少一个连接位置以及连接位置中的连接可靠性。
（11）根据（10）所述的图像显示装置，还包括：
一个连接信息处理部件，其根据与连接可靠性相关的信息确定连接位置的显示模式，
其中，显示部件根据连接信息处理部件所确定的显示模式显示连接位置。
（12）根据（9）～（11）所述的图像显示装置，还包括：
一个信息输入部件，用户把与组合图像相关的信息输入信息输入部件。
本发明包含与2012年7月31日向日本专利局提出的日本优先专利申请JP 2012-169607中所公开的主题相关的主题，特将其全部内容并入此处，以作参考。
Claims (12)
1.一种信息处理装置，包含：
图像组合部件，连接多个局部图像，每个局部图像为通过对将被观察的区域的部分进行成像所获得的图像；以及
连接信息生成部件，生成所述图像组合部件所组合的组合图像的连接信息，
其中，与所述组合图像一起，或者独立于所述组合图像，向能够显示所述组合图像的图像显示装置提供连接信息。
2.根据权利要求1所述的信息处理装置，
其中，所述连接信息至少包括所述局部图像的连接位置以及在所述连接位置中的连接可靠性。
3.根据权利要求2所述的信息处理装置，
其中，与所述连接可靠性相关的信息为连接精度和/或每个局部图像是否存在失真。
4.根据权利要求2所述的信息处理装置，
其中，所述连接信息的显示模式根据与所述连接可靠性相关的信息进一步地改变。
5.根据权利要求2所述的信息处理装置，
其中，所述连接信息还包括与异物的存在与否和/或异物的位置相关的信息。
6.根据权利要求1所述的信息处理装置，还包含：
输入信息存储部件，存储与用户所输入的组合图像相关的信息，
其中，存储在输入信息存储部件中的信息也与所述连接信息一起提供给所述图像显示装置。
7.一种信息处理方法，包含：
由图像组合部件连接多个局部图像，每个局部图像为将被观察的区域的成像部分；
由连接信息生成部件生成所述图像组合部件所组合的组合图像的连接信息；以及
与所述组合图像一起，或者独立于所述组合图像，向能够显示所述组合图像的图像显示装置提供所述连接信息。
8.一种致使信息处理装置执行下列功能的程序：
图像组合功能，连接多个局部图像，每个局部图像为将被观察的区域的成像部分；
连接信息生成功能，生成所述图像组合部件所组合的组合图像的连接信息；以及
与所述组合图像一起，或者独立于所述组合图像，向能够显示所述组合图像的图像显示装置提供所述连接信息的功能。
9.一种图像显示装置，包含：
图像采集部件，采集通过连接多个局部图像所获得的组合图像，每个局部图像为将被观察的区域的成像部分；
连接信息采集部件，其采集所述组合图像的连接信息；以及
显示部件，其显示所述组合图像和/或所述连接信息。
10.根据权利要求9所述的图像显示装置，
其中，所述连接信息至少包括局部图像的连接位置以及在该连接位置中的连接可靠性。
11.根据权利要求10所述的图像显示装置，还包含：
连接信息处理部件，根据与所述连接可靠性相关的信息确定所述连接位置的显示模式，
其中，所述显示部件根据所述连接信息处理部件所确定的显示模式显示所述连接位置。
12.根据权利要求9所述的图像显示装置，还包含：
信息输入部件，用户把与所述组合图像相关的信息输入该信息输入部件。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012-169607 | 2012-07-31 | ||
| JP2012169607A JP2014029380A (ja) | 2012-07-31 | 2012-07-31 | 情報処理装置、情報処理方法、プログラム及び画像表示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103577137A true CN103577137A (zh) | 2014-02-12 |
Family
ID=50025101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310313804.2A Pending CN103577137A (zh) | 2012-07-31 | 2013-07-24 | 信息处理装置、信息处理方法、程序、以及图像显示装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10051241B2 (zh) |
| JP (1) | JP2014029380A (zh) |
| CN (1) | CN103577137A (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5542478B2 (ja) * | 2010-03-02 | 2014-07-09 | 株式会社日立ハイテクノロジーズ | 荷電粒子線顕微鏡 |
| JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| WO2015045578A1 (ja) * | 2013-09-27 | 2015-04-02 | 日産自動車株式会社 | 情報提示システム |
| US20150124079A1 (en) * | 2013-11-06 | 2015-05-07 | Canon Kabushiki Kaisha | Image data forming apparatus and control method thereof |
| JP2019086997A (ja) * | 2017-11-07 | 2019-06-06 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび観察システム |
| JP7139735B2 (ja) * | 2018-07-09 | 2022-09-21 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
| WO2020012825A1 (ja) * | 2018-07-13 | 2020-01-16 | 富士フイルム株式会社 | 画像生成装置、画像生成方法および画像生成プログラム |
| EP3933849A4 (en) * | 2019-02-28 | 2022-04-20 | Sony Group Corporation | DIAGNOSTIC SUPPORT PROGRAM, DIAGNOSTIC SUPPORT SYSTEM AND DIAGNOSTIC SUPPORT PROCEDURE |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
| US6101238A (en) * | 1998-11-25 | 2000-08-08 | Siemens Corporate Research, Inc. | System for generating a compound x-ray image for diagnosis |
| EP2161735A3 (en) * | 1999-03-05 | 2010-12-08 | Canon Kabushiki Kaisha | Image formation apparatus |
| KR100689419B1 (ko) * | 2004-05-28 | 2007-03-08 | 삼성전자주식회사 | 카메라를 구비한 이동 단말에서 촬영 이미지 합성 장치 및방법 |
| US20070031043A1 (en) * | 2005-08-02 | 2007-02-08 | Perz Cynthia B | System for and method of intelligently directed segmentation analysis for automated microscope systems |
| US7929738B2 (en) * | 2005-10-11 | 2011-04-19 | Olympus Corporation | Microscope apparatus and microscope system |
| US7801351B2 (en) * | 2005-11-22 | 2010-09-21 | General Electric Company | Method and system to manage digital medical images |
| JP4309920B2 (ja) * | 2007-01-29 | 2009-08-05 | 株式会社東芝 | 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法 |
| JP5082776B2 (ja) * | 2007-10-31 | 2012-11-28 | オムロン株式会社 | 画像処理装置 |
| US20110194748A1 (en) * | 2008-10-14 | 2011-08-11 | Akiko Tonomura | Ultrasonic diagnostic apparatus and ultrasonic image display method |
| JP5066056B2 (ja) * | 2008-10-31 | 2012-11-07 | 株式会社日立ハイテクノロジーズ | 試料観察方法、及び電子顕微鏡 |
| DE102009035585A1 (de) * | 2009-07-31 | 2011-02-03 | Krones Ag | Inspektionsvorrichtung und Inspektionsverfahren zum Erkennen von Fremdkörpern in einem gefüllten Behälter |
| JP5338573B2 (ja) * | 2009-08-31 | 2013-11-13 | ソニー株式会社 | 蛍光像取得方法、蛍光像取得装置及び蛍光像取得プログラム |
| JP2011095685A (ja) * | 2009-11-02 | 2011-05-12 | Sony Corp | 顕微鏡システム及び顕微鏡システムの制御方法 |
| US8902128B2 (en) * | 2009-11-04 | 2014-12-02 | Christie Digital Systems Usa, Inc. | Tiled display system and improvement therein |
| JP5561027B2 (ja) | 2009-11-30 | 2014-07-30 | ソニー株式会社 | 情報処理装置、情報処理方法及びそのプログラム |
| JP2012002923A (ja) * | 2010-06-15 | 2012-01-05 | Canon Inc | 撮像装置 |
| EP2617026A4 (en) * | 2010-09-16 | 2015-03-11 | Omnyx LLC | DIGITAL IMAGE PROCESSING OF PATHOLOGY |
-
2012
- 2012-07-31 JP JP2012169607A patent/JP2014029380A/ja active Pending
-
2013
- 2013-06-25 US US13/926,464 patent/US10051241B2/en active Active
- 2013-07-24 CN CN201310313804.2A patent/CN103577137A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20140036058A1 (en) | 2014-02-06 |
| US10051241B2 (en) | 2018-08-14 |
| JP2014029380A (ja) | 2014-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103577137A (zh) | 信息处理装置、信息处理方法、程序、以及图像显示装置 | |
| US20210018742A1 (en) | Augmented reality microscope for pathology with overlay of quantitative biomarker data | |
| US20130019188A1 (en) | Information processing method and information processing system | |
| JP5306422B2 (ja) | 画像表示システム、装置、方法及び医用画像診断装置 | |
| JP2011204243A (ja) | 三次元仮想スライドを生成しかつ可視化するためのシステム及び方法 | |
| CN102843564B (zh) | 图像处理系统、装置以及方法 | |
| US11790672B2 (en) | Image processing method, microscope, image processing system, and medium based on artificial intelligence | |
| JP2006300681A (ja) | 画像作成装置 | |
| JP6147464B2 (ja) | 画像処理システム、端末装置及び方法 | |
| JP2012242906A (ja) | 画像処理システム、装置及び方法 | |
| WO2013161590A1 (ja) | 画像表示装置、方法及びプログラム | |
| CN104025150A (zh) | 图像处理装置、图像显示系统、图像处理方法和图像处理程序 | |
| JP2014021490A (ja) | スタックされた顕微鏡画像をナビゲートするための方法及び装置 | |
| JP2013058124A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN104185806A (zh) | 图像处理设备，图像处理系统，图像处理方法和图像处理程序 | |
| JP2013068706A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
| JP6479178B2 (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム | |
| CN108133501B (zh) | 显示病理图像的方法、图像处理装置和计算机存储介质 | |
| CN102833570A (zh) | 图像处理系统、装置以及方法 | |
| JP5967197B2 (ja) | 情報処理装置、情報処理方法、プログラム及び顕微鏡システム | |
| Rhoads et al. | Comparison of the diagnostic utility of digital pathology systems for telemicrobiology | |
| Jiang et al. | A novel iomt system for pathological diagnosis based on intelligent mobile scanner and whole slide image stitching method | |
| JP2005266718A (ja) | 顕微鏡画像撮影システム | |
| US10607344B2 (en) | Image data transfer system, connection node, medical work area and method for transferring image data and for configuring an image data transfer system | |
| JP5832990B2 (ja) | 画像表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140212 |