CN102098410B - 信息处理设备和方法及包括光学显微镜的成像设备 - Google Patents
信息处理设备和方法及包括光学显微镜的成像设备 Download PDFInfo
- Publication number
- CN102098410B CN102098410B CN201010576935.6A CN201010576935A CN102098410B CN 102098410 B CN102098410 B CN 102098410B CN 201010576935 A CN201010576935 A CN 201010576935A CN 102098410 B CN102098410 B CN 102098410B
- Authority
- CN
- China
- Prior art keywords
- image
- lightness
- cut section
- observation area
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 71
- 230000003287 optical effect Effects 0.000 title claims abstract description 69
- 230000010365 information processing Effects 0.000 title claims abstract description 16
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 abstract description 52
- 238000000034 method Methods 0.000 description 128
- 230000008569 process Effects 0.000 description 119
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 21
- 244000145841 kine Species 0.000 description 18
- 238000012545 processing Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 235000005121 Sorbus torminalis Nutrition 0.000 description 1
- 244000152100 Sorbus torminalis Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Microscoopes, Condenser (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供信息处理设备、信息处理法方法、程序以及包括光学显微镜的成像设备。该信息处理设备，包括获取部和校正部。获取部获取由成像部拍摄的第一图像的明度分布信息，该成像部能够拍摄在光学显微镜的光学系统的光路上设置的观察区的图像，观察区的图像由光学显微镜获得，第一图像是在观察区中未放置样品的状态下的图像，明度分布由光学显微镜的光学系统产生。校正部基于由获取部获取的明度分布信息来校正由成像部拍摄的第二图像的明度不均匀性，第二图像是在观察区中放置了样品的状态下的图像。
Description
技术领域
本发明涉及通过处理由图像传感器获得的图像信号来校正输出图像的明度分布的信息处理设备、信息处理方法、程序及包括光学显微镜的成像设备。
背景技术
过去，例如，包括诸如电荷耦合器件(CCD)的图像传感器的数码像机被广泛用作成像设备。当以这种成像设备拍摄目标图像时，在许多情况下使用用于校正拍摄的图像的明度(lightness)或亮度(luminance)分布的明暗校正(shading correction)技术。
例如，日本专利申请公开第2004-200888号(下文中，称为专利文献1)披露了下述的明暗校正技术。在该技术中，首先，拍摄作为参考对象的具有高亮度级的无色对象的图像。基于因此获得的视频信号的亮度级的分布状态，使用数学表达式创建对应于与透镜中心点或透镜位置的距离的校正数据。通过这个校正数据，通过图像拍摄获得的视频信号的亮度级被校正(例如，参见专利文献1第[0020]段)。
发明内容
例如，在通过光学显微镜所获得的图像被数字化的情况下，由于显微镜的复杂的放大光学系统，所以很难预测输出图像的明度不均匀性。因此，难以如专利文献1所披露的一样使用由数学表达式所创建的校正数据来校正明度不均匀性。
鉴于上述环境，期望提供能够校正难以预测的明度不均匀性的信息处理设备、信息处理方法、程序及包括光学显微镜的成像设备。
根据本发明的实施方式，提供一种包括获取装置和校正装置的信息处理设备。
获取装置获取由成像装置拍摄的第一图像的明度分布信息，该成像装置能够拍摄在光学显微镜的光学系统的光路上设置的观察区的图像，由光学显微镜获得观察区的图像，第一图像是在观察区中未放置样品的状态下的图像，明度分布由光学显微镜的光学系统产生。
校正装置基于由获取装置获取的明度分布信息来校正由成像装置拍摄的第二图像的明度不均匀性，第二图像是在观察区中放置了样品的状态下的图像。
在信息处理设备中，从第一图像获取由光学显微镜的光学系统产生的明度分布的信息，该第一图像是在观察区中未放置样品的状态下的图像。根据所述明度分布信息，能够校正第二图像的明度不均匀性，该第二图像是在观察区中放置了样品的状态下的图像，该明度不均匀性难以预测。
信息处理设备可进一步包括：存储装置，用于存储由获取装置获取的明度分布的信息。在这种情况下，校正装置基于由存储装置存储的明度分布的信息来校正第二图像的明度不均匀性。
例如，假设存储了确定的照明光学系统等的预定观察区的明度分布信息，则不需要重新获取当样品被放置在观察区中时的明度分布信息，并且第二图像的明度不均匀性能够基于所存储的明度分布信息进行校正。结果，能够缩短用于校正明度不均匀性所需的处理时间。
获取装置能够获取通过将第一图像分割成多个区而获得的每个第一分割区的明度分布信息。在这种情况下，校正装置可以校正通过将第二图像分割成多个区而获得的每个第二分割区的第二图像的明度不均匀性，所述第二分割区对应于所述第一分割区。
在信息处理设备中，获取第一图像的每个第一分割区的明度分布信息。然后，校正与第一分割区对应的第二图像的每个第二分割区的第二图像的明度不均匀性。结果，能够缩短校正明度不均匀性所需的处理时间。
获取装置能够获取第一图像的色度分布信息，该色度分布信息由光学显微镜的光学系统产生。在这种情况下，校正装置能够基于由获取装置获取的色度分布的信息来调节第二图像的白平衡。
在信息处理设备中，由光学显微镜的光学系统产生的明度分布信息和色度分布信息都能从第一图像来获取。结果，能够基于明度分布信息来校正第二图像的明度不均匀性。另外，能够基于色度分布信息来调节第二图像的白平衡。
根据本发明的另一实施方式，提供了一种信息处理方法，该信息处理方法由信息处理设备所执行，该信息处理方法如下：
换句话说，该信息处理方法包括：获取由能成像装置拍摄的第一图像的明度分布信息，该成像装置能够拍摄在光学显微镜的光学系统的光路上设置的观察区的图像，由光学显微镜获得观察区的图像，第一图像是在观察区中未放置样品的状态下的图像，明度分布由光学显微镜的光学系统产生；以及基于获取的明度分布信息来校正由成像装置拍摄的第二图像的明度不均匀性，第二图像是在观察区中放置了样品的状态下的图像。
根据本发明的另一个实施方式，提供了一种程序，使信息处理设备执行上述的信息处理方法。所述程序可以被记录在记录介质上。
根据本发明的另一个实施方式，提供了一种包括光学系统、成像装置、获取装置及校正装置的成像设备。
光学显微镜包括光学系统。
成像装置能够拍摄在光学系统的光路上设置的观察区的图像，观察区的图像由光学显微镜获得。
获取装置获取由成像装置拍摄的第一图像的明度分布的信息，第一图像是在观察区中未放置样品的状态下的图像，由光学显微镜的光学系统产生明度分布。
校正装置基于由获取装置获取的明度分布信息来校正由成像装置拍摄的第二图像的明度不均匀性，第二图像是在观察区中放置了样品的状态下的图像。
根据本发明的另一个实施方式，提供包括获取部和校正部的信息处理设备。获取部获取由成像部拍摄的第一图像的明度分布信息，该成像部能够拍摄在光学显微镜的光学系统的光路上设置的观察区的图像，观察区的图像由光学显微镜获得，第一图像是在观察区中未放置样品状态下的图像，明度分布由光学显微镜的光学系统产生。校正部基于由获取部获取的明度分布信息来校正由成像部拍摄的第二图像的明度不均匀性，第二图像是在观察区中放置了样品的状态下的图像。
如上所述，根据本发明的实施方式，能够校正难以预测的由光学显微镜的光学系统产生的明度不均匀性。
下面，如附图所示，本发明的这些和其它的目的、特征和优点根据以下详细描述的最佳实施方式将变得更加显而易见。
附图说明
图1是示出包括根据本发明第一实施方式的信息处理设备的成像系统的结构实例的框图；
图2是示意性示出图1中所示的光学显微镜和成像设备的结构的示图；
图3是示出图1中所示的成像设备的结构实例的框图；
图4是示意性示出由图3中所示的成像设备所生成的作为图像数据的原始数据的示图；
图5是示出图1中所示的PC的结构实例的框图；
图6是示出图1中所示的PC的处理的流程图；
图7是用于说明图6中所示的校准处理的方法的示图；
图8是示出在图7中所示的校准处理中所生成的全白图像的实例的示图；
图9是用于说明图6中所示的明暗校正处理的方法的示图；
图10是示出没有进行图9中所示的明暗校正的样品图像的实例的示图；
图11是示出进行了图9中所示的明暗校正的样品图像的示图；
图12是示出作为根据本发明第二实施方式的信息处理设备的PC的处理的流程图；
图13是用于说明由第二实施方式的PC所执行的校准处理和自动白平衡校正处理的示图；以及
图14是示出根据本发明其它实施方式的成像系统的结构实例的示图。
具体实施方式
下文中，将参照附图描述本发明的实施方式。
(第一实施方式)
图1是示出包括根据本发明第一实施方式的信息处理设备的成像系统的结构实例的框图。图2是示意性示出图1中所示的光学显微镜和成像设备的结构的示图。图1中的成像系统400包括光学显微镜300、作为成像装置的成像设备200及作为信息处理设备的个人计算机(PC)100。例如，使用数码像机作为成像设备200。
例如，光学显微镜300包括诸如发光二极管(LED)的光源301、照明光学系统302、图像形成光学系统303、及设置在照明光学系统302和图像形成光学系统303的光路上的样品台304。在样品台304上，设置了用于放样品305的观察区306，并且生成观察区306的图像。
例如，成像设备200包括诸如电荷耦合器件(CCD)的图像传感器201，并且能够拍摄通过光学显微镜300获得的观察区306的图像，并且将该图像作为图像数据进行存储。这个图像数据被PC 100读出，并且在进行随后描述的数据处理后被输出。
此处，将详细描述成像设备200和PC 100。
图3是示出了成像设备200的结构实例的框图。图4是示意性示出由成像设备200生成的作为图像数据的原始数据的示图。
成像设备200包括图像传感器201、预处理电路202、记录介质接口(I/F)203及记录介质204。例如，使用存储卡、光盘或磁性光盘作为记录介质204。
入射光在预定的成像拍摄条件(光圈、缩放、焦距等)下被透镜(未示出)会聚，并且在图像传感器201的成像表面上形成光学图像。图像传感器201将在成像表面上形成的光学图像的成像结果输出至预处理电路202。在这个实施方式中，其中以方格图案设置了G滤色器的传感器被用作图像传感器201，但是，例如，可以使用三板传感器、黑白传感器、线传感器或多传感器。
预处理电路202预先处理来自图像传感器201的输出信号，并控制记录介质I/F 203以在记录介质204上记录原始数据文件。如图4所示，具有诸如光学黑体(OPB)的无效像素区206、有效像素区207及生效像素(effective pixel)区208的矩形CCD图像作为原始数据205以点顺序被存储在原始数据文件中。
[信息处理设备的结构]
图5是示出PC 100的结构实例的框图。PC 100包括CPU(中央处理单元)101、ROM(只读存储器)102、RAM(随机访问存储器)103、HDD(硬盘驱动器)104、操作单元105、显示单元106、记录介质接口(I/F)107、打印机接口(I/F)108、及将上面那些组件彼此连接的总线109。
CPU 101从ROM 102等中读取诸如操作系统(OS)的系统程序，并且使用在RAM 103中获得的工作区来执行系统程序。CPU 101从ROM102、RAM 103、HDD 104等中读取图像处理程序等，并且使用在RAM 103中获得的工作区或在CPU 101中设置的第一和/或第二高速缓冲存储器来执行程序。
CPU 101能够对上述原始数据205执行包括光学校正处理、伽马校正处理、去马赛克处理、降噪处理等的一系列图像质量校正处理。此外，CPU101通过由预定数据压缩系统压缩亮度数据和色彩数据来形成记录图像数据，并且通过解压该记录图像数据来恢复未经数据压缩的初始原始数据205。此处，CPU 101用作处理执行部、程序信息管理部、资源信息获取部、处理优先级设定部及处理控制部。
ROM 102存储由CPU 101执行的程序、处理所需的各种类型的数据等。
RAM 103包括用于图像显示的视频RAM(VRAM)(未示出)，并且主要用作执行各种类型的处理的工作区。
HDD 104包括硬盘，并且根据CPU 101的控制执行关于硬盘的数据写入/读取。
操作单元105包括数字键、符号键、箭头键、各种功能键等，并且向CPU 101提供来自用户的操作输入。操作单元105可以包括诸如鼠标的指示设备。CPU 101控制各个单元以执行对应于由用户经由操作单元105输入的操作输入的处理。
显示单元106包括诸如LCD(液晶显示器)和CRT(阴极射线管)的显示设备，并且显示对应于基于亮度数据和色彩数据形成的图像信号的图像。
记录介质I/F 107执行关于诸如存储卡、光盘及磁性光盘的记录介质110的数据写入/读取。可选地，可以使用包括硬盘的HDD作为记录介质I/F 107和记录介质110。
打印机I/F 108向打印机111输出图像的打印数据等。
[信息处理设备的操作]
图6是示出作为根据本实施方式的信息处理的PC 100的处理的流程图。此处，作为第二图像的样品图像的原始数据文件以压缩状态被记录在 PC 100的HDD 104中，第二图像是放置了样品305的观察区306的图像，其由成像设备200生成。
PC 100的CPU 101解压被记录在HDD 104中的样品图像的原始数据文件。随后，CPU 101将在原始数据文件中所存储的样品图像的原始数据205以解压状态存储在RAM 103的预定存储区中。
CPU 101根据用户的指令或工厂协调预先执行校准处理(步骤101)。校准处理指用于创建成像设备200的全白图像拍摄涉及的校正表的处理。将在后面详细描述校准处理。
CPU 101对样品图像的原始数据205执行光学校正处理，光学校正处理包括缺陷校正、RawNR(降噪)等(步骤102)。此外，CPU 101对样品图像的原始数据205执行去马赛克处理(步骤103)。去马赛克处理指对以点顺序存储的样品图像的原始数据205执行RGB同时处理的处理。下文中，样品图像的每个像素由在图像空间上的匹配位置处的三个RGB值构成。应该注意，在本实施方式中，在RGB同时处理之后、在明暗校正之前执行的诸如伽马校正处理的处理也被包括在去马赛克处理中。
例如，CPU 101查找经由用户接口来自用户的关于是否执行明暗校正的指令(步骤104)。当接收到来自用户得执行明暗校正的指令时，CPU 101基于通过步骤101中的校准处理而获得的校正表来执行明暗校正处理(步骤105)。明暗校正处理指将样品图像的像素设定为具有适当明度的处理，随后将对其进行详细描述。
CPU 101根据进程标记判断是否存在仍未完成的处理(步骤106)。然后，如果存在仍未完成的处理，则CPU 101继续处理，直至不存在仍未完成的处理(步骤107)。在本实施方式中，明暗校正后执行的所有处理在此步骤中执行。CPU 101对经处理的样品图像的原始数据205进行编码(步骤108)，然后，终止图像处理。
[校准处理]
图7是用于说明图6中所示的步骤101的校准处理的方法的示图。图8是示出在校准处理中所生成的全白图像的实例的示图。
例如，假设用户150经由操作单元105的校准按钮151来输入校准处理的指令，则成像设备200拍摄全白图像(是其上没有放置样品的观察区306的图像)(第一图像)160，并生成全白图像160的原始数据文件。全白图像160的原始数据文件在那种状态下被压缩并记录在PC 100的HDD104中。应该注意，由成像设备200生成的全白图像160的原始数据文件可以预先存储在PC 100的HDD 104中。
CPU 101将解压状态的全白图像160的原始数据存储在RAM 103的预定区域。随后，对全白图像160的原始数据执行图6的步骤102和103中描述的光学校正处理和去马赛克处理。因此，与理论上的白颜色相对比，全白图像160变成其上添加了由光源301、照明光学系统302及图像形成光学系统303所引起的不均匀性的所有因素以及没有被步骤102中的光学校正处理完全去除的噪声的图像。
CPU 101对全白图像160的像素执行LPF(低通滤波器)处理。LPF处理指全白图像160的像素用其周围像素来进行平滑的处理。通过LPF处理，去除了没有被光学校正处理完全去除的噪声。结果，与理论上的白颜色相对比，全白图像160变成其上仅添加了由光源301、照明光学系统302及图像形成光学系统303所引起的不均匀性的所有因素的全白图像160’。应该注意，可以不通过LPF处理，而是通过中值滤波器、图案识别、或诸如学习电路的算法来执行全白图像160的噪声去除处理。
如图8所示，在全白图像160’中的右手侧的端部，存在比其它区更亮的明度不均匀区A。此外，例如，在全白图像160’的中心部，存在由于在照明光学系统302或图像形成光学系统303的光路上存在的灰尘等而产生的明度不均匀区B。
CPU 101将全白图像160’分割为多个第一分割区161，并且计算代表性明度值R1、G1、B1作为每个第一分割区161的明度分布信息。使用(例如)每个第一分割区161中R、G、B的平均亮度值、每个第一分割区161中R、G、B的最大亮度值等作为代表性明度值R1、G1、B1。另外，CPU 101计算在全白图像160’的整个帧中的R、G、B的平均值avgR、avgG及avgB 作为明度分布信息。然后，计算代表性明度值R1、G1及B1关于平均值avgR、avgG及avgB的倒数KR、KG及KB(即，KR＝avgR/R1、KG＝avgG/G1及KB＝avgB/B1)，从而创建校正表170。例如，平均值avgR、avgG及avgB均被设定为1.0，并且可以计算以设定的平均值作为参考的代表性明度值R1、G1、B1。在这种情况下，可以创建代表性明度值R1、G1、B1的校正表170，或者可以创建倒数KR、KG、KB的校正表。
校正表170被记录在PC 100的HDD 104等中，或被存储在RAM 103的预定存储区中。因此，与理论上的白颜色相对比，由光源301、照明光学系统302及图像形成光学系统303所引起的不均匀性的所有因素作为像素的R、G、B的乘数排它地存储在HDD 104等中。应该注意，可以创建代表性明度值R1、G1、B1的校正表并将其存储在HDD 104等中。
例如，由于光学显微镜300的光源301的强度改变、光学系统结构的改变、长期变化等，需要更新校准处理。而且，在这种情况下，例如，响应来自用户150的指令来执行上述校准处理。
[明暗校正处理]
图9是用于说明图6中所示的步骤105中的明暗校正处理的方法的示图。图10是示出还没有进行明暗校正的样品图像180的实例的示图。图11是示出进行了明暗校正的样品图像182的示图。如图10所示，还没有进行明暗校正的样品图像180包括图8中所示的全白图像160’中产生的明度不均匀区A和B。
CPU 101如下根据在HDD 104等中所存储的校正表170来计算与样品图像180的每个像素相对应的每个R、G、B的乘数。CPU 101将样品图像180分割成对应于全白图像160的第一分割区161的多个第二分割区181。随后，第二分割区181中的每个像素的亮度值R、G、B乘以每个对应的第一分割区161的代表性明度值R1、G1、B1的倒数KR、KG、KB。因此，与理论上的白颜色相对比，针对样品图像180的每个第二分割区181，校正了从由光源301、照明光学系统302及图像形成光学系统303所引起的不均匀性的所有因素独有地产生的明度不均匀性。
从图11中所示的已进行了明暗校正的样品图像182中可以发现样品图像180中产生的明度不均匀区A和B被校正。应该注意，在光学显微镜300中所包括的浅景深的成像光学系统中，来自目标的光由于来自光源301的光的辐射角或照明光圈而不是平行的，并且具有一定的角度，因此，还造成了诸如彩色闪光和传感器明暗的明度不均匀性。另外，可能存在由于成像设备200的快门速度或光源301的温度改变产生明度不均匀性的情况。这种明度不均匀性也可通过本实施方式中所描述的明暗校正处理来校正。
可以对光学显微镜300的光源301和光学系统进行管理，能够在时序或空间上保持一定的成像条件。因此，能够基于从全白图像160’获得的明度分布信息来执行如上所述的明暗校正处理。
如上所述，在作为根据本实施方式的信息处理设备的PC 100中，样品图像180基于作为由成像设备200拍摄的全白图像160’的明度分布信息的代表性明度值R1、G1、B1和平均值avgR、avgG及avgB而进行明暗校正。因此，能够校正很难预测的由光学显微镜300的光学系统等产生的明度不均匀性。结果，能够改善样品图像180的灰度级、分辨率、动态范围扩展或色彩再生等。
另外，例如，假设在确定了光源301、照明光学系统302、图像形成光学系统303等的预定成像条件下获得的校正表170被存储在HDD 104等中，则当样品305被放置在观察区306中时，不需要再次拍摄观察区306的全白图像160并计算代表性明度值R1、G1、B1。换句话说，能够基于存储在HDD 104中的校正表170来校正样品图像180的明度不均匀性。因此，能够缩短明度不均匀性的校正所需的处理时间。
校正表170可以根据用户150的指令被加载，或者可以被自动加载。例如，在样品305的面积大于观察区306的面积的情况下，拍摄多个样品图像180。此时，如果校正表170在每次拍摄一个样品图像180时被自动加载，则提高了用户150的便利性。将多个样品图像180进行上述明暗校 正处理，结果，能够通过结合校正了明度不均匀性的多个样品图像182来获得不会引起奇怪感觉的样品305的图像。
另外，在本实施方式中，计算全白图像160’的每个第一分割区161的代表性明度值R1、G1、B1，并且校正对应于第一分割区161的每个第二分割区181的明度不均匀性。因此，例如，即使在对每幅图像具有例如10MB的大尺寸的原始数据205进行处理的情况下，减轻了诸如PC 100的CPU 101和RAM 103的处理资源上的负担，并且稳定地改善了处理速度。
(第二实施方式)
将描述根据本发明第二实施方式的图像处理设备。在下面的描述中，不描述或简单地描述与第一实施方式中所描述的成像系统400相同的各种设备或数据。
在本实施方式的信息处理设备(PC)中，除了在第一实施方式中所描述的明暗校正处理之外，能够对样品图像执行自动白平衡(AWB)校正处理。自动白平衡校正处理指自动调节样品图像中将为白色的区域并且校正样品图像的R、G、B的亮度值使得应为白色的区域变为白色的处理。
在过去所知的自动白平衡校正处理中，对目标图像的图像数据进行检波。检波指通过适用于对象的测量技术执行测量并通过使用诸如柱状图的统计法计算适当的白平衡增益值的处理。根据白平衡增益值来调节目标图像的白平衡。
[信息处理设备的操作]
图12是示出作为根据本实施方式的信息处理设备的PC的处理的流程图。图13是用于说明由本实施方式的PC所执行的校准处理和自动白平衡校正处理的示图。
[校准校正处理]
在图12所示的步骤201中，校准处理执行如下。首先，如第一实施方式所描述的一样，PC的CPU计算代表性明度值R1、G1、B1作为全白图像160的每个第一分割区161的明度分布信息。另外，CPU计算在全白 图像160的整个帧中的R、G、B的平均值avgR、avgG及avgB作为明度分布信息。随后，计算代表性明度值R1、G1、及B1关于平均值avgR、avgG、及avgB的倒数KR、KG及KB(即，KR＝avgR/R1、KG＝avgG/G1及KB＝avgB/B1)，从而创建校正表。
随后，CPU计算用于自动白平衡校正的乘数AWB_R和AWB_B。通过下面的表达式来表示这些乘数AWB_R和AWB_B。
AWB_R＝avgG/avgR
AWB_B＝avgG/avgB
换句话说，CPU利用用于明暗校正处理所计算的平均值avgR、avgG及avgB，作为自动白平衡校正处理的色度分布信息。因此，能够减小存储器使用和处理时间。
CPU创建计算出的乘数AWB_R和AWB_B的校正表。可选地，当需要时，可以基于倒数KR、KG、KB的校正表适当地计算AWB_R和AWB_B。
从步骤202至步骤204所执行的操作与图6中所示的流程图的从步骤102至步骤104的操作相同，因此，将省略其描述。
在步骤205中，在上述校准处理中所计算的倒数KR、KG、KB用于对样品图像180执行明暗校正处理。因此，创建了明度不均匀性被校正的样品图像182。
例如，PC的CPU经由用户接口查找是否执行自动白平衡校正的指令(步骤206)。当接收到执行自动白平衡校正的指令时，CPU基于通过步骤201中的校准处理所计算的校正表来如下执行自动白平衡校正处理(步骤207)。
[自动白平衡校正处理]
CPU将样品图像182的每个像素的亮度值R乘以AWB_R，并且将每个像素的亮度值B乘以AWB_B。因此，创建了白平衡被调节的样品图像183。与理论上的白颜色相对比，乘数AWB_R和AWB_B包含光源、照明光学系统及图像形成光学系统的所有光谱特性。因此，样品图像183变 成光源、照明光学系统及图像形成光学系统的所有光谱特性被校正的图像，使得理论白色成为白色。
至此，在根据本实施方式的PC中，从由成像设备拍摄的全白图像160中获取了用于明暗校正处理的明度分布信息和用于自动白平衡校正处理的色度分布信息。因此，能够在图12所示的步骤201中的校准处理中获取色度分布信息。此外，不需要像过去的情况一样地检测样品图像182的原始数据。因此，能够很大程度上降低存储器使用和处理时间。
应该注意，在本实施方式中，用户150可选择上述的自动白平衡校正处理和用户150设定的白平衡校正处理的其中一个。可选地，可以选择预设的白平衡校正处理。如图13所示，用户150经由例如操作单元的白平衡按钮188适当地设定白平衡校正处理。可选地，选择上面描述的白平衡校正处理中的一个。根据用户150的指令用切换块189来切换对样品图像182所执行的白平衡校正处理。
例如，在医学或病理学领域中，根据上述各个实施方式的信息处理设备被用于将通过光学显微镜所拍摄的生物体的细胞、组织、器官等的图像数字化的系统中，从而基于数字化的图像由医生或病理学家检查组织等或诊断患者。但是，信息处理设备可以被用于除这个领域之外的其它领域。
(其它实施方式)
根据本发明的实施方式不限于上述实施方式，可以存在其它各种实施方式。
在上述实施方式中，PC被例举为信息处理设备。但是，例如，通过图1所示的成像设备200可以执行校准处理、明暗校正处理或自动白平衡校正处理的一部分或全部。在这种情况下，成像设备200和PC 100被用作根据本发明实施方式的信息处理设备。此外，例如，具有光学显微镜功能的扫描设备可以用作根据本发明实施方式的包括光学显微镜的成像设备，该成像设备具有图1中所示的光学显微镜300、成像设备200及PC 100的功能。
另外，如图14所示，由用作本发明实施方式的扫描设备500所生成的全白图像或样品图像的原始数据可以存储在与PC 100或服务器600不同的计算机中，并且用户用作终端设备的PC 100可以通过访问那些不同的计算机或服务器600来接收原始数据。在这种情况下，用作终端设备的PC 100和服务器600可以经由诸如LAN(局域网)和WAN(广域网)的网络700进行连接。具体地，通过使用WAN能够实现远程病理学或远程诊断。
在上面的描述中，通过图3所示的成像设备200创建包含全白图像和样品图像的原始数据的原始数据文件。但是，可以通过成像设备200使原始数据经受图像处理，或者可以创建包含诸如识别成像设备200的信息和指定图像拍摄条件的信息的各种类型数据的原始数据文件。此外，可以在校准校正处理、明暗校正处理或自动白平衡校正处理中使用各种类型的数据。
在上面的描述中，如图9所示，全白图像160被分割成多个第一分割区161，并且计算每个第一分割区161的代表性明度值R1、G1、B1。但是，可以不将白图像160分割成多个区，并且可以计算全白图像160的每个像素的R、G、B的亮度值。随后，使用所计算的每个像素的亮度值，对样品图像180的每个像素执行明暗校正处理等。
在上面的描述中，预先执行校准处理。但是，校准处理的一部分或全部可以与明暗校正处理或自动白平衡校正处理同时执行。
在上面的描述中，在光学校正处理和去马赛克处理之后执行了校准处理、明暗校正处理及自动白平衡校正处理。但是，可以在光学校正处理和去马赛克处理之前执行校准处理、明暗校正处理或自动白平衡校正处理的一部分或全部。
在上面的描述中，在校准处理中所创建的校正表的值为每个像素的理想白颜色的关于全白图像的乘数。但是，所述值可以是每个像素的关于理想白颜色的差。此外，所述值是每个像素的关于理想白颜色的一阶近似值或二阶近似值。
在上面的描述中，计算代表性明度值R1、G1、B1和平均值avgR、avgG及avgB作为全白图像的明度分布信息，并且利用平均值avgR、avgG及avgB作为色度分布信息，但不限于此。从全白图像的原始数据中所获得的关于明度、亮度、色度、色差等的信息可以被用作明度分布信息和色度分布信息。另外，在校准处理中所创建的校正表不限于代表性明度值R1、G1、B1关于avgR、avgG、及avgB的倒数KR、KG、KB的校正表。例如，可以创建与图像传感器的滤色器对应的RGrGbB的校正表。
此外，可以在Z位置、关于观察区的成像位置、照明光学系统、图像形成光学系统、样品、传感器、成像设备、图像处理方法、温度、视场光阑、曝光时间、模拟增益设定值、曝光校正设定值、色度设定值、倍率设定值等每次被改变时在校准处理中创建校正表。
此外，已进行了上述明暗校正处理的每个图像、校正表或样品图像的原始数据可以用于获得在校准处理、明暗校正处理或自动白平衡校正处理时所使用的统计数据。
在上面的描述中，将未放置样品的光学显微镜的观察区的图像描述为全白图像。但是，从光学显微镜的光学系统发射的照明光的颜色不限于白色。例如，80％的照明光可以是灰色。另外，可以拍摄全白图像，从而获得理想明暗特性。
本发明包含涉及于2009年12月14日向日本专利局提交的日本专利申请第2009-283342号公开的主题，其全部内容结合于此作为参考。
本领域的技术人员应当理解，根据设计需要和其他因素出现各种变形、组合、子组合以及变化，只要它们是在所附的权利要及其等价物的范围内。
Claims (5)
1.一种信息处理设备，包括：
获取装置，用于获取由成像装置拍摄的第一图像的明度分布信息，所述成像装置能够拍摄在光学显微镜的光学系统的光路上设置的观察区的图像，所述观察区的图像由所述光学显微镜获得，所述第一图像是在所述观察区中未放置样品的状态下的图像，所述明度分布由所述光学显微镜的光学系统产生，其中，所述获取装置获取通过将所述第一图像分割成多个区而获得的各个第一分割区的明度分布信息；以及
校正装置，用于将所述成像装置拍摄的第二图像分割成多个区而获得对应于所述第一分割区的各个第二分割区，基于各个第一分割区的明度分布信息来校正对应于所述第一分割区的所述第二分割区的明度不均匀性，所述第二图像是在所述观察区中放置了样品的状态下的图像。
2.根据权利要求1所述的信息处理设备，还包括：
存储装置，用于存储由所述获取装置获取的所述明度分布信息，
其中，所述校正装置基于由所述存储装置存储的所述明度分布信息来校正所述第二图像的明度不均匀性。
3.根据权利要求1所述的信息处理设备，
其中，所述获取装置获取所述第一图像的色度分布信息，所述色度分布信息由所述光学显微镜的所述光学系统产生，
其中，所述校正装置基于由所述获取装置获取的所述色度分布信息来调节所述第二图像的白平衡。
4.一种信息处理方法，所述信息处理方法由信息处理设备执行，所述信息处理方法包括：
获取通过将由成像装置拍摄的第一图像分割成多个区而获得的各个第一分割区的明度分布信息，所述成像装置能够拍摄在光学显微镜的光学系统的光路上设置的观察区的图像，所述观察区的图像由所述光学显微镜获得，所述第一图像是在所述观察区中未放置样品的状态下的图像，所述明度分布由所述光学显微镜的光学系统产生；并且
将所述成像装置拍摄的第二图像分割成多个区而获得对应于所述第一分割区的各个第二分割区，基于各个第一分割区的明度分布信息来校正对应于所述第一分割区的所述第二分割区的明度不均匀性，所述第二图像是在所述观察区中放置了样品的状态下的图像。
5.一种成像设备，包括：
光学显微镜，包括光学系统；
成像装置，能够拍摄在所述光学系统的光路上设置的观察区的图像，所述观察区的图像由所述光学显微镜获得；
获取装置，用于获取由所述成像装置拍摄的第一图像的明度分布信息，所述第一图像是在所述观察区中未放置样品的状态下的图像，所述明度分布由所述光学显微镜的光学系统产生，其中，所述获取装置获取通过将所述第一图像分割成多个区而获得的各个第一分割区的明度分布信息；以及
校正装置，用于将所述成像装置拍摄的第二图像分割成多个区而获得对应于所述第一分割区的各个第二分割区，基于各个第一分割区的明度分布信息来校正对应于所述第一分割区的所述第二分割区明度不均匀性，所述第二图像是在所述观察区中放置了样品的状态下的图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009283342A JP2011124948A (ja) | 2009-12-14 | 2009-12-14 | 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置 |
| JP2009-283342 | 2009-12-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102098410A CN102098410A (zh) | 2011-06-15 |
| CN102098410B true CN102098410B (zh) | 2014-12-24 |
Family
ID=44131264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010576935.6A Expired - Fee Related CN102098410B (zh) | 2009-12-14 | 2010-12-07 | 信息处理设备和方法及包括光学显微镜的成像设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US8442347B2 (zh) |
| JP (1) | JP2011124948A (zh) |
| CN (1) | CN102098410B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103607940B (zh) * | 2011-06-21 | 2015-11-25 | 奥林巴斯株式会社 | 荧光观察装置、荧光观察系统和荧光图像处理方法 |
| JP5926909B2 (ja) | 2011-09-07 | 2016-05-25 | オリンパス株式会社 | 蛍光観察装置 |
| JP5911296B2 (ja) * | 2011-12-22 | 2016-04-27 | オリンパス株式会社 | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム |
| WO2014033732A2 (en) * | 2012-07-10 | 2014-03-06 | KPIT, Cummins Infosystems Ltd. | Method and apparatus for selectively enhancing an image |
| JP5982245B2 (ja) * | 2012-09-27 | 2016-08-31 | 東芝デジタルメディアエンジニアリング株式会社 | 画像処理装置及び画像処理方法 |
| JP5996462B2 (ja) * | 2013-03-13 | 2016-09-21 | オリンパス株式会社 | 画像処理装置、顕微鏡システム及び画像処理方法 |
| JP2014178403A (ja) * | 2013-03-14 | 2014-09-25 | Sony Corp | デジタル顕微鏡装置、情報処理方法、および情報処理プログラム |
| DE102014215095A1 (de) * | 2014-07-31 | 2016-02-04 | Carl Zeiss Microscopy Gmbh | Verfahren zur Korrektur von beleuchtungsbedingten Abbildungsfehlern in einem modularen Digitalmikroskop, Digitalmikroskop und Datenverarbeitungsprogramm |
| TWI662356B (zh) * | 2014-11-12 | 2019-06-11 | 日商新力股份有限公司 | Information processing device, information processing method and computer program product |
| JP6624827B2 (ja) | 2015-07-13 | 2019-12-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム |
| JP6584179B2 (ja) * | 2015-07-13 | 2019-10-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム |
| JP2018006981A (ja) * | 2016-06-30 | 2018-01-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
| JP6249513B1 (ja) * | 2017-03-27 | 2017-12-20 | レーザーテック株式会社 | 補正方法、補正装置及び検査装置 |
| CN110956607B (zh) * | 2019-07-11 | 2023-04-07 | 中国科学院国家天文台 | 一种极限信噪比及极限信噪比稳定性的测试方法及装置 |
| CN112381896B (zh) * | 2020-11-13 | 2023-05-12 | 湖南国科智瞳科技有限公司 | 一种显微图像的亮度校正方法及系统、计算机设备 |
| CN117232792B (zh) * | 2023-11-14 | 2024-01-30 | 南京木木西里科技有限公司 | 基于图像信息的显微镜缺陷检测系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0837600A2 (en) * | 1996-10-15 | 1998-04-22 | Nippon Avionics Co., Ltd. | Infrared sensor device with temperature correction function |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3373387B2 (ja) | 1997-03-28 | 2003-02-04 | 日本アビオニクス株式会社 | シェーディング補正機能付非冷却赤外線２次元センサカメラ |
| US6476913B1 (en) * | 1998-11-30 | 2002-11-05 | Hitachi, Ltd. | Inspection method, apparatus and system for circuit pattern |
| JP4624513B2 (ja) * | 1999-01-19 | 2011-02-02 | オリンパス株式会社 | 顕微鏡用撮像装置 |
| JP4667650B2 (ja) * | 2001-06-08 | 2011-04-13 | エスアイアイ・ナノテクノロジー株式会社 | 断面観察方法及び集束イオンビーム装置 |
| CN2505861Y (zh) * | 2001-11-09 | 2002-08-14 | 上海海鸥照相机有限公司 | 数字式显微摄影仪 |
| DE10213187A1 (de) * | 2002-03-23 | 2003-10-09 | Leica Microsystems | Verfahren zur Spektralanlanalyse und Scanmikroskop |
| JP4057892B2 (ja) * | 2002-11-08 | 2008-03-05 | 株式会社キーエンス | 電子顕微鏡、電子顕微鏡の操作方法、電子顕微鏡の操作プログラムおよびコンピュータで読み取り可能な記録媒体 |
| JP2004200888A (ja) | 2002-12-17 | 2004-07-15 | Sony Corp | 撮像機器 |
| CN1856028A (zh) * | 2005-04-28 | 2006-11-01 | 明基电通股份有限公司 | 摄影装置以及摄影装置中补偿图像画面的补偿方法 |
| JP4304623B2 (ja) * | 2005-06-01 | 2009-07-29 | ソニー株式会社 | 撮像装置及び撮像装置における撮像結果の処理方法 |
| JP4974599B2 (ja) * | 2006-07-24 | 2012-07-11 | オリンパス株式会社 | 顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法 |
| JP5094252B2 (ja) | 2007-07-11 | 2012-12-12 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5289756B2 (ja) * | 2007-11-26 | 2013-09-11 | オリンパス株式会社 | 顕微鏡観察システム |
| JP2010102196A (ja) * | 2008-10-24 | 2010-05-06 | Olympus Corp | 顕微鏡画像の自動調整方法、顕微鏡システム |
-
2009
- 2009-12-14 JP JP2009283342A patent/JP2011124948A/ja active Pending
-
2010
- 2010-12-06 US US12/961,023 patent/US8442347B2/en active Active
- 2010-12-07 CN CN201010576935.6A patent/CN102098410B/zh not_active Expired - Fee Related
-
2013
- 2013-04-23 US US13/868,814 patent/US9071761B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0837600A2 (en) * | 1996-10-15 | 1998-04-22 | Nippon Avionics Co., Ltd. | Infrared sensor device with temperature correction function |
Also Published As
| Publication number | Publication date |
|---|---|
| US20110142365A1 (en) | 2011-06-16 |
| US20130235181A1 (en) | 2013-09-12 |
| US8442347B2 (en) | 2013-05-14 |
| US9071761B2 (en) | 2015-06-30 |
| JP2011124948A (ja) | 2011-06-23 |
| CN102098410A (zh) | 2011-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102098410B (zh) | 信息处理设备和方法及包括光学显微镜的成像设备 | |
| Abdelhamed et al. | A high-quality denoising dataset for smartphone cameras | |
| US10997696B2 (en) | Image processing method, apparatus and device | |
| US9124775B2 (en) | Information processing apparatus, information processing method, program, and imaging apparatus including optical microscope | |
| JP4186699B2 (ja) | 撮像装置および画像処理装置 | |
| EP2461576A1 (en) | Image processing apparatus and image processing program | |
| JP2008227569A (ja) | 撮影装置、電子機器、撮影制御方法、及び、撮影制御プログラム | |
| JP4466015B2 (ja) | 画像処理装置および画像処理プログラム | |
| US7869706B2 (en) | Shooting apparatus for a microscope | |
| JP2010062672A (ja) | 画像処理装置およびその方法 | |
| CN112383772B (zh) | 相机性能自动测试方法、装置、电子设备及存储介质 | |
| JP5242248B2 (ja) | 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体 | |
| US20080131027A1 (en) | System and method for merging differently focused images | |
| JP5464982B2 (ja) | 撮像装置および画像処理方法 | |
| JP7075773B2 (ja) | 画像処理装置、顕微鏡システム、画像処理方法および画像処理プログラム | |
| JP4438363B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP2004222233A (ja) | 画像処理装置および画像処理プログラム | |
| JP4466016B2 (ja) | 画像処理装置および画像処理プログラム | |
| CN110992883A (zh) | 显示补偿方法、装置、设备和存储介质 | |
| US20240081612A1 (en) | Systems and methods for standalone endoscopic objective image analysis | |
| KR102255074B1 (ko) | 명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치 | |
| WO2019012647A1 (ja) | 画像処理装置、画像処理方法およびプログラム記憶媒体 | |
| CN101726963B (zh) | 辨识被摄主体的维度形态的方法 | |
| CN114760422A (zh) | 一种逆光检测方法及系统、电子设备及存储介质 | |
| JP2012068397A (ja) | 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141224 Termination date: 20151207 |
|
| EXPY | Termination of patent right or utility model |