CN106461928B - 图像处理装置、摄像装置、显微镜系统以及图像处理方法 - Google Patents

图像处理装置、摄像装置、显微镜系统以及图像处理方法 Download PDF

Info

Publication number
CN106461928B
CN106461928B CN201480079674.3A CN201480079674A CN106461928B CN 106461928 B CN106461928 B CN 106461928B CN 201480079674 A CN201480079674 A CN 201480079674A CN 106461928 B CN106461928 B CN 106461928B
Authority
CN
China
Prior art keywords
shade
image
ingredient
region
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480079674.3A
Other languages
English (en)
Other versions
CN106461928A (zh
Inventor
古贺隼一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijingtong Co ltd
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN106461928A publication Critical patent/CN106461928A/zh
Application granted granted Critical
Publication of CN106461928B publication Critical patent/CN106461928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/248—Base structure objective (or ocular) turrets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G02B21/025—Objectives with variable magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/005—Diaphragms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

本发明提供能够短时间且高精度地进行阴影校正的图像处理装置等。图像处理装置具有：图像取得部(11)，其取得第1和第2图像组，该第1和第2图像组分别在相互不同的第1和第2方向上与另一张图像之间被摄体的一部分相同；阴影成分计算部(121)，其对于包含各个图像组中的1个图像中的阴影成分固定的平坦区域在内的区域中的亮度，计算与拍有与该区域相同的被摄体的另一个图像内的区域中的亮度的比作为阴影成分；以及图像校正部(122)，其对图像内的区域进行阴影校正，所述阴影成分包含：以平坦区域中的亮度为基准的归一化阴影成分和以除平坦区域以外的区域中的亮度为基准的非归一化阴影成分，图像校正部根据归一化阴影成分和非归一化阴影成分，进行阴影校正。

Description

图像处理装置、摄像装置、显微镜系统以及图像处理方法
技术领域
本发明涉及对通过拍摄标本等而取得的图像实施图像处理的图像处理装置、摄像装置、显微镜系统、图像处理方法以及图像处理程序。
背景技术
近年来，已知有将拍有载置在载玻片上的标本的图像记录为电子数据，且用户能够在个人计算机等的监视器上观察该图像的所谓虚拟切片技术。在虚拟切片技术中，通过将由显微镜放大后的标本的一部分图像依次贴合，构筑拍有标本全体的高分辨率的图像。即，虚拟切片技术是一种针对相同被摄体取得多张不同视野的图像，通过将这些图像接合，生成将针对被摄体的视野放大后的图像的技术。
但是，显微镜具有：对标本进行照明的光源和将标本的像放大的光学系统。在该光学系统的后段设置有将放大后的标本的像转换为电子数据的摄像元件。因此，存在以下问题：由于光源的照度不均和光学系统的不均匀性、以及摄像元件的特性的不均等引起的、在所取得的图像中产生亮度不均。该亮度不均被称作阴影，通常随着从与光学系统的光轴位置对应的图像的中心远离而变暗。因此，在将多个图像贴合而生成虚拟切片图像的情况下，在图像的接缝产生不自然的边界。此外，通过将多个图像贴合，阴影反复产生，所以看起来宛如在标本中存在周期性的图案。
针对这样的问题，已知有预先取得阴影的图形作为校准图像，根据该校准图像，校正拍有标本的图像的阴影校正技术。例如在专利文献1中公开了阴影校正技术，在该阴影校正技术中使用在进行透射照明观察时在使标本退避到光学系统的视场角外的状态下进行拍摄，并在进行落射照明观察时在将反射部件配置于光学系统的视场角内的状态下进行拍摄而取得的图像作为校准图像。
此外，在专利文献2中公开了以下方法：在进行荧光观察时，通过将均匀的荧光试样作为校准试样进行拍摄，取得阴影校正用的数据。
在专利文献3中公开了以下技术：拍摄试样的规定视野范围的图像即基准视野图像，并使试样的位置相对于光学系统相对移动而拍摄多张包含规定视野范围内的规定区域且与规定视野范围相互不同的周边视野范围的图像即周边视野图像，根据基准视野图像和周边视野图像来计算基准视野图像的各个像素的校正增益。
现有技术文献
专利文献
专利文献1：日本特开2006-171213号公报
专利文献2：日本特开2008-51773号公报
专利文献3：日本特开2013-257422号公报
发明内容
发明所要解决的课题
但是，在为了取得校准图像而使观察中的标本暂时退避或者另行配置反射部件的情况下，作业变得复杂，非常花费功夫，并且拍摄时间延长。对于此点，在专利文献1中设置有用于使标本退避的驱动机构等用于取得校准图像的专用的功能。但是，这样的功能原来未设置在普通的显微镜中，所以当想要实际应用时结构变得复杂，并导致大幅度的成本增加。
此外，在如专利文献2那样使用校准试样的情况下，除了产生校准试样的配置和退避等作业以外，还需要管理校准试样以消除损坏或尘埃的附着等，花费多余的功夫。并且，制作能够在荧光观察时作为校准试样使用的均匀的荧光试样本身非常困难，所以也难以高精度地校正阴影。
并且，在专利文献3中，未考虑有消减使试样移动并进行拍摄的次数和按照基准视野图像和周边视野图像的每个组合进行的阴影校正所需的时间。
本发明正是鉴于上述问题而完成的，其目的在于，提供一种能够以简单的结构短时间且高精度地进行阴影校正的图像处理装置、摄像装置、显微镜系统、图像处理方法。
用于解决问题的手段
为了解决上述问题，并达成目的，本发明的图像处理装置的特征在于，具有：图像取得部，其在相互不同的第1方向和第2方向上分别取得第1图像组和第2图像组，该第1图像组和第2图像组包含与至少其他一张图像之间被摄体的一部分相同的多个图像；阴影成分计算部，其分别针对所述第1图像组和第2图像组，计算拍有与1个图像中的包含平坦区域的区域相同的被摄体的其他图像内的区域的亮度与该1个图像中的上述包含平坦区域的区域的亮度之比作为阴影成分，在所述平坦区域中，阴影成分固定；以及图像校正部，其使用所述阴影成分，对所述图像内的区域进行阴影校正，所述阴影成分包含：以所述平坦区域中的亮度为基准的归一化阴影成分和以除了所述平坦区域以外的区域中的亮度为基准的非归一化阴影成分，所述图像校正部根据所述归一化阴影成分和所述非归一化阴影成分，进行所述阴影校正。
在上述图像处理装置中，其特征在于，所述阴影成分计算部具有：第1阴影成分计算部，其根据所述第1图像组，根据包含所述1个图像中的所述平坦区域且相对于该平坦区域在所述第2方向上排列的区域中的亮度，计算所述阴影成分；以及第2阴影成分计算部，其根据所述第2图像组，根据包含所述1个图像中的所述平坦区域且相对于该平坦区域在所述第1方向上排列的区域中的亮度，计算所述阴影成分。
在上述图像处理装置中，其特征在于，所述图像校正部具有：第1图像校正部，其对于所述图像内的区域中的计算出所述归一化阴影成分的区域即第1区域，使用该归一化阴影成分进行阴影校正；以及第2图像校正部，其对于所述图像内的区域中的未计算出所述归一化阴影成分的区域即第2区域，使用对于该第2区域计算出的所述非归一化阴影成分和对于在计算该非归一化阴影成分时作为基准的区域计算出的所述归一化阴影成分，进行所述阴影校正。
在上述图像处理装置中，其特征在于，所述第2图像校正部使用根据所述第1图像组和第2图像组中的一方计算出的所述非归一化阴影成分和根据所述第1图像组和第2图像组中的另一方计算出的归一化阴影成分，进行所述阴影校正。
在上述图像处理装置中，其特征在于，在与所述1个图像内的一部分区域相关的阴影成分为已知的情况下，所述阴影成分计算部使用该一部分区域中的亮度、拍有与所述一部分区域相同的被摄体的所述其他图像内的区域中的亮度、以及已知的所述阴影成分，计算与所述其他图像内的区域相关的阴影成分。
在上述图像处理装置中，其特征在于，所述阴影成分计算部分别对于所述第1图像组和第2图像组，根据所述1个图像和所述其他图像的多个组合，分别计算与多个所述其他图像内的区域相关的阴影成分，对计算出的多个该阴影成分进行相加平均。
在上述图像处理装置中，其特征在于，所述阴影成分计算部分别对于所述第1图像组和第2图像组，根据所述1个图像和所述其他图像的多个组合，计算所述阴影成分，其中在该多个组合中，所述1个图像和所述其他图像之间拍有相同的被摄体的区域即共同区域中的纹理成分相互不同。
在上述图像处理装置中，其特征在于，所述阴影成分计算部分别对于所述第1图像组和第2图像组，对在所述多个图像之间对应的区域中的亮度进行累积相加，使用该累积相加后的值，计算所述阴影成分。
在上述图像处理装置中，其特征在于，所述阴影成分计算部根据所述多个组合来分别计算多个阴影成分，对该多个阴影成分进行相加平均。
在上述图像处理装置中，其特征在于，所述阴影成分计算部使用对于所述图像内的区域根据所述第1图像组和第2图像组而分别计算出的2个非归一化阴影成分、和对于在分别计算该2个非归一化阴影成分时作为基准的2个区域分别计算出的2个归一化阴影成分，计算所述图像内的区域中的阴影成分。
上述图像处理装置的特征在于，该图像处理装置还具有平坦区域搜索部，该平坦区域搜索部根据在所述1个图像和所述其他图像之间拍有相同的被摄体的区域所包含的像素的亮度的梯度，搜索所述平坦区域。
在上述图像处理装置中，其特征在于，所述第1和第2方向相互垂直。
本发明的摄像装置的特征在于，具有：所述图像处理装置；光学系统，其生成所述被摄体的像，移动单元，其通过使所述被摄体和所述光学系统中的至少一方移动，使所述光学系统相对于所述被摄体的视野移动；以及摄像单元，其拍摄所述被摄体，所述图像取得部通过进行一边使所述移动单元分别在所述第1方向和第2方向上移动所述视野一边使所述摄像单元执行摄像的控制，分别取得所述第1图像组和第2图像组。
本发明的显微镜系统的特征在于，具有：所述摄像装置；以及工作台，其载置所述被摄体，所述移动单元使所述工作台和所述光学系统中的至少一方移动。
在上述显微镜系统中，其特征在于，所述图像处理装置还具有虚拟切片生成部，该虚拟切片生成部通过将所述第1和第2图像组所包含的所述视野相邻的图像彼此贴合，来生成虚拟切片图像。
本发明的图像处理方法的特征在于，具有：图像取得步骤，分别在相互不同的第1方向和第2方向上取得第1图像组和第2图像组，该第1图像组和第2图像组包含与至少其他一张图像之间被摄体的一部分相同的多个图像；阴影成分计算步骤，分别针对所述第1图像组和第2图像组，计算拍有与1个图像中的包含平坦区域的区域相同的被摄体的其他图像内的区域的亮度与该1个图像中的上述包含平坦区域的区域的亮度之比作为阴影成分，在所述平坦区域中，阴影成分固定；以及图像校正步骤，使用所述阴影成分，对所述图像内的区域进行阴影校正，所述阴影成分包含：以所述平坦区域中的亮度为基准的归一化阴影成分和以除了所述平坦区域以外的区域中的亮度为基准的非归一化阴影成分，在所述图像校正步骤中，根据所述归一化阴影成分和所述非归一化阴影成分来进行所述阴影校正。
发明效果
根据本发明，由于分别取得在第1和第2方向上与至少另1张图像之间被摄体的一部分相同的第1和第2图像组，根据包含分别在该第1和第2图像组中的平坦区域在内的区域中的亮度来计算归一化阴影成分和非归一化阴影成分，使用这些归一化阴影成分和非归一化阴影成分来进行图像内的区域的阴影校正，所以，能够减少阴影成分的计算所需的图像的张数，并能够以简单的结构短时间且高精度地进行阴影校正。
附图说明
图1是示出本发明实施方式1的图像处理装置的结构例的框图。
图2是用于说明图1所示的图像取得部的动作的示意图。
图3是用于说明由图1所示的图像处理部执行的图像处理的原理的示意图。
图4是示出图1所示的图像处理装置的动作的流程图。
图5是用于说明每次进行一次拍摄时使拍摄视野移动的移动量的示意图。
图6是用于说明被摄体的拍摄方法的示意图。
图7是用于说明被摄体的拍摄方法的示意图。
图8是示出通过使拍摄视野沿水平方向移动并进行5次拍摄而取得的5张图像的示意图。
图9是示出图1所示的存储部中存储的水平方向上的阴影成分的示意图。
图10是示出图1所示的存储部中存储的垂直方向上的阴影成分的示意图。
图11是用于说明由图1所示的图像校正部执行的图像的校正处理的示意图。
图12是详细示出由图1所示的图像校正部执行的图像的校正处理的流程图。
图13是用于说明由图1所示的第2图像校正部执行的阴影校正处理的另一个例子的示意图。
图14是用于说明在本发明的实施方式2中在阴影成分的计算中使用的图像的拍摄方法的示意图。
图15是用于说明本发明的实施方式2中的阴影成分的计算方法的示意图。
图16是用于说明本发明的实施方式3中的阴影成分的计算方法的示意图。
图17是用于说明本发明的实施方式4中的阴影成分的计算方法的示意图。
图18是示出本发明实施方式7的图像处理装置的结构例的框图。
图19是示出由图18所示的平坦区域搜索部生成的水平方向图像的示意图。
图20是示出由图18所示的平坦区域搜索部生成的垂直方向图像的示意图。
图21是以像素为单位示出图19所示的水平方向图像的示意图。
图22是以像素为单位示出图20所示的垂直方向图像的示意图。
图23是示意性示出图18所示的存储部中存储的水平方向上的阴影成分的图。
图24是示意性示出图18所示的存储部中存储的垂直方向上的阴影成分的图。
图25是示出本发明实施方式8的显微镜系统的结构例的图。
图26是用于说明本发明的实施方式8中的多个图像的取得动作的示意图。
具体实施方式
以下，参照附图详细说明本发明的图像处理装置、摄像装置、显微镜系统、图像处理方法以及图像处理程序的实施方式。另外，本发明不受这些实施方式限定。另外，在各个附图的记载中，对相同部分标注相同标号来示出。
(实施方式1)
图1是示出本发明实施方式1的图像处理装置的结构例的框图。如图1所示，实施方式1的图像处理装置1具有：图像取得部11，其取得拍有作为观察对象的被摄体的图像；图像处理部12，其对该图像实施图像处理；以及存储部13。
图像取得部11取得针对被摄体的拍摄视野相互不同的多个图像。图像取得部11可以从摄像装置直接取得这样的多个图像，也可以经由网络或存储装置等取得。在实施方式1中，假设图像取得部11从摄像装置直接取得图像。另外，摄像装置的种类未特别限定，例如可以是具有拍摄功能的显微镜装置，也可以是数字照相机。
图2是用于说明图像取得部11的动作的示意图，示出了摄像装置的光学系统30、被摄体SP和光学系统30的拍摄视野V。在图2中，为了明确被摄体SP中的拍摄视野V的位置，方便起见，使光学系统30的位置从被摄体SP和拍摄视野V的纸面近前偏离，在被摄体SP的外侧图示光学系统30的侧面并示出与拍摄视野V的位置关系。以下，在包含拍摄视野V的平面中，设与该拍摄视野V的1个边平行的方向(图2的左右方向)为水平方向、与该1个边垂直的方向(图2的上下方向)为垂直方向。
图像取得部11具有：摄像控制部111，其控制摄像装置的摄像动作；以及驱动控制部112，其进行使拍摄视野V的位置相对于被摄体SP变化的控制。驱动控制部112通过使光学系统30和被摄体SP中的任意一方或双方相对移动，使拍摄视野V相对于被摄体SP的位置变化。摄像控制部111与驱动控制部112的控制动作联动地在规定的时机使摄像装置执行拍摄，从该摄像装置取入拍有拍摄视野V内的被摄体的图像M。
虽然在本实施方式1中对使拍摄视野V在相互垂直的水平方向和垂直方向的2个方向上移动的例子进行说明，但是拍摄视野V的移动方向只要是相互不同的2个方向即可，不限定于水平方向和垂直方向。此外，使拍摄视野V移动的2个方向也不一定需要垂直。
图3是用于说明由图像处理部12执行的图像处理的原理的示意图。图3(a)～(c)所示的坐标(x，y)示出构成图像M的各个像素的位置。如图3(a)所示，在由摄像装置取得的图像M中，除了中央的一部分区域以外，产生了由于光源的照度不均、光学系统的不均匀性或摄像元件的特性的不均等引起的亮度不均或者颜色不均。该亮度不均或颜色不均被称作阴影。构成图3(a)所示的图像M的各个像素的亮度I(x，y)是将表示图3(b)所示的未产生阴影的原来的被摄体像的成分(以下记作纹理成分)T(x，y)乘以图3(c)所示的阴影成分S(x，y)而得到的，能够表示为I(x，y)＝T(x，y)×S(x，y)。这里，虽然设亮度I(x，y)、纹理成分T(x，y)、阴影成分S(x，y)为各个坐标中的各个颜色信号的亮度、纹理成分、阴影成分，但是也可以设为根据各个颜色信号而合成的信号的亮度、纹理成分、阴影成分。
图像处理部12使用由图像取得部11取得的多个图像，执行校正在图像中产生的阴影的图像处理。详细来说，图像处理部12具有：阴影成分计算部121，其计算在图像M(x，y)中产生的阴影成分；以及图像校正部122，其使用该阴影成分来进行阴影校正。
其中的阴影成分计算部121具有：第1方向阴影成分计算部121a和第2方向阴影成分计算部121b。第1方向阴影成分计算部121a从通过使针对被摄体SP的拍摄视野V在第1方向(例如水平方向)上移动而取得的多个图像中计算阴影成分。另一方面，第2方向阴影成分计算部121b从通过使针对被摄体SP的拍摄视野V在第2方向(例如垂直方向)上移动而取得的多个图像中计算阴影成分。
图像校正部122具有：第1图像校正部122a和第2图像校正部122b。第1图像校正部122a针对由图像取得部11取得的图像内的一部分区域，使用由第1方向阴影成分计算部121a计算出的阴影成分和由第2方向阴影成分计算部121b计算出的阴影成分中的任意一方来进行阴影校正。另一方面，第2图像校正部122b针对上述图像中的未由第1图像校正部122a校正的区域，使用由第1方向阴影成分计算部121a计算出的阴影成分和由第2方向阴影成分计算部121b计算出的阴影成分的双方来进行阴影校正。关于由第1图像校正部122a和第2图像校正部122b设为校正对象的区域和具体的校正处理将后述。
存储部13由能够进行更新记录的闪存、RAM、ROM这样的半导体存储器等存储装置构成。存储部13存储：由图像取得部11在摄像装置的控制中使用的各种参数、由图像处理部12实施图像处理后的图像的图像数据、以及由图像处理部12计算出的各种参数等。
上述图像取得部11和图像处理部12可以通过专用的硬件构成，也可以通过CPU和使该CPU执行规定的处理的程序来构成。在后者的情况下，可以将用于使图像取得部11和图像处理部12执行规定的处理的图像处理程序和在这些程序的执行中使用的各种参数或设定信息存储到存储部13中。或者，可以经由数据通信端子将包含硬盘、MO、CD-R、DVD-R等记录介质和对该记录介质进行信息的写入和读取的写入读取装置等的存储装置与图像处理装置1连接，并使该存储装置存储上述图像处理程序和参数。
接着，说明图像处理装置1的动作。图4是示出图像处理装置1的动作的流程图。以下，作为一例，假设取得拍有图2所示的被摄体SP的图像，对该图像进行校正处理。
首先，在步骤S1中，图像取得部11取得通过一边使拍摄视野V在相互不同的2个方向上逐次移动规定量一边拍摄被摄体SP而生成的多个图像。详细来说，驱动控制部112通过使被摄体SP和光学系统30中的任意一方移动而使拍摄视野V在规定方向上移动，摄像控制部111进行控制使得与至少另一张图像之间拍摄视野V的一部分在拍摄视野V的移动方向上重叠。以下，假设分别使拍摄视野V在水平方向和垂直方向上移动。
图5是用于说明每次进行一次拍摄时使拍摄视野V移动的移动量的示意图。将每一次摄像的拍摄视野V的移动量设定为将拍摄视野V分割为规定尺寸的多个块的情况下的该块的1个边的长度。例如图5所示，在将尺寸为w×h(w、h为各个边的长度)的拍摄视野V分割为5×5＝25个块的情况下，关于拍摄视野V的每一次的移动量，在水平方向上长度Bw＝w/5，在垂直方向上长度Bh＝h/5。将拍摄视野V分割后的各个块的尺寸能够根据在图像内几乎不产生阴影且将阴影成分视为固定的平坦区域(后述)的尺寸、和所要求的阴影校正的精度等进行确定。另外，水平方向和垂直方向上的拍摄视野V的分割数可以相同，也可以不同。以下，如图5所示，由(X，Y)表示图像内的各个块的坐标。在本实施方式1中，1≦X≦5、1≦Y≦5。
图6和图7是用于说明被摄体SP的拍摄方法的示意图。在图6和图7中，为了明确被摄体SP中的拍摄视野V的位置，为了方便起见，使光学系统30的位置从被摄体SP和拍摄视野V的纸面近前偏离，在被摄体SP的外侧图示光学系统30的侧面并示出与各个位置的拍摄视野V的位置关系。
如图6所示，图像取得部11通过每次使拍摄视野V在水平方向上移动长度Bw时执行拍摄，依次取得与紧前面生成的图像之间拍摄视野V的一部分重复的多个图像Mj(j＝0、1、2、……)。图8是示出通过一边使拍摄视野V在水平方向上移动一边进行5次拍摄而取得的5张图像M0～M4的示意图。在图8中，沿着拍摄顺序纵向排列图像M0～M4，并且纹理成分相同的块以沿纵向对齐的方式左右偏离地配置。
此外，如图7所示，图像取得部11通过每次使拍摄视野V在垂直方向上移动长度Bh时执行拍摄，依次取得与紧前面生成的图像之间拍摄视野V的一部分重复的多个图像Mk(k＝0、1、2、……)。
另外，在使拍摄视野V的位置相对于被摄体SP变化时，可以固定被摄体SP的位置，使光学系统30侧移动，也可以固定光学系统30的位置，使被摄体SP侧移动。或者，也可以使被摄体SP和光学系统30的双方在相互相反的方向上移动。
此外，在使拍摄视野V在水平方向上移动而取得的多个图像Mj和使拍摄视野V在垂直方向上移动而取得的多个图像Mk之间，可以包含拍摄视野V内的被摄体的全部或一部分相同的图像，也可以完全不包含被摄体的全部或一部分相同的图像。
在接下来的步骤S2中，阴影成分计算部121取入在步骤S1中取得的多个图像，并使用这些图像，分别按照水平方向、垂直方向的方向计算阴影成分。
这里，阴影成分的计算通常以在图像内几乎不产生阴影成分且几乎无法看到阴影成分的变化的区域(以下称作平坦区域)中的亮度为基准进行。具体而言，通过由阴影成分的计算对象的区域所包含的各个像素的亮度除以具有与该计算对象的区域相同的纹理成分的平坦区域所包含的各个像素的亮度，可获得阴影成分。
与此相对，在本实施方式1中，以包含平坦区域的块的列或行中的亮度为基准，按照每个列或每个行进行阴影成分的计算。例如，在使拍摄视野V在水平方向上逐次移动1个块而取得的图像之间，在水平方向上以列为单位产生共同区域。因此，在该情况下，根据包含平坦区域并相对于该平坦区域在垂直方向上排列的列的块中的亮度，计算阴影成分。以下，这样，也将根据在水平方向上产生的共同区域而计算出的阴影成分(亮度的比)称作水平方向上的阴影成分。另一方面，在使拍摄视野V在垂直方向上逐次移动1个块而取得的图像之间，在垂直方向上以行为单位产生共同区域。因此，在该情况下，根据包含平坦区域并相对于该平坦区域在水平方向上排列的行的块中的亮度，计算阴影成分。以下，这样，也将根据在垂直方向上产生的共同区域而计算出的阴影成分(亮度的比)称作垂直方向上的阴影成分。
此外，在本实施方式1中，如图3(c)所示，以在图像的中央部分存在平坦区域，阴影成分呈同心圆状地变化的方式，进行处理。具体而言，假设将图像M分割后的块(1，1)～(5，5)中的中央的块(3，3)为平坦区域。
首先，第1方向阴影成分计算部121a从图8所示的图像M0～M4中的某个图像提取包含平坦区域的块(3，3)的列，并从另一个图像提取拍有与这些块相同的被摄体的块(即共同区域)，使用在从两个图像提取出的块之间位置对应的像素彼此的亮度，计算水平方向上的阴影成分。
具体而言，由于图像M0的第1列R0(X＝1)所包含的块(1，1)、(1，2)、(1，3)、(1，4)、(1，5)和图像M2的第3列R2(X＝3)所包含的块(3，1)、(3，2)、(3，3)、(3，4)、(3，5)是共同区域，所以在这些块之间位置对应的像素彼此的纹理成分相同。因此，第1列的块内的各个像素中的阴影成分是通过将图像M0的第1列R0(X＝1)的块内的该像素的亮度除以图像M2的第3列R2(X＝3)的块内的像素且是位置对应的像素的亮度来计算的。
以下，将块(1，1)、(1，2)、(1，3)、(1，4)、(1，5)内的任意像素中的阴影成分表示为阴影成分Sh(1，1)、Sh(1，2)、Sh(1，3)、Sh(1，4)、Sh(1，5)。此外，将图像M0的块(1，1)、(1，2)、(1，3)、(1，4)、(1，5)内的任意像素的亮度表示为亮度H0(1，1)、H0(1，2)、H0(1，3)、H0(1，4)、H0(1，5)。此外，将图像M2的第3列的块(3，1)、(3，2)、(3，3)、(3，4)、(3，5)内的任意像素的亮度表示为亮度H2(3，1)、H2(3，2)、H2(3，3)、H2(3，4)、H2(3，5)。由此，各个块(1，1)～(1，5)内的任意像素中的阴影成分Sh(1，1)～Sh(1，5)通过下式(1a)～(1e)来给出。
[式1]
式(1a)～(1e)表示：各个块内的任意像素中的阴影成分通过将右边的分子所记载的块内的该像素的亮度除以分母所记载的块内的位置对应的像素的亮度来给出。以下，如式(1a)～(1e)所示，用块彼此的运算式的形式来总括表示与在不同的块之间位置对应的像素彼此相关的运算。
此外，总结这些式(1a)～(1e)，对于第1列的块(X＝1)内的任意像素中的阴影成分，使用图像M1的第1列的块内的该像素中的亮度H0(X＝1)和图像M2的第3列的块内的位置对应的像素的亮度H2(X＝3)，以下式(1-1)的形式来表示。
[式2]
式(1-1)表示：第1列的各块内的任意像素中的阴影成分Sh(1，1)、Sh(1，2)、Sh(1，3)、Sh(1，4)、Sh(1，5)(将这些总括记作Sh(X＝1))分别通过讲图像M0的第1列上的任意的像素的亮度H0(1，1)、H0(1，2)、H0(1，3)、H0(1，4)、H0(1，5)(将这些总括记作H0(X＝1))除以图像M2的第3列上的位置对应的像素的亮度H2(3，1)、H2(3，2)、H2(3，3)、H2(3，4)、H2(3，5)(将这些总括记作H2(X＝3))来给出。
同样，第2～5列的各块内的任意像素中的阴影成分Sh(X＝2)、Sh(X＝3)、Sh(X＝4)、Sh(X＝5)也通过下式(1-2)、(1-3)、(1-4)、(1-5)来分别给出。另外，如式(1-3)所示，由于第3列的块内的各个像素中的阴影成分Sh(X＝3)是相同块内的相同像素的亮度彼此的运算，所以为1.0。
[式3]
将这样计算出的阴影成分Sh(X＝1)～Sh(X＝5)依次存储在存储部13的规定的存储区域中。图9是示出该存储部13中存储的水平方向上的阴影成分Sh的示意图。另外，在图9中，对包含中央的平坦区域的列(即在阴影成分的计算的基准中使用的列)标注斜线的阴影。
这里，图9所示的阴影成分Sh(X＝1)、Sh(X＝2)、Sh(X＝4)、Sh(X＝5)中的第3行的块内的任意像素中的阴影成分Sh(1，3)、Sh(2，3)、Sh(4，3)、Sh(5，3)是以作为平坦区域的块(3，3)内的位置对应的像素的亮度为基准计算出的。因此，以下将使用平坦区域的块内的像素的亮度而计算出的阴影成分称作归一化阴影成分。
与此相对，阴影成分Sh(X＝1)、Sh(X＝2)、Sh(X＝4)、Sh(X＝5)中的第1、2、4、5行的块内的任意像素中的阴影成分是以即使在第3列中除平坦区域以外的块(3，1)、(3，2)、(3，4)、(3，5)内的位置对应的像素的亮度为基准分别计算出的。例如，如式(1a)所示，块(1，1)的阴影成分Sh(1，1)是使用块(3，1)内的像素的亮度H2(3，1)计算出的。以下，将使用除平坦区域以外的块内的像素的亮度而计算出的阴影成分称作非归一化阴影成分。
同样，第2方向阴影成分计算部121b根据通过一边使拍摄视野V在垂直方向上逐次移动长度Bh一边拍摄5次被摄体SP而取得的5张图像，计算垂直方向上的阴影成分。即从这些5张图像中的某个图像提取包含平坦区域的块(3，3)的行，并且从另一个图像提取拍有与这些块相同的被摄体的块(共同区域),使用在从两个图像提取出的块之间位置对应的像素彼此的亮度，计算垂直方向上的阴影成分。
图10是示出存储部13中存储的垂直方向上的阴影成分Sv的示意图。另外，在图10中，对包含中央的平坦区域的行(即在阴影成分的计算的基准中使用的行)标注斜线的阴影。
这里，图10所示的阴影成分Sv(Y＝1)、Sv(Y＝2)、Sv(Y＝4)、Sv(Y＝5)中的第3列的块内的任意像素中的阴影成分Sv(3，1)、Sv(3，2)、Sv(3，4)、Sv(3，5)是以作为平坦区域的块(3，3)内的位置对应的像素的亮度为基准而计算出的归一化阴影成分。与此相对，阴影成分Sv(Y＝1)、Sv(Y＝2)、Sv(Y＝4)、Sv(Y＝5)中的第1、2、4、5列的块内的任意像素中的阴影成分是使用在第3行中也除了平坦区域以外的块(1，3)、(2，3)、(4，3)、(5，3)内的位置对应的像素的亮度而计算出的非归一化阴影成分。
另外，虽然在上述说明中，在步骤S1中使拍摄视野分别在水平方向和垂直方向上移动并取得图像以后，在步骤S2中依次进行水平方向和垂直方向上的阴影成分的计算，但是处理的顺序不限定于此。例如，也可以在使拍摄视野在水平方向上移动并取得图像以后，使用该取得的图像进行水平方向上的阴影成分的计算，接着在使拍摄视野在垂直方向上移动并取得图像以后，使用该取得的图像进行垂直方向上的阴影成分的计算。此时，可以并行进行水平方向上的阴影成分的计算和使拍摄视野在垂直方向上移动的图像的取得。此外，也可以比水平方向上的各个处理先进行垂直方向上的各个处理。
在接下来的步骤S3中，图像校正部122使用在步骤S2中计算出的水平方向和垂直方向上的阴影成分，进行在步骤S1中取得的任意的图像的校正。图11是用于说明由图像校正部122执行的图像的校正处理的示意图。这里，作为一例，说明设图11(a)所示的图像M为校正对象图像的情况。以下，将图像M内的块(X，Y)内的任意像素的亮度记作H(X，Y)。
图12是详细示出由图像校正部122执行的图像的校正处理的流程图。在步骤S31中，第1图像校正部122a使用归一化阴影成分来校正图像M中的获得了归一化阴影成分的块内的各个像素的亮度。
在实施方式1的情况下，获得了水平方向上的归一化阴影成分Sh(参照图9)的块是(1，3)、(2，3)、(4，3)、(5，3)，获得了垂直方向上的归一化阴影成分Sv(参照图10)的块是(3，1)、(3，2)、(3，4)、(3，5)。因此，当设平坦区域的块为(X0、Y0)时，能够将获得了归一化阴影成分的块表示为(X，Y0)或(X0，Y)。
第1图像校正部122a通过对于获得了水平方向上的归一化阴影成分Sh的块(X，Y0)内的任意像素的亮度H(X，Y0)使用该像素位置上的归一化阴影成分Sh(X，Y0)来进行校正，计算该像素中的纹理成分T(X，Y0)(参照式(2-1))。此外，第1图像校正部122a通过对于获得了垂直方向上的归一化阴影成分Sv的块(X0，Y)内的任意像素的亮度H(X0，Y)使用该像素位置上的归一化阴影成分Sv(X0，Y)来校正，计算该像素中的纹理成分T(X0，Y)(参照式(2-2))。
[式4]
在接下来的步骤S32中，第2图像校正部122b使用归一化阴影成分和非归一化阴影成分来校正图像M中的未获得归一化阴影成分的块内的各个像素的亮度。
例如，考虑对图11(a)所示的块(1，1)内的任意像素进行阴影校正的情况。如图11(b)和式(1a)所示，针对块(1，1)内的该像素计算出的阴影成分Sh(1，1)是以块(1，1)的水平方向上的共同区域即块(3，1)内的位置对应的像素的亮度H2(3，1)为基准计算出的非归一化阴影成分。并且，如图11(c)所示，该块(3，1)内的像素的亮度H2(3，1)所包含的阴影成分被作为以该块(3，1)的垂直方向上的共同区域即平坦区域的块(3，3)内的位置对应的像素的亮度为基准计算出的归一化阴影成分Sv(3，1)给出。因此，图像M的块(1，1)内的任意像素中的纹理成分T(1，1)使用图像M中的块(1，1)内的该像素的亮度H(1，1)、该像素位置上的非归一化阴影成分Sh(1，1)和块(3，1)内的对应的像素位置上的归一化阴影成分Sv(3，1)，通过下式(3)来给出。
[式5]
图13是用于说明由第2图像校正部122b执行的阴影校正处理的另一个例子的示意图。如图13(b)所示，针对图13(a)所示的校正对象的块(1，1)内的任意像素计算出的另一个阴影成分Sv(1，1)是以块(1，1)的垂直方向上的共同区域即块(1，3)内的位置对应的像素的亮度为基准计算出的非归一化阴影成分。并且，如图13(c)所示，该块(1，3)内的像素的亮度所包含的阴影成分被作为以该块(1，3)的水平方向上的共同区域即平坦区域的块(3，3)内的位置对应的像素的亮度为基准计算出的归一化阴影成分Sh(1，3)给出。因此，图像M的块(1，1)内的任意像素中的纹理成分T(1，1)使用图像M中的块(1，1)内的该像素的亮度H(1，1)、该像素位置上的非归一化阴影成分Sv(3，1)和块(3，1)内的对应的像素位置上的归一化阴影成分Sh(1，1)，通过下式(4)来给出。
[式6]
设平坦区域的块为(X0，Y0)来对这些计算式进行一般化。图像M中的未获得归一化阴影成分的块(X，Y)内的任意像素中的纹理成分T(X，Y)使用块(X，Y)内的该像素的亮度H(X，Y)、以块(X，Y)的水平方向上的共同区域的亮度为基准计算出的非归一化阴影成分Sh(X，Y)、和上述共同区域的垂直方向上的共同区域即平坦区域的亮度为基准计算出的归一化阴影成分Sv(X0，Y)，通过下式(5)来给出。
[式7]
或者，图像M中的未获得归一化阴影成分的块(X，Y)内的任意像素中的纹理成分T(X，Y)使用块(X，Y)内的该像素的亮度H(X，Y)、以块(X，Y)的垂直方向上的共同区域的亮度为基准计算出的非归一化阴影成分Sv(X，Y)和以上述共同区域的水平方向上的共同区域即平坦区域的亮度为基准计算出的归一化阴影成分Sh(X，Y0)，通过下式(6)来给出。
[式8]
然后，处理返回到主例程，图像处理装置1的动作结束。
另外，执行步骤S31和S32的顺序不限于上述的顺序，可以先执行步骤S32，也可以并行执行步骤S31和S32。
如以上所说明那样，根据本实施方式1，能够相比以往减少计算阴影成分所需的图像张数。因此，能够减少取得这些图像时的拍摄次数，并能够以简单的结构短时间且高精度地进行阴影校正。此外，根据本实施方式1，由于仅是使拍摄视野在水平方向和垂直方向的2个方向上移动，所以能够使载置有被摄体SP的工作台的控制或对于光学系统的控制简单。
另外，虽然在上述说明中，使拍摄视野移动，计算阴影成分，或者，设分割为作为进行图像校正的单位的块的分割数为5×5＝25，但是，图像(拍摄视野)的分割数不限定于此。越增多分割数，越能够进行更精细的阴影校正。另一方面，由于越减少分割数，越能够抑制被摄体SP的拍摄次数和阴影成分的计算处理和图像的校正处理中的运算量，所以能够缩短阴影校正所需的总的时间。
此外，在上述说明中，在通过式(2-1)和(2-2)、以及(5)或(6)计算纹理成分时，即在进行阴影校正时，将通过式(1a)～(1e)和(1-1)～(1-5)而给出的阴影成分的倒数(阴影校正增益)乘以亮度。该运算通过将给出阴影成分的式(1a)～(1e)和(1-1)～(1-5)中的右边的分子和分母交换，直接计算式(2-1)、(2-2)、(5)、(6)中的阴影校正增益，能够实现运算量的消减。
(变形例1)
对本发明的实施方式1的变形例1进行说明。
在上述实施方式1中，阴影成分计算部121计算水平方向和垂直方向的各个方向上的归一化阴影成分和非归一化阴影成分，图像校正部122使用这些阴影成分，使用与校正对象的块对应的式(2-1)、(2-2)、或(5)或(6)来计算纹理成分。但是，阴影成分计算部121可以生成映射图，并存储到存储部13中，该映射图存储有无论校正对象的块如何都能够应用于相同的纹理成分的运算式的阴影成分S(X，Y)。
具体而言，关于取得了水平方向上的归一化阴影成分Sh(X，Y0)的块(X，Y0)，将该归一化阴影成分作为阴影成分S(X，Y)存储在映射图中。此外，关于取得了垂直方向上的归一化阴影成分Sv(X0，Y)的块(X0，Y)，将该归一化阴影成分作为阴影成分S(X，Y)存储在映射图中。关于取得了非归一化阴影成分Sh(X，Y)和Sv(X，Y)的块，将根据非归一化阴影成分中的任意一个和归一化阴影成分而计算的值Sh(X，Y)×Sv(X0，Y)、或Sv(X，Y)×Sh(X，Y0)作为阴影成分S(X，Y)存储在映射图中。
在该情况下，图像校正部122可以使用存储在由阴影成分计算部121生成的映射图中的阴影成分S(X，Y)，计算纹理成分T(X，Y)(＝H(X，Y)/S(X，Y))。
(实施方式2)
接着，对本发明的实施方式2进行说明。
本实施方式2的图像处理装置的结构整体上与实施方式1(参照图1)相同，由第1方向阴影成分计算部121a和第2方向阴影成分计算部121b执行的阴影成分的计算处理的详细内容与实施方式1不同。
图14是用于说明在本实施方式2中在阴影成分的计算中使用的图像的拍摄方法的示意图，按照时间序列(t)示出被摄体SP相对于光学系统30的拍摄视野V在水平方向上的相对位置P0、P1、……的变化。在图14中，设将被摄体SP在水平方向上按照每个长度Bw进行分割后的区域分别为被摄体区域SP(1)～SP(5)。
这里，上述实施方式1中，通过分别一边使光学系统30的拍摄视野V在水平方向和垂直方向上相对于被摄体SP逐次以长度Bw(或长度Bh)相对移动一边进行5次拍摄，取得了5张图像。与此相对，在本实施方式2中，通过一边使拍摄视野V以相同的长度Bw(或长度Bh)相对移动一边进行9次拍摄，在1个方向上取得9张图像。
图15是用于说明本实施方式2中的阴影成分的计算方法的示意图。图15(a)所示的图像M(0)、M(1)、……是在图14所示的被摄体SP位于相对位置P0、P1、……时分别拍摄出的图像。此外，图15(b)是示出存储部13中存储的水平方向上的阴影成分Sh的示意图。
如图14和图15(a)所示，在求取列X＝1内的任意像素中的阴影成分的情况下，可以使用拍有被摄体区域SP(1)的图像M(0)的列X＝1内的该像素的亮度和作为其共同区域的图像M(2)的列X＝3内的位置对应的像素的亮度，也可以使用拍有被摄体区域SP(2)的图像M(1)的列X＝1内的该像素的亮度和作为其共同区域的图像M(3)的列X＝3内的位置对应的像素的亮度。此外，可以使用拍有被摄体区域SP(3)的图像M(2)的列X＝1内的该像素和作为其共同区域的图像M(4)的列X＝3内的位置对应的像素的亮度，也可以使用拍有被摄体区域SP(4)的图像M(3)的列X＝1内的该像素的亮度和作为其共同区域的图像M(5)的列X＝3内的位置对应的像素的亮度。并且，可以使用拍有被摄体区域SP(5)的图像M(4)的列X＝1内的该像素的亮度和作为其共同区域的图像M(6)的列X＝3内的位置对应的像素的亮度。即，关于列X＝1，能够根据纹理成分相互不同的5种的共同区域的组合(图像的组合)，计算5种阴影成分。关于其他列也同样如此。
由此可知，对于1个列使用纹理成分不同的多个列的亮度，由此能够计算更高鲁棒性的阴影成分。具体而言，各个列内的任意像素中的阴影成分Sh(X＝1)～Sh(X＝5)通过下式(7-1)～(7-5)来给出。
[式9]
这里，如果关注各个式的分子的第1项和分母的第1项，则与式(1a)同样，可以看到表示某个图像的左端的行(X＝1)内的像素的亮度和该左端的行的共同区域即中央的行(X＝3)内的像素的亮度的比的形式。关于分子和分母的第2项以后也同样如此。即，可以说式(7-1)～(7-5)将根据纹理成分相互不同的共同区域而计算出的多个阴影成分进行了平均。
作为由第1方向阴影成分计算部121a执行的实际处理，如图14和图15所示，每次从图像取得部11取入图像时，将图像内的各个像素的亮度与存储部13的规定存储区域累计相加。具体而言，按照在这些列之间位置对应的每个像素，依次将图像M(0)～M(4)的第1列的块内的像素的亮度H0(X＝1)、H1(X＝1)、H2(X＝1)、H3(X＝1)、H4(X＝1)与阴影成分Sh的第1列对应的存储区域累积相加。此外，按照在这些列之间位置对应的每个像素，依次将图像M(1)～M(5)的第2列的块内的像素的亮度H1(X＝2)、H2(X＝2)、H3(X＝2)、H4(X＝2)、H5(X＝2)与阴影成分Sh的第2列对应的存储区域累积相加。同样，按照在这些列之间位置对应的每个像素，依次将图像M(2)～M(6)的第3列的块内的像素的亮度H2(X＝3)、H3(X＝3)、H4(X＝3)、H5(X＝3)、H6(X＝3)与阴影成分Sh的第3列对应的存储区域累积相加。关于第4行和第5行也同样如此。
这样，在将图像M(0)～M(9)内的各个像素的亮度与规定的存储区域累积相加以后，第1方向阴影成分计算部121a将各个列上的亮度的累积相加值除以中央的列(X＝3)中的亮度的累积相加值。由此，能够获得鲁棒性高的阴影成分。
第2方向阴影成分计算部121b也能够通过执行与第1方向阴影成分计算部121a相同的处理，计算垂直方向上的阴影成分。
如以上所说明那样，根据本实施方式2，能够计算鲁棒性高的阴影成分。因此，能够不依赖校正对象图像中的纹理成分的特性而稳定地进行高精度的校正。此外，根据本实施方式2，由于在按照每个列或每个行将亮度累积相加以后计算阴影成分，所以无需增设新的存储器，就能够简单地进行运算处理。
另外，虽然在本实施方式2中，根据通过使拍摄视野V在各个方向上移动8次并进行9次拍摄而取得的9张图像计算了阴影成分，但是也可以通过进一步反复进行拍摄视野的移动和拍摄，使用更多的图像。由此，能够进一步提高阴影成分的鲁棒性。
(变形例2)
对本发明的实施方式2的变形例2进行说明。
可以通过根据与如上所述的各个列相关的多个共同区域的组合单独计算多种阴影成分，并对这些阴影成分进行相加平均，取得该列的水平方向上的阴影成分。例如，关于列X＝1，根据图像M(0)的列X＝1和图像M(2)的列X＝3、图像M(1)的列X＝1和图像M(3)的列X＝3、图像M(2)的列X＝1和图像M(4)的列X＝3、图像M(3)的列X＝1和图像M(5)的列X＝3、图像M(4)的列X＝1和图像M(6)的列X＝3的5种的共同区域的组合来计算5种阴影成分，对它们进行相加平均。关于垂直方向上的阴影成分也同样如此。
(实施方式3)
接着，对本发明的实施方式3进行说明。
本实施方式3的图像处理装置的结构整体上与实施方式1(参照图1)相同，由第1方向阴影成分计算部121a和第2方向阴影成分计算部121b执行的阴影成分的计算处理的详细内容与实施方式1不同。
图16(a)～(c)是用于说明本实施方式3中的阴影成分的计算方法的示意图，并示出通过一边如图6所示地使拍摄视野V在水平方向上逐次移动长度Bw一边进行3次拍摄而取得的3张图像。
在本实施方式3中，第1方向阴影成分计算部121a关注3张图像M0～M2之间的共同区域的左右方向上的对称性，通过下式(8-1)～(8-5)来计算水平方向上的阴影成分。
[式10]
即，第1列所包含的任意的像素中的阴影成分Sh(X＝1)是通过图像M0的第1列的块R0(X＝1)内的该像素的亮度H0(X＝1)和作为其共同区域的图像M2的第3列的块R2(X＝3)内的位置对应的像素的亮度H2(X＝3)来计算的(参照式(8-1))。此外，第2列所包含的任意的像素中的阴影成分Sh(X＝2)是通过图像M1的第2列的块R1(X＝2)内的该像素的亮度H1(X＝2)、和其共同区域即图像M2的第3列的块R2(X＝3)内的位置对应的像素的亮度H2(X＝3)来计算的(参照式(8-2))。第4列所包含的任意的像素中的阴影成分Sh(X＝4)是通过图像M1的第4列的块R1(X＝4)内的该像素的亮度H1(X＝4)和作为其共同区域的图像M0的第3列的块R0(X＝3)内的位置对应的像素的亮度H0(X＝3)来计算的(参照式(8-4))。第5列所包含的任意的像素中的阴影成分Sh(X＝5)是通过图像M2的第5列的块R2(X＝5)内的该像素的亮度H2(X＝5)和作为其共同区域的图像M0的第3列的块R0(X＝3)内的位置对应的像素的亮度H0(X＝3)来计算的(参照式(8-5))。另外，如式(8-3)所示，第3列所包含的各个像素的阴影成分为Sh(X＝3)＝1.0。
第2方向阴影成分计算部121b也能够通过执行与第1方向阴影成分计算部121a相同的处理，根据3张图像计算垂直方向上的阴影成分。
使用了这样计算出的水平方向和垂直方向的各个方向上的归一化阴影成分和非归一化阴影成分的图像的校正方法与实施方式1相同(参照图11～图13)。或者，可以与实施方式1的变形例1同样地生成存储有阴影成分的映射图，并使用该映射图来校正图像。
如以上所说明那样，根据本实施方式3，由于能够减少拍摄视野V的移动次数和拍摄次数，所以能够更短时间地进行阴影校正。
(实施方式4)
接着，对本发明的实施方式4进行说明。
本实施方式4的图像处理装置的结构整体上与实施方式1(参照图1)相同，由第1方向阴影成分计算部121a和第2方向阴影成分计算部121b执行的阴影成分的计算处理的详细内容与实施方式1不同。图17是用于说明本实施方式4中的阴影成分的计算方法的示意图。
首先，如图6所示，考虑通过使拍摄视野V对准被摄体SP内的某个区域并进行拍摄，取得图像M0，接着，通过使拍摄视野V在水平方向上移位长度Bw并进行拍摄，取得了图像M的情况。此时，以在图像M0和图像M1之间确保足够的共同区域的方式，具体而言，以至少将作为平坦区域的图像的中心部包含在两个图像M0、M1的共同区域中的方式，设定长度Bw。图17示出通过这样的拍摄而取得的图像M0、M1，图像M0的列X＝1和图像M1的列X＝2是共同区域。
这里，在本实施方式4中，由于能够利用使拍摄视野V在水平方向上移位后的1对图像来计算阴影成分，所以无需以规定的块为单位使拍摄视野V移位2次以上。因此，如果满足上述的长度Bw的条件，则用户能够通过使载置有被摄体SP的工作台在水平方向上任意移动，使拍摄视野V移位。在该情况下，任意的工作台移动量为1个块的长度Bw。或者，可以设从一边使工作台在水平方向上移动一边连续地取得的图像组中选择出的1对图像之间的移位量为长度Bw。在这些情况下，通过将图像的水平方向的长度w除以1个块的长度Bw，确定水平方向上的块的分割数。
图像M0的列X＝1所包含的任意的像素的亮度H0(X＝1)由该像素中的纹理成分T0(X＝1)和阴影成分Sh(X＝1)构成。即，H0(X＝1)＝T0(X＝1)×Sh(X＝1)。另一方面，当设拍有与该像素相同的被摄体的像素且是图像M1的列X＝2所包含的像素的亮度为H1(X＝2)时，亮度H1(X＝2)由该像素中的纹理成分T1(X＝2)和阴影成分Sh(X＝2)构成。即，H1(X＝2)＝T2(X＝2)×Sh(X＝2)。
如上所述，由于图像M0的列X＝1和图像M1的列X＝2是共同区域，所以纹理成分T0(X＝1)和T1(X＝2)相等。因此，下式(9-1)成立。
[式11]
同样，当使用图像M0的列X＝2和图像M1的列X＝3、图像M0的列X＝3和图像M1的列X＝4、图像M0的列X＝4和图像M1的列X＝5分别为共同区域的状况时，可得到表示列X＝2、X＝3、X＝4分别包含的任意像素中的阴影成分Sh(X＝2)、Sh(X＝3)、Sh(X＝4)的式(9-2)～(9-4)。
[式12]
这里，在以包含平坦区域(3，3)的中央的列X＝3内的各个像素中的阴影成分Sh(X＝3)为基准，将阴影成分Sh(X＝3)＝1.0代入到式(9-1)～(9-4)中并进行整理后，可得到表示各个列所包含的任意像素中的阴影成分Sh(X＝1)～Sh(X＝5)的式(10-1)～(10-5)。
[式13]
Sh(X＝3)＝1.0…(10-3)
如式(10-2)所示，阴影成分Sh(X＝2)通过亮度H0(X＝2)和H1(X＝3)来给出。此外，如式(10-1)所示，阴影成分Sh(X＝1)通过阴影成分Sh(X＝2)和亮度H0(X＝1)和H1(X＝2)来给出，该阴影成分Sh(X＝2)通过式(10-2)计算出。此外，如式(10-4)所示，阴影成分Sh(X＝4)通过亮度H0(X＝3)和H1(X＝4)来给出。并且，如式(10-5)所示，阴影成分Sh(X＝5)通过阴影成分Sh(X＝4)和亮度H0(X＝4)和H1(X＝5)来给出，该阴影成分Sh(X＝4)通过式(10-4)计算出。即，如式(10-1)～(10-5)所示，各个列所包含的任意像素中的阴影成分Sh能够使用2个图像M0、M1内的像素的亮度来计算。
即，如果图像内的一部分的区域(例如列X＝3)中的阴影成分(Sh(X＝3))是已知的(在平坦区域的情况下为1.0)，则能够使用一方的图像(例如图像M0)内的阴影成分为已知的区域(列X＝3)内的像素的亮度(H0(X＝3))和相对于该区域拍有相同的被摄体的另一个图像(图像M1)内的区域(X＝4)中的位置对应的像素的亮度(H1(X＝4))的比(H1(X＝4)/H0(X＝3))、和该已知的阴影成分(Sh(X＝3))，计算未知的阴影成分(Sh(X＝4))。并且，通过依次反复进行这样的运算，能够取得整个图像中的阴影成分。
另一方面，第2方向阴影成分计算部121b从通过使拍摄视野V对准被摄体SP内的某个区域并进行拍摄而取得的图像和使拍摄视野V相对于该图像在垂直方向上移位规定距离(例如，相当于1个块的长度Bh，参照图5)后的图像(参照图7)，取得阴影成分。即使在该情况下，以在两个图像之间确保足够的共同区域的方式，具体而言，以至少将作为平坦区域的图像的中心部包含在共同区域中的方式，设定长度Bh。
在该情况下也与水平方向的情况同样，如果满足上述的长度Bh的条件，则可以通过由用户使载置有被摄体SP的工作台在垂直方向上任意移动，使拍摄视野V移位。此时，任意的工作台移动量为1个块的长度Bh。或者，可以设从一边使工作台在垂直方向上移动一边连续地取得的图像组中选择出的1对图像之间的移位量为长度Bh。在这些情况下，通过将图像的垂直方向的长度h除以1个块的长度Bh，确定垂直方向上的块的分割数。
使拍摄视野V移位以前或以后的图像的任意一个可以兼用作由第1方向阴影成分计算部121a在运算中使用的图像M0、M1的任意一个。即，实质上，可以重新仅取得1张使拍摄视野V相对于图像M0或M1在垂直方向上移位后的图像。
并且，第2方向阴影成分计算部121b通过进行与上述的水平方向阴影成分Sh的计算方法相同的运算，计算各个行(Y＝1、Y＝2、Y＝3、Y＝4、Y＝5)所包含的各个像素中的阴影成分。
使用了这样计算出的水平方向和垂直方向的各个方向上的归一化阴影成分和非归一化阴影成分的图像的校正方法与实施方式1相同(参照图11～图13)。或者，可以与实施方式1的变形例1同样地生成存储有阴影成分的映射图，并使用该映射图来校正图像。
如以上所说明那样，根据本实施方式4，能够根据分别在水平方向和垂直方向上具有足够的共同区域的2组图像，计算图像整体中的阴影成分。并且，由于各个组中的一方的图像能够兼用作另一个组的图像，所以能够根据至少3张图像计算图像整体中的阴影成分。此外，在取得具有共同区域的图像时，无需严密控制拍摄视野的水平方向和垂直方向上的移位量，所以在例如显微镜系统中，不限于电动工作台，即使在手动工作台中也能够简单地实现。
另外，虽然在本实施方式4中，根据使视野在水平方向上移位后的1对图像来计算水平方向阴影成分，但是也可以根据使拍摄视野V在水平方向上移位后的多对图像来分别计算相同的像素位置上的多个水平方向阴影成分，并对这些水平方向阴影成分进行相加平均等，取得最终的水平方向阴影成分Sh。此时，多对图像的水平方向上的移位量可以是任意的。由此，能够抑制由于随机噪声、死白和死黑这样的图像劣化引起的阴影成分的精度下降。
在取得垂直方向阴影成分时也同样可以根据使拍摄视野V在垂直方向上移位后的多对图像来分别计算相同的像素位置上的多个垂直方向阴影成分，并对这些垂直方向阴影成分进行相加平均等，取得最终的垂直方向阴影成分Sv。
(实施方式5)
接着，对本发明的实施方式5进行说明。
本实施方式5的图像处理装置的结构整体上与实施方式1(参照图1)相同，由阴影成分计算部121执行的阴影成分的计算处理的详细内容与实施方式1不同。
在上述实施方式1中，虽然使用式(5)和式(6)中的任意一个来计算未获得归一化阴影成分的块内的任意像素的纹理成分T(X，Y)，但是阴影成分计算部121也可以计算将在这些式(5)、(6)中使用的阴影成分预先加权合成后的合成阴影成分。
这里，对于校正对象的块(X，Y)，设由以水平方向上的共同区域的块为基准计算出的非归一化阴影成分Sh(X，Y)和以上述共同区域的块的垂直方向上的共同区域即平坦区域的块(3，3)为基准计算出的归一化阴影成分Sv(X0，Y)构成的阴影成分为阴影成分Shv1(X，Y)(参照式(11))。
Shv1(X，Y)＝Sh(X，Y)×Sv(X0，Y)……(11)
此外，对于校正对象的块(X，Y)，设由以垂直方向上的共同区域的块为基准计算出的非归一化阴影成分Sv(X，Y)和以上述共同区域的块的水平方向上的共同区域即平坦区域的块(3，3)为基准计算出的归一化阴影成分Sh(X，Y0)构成的阴影成分为阴影成分Shv2(X，Y)(参照式(12))。
Shv2(X，Y)＝Sv(X，Y)×Sh(X，Y0)……(12)
将这些阴影成分Shv1(X，Y)、Shv2(X，Y)加权合成后的合成阴影成分S(X，Y)通过下式(13)来给出。
[式14]
S(X，Y)＝(1-w(X，Y))×Shv1(X，Y)+w(X，Y)×Shv2(X，Y)…(13)
在式(13)中，w(X，Y)是在阴影成分的合成中使用的权重。通常阴影成分能够视作是平滑的，因此，如下式(14)所示，权重w(X，Y)能够根据例如边缘量的总和的比来确定。
[式15]
在式(14)中，参数α是归一化系数。此外，Edgeh[]表示水平方向上的阴影成分的分布的对象区域(块(X，Y)或(X，Y0))中的水平方向的边缘量的总和。Edgev[]表示垂直方向上的阴影成分的分布的对象区域(块(X0，Y)或(X，Y))中的垂直方向的边缘量的总和。
例如，在阴影成分Shv1(X，Y)的计算中使用的块(X，Y)和(X0，Y)中的边缘量的总和小于在阴影成分Shv2(X，Y)的计算中使用的块(X，Y0)和(X0，Y)中的边缘量的总和的情况下，权重w(X，Y)的值也变小。因此，式(13)中的阴影成分Shv1的贡献部分增大。
如式(14)所示，通过根据边缘量或者对比度来设定权重w(X，Y)，能够根据它们的平滑度来合成2个阴影成分Shv1、Shv2。因此，能够计算更平滑的合成阴影成分S。
在该情况下，第2图像校正部122b对于未获得归一化阴影成分的块(X，Y)，通过下式(15)来计算纹理成分T(X，Y)。
[式16]
如以上所说明那样，根据本实施方式5，能够进行不依照计算了阴影成分的方向(水平方向、垂直方向)的鲁棒的阴影校正。
另外，虽然在上述实施方式5中，通过利用式(14)来设定权重w(X，Y)，计算出了平滑的合成阴影成分S，但是也可以通过组合中值滤波、平均滤波、高斯滤波等滤波处理，生成更平滑的合成阴影成分S。
(实施方式6)
接着，对本发明的实施方式6进行说明。上述的实施方式1～5还能够相互组合地实施。
例如，在组合实施方式1、3、5的情况下，首先与实施方式1同样，通过一边使拍摄视野V分别相对于水平方向和垂直方向移动一边进行5次拍摄，取得5张图像(例如图像M0～M4)。并且，根据这些5张图像来计算水平方向和垂直方向上的阴影成分，与实施方式5同样地对于未获得归一化阴影成分的块，计算合成阴影成分S(X，Y)。
另一方面，分别根据上述图像M0～M4中的连续的3张图像的组合(M0，M1，M2)、(M1，M2，M3)、(M2，M3，M4)，也能够与实施方式3同样地计算阴影成分。因此，使用根据3个组合而分别计算出的阴影成分，与实施方式5同样地计算3个合成阴影成分S(X，Y)。其结果，对于1个块，可获得基于5张图像的合成阴影成分和基于上述3个图像的组合的3个合成阴影成分S(X，Y)。通过对这些4个合成阴影成分S(X，Y)进行相加平均，能够获得更鲁棒的合成阴影成分。
此外，在组合实施方式2、3、5的情况下，与实施方式2同样地根据9张图像来计算阴影成分，并且与实施方式5同样地计算合成阴影成分S(X，Y)。另一方面，根据上述9张图像中的连续的3张图像的组合与实施方式3同样地计算阴影成分，并且与实施方式5同样地计算合成阴影成分S(X，Y)。并且，通过对这些合成阴影成分S(X，Y)进行相加平均，也能够计算更鲁棒的阴影成分。
(实施方式7)
接着，对本发明的实施方式7进行说明。
图18是示出本实施方式7的图像处理装置的结构例的框图。如图18所示，本实施方式7的图像处理装置2替代图1所示的图像处理部12而还具有图像处理部21，该图像处理部21在该图像处理部12中还设置有平坦区域搜索部211。
这里，在上述实施方式1～5中，将图像的中央区域视作阴影成分同样的平坦区域，计算出了除了中央的块以外的区域中的阴影成分。与此相对，在本实施方式7中，在从图像内搜索出平坦区域以后计算阴影成分。
另外，在平坦区域的搜索以前，与实施方式1同样，图像处理部21从图像取得部11取入通过一边使拍摄视野分别在水平方向和垂直方向上逐次以规定量移动一边进行拍摄而取得的图像(例如在水平方向的情况下为图8所示的图像M0～M4)。
平坦区域搜索部211根据通过使拍摄视野在水平方向上移动而取得的图像M0～M4中的纹理成分相同的块所包含的任意像素的亮度H0(X＝1)、H1(X＝2)、H2(X＝3)、H3(X＝4)、H4(X＝5)，求出图19所示的水平方向图像Fh，并存储在存储部13中。构成水平方向图像Fh的各个列Fh(X＝1)～Fh(X＝5)所包含的任意像素的亮度通过下式(16-1)～(16-5)来给出。
[式17]
Fh(X＝1)＝H0(X＝1)…(16-1)
Fh(X＝2)＝H1(X＝2)…(16-2)
Fh(X＝3)＝H2(X＝3)…(16-3)
Fh(X＝4)＝H3(X＝4)…(16-4)
Fh(X＝5)＝H4(X＝5)…(16-5)
同样，平坦区域搜索部211根据通过使拍摄视野V在垂直方向上移动而取得的图像中的、纹理成分相同的块所包含的任意像素的亮度，求出图20所示的垂直方向图像Fv，并存储到存储部13中。
图21是以像素为单位示出图19所示的水平方向图像Fh的示意图。此外，图22是以像素为单位示出图20所示的垂直方向图像Fv的示意图。另外，在图21和图22中，为了使说明简单，假设1个块(X，Y)由5个像素×5个像素构成。以下，在图21和图22中，用(x，y)表示像素的坐标，用(X，Y)表示块的坐标。此外，设梯度的计算对象的块(X，Y)为ROI(X，Y)。
平坦区域搜索部211根据这些水平方向图像Fh和垂直方向图像Fv，按照每个块(X，Y)计算通过下式(17)给出的阴影成分的梯度N(x，y)。
[式18]
N(x，y)＝|Fh(x-Bw，y)-Fh(x，y)|+|Fh(x，y)-Fh(x+Bw，y)|
+|Fv(x，y-Bh)-Fv(x，y)|+|Fv(x，y)-Fv(x，y+Bh)|…(17)
式(17)所示的标号Bw表示各个块的水平方向上的尺寸(长度)，并利用像素数表示。此外，式(17)所示的标号Bh表示各个块的垂直方向上的尺寸(长度)，并利用像素数表示(参照图5)。
作为一例，考虑计算ROI(X＝2，Y＝2)的阴影成分的梯度N(x，y)的情况。在水平方向图像Fh中，像素(x＝3，y＝8)、(x＝8，y＝8)、(x＝13，y＝8)的纹理成分相等。因此，这些像素中的亮度的变化相当于阴影成分的变化。此外，在垂直方向图像Fv中，像素(x＝8，y＝3)、(x＝8，y＝8)、(x＝8，y＝13)中的纹理成分相等。因此，这些像素中的亮度的变化相当于阴影成分的变化。
因此，ROI(X＝2，Y＝2)的中心像素(x＝8，y＝8)的阴影成分的梯度N(8，8)通过下式(18)来给出。
[式19]
N(8，8)＝|Sh(3，8)-Sh(8，8)|+|Sh(8，8)-Sh(13，8)|
+|Sv(8，3)-Sv(8，8)|+|Sv(8，8)-Sv(8，13)|…(18)
平坦区域搜索部211设位于ROI(X＝2，Y＝2)的中心的像素(x＝8，y＝8)中的阴影成分的梯度为该ROI(X＝2，Y＝2)的阴影成分的梯度。平坦区域搜索部211这样针对除了图像端以外的全部块计算阴影成分的梯度，将梯度最小的块确定为平坦区域。
另外，作为各个块的阴影成分的梯度，不限于位于该ROI的中心的像素的阴影成分的梯度，可以使用ROI内的全部像素中的阴影成分的梯度的统计值(合计值、平均值、众数、中位数等)，也可以使用ROI内的一部分的像素中的阴影成分的梯度的统计值(同上)。
在通过平坦区域搜索部211搜索了除中央区域以外的区域作为平坦区域的情况下，第1方向阴影成分计算部121a和第2方向阴影成分计算部121b以搜索到的平坦区域为基准(即视作阴影成分为1.0)，计算各个方向上的阴影成分。例如，在块(X＝2，Y＝2)是平坦区域的情况下，第1方向阴影成分计算部121a以包含平坦区域的第2列的块为基准，通过下式(19-1)～(19-5)来计算水平方向上的阴影成分Sh(X＝1)～Sh(X＝5)，并存储在存储部13中。
[式20]
图23是示意性示出存储部13中存储的水平方向上的阴影成分Sh的图。
同样，第2方向阴影成分计算部121b以包含平坦区域的第2行的块为基准，计算垂直方向上的阴影成分Sv(Y＝1)～Sv(Y＝5)，并存储在存储部13中。图24是示意性示出存储部13中存储的垂直方向上的阴影成分Sv的图。另外，在图23和图24中，对包含平坦区域的列和行标注斜线的阴影。
在该情况下，第2图像校正部122b使用下式(20)或(21)来计算未获得归一化阴影成分的块中的纹理成分T(X，Y)。
[式21]
如以上所说明那样，根据本实施方式7，即使由于光轴的偏离等导致阴影相同的平坦区域从中央偏离的情况下，也能够进行高精度的阴影校正。
另外，虽然在上述实施方式7中，设所搜索的平坦区域中的阴影成分为1.0，计算出了各个块中的阴影成分，但是实际上，也能够存在平坦区域的阴影成分不是1.0的情况。在这样的情况下，图像校正部122还可以针对通过阴影校正计算出的纹理成分，以在整个图像中均匀的增益进行归一化。
此外，虽然在上述实施方式7中，设包含梯度N(x，y)最小的像素的块为平坦区域，但是也可以设定针对梯度N(x，y)的阈值，设梯度N(x，y)为阈值以下的全部块为平坦区域。在该情况下，可以根据梯度N(x，y)的值来对以各个平坦区域为基准而计算出的阴影成分彼此进行加权合成等，计算最终的阴影成分。
(实施方式8)
接着，对本发明的实施方式8进行说明。
图25是示出本实施方式8的显微镜系统的结构例的图。如图25所示，本实施方式8的显微镜系统6具有：显微镜装置3、图像处理装置4和显示装置5。
显微镜装置3具有：大致C字形的臂300，其设置有落射照明单元301和透射照明单元302；标本工作台303，其安装于该臂300并载置作为观察对象的被摄体SP；物镜304，其以与标本工作台303相对的方式，经由三眼镜筒单元308设置于镜筒305的一端侧；摄像部306，其设置于镜筒305的另一端侧；以及工作台位置变更部307，其使标本工作台303移动。三眼镜筒单元308将从物镜304射入的被摄体SP的观察光分支到摄像部306和后述的目镜镜头单元309。目镜镜头单元309用于供用户直接观察被摄体SP。
落射照明单元301具有落射照明用光源301a和落射照明光学系统301b，对被摄体SP照射落射照明光。落射照明光学系统301b包含会聚从落射照明用光源301a射出的照明光并引导至观察光路L的方向的各种光学部件(滤光片单元、快门、视野光圈、开口光圈等)。
透射照明单元302具有透射照明用光源302a和透射照明光学系统302b，对被摄体SP照射透射照明光。透射照明光学系统302b包含会聚从透射照明用光源302a射出的照明光并引导至观察光路L的方向的各种光学部件(滤光片单元、快门、视野光圈、开口光圈等)。
将物镜304安装于转换器310，该转换器310能够保持倍率相互不同的多个物镜(例如，物镜304、304’)。通过使该转换器310旋转，变更与标本工作台303相对的物镜304、304’，能够使摄像倍率变化。
在镜筒305的内部设置有变焦部，该变焦部包含：多个变焦镜头；以及使这些变焦镜头的位置变化的驱动部(均未图示)。变焦部通过调整各个变焦镜头的位置，放大或缩小拍摄视野内的被摄体像。另外，可以在镜筒305内的驱动部中还设置编码器。在该情况下，可以将编码器的输出值输出到图像处理装置4，在图像处理装置4中，根据编码器的输出值检测变焦镜头的位置并自动计算摄像倍率。
摄像部306是包含例如CCD或CMOS等摄像元件并能够拍摄在该摄像元件具有的各个像素中具有R(红)、G(绿)、B(蓝)的各个频带中的像素级(像素值)的彩色图像的照相机，依照图像处理装置4的摄像控制部111的控制，在规定的时机进行动作。摄像部306接收从物镜304经由镜筒305内的光学系统射入的光(观察光)，生成与观察光对应的图像数据并输出到图像处理装置4。或者，摄像部306可以将在RGB颜色空间中表示的像素值转换为在YCbCr颜色空间中表示的像素值并输出到图像处理装置4。
工作台位置变更部307包含例如滚珠丝杠(未图示)和步进电机307a，通过使标本工作台303的位置在XY平面内移动，使拍摄视野变化。此外，工作台位置变更部307通过使标本工作台303沿着Z轴移动，使物镜304的焦点对准被摄体SP。另外，工作台位置变更部307的结构不限定于上述结构，可以使用例如超声波马达等。
另外，虽然在本实施方式8中，通过固定包含物镜304的光学系统的位置，使标本工作台303侧移动，来使针对被摄体SP的拍摄视野变化，但是也可以通过设置使物镜304在与光轴垂直的面内移动的移动机构，固定标本工作台303，使物镜304侧移动，来使拍摄视野变化。或者，可以使标本工作台303和物镜304的双方相对移动。
图像处理装置4具有：图像取得部11、图像处理部41和存储部13。其中的图像取得部11和存储部13的结构和动作与实施方式1相同(参照图1)。图像取得部11中的驱动控制部112根据搭载于标本工作台303的标尺的值等，通过以预先确定的间距指示该标本工作台303的驱动坐标来进行标本工作台303的位置控制，但是也可以根据基于由显微镜装置3取得的图像的模板匹配等的图像匹配结果来进行标本工作台303的位置控制。在本实施方式8中，仅是在被摄体SP的面内使拍摄视野V在水平方向上移动以后，在垂直方向移动，所以标本工作台303的控制非常容易。
图像处理部41相比图1所示的图像处理部12，还具有VS图像生成部411。VS图像生成部411根据由图像校正部122实施了阴影校正的多个图像，生成虚拟切片(VS)图像。
虚拟切片图像是将拍摄视野相互不同的多个图像贴合而生成的大视野的图像，在该显微镜系统6中搭载有虚拟切片图像的生成功能。这里，当想要在显微镜装置3中将所拍摄的图像直接贴合时，由于根据光学系统的特性等产生的阴影的影响，在将图像彼此贴合后的接缝处产生不自然的边界。因此，在本实施方式8中，将通过图像校正部122进行了阴影校正后的图像彼此贴合起来。
另外，阴影成分计算部121和图像校正部122的结构和动作与实施方式1相同。或者，可以与实施方式2～5的任意一个同样地使阴影成分计算部121和图像校正部122动作。并且，与实施方式7同样，可以还设置平坦区域搜索部211。
此外，图像取得部11和图像处理部12可以通过专用的硬件构成，也可以通过将规定的程序读入到CPU等硬件来构成。在后者的情况下，可以将用于使图像取得部11执行针对后述的显微镜装置3的摄像动作的控制的控制程序、用于使图像处理部12执行包含阴影校正的图像处理的图像处理程序和在这些程序的执行中使用的各种参数或设定信息存储在上述存储部13中。
显示装置5由例如LCD或EL显示器、CRT显示器等显示装置构成，显示从图像处理装置4输出的图像或相关信息。
接着，对显微镜系统6中的图像的取得动作进行说明。在该显微镜系统6中，能够组合地进行虚拟切片图像生成用的图像取得和阴影成分计算用的图像取得。图26是用于说明本实施方式8中的多个图像的取得动作的示意图。
例如图26所示，在取得虚拟切片图像的生成用的图像V0～V7时，通过仅在使拍摄视野水平地移动的期间的一部分区间(例如取得图像V0、V1的期间)缩窄拍摄视野的移动间距(例如设定为长度Bw)来进行拍摄，取得水平方向上的阴影成分计算用的图像Mj＝0、Mj＝1、Mj＝2、Mj＝3、Mj＝4。由于其中的图像Mj＝0和图像V0是拍摄视野内的被摄体相同的图像，所以能够兼用图像。此外，通过仅在使拍摄视野垂直地移动的期间的一部分区间(例如取得图像V4、V5的期间)缩窄拍摄视野的移动间距(例如设定为长度Bh)来进行拍摄，取得垂直方向上的阴影成分计算用的图像Mk＝0、Mk＝1、Mk＝2、Mk＝3、Mk＝4。由于其中的图像Mk＝0和图像V4的拍摄视野内的被摄体相同，所以能够兼用图像。此外，在以图像V0、V1的顺序……推进拍摄的期间，可以根据取得完成的图像Mj＝0～Mj＝4并行进行阴影成分的计算，也可以使用计算出的阴影成分来并行进行阴影校正。
这样，在本实施方式8中，由于取得虚拟切片图像生成用的图像时的拍摄视野的移动方向和取得阴影成分计算用的图像时的拍摄视野的移动方向相同，所以不使标本工作台303无用地移动就能够有效地取得这些图像。此外，由于能够在阴影成分的生成中使用虚拟切片图像的生成用的一部分图像，所以还能够减少拍摄次数。
另外，能够任意设定虚拟切片图像生成用的图像取得路径上的、进行阴影成分计算用的取得的位置。此外，可以取得虚拟切片图像生成用的图像取得路径上的多个位置上的阴影成分的计算用图像，按照取得图像的每个位置，合成计算出的阴影成分。在该情况下，通过使用合成后的阴影成分，能够提高阴影校正的鲁棒性。
此外，根据标本工作台303的定位精度或显微镜装置3的分辨率的不同，有时在预先设定的标本工作台303的移动量中产生偏差。在这样的情况下，可以根据设置在工作台上的标尺的值、步进电机307a的脉冲数、图像匹配或者它们的组合，进行虚拟切片图像生成用的图像的定位。在本实施方式8中，由于仅是使拍摄视野V在被摄体SP的面内在2个方向上依次移动，所以也能够较容易地进行这样的定位。
本发明不直接限定为上述各个实施方式1～8，可通过适当组合各个实施方式1～8所公开的多个结构要素来形成各种发明。例如，可从实施方式1～8所示的全部结构要素中去除几个结构要素来形成。或者，可适当组合不同实施方式所示的结构要素来形成。
标号说明
1、2、4：图像处理装置；3：显微镜装置；5：显示装置；6：显微镜系统；11：图像取得部；12、21、41：图像处理部；13：存储部；30：光学系统；111：摄像控制部；112：驱动控制部；121：阴影成分计算部；121a：第1方向阴影成分计算部；121b：第2方向阴影成分计算部；122：图像校正部；122a：第1图像校正部；122b：第2图像校正部；211：平坦区域搜索部；300：臂；301：落射照明单元；301a：落射照明用光源；301b：落射照明光学系统；302：透射照明单元；302a：透射照明用光源；302b：透射照明光学系统；303：标本工作台；304、304’：物镜；305：镜筒；306：摄像部；307：工作台位置变更部；307a：步进电机；308：三眼镜筒单元；309：目镜镜头单元；310：转换器；411：VS图像生成部。

Claims (15)

1.一种图像处理装置，其特征在于，具有：
图像取得部，其在相互不同的第1方向和第2方向上分别取得第1图像组和第2图像组，该第1图像组和第2图像组包含与至少其他一张图像之间被摄体的一部分相同的多个图像；
阴影成分计算部，其分别针对所述第1图像组和第2图像组，计算拍有与1个图像中的包含平坦区域的区域相同的被摄体的其他图像内的区域的亮度与该1个图像中的上述包含平坦区域的区域的亮度之比作为阴影成分，在所述平坦区域中，阴影成分固定；以及
图像校正部，其使用所述阴影成分，对所述图像内的区域进行阴影校正，
所述阴影成分包含：以所述平坦区域中的亮度为基准的归一化阴影成分和以除了所述平坦区域以外的区域中的亮度为基准的非归一化阴影成分，
所述图像校正部根据所述归一化阴影成分和所述非归一化阴影成分，进行所述阴影校正，
其中，所述阴影成分计算部具有：
第1阴影成分计算部，其根据所述第1图像组，根据包含所述1个图像中的所述平坦区域且相对于该平坦区域在所述第2方向上排列的区域中的亮度，计算所述阴影成分；以及
第2阴影成分计算部，其根据所述第2图像组，根据包含所述1个图像中的所述平坦区域且相对于该平坦区域在所述第1方向上排列的区域中的亮度，计算所述阴影成分。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述图像校正部具有：
第1图像校正部，其对于所述图像内的区域中的计算出所述归一化阴影成分的区域即第1区域，使用该归一化阴影成分进行阴影校正；以及
第2图像校正部，其对于所述图像内的区域中的未计算出所述归一化阴影成分的区域即第2区域，使用对于该第2区域计算出的所述非归一化阴影成分和对于在计算该非归一化阴影成分时作为基准的区域计算出的所述归一化阴影成分，进行所述阴影校正。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述第2图像校正部使用根据所述第1图像组和第2图像组中的一方计算出的所述非归一化阴影成分和根据所述第1图像组和第2图像组中的另一方计算出的归一化阴影成分，进行所述阴影校正。
4.根据权利要求1～3中的任意一项所述的图像处理装置，其特征在于，
在与所述1个图像内的一部分区域相关的阴影成分为已知的情况下，所述阴影成分计算部使用该一部分区域中的亮度、拍有与所述一部分区域相同的被摄体的所述其他图像内的区域中的亮度、以及已知的所述阴影成分，计算与所述其他图像内的区域相关的阴影成分。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述阴影成分计算部分别对于所述第1图像组和第2图像组，根据所述1个图像和所述其他图像的多个组合，分别计算与多个所述其他图像内的区域相关的阴影成分，对计算出的多个该阴影成分进行相加平均。
6.根据权利要求1～3中的任意一项所述的图像处理装置，其特征在于，
所述阴影成分计算部分别对于所述第1图像组和第2图像组，根据所述1个图像和所述其他图像的多个组合，计算所述阴影成分，其中在该多个组合中，所述1个图像和所述其他图像之间拍有相同的被摄体的区域即共同区域中的纹理成分相互不同。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述阴影成分计算部分别对于所述第1图像组和第2图像组，对在所述多个图像之间对应的区域中的亮度进行累积相加，使用该累积相加后的值，计算所述阴影成分。
8.根据权利要求6所述的图像处理装置，其特征在于，
所述阴影成分计算部根据所述多个组合来分别计算多个阴影成分，对该多个阴影成分进行相加平均。
9.根据权利要求1～3中的任意一项所述的图像处理装置，其特征在于，
所述阴影成分计算部使用对于所述图像内的区域根据所述第1图像组和第2图像组而分别计算出的2个非归一化阴影成分、和对于在分别计算该2个非归一化阴影成分时作为基准的2个区域分别计算出的2个归一化阴影成分，计算所述图像内的区域中的阴影成分。
10.根据权利要求1～3中的任意一项所述的图像处理装置，其特征在于，
该图像处理装置还具有平坦区域搜索部，该平坦区域搜索部根据在所述1个图像和所述其他图像之间拍有相同的被摄体的区域所包含的像素的亮度的梯度，搜索所述平坦区域。
11.根据权利要求1～3中的任意一项所述的图像处理装置，其特征在于，
所述第1方向和第2方向相互垂直。
12.一种摄像装置，其特征在于，具有：
权利要求1～11中的任意一项所述的图像处理装置；
光学系统，其生成所述被摄体的像，
移动单元，其通过使所述被摄体和所述光学系统中的至少一方移动，使所述光学系统相对于所述被摄体的视野移动；以及
摄像单元，其拍摄所述被摄体，
所述图像取得部通过进行一边使所述移动单元分别在所述第1方向和第2方向上移动所述视野一边使所述摄像单元执行摄像的控制，分别取得所述第1图像组和第2图像组。
13.一种显微镜系统，其特征在于，具有：
权利要求12所述的摄像装置；以及
工作台，其载置所述被摄体，
所述移动单元使所述工作台和所述光学系统中的至少一方移动。
14.根据权利要求13所述的显微镜系统，其特征在于，
所述图像处理装置还具有虚拟切片生成部，该虚拟切片生成部通过将所述第1图像组和第2图像组所包含的所述视野相邻的图像彼此贴合，来生成虚拟切片图像。
15.一种图像处理方法，其特征在于，包含以下步骤：
图像取得步骤，分别在相互不同的第1方向和第2方向上取得第1图像组和第2图像组，该第1图像组和第2图像组包含与至少其他一张图像之间被摄体的一部分相同的多个图像；
阴影成分计算步骤，分别针对所述第1图像组和第2图像组，计算拍有与1个图像中的包含平坦区域的区域相同的被摄体的其他图像内的区域的亮度与该1个图像中的上述包含平坦区域的区域的亮度之比作为阴影成分，在所述平坦区域中，阴影成分固定；以及
图像校正步骤，使用所述阴影成分，对所述图像内的区域进行阴影校正，
所述阴影成分包含：以所述平坦区域中的亮度为基准的归一化阴影成分和以除了所述平坦区域以外的区域中的亮度为基准的非归一化阴影成分，
在所述图像校正步骤中，根据所述归一化阴影成分和所述非归一化阴影成分来进行所述阴影校正，
所述阴影成分计算步骤包括，
第1阴影成分计算步骤，根据所述第1图像组，根据包含所述1个图像中的所述平坦区域且相对于该平坦区域在所述第2方向上排列的区域中的亮度，计算所述阴影成分；以及
第2阴影成分计算步骤，根据所述第2图像组，根据包含所述1个图像中的所述平坦区域且相对于该平坦区域在所述第1方向上排列的区域中的亮度，计算所述阴影成分。
CN201480079674.3A 2014-06-10 2014-12-01 图像处理装置、摄像装置、显微镜系统以及图像处理方法 Active CN106461928B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014119868 2014-06-10
JP2014-119868 2014-06-10
PCT/JP2014/081787 WO2015190013A1 (ja) 2014-06-10 2014-12-01 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN106461928A CN106461928A (zh) 2017-02-22
CN106461928B true CN106461928B (zh) 2019-09-17

Family

ID=54833133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480079674.3A Active CN106461928B (zh) 2014-06-10 2014-12-01 图像处理装置、摄像装置、显微镜系统以及图像处理方法

Country Status (5)

Country Link
US (1) US9990752B2 (zh)
JP (1) JP6422967B2 (zh)
CN (1) CN106461928B (zh)
DE (1) DE112014006672T5 (zh)
WO (1) WO2015190013A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015208087A1 (de) * 2015-04-30 2016-11-03 Carl Zeiss Microscopy Gmbh Verfahren zum Generieren eines reflektionsreduzierten Kontrastbildes und diesbezügliche Vorrichtungen
EP3367153B1 (en) 2017-02-27 2022-02-09 Leica Instruments (Singapore) Pte. Ltd. Coded zoom knob, microscope having the same and method for retrofitting a coded zoom knob
WO2018163572A1 (ja) * 2017-03-10 2018-09-13 富士フイルム株式会社 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム
CN111757029A (zh) * 2018-03-26 2020-10-09 上海小蚁科技有限公司 阴影校正检测参数确定、校正检测方法及装置、存储介质、鱼眼相机
CN110794569B (zh) * 2019-11-14 2021-01-26 武汉兰丁智能医学股份有限公司 细胞微型显微图像采集装置及图像识别方法
CN113014805B (zh) * 2021-02-08 2022-05-20 北京大学 一种仿视网膜中央凹与外周的联合采样方法及装置
DE102021203872A1 (de) 2021-04-19 2022-10-20 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung eines Helligkeitskorrekturbilds und Vorrichtung
CN115914601A (zh) * 2022-11-04 2023-04-04 展讯半导体(南京)有限公司 图像处理方法、系统、电子设备、可读存储介质及芯片

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1410744A (zh) * 1996-08-16 2003-04-16 图像研究公司 用于分析井板、凝胶和斑点的数字成像系统
JP2005039339A (ja) * 2003-07-15 2005-02-10 Fuji Photo Film Co Ltd 撮影装置
CN201203699Y (zh) * 2008-01-27 2009-03-04 麦克奥迪实业集团有限公司 体视显微镜上光源照明装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571022B2 (en) * 1997-08-06 2003-05-27 Minolta Co., Ltd. Image processing apparatus for generating a single image of an object using overlapping partial images
JPH1155558A (ja) * 1997-08-06 1999-02-26 Minolta Co Ltd デジタルカメラ
JP2006171213A (ja) 2004-12-14 2006-06-29 Nikon Corp 顕微鏡システム
JP2008051773A (ja) 2006-08-28 2008-03-06 Hamamatsu Photonics Kk 蛍光画像取得装置、及び蛍光画像取得方法
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
JP5830328B2 (ja) * 2011-09-26 2015-12-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
JP5940383B2 (ja) * 2012-06-12 2016-06-29 オリンパス株式会社 顕微鏡システム
US9881373B2 (en) * 2012-12-07 2018-01-30 Canon Kabushiki Kaisha Image generating apparatus and image generating method
WO2015072306A1 (ja) * 2013-11-14 2015-05-21 日本電気株式会社 画像処理システム
JP6381215B2 (ja) * 2014-01-29 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
JP6520919B2 (ja) * 2014-03-28 2019-05-29 日本電気株式会社 画像補正装置、画像補正方法およびプログラム
JP6075315B2 (ja) * 2014-03-28 2017-02-08 株式会社Ｊｖｃケンウッド 合成画像作成システム、合成画像作成方法、及び合成画像作成プログラム
JP6443857B2 (ja) * 2014-06-05 2018-12-26 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1410744A (zh) * 1996-08-16 2003-04-16 图像研究公司 用于分析井板、凝胶和斑点的数字成像系统
JP2005039339A (ja) * 2003-07-15 2005-02-10 Fuji Photo Film Co Ltd 撮影装置
CN201203699Y (zh) * 2008-01-27 2009-03-04 麦克奥迪实业集团有限公司 体视显微镜上光源照明装置

Also Published As

Publication number Publication date
JPWO2015190013A1 (ja) 2017-04-20
US9990752B2 (en) 2018-06-05
JP6422967B2 (ja) 2018-11-14
WO2015190013A1 (ja) 2015-12-17
CN106461928A (zh) 2017-02-22
DE112014006672T5 (de) 2017-02-23
US20170076481A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
CN106461928B (zh) 图像处理装置、摄像装置、显微镜系统以及图像处理方法
CN109559275B (zh) 一种尿液分析仪显微镜图像拼接方法
US10859809B2 (en) Illumination systems and devices for Fourier Ptychographic imaging
JP6196832B2 (ja) 画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラム
US20170363853A1 (en) Reconstruction algorithm for fourier ptychographic imaging
US7663079B2 (en) Microscope apparatus and focal-depth enlarged image generation method used therefor
JP5940383B2 (ja) 顕微鏡システム
JP5738564B2 (ja) 画像処理システム
CN106303242A (zh) 多光谱显微成像的快速主动对焦系统及方法
JP2015128322A (ja) 撮像素子
US10656406B2 (en) Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
WO2020062841A1 (zh) 一种提高数字切片扫描仪建模速度的方法
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
Wang et al. A novel low rank smooth flat-field correction algorithm for hyperspectral microscopy imaging
CN109001902A (zh) 基于图像融合的显微镜聚焦方法
WO2012073912A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
WO2015107872A1 (en) Image acquisition apparatus and control method thereof
CN114926357A (zh) 计算显微成像系统的led阵列光源位姿自校正方法
CN103168265A (zh) 成像系统和其关联的方法
KR20120075899A (ko) 수중 모니터링을 위한 수중카메라 영상의 스티칭 방법
US20170243386A1 (en) Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer-readable recording medium
CN114967093A (zh) 一种基于显微高光谱成像平台的自动对焦方法及系统
Li et al. Rapid whole slide imaging via learning-based two-shot virtual autofocusing
JP2014178781A (ja) 画像処理装置、顕微鏡システム及び画像処理方法
WO2020075226A1 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230221

Address after: Nagano

Patentee after: Yijingtong Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: OLYMPUS Corp.