CN103929591B - 图像处理装置 - Google Patents

Abstract

本发明公开了一种图像处理装置和图像处理方法，可快速、简单获得模拟性加深处于良好对焦状态的焦点深度的图像(合成写真)，另外，可测定拍摄位置到对象的距离。该图像处理装置和图像处理方法不仅仅从在初期设定的对焦位置拍摄的多阶段图像群选择图像数据，通过基于从再设定对焦位置拍摄的多阶段图像群选择的图像数据进行图像合成，可进行使用对焦状态良好图像的图像合成(拼接)。因此，对于立体拍摄对象，可获得各单元对焦状态良好的合成写真，可获得模拟性加深焦点深度的图像。另外，基于对焦相关数据，可正确测定拍摄位置到拍摄对象的距离。

Description

图像处理装置

技术领域

本发明涉及一种图像处理装置及图像处理方法。

背景技术

对于立体对象，通过多阶段切换对焦状态，进行拍摄的手法广为人知。如日本特开2006－221365号公报(简称专利文献1)，公开的一张图像处理装置，其是利用傅里叶变换(Fourier transform)，对具有各种各样模式的图像，通过从该图像数据获得两个方向的空间频谱，进行适当的判别、处理，从各种方向可以很好的检测出模式特性。

然而，拍摄对象为立体时，如果成为处理对象的图像对焦状态不恰当，有时可能获得不到状态良好的上述处理对象图像。比如，即使可以多阶段切换对焦状态，多阶段的对焦位置中某个位置的对焦状态也是对焦不符(散焦状态)情况下，便不能获得状态良好的图像。另外，假设增加多阶段对焦位置，拍摄、图像处理也费时，费钱。

发明内容

为了克服上述缺陷，本发明提供了一种图像处理装置及图像处理方法，针对拍摄的立体对象的各部分，可以简单快速获取比较良好对焦状态的图像(合成照片)。

本发明为了解决其技术问题所采用的技术方案是：本发明相关图像处理装置具有如下单元：(ａ)边切换多阶段的对焦位置，边对拍摄对象拍照，相对于对焦方向，在垂直的平面内方向,可变更与拍摄对象的相对位置的拍摄单元。(ｂ)在初期设定的多阶段的初期对焦位置，通过拍摄单元进行拍摄的初期设定拍摄处理单元。(ｃ)关于相对于对

在上述图像处理装置中，不仅仅是基于从初期设定的对焦位置多阶段拍摄的图像群选择的图像数据，也可以按照从设定程序单元再设定的所谓在被修正的对焦位置多阶段被拍摄的图像群选择的图像数据，进行图像合成。因此，使用对焦状态更好的图像可进行图像合成(拼接)，特别是对于立体拍摄对象，通过各单元，可获得对焦状态良好的合成写真。

另外，在本发明的具体观点或形态中，再设定拍摄处理单元基于再设定对焦位置，在与相对于初期设定中对焦方向的垂直平面内的所有拍摄范围相同的范围内，进行拍摄单元的拍摄。此时，对于初期设定的拍摄范围全体，可获取在再设定对焦位置拍摄的图像。

在本发明的另外状态中，拍摄单元维持对应被设定的多阶段对焦位置的各对焦状态中一个对焦位置所对应的对焦状态，在相对于对焦方向的垂直平面方向，边变更与拍摄对象的相对位置，边一次性拍摄多张图像。此行，通过一次性拍摄多张图像，可以提高拍摄效率。

在本发明又一形态中，分布计算程序单元求取初期对焦位置各阶段的最佳对焦位置累计值，再设定程序单元对应累计值的变化率，确定再设定对焦位置。此时，通过基于相对于对焦方向的垂直平面内所占面积率(累计值)，确定再设定对焦位置，初期对焦位置的最佳对焦位置可以获取对焦状态更良好的图像。

在本发明另一形态中，再设定程序单元，在与多阶段的初期对焦位置相邻的对焦位置间，累计值增加到指定阈值以上时，在该对焦位置中，设定1个以上新的对焦位置。此时，基于累计值增加量，可以决定再设定的新的对焦位置。

在本发明另一形态中，再设定程序单元在相邻对焦位置间设定新对焦位置时，该相邻对焦位置间的该新对焦位置的分割数及配置由累计值的增大率决定。此时，累计值的变化率越大越密集，即可以更高精度的设定对焦位置。

在本发明又一形态中，计算再设定的最佳对焦位置的散焦状态相关数值，同时更具有再设定时散焦测定单元，具体来讲，是指在散焦状态相关数值的计算结果中，特别指定在指定阈值以上的散焦状态是否存在再设定时散焦部分领域。再设定拍摄处理单元在再设定时散焦测定单元特别指定存在再设定时散焦部分领域时，变更相对于对焦方向的垂直面内拍摄单元的拍摄位置，在再设定程序单元中，基于再设定的对焦位置，进行拍摄单元的拍摄。此时，通过变更拍摄单元的拍摄位置，关于处于良好状态的再设定时散焦部分领域，可以再次重新获取图像数据。

在本发明的又一形态中，再设定拍摄处理单元变更上述位置，使再设定时散焦部分领域在拍摄单元拍摄时成为拍摄中心。此时，可以降低再设定时散焦部分领域拍摄的像差。

在本发明的又一形态中，拍摄单元有扩大光学系，拍摄扩大像的图像。此时，向上述那样，通过提高对焦状态，即使在焦点深度变浅倾向的扩大像的图像中，也可以获得焦点对准的图像。

为解决上述课题，本发明相关图像处理方法具有可一边切换多阶段对焦位置边进行拍摄对象的拍照，且在相对于对焦方向的垂直平面的方向，使用可变更与拍摄对象的相对位置进行拍摄的拍摄单元的图像处理方法。具有以下工序：(a)在初期设定的多阶段的初期对焦位置，通过拍摄单元进行拍摄的初期设定拍摄工序。(b)在相对于对焦方向的垂直平面内的拍摄范围，在相同领域，基于初期设定拍摄工程的处理，从初期对焦位置多阶段拍摄的图像群，选择处于最佳对焦位置的1张图像数据的第1选择工序。(c)关于相对于对焦方向的垂直平面内的拍摄范围，在不同位置的多个部分领域，通过第1选择工程的选择，计算分别被选择的图像数据的最佳对焦位置相关分布的分布计算工序。(d)对应分布计算工程计算的最佳位置相关分布的偏差，在对焦位置，进行再设定处理的再设定工序。(e)在再设定工程，在多阶段被再设定的再设定对焦位置，通过拍摄单元进行再次拍摄的再设定拍摄工序。(f)基于再设定拍摄工程的处理，从通过拍摄单元在再设定对焦位置多阶段被拍摄的图像群，选择处于最佳对焦位置的1张图像数据的第2选择工序。(g)基于在第1选择工程被选择的初期设定下的图像数据和第2选择工程中被选择的再设定下的图像数据，合成图像数据，作成对应1张图像的文件的合成工序。

上述图像处理方法中，并不是仅仅基于从在初期设定的对焦位置多阶段拍摄的图像群选择的图像数据，在再设定工程中，基于从在被再设定的即被修正的对焦位置多阶段拍摄的图像群选择的图像数据，也可以进行图像的合成。因此，可以进行对焦状态变得良好的图像进行图像合成(拼接)，特别是对于立体拍摄对象，可获得各部分对焦状态良好的合成写真。

附图说明

【图1】为概念性说明第1实施例相关图像处理装置的构造的结构图。

【图2】为存储装置存储的程序及数据的框图。

【图3】为模式性显示一个对焦状态下拍摄的多张图像的图。

【图4】(A)为模式性显示图像文件，此图像文件通过在拍摄范围内的1个领域的多阶段的对焦位置拍摄的对象的扩大像而获得，(B)为模式性显示不同领域各自拍摄的图像文件。

【图5】(A)为模式性显示拍摄范围内1个领域的图像文件，(B)为模式性显示从1个图像文件提取同一部分领域的模块图像的图像数据的图。

【图6】(A)为平面展示各模块图像的最佳对焦位置，(B)为显示各模块图像中的最佳对焦位置的图表。

【图7】为显示图6(B)图表的斜视图。

【图8】为显示在初期最佳对焦位置的面积率的累计频数的图表。

【图9】为关于利用初期最佳对焦位置的分布，再设定对焦位置进行说明的模式图。

【图10】为拍摄装置主要动作的流程图。

【图11】为变形例拍摄动作的图。

【图12】为第2实施例相关图像处理装置中内藏的存储装置中存储的程序及数据予以显示的框图。

【图13(A)和(B)】就第2实施例相关图像处理装置进行说明的模块图像的图。

【图14】为模式性相识就第2实施例相关图像处理装置说明的多张图像的图。

具体实施方式

下面结合附图，对本发明作详细说明，但本发明的保护范围不限于下述具体实施例。

实施例1：

如图1所示，为本实施例相关图像处理装置100，其具有拍摄单元30、接口装置40、控制装置50。其中，进行拍摄动作的拍摄单元30具有显微镜装置10和相机20。

显微镜装置10具有显微镜本体单元11、显微镜驱动装置11a、载物台12、载物台驱动装置12a。显微镜本体单元11是由接物镜等组成的扩大光学系，显微镜驱动装置11a通过接口装置40，按照控制装置50的指示，驱动显微镜本体单元11。载物台12为通过显微镜本体单元11观察拍摄对象而放置该拍摄对象的台子，载物台驱动装置12a通过接口装置40，按照控制装置50的指示，移动载物台12a。

显微镜驱动装置11a驱动构成显微镜本体单元11的接物镜，通过扩大光学系，调节成像状态。具体来讲，比如沿着光轴适当移动接物镜，使入射到相机20的图像的对焦状态(焦点状态)在多阶段或连续性变化。如图示，将移动接物镜的方向即对焦方向作为Z方向，将相对于对焦方向的垂直面的方向作为X方向和Y方向。载物台驱动装置12a驱动载物台12在X方向和Y方向移动，显微镜装置10可变更相对于显微镜本体单元11的拍摄对象的相对位置。另外，显微镜装置10除了上述内容，还具有照明对象的照明装置(图中省略)。

相机20具有内置的如CCD等构成的固体拍摄装置。通过此固体拍摄装置拍摄被检测的图像，比如作为数码图像信号，被输出到接口装置40一侧。另外，相机20与显微镜装置10的显微镜本体单元11是一体的。

接口装置40介于构成拍摄单元30的显微镜装置10、相机20和控制装置50之间，进行数据信号、指令信号的传输。具体来讲，接口装置40对应控制装置50的要求，将相机20输出的且暂时被保存的图像信号输出到控制装置50。另外，接口装置40基于控制装置50的指令，在适当的时候使显微镜装置10的显微镜驱动装置11a动作，以多阶段变化相机20拍摄的图像的焦点状态。以此，可获得多张图像文件,该图像是在对焦阶段拍摄的,该对焦阶段由变化对象焦点状态的多段构成。另外，接口装置40在适当时机使载物台驱动装置12a动作，以变更拍摄位置。

控制装置50与一般PC相同，具有CPU51、输入装置52、显示装置53、输出装置54、存储装置55等。其中，CPU51与输入装置52、显示装置53、输出装置54及存储装置55之间可以进行数据传输。另外，CPU51基于输入装置52等的指示，从存储装置55等读取指定的程序、数据，执行基于这些程序及数据的各种处理。

具体来讲，通过启动拍摄显微镜写真的控制用电脑程序，CPU51基于输入装置52的指示，从存储装置55读取必要的控制用数据、演算用数据表。进而，CPU51基于读取的控制用数据、演算用数据表，在整理了动作条件和各种管理信息的状态下，将其显示于显示装置53。动作条件包括显微镜本体单元11的状态、拍摄单元30的对焦驱动条件、相机20的设定等。各种管理信息包括图像的处理方法等。另外，CPU51基于输入装置52的指示、程序的顺序，通过接口装置40获取相机20输出的图像信号，将其作为对象的放大图，根据读取的图像信号，按顺序裁剪适当部分，进行拼接，合成1个图像文件。具体来讲，慢慢变化对焦状态(即慢慢变化对焦位置)，将拍摄的多张图像文件分别分割为多张部分领域，在对应的同一部分领域间，比较图像数据，从比较的图像数据中选择焦点最准的部分进行拼接。关于对焦位置，除了通过相机20内部的镜头调整外，还可以通过沿对焦方向(Z方向)移动相机20来调整。

输入装置52由键盘、鼠标等构成。通过利用显示装置53的操作，将指令信号输出到CPU51，该指令信号反映了操作控制装置50的用户的意思。

显示装置由LED等构成，基于从CPU51输入的驱动信号，进行必要的显示。

输出装置54由打印机等构成，基于从CPU51输入的数据，将必要的数据、图像打印输出到纸张上。

存储装置55具有内存55a，该内存55a由存储了驱动控制装置50的基本程序等的ROM、暂时存储应用程序、输入指示、输入数据及处理结果等的RAM等构成。进而，存储装置还具有存储设备55b，该存储设备55b可以通过磁或光学手法保存数据。此存储设备55b是固定被配置的，但可同时设置可自由拆卸的记录媒体RM用驱动。

在上述图像处理装置100中，特别像用显微镜扩大，观察图像一样，若为焦点深度非常浅的图像，即使从拍摄单元30中固定设置的多阶段对焦位置可进行拍摄，也有可能发生任何一阶段对焦状态的焦点均不合(未对焦状态)的情况。此时，即使从多张对焦状态的图像中选择相对最合焦状态的照片即处于最佳对焦位置的照片，也不能获取良好状态的图像数据。在本实施例中，不仅仅是在初期设定的多阶段对焦位置进行拍摄所获得的图像数据，而且可基于该数据再次再设定多阶段的对焦位置，进行再次拍摄，选择及获取处于最佳对焦位置的图像数据，以获得预期的对焦状态的图像。在此，关于从多阶段对焦位置选择最佳对焦位置的方法，有很多种，比如根据对比度高低选择的方法、根据高速傅里叶变换的频率的高低选择的方法等。

图2显示的是收藏于存储装置55(内存55a)的程序及数据的模块图。这些程序和数据是为了执行各种处理，即控制装置50(参照图1)的各种处理中，从主要动作即图像数据获取到根据对焦位置再设定而进行拍摄及合成拍摄的图像的各种处理。具体来讲，存储装置55(内存55a)具有程序存储单元PS和数据存储单元DS。存储装置55在程序存储单元PS中收藏着对焦位置设定程序P1、最佳对焦位置选择程序P2、分布计算程序P3、再设定程序P4、图像合成处理程序P5及拍摄处理程序PX。

对焦位置设定程序P1是在拍摄单元30多阶段对焦位置进行拍摄时设定多个对焦位置的程序。最佳对价位置选择程序P2是从多阶段对焦位置所拍摄图像数据中选择处于最佳对焦状态即最佳对焦位置的图像的程序。分布计算程序P3是合计各图像数据中最佳对焦位置的程序。再设定程序P4是进行对焦位置再设定的程序，在此，对焦位置的再设定是以分布计算程序P3的合计结果为基础的。图像合成处理程序P5是从基于上述各程序所拍摄的图像中选择的图像，合成1个合成图像(合成写真)的程序。拍摄处理程序PX是基于对焦位置设定程序P1设定的对焦位置等的各种设定，让拍摄单元30进行拍摄动作的程序。

另外，存储装置55(内存55a)在数据存储单元DS中设有初期对焦位置存储单元D1、图像数据存储单元D2、再设定对焦位置存储单元D3和等高位置信息存储单元D4。数据存储单元DS中，除去对焦位置存储单元D1是存储初期设定对焦位置相关数据的领域。CPU51从程序存储单元PS读取对焦位置设定程序P1的同时，读取初期对焦位置存储单元D1，在拍摄单元30进行初期对焦位置的多阶段拍摄。

数据存储单元DS中，图像数据存储单元D2是存储拍摄单元30拍摄的图像数据的领域。CPU51在图像处理中，按照需要，适时从图像数据存储单元D2读取信息，进行各种数据的更新处理。图像数据存储单元D2作为存储做种结果获得的合成图像数据的领域，设有合成图像数据存储单元D2a。

数据存储单元DS中，再设定对焦位置存储单元D3是记忆再设定的对焦位置相关数据的领域。CPU51从程序存储单元PS读取对焦位置设定程序P1的同时，读取再设定对焦位置存储单元D3，在拍摄单元30进行再设定对焦位置的多阶段拍摄。

数据存储单元DS中，等高位置信息存储单元D4将各图像数据位置中测定的拍摄位置到拍摄对象的距离数据作为除了合成图像数据存储单元D2a中收藏的合成图像数据之外的最终结果所获取的信息加以存储。

以下，参照模式性示图3等各图，就拍摄各阶段所取得的图像数据存储单元D2中存储的图像数据相关图像状况进行说明。

首先，图3是模式性显示作为多阶段对焦状态(对焦位置)中一个对焦状态，关于对焦方向即Z方向，在最靠近－Z侧的对焦位置拍摄的图像的样子。具体来讲，在图1的拍摄单元30中，通过在XY平面内驱动载物台12，相对拍摄对象相对性移动(扫描)显微镜本体单元11和相机20，在－Z侧维持符合对焦位置的对焦状态下扫描拍摄多张图像，分别获得图3所示对应的多张图像数据即图像文件IF_1，1(1)，IF_1，2(1)…。此时，一方面维持Z方向的1个对焦状态，另一方面，可在XY平面内，变更拍摄对象和显微镜本体单元11的相对位置，进行多次拍摄，将多张图像总括起来，快速扫描拍摄。通过在其他对焦状态(对焦位置)重复同样动作的拍摄，即使在要求拍摄多阶段对焦状态的多张图像即多次拍摄的情况下，也可迅速取得图像数据。

图4(A)和图4(B)显示的是将拍摄单元30做上述动作，而获得的拍摄对象的扩大图像的多阶段的图像文件。在此，举一在初期设定中被固定设定的对焦位置为10阶段变化的位置的例子。即比如图4(A)所示，在全体拍摄范围中的相同领域，相对于对焦的方向垂直的平面内(XY平面内)可以获得由10个阶段所拍摄的10个图像文件IF_1，1(1)～IF_1，1(10)构成的1组图像数据所形成图像群FG_1，1。换而言之，各图像文件IF_1，1(1)～IF_1，1(10)是通过边移动对焦位置，边在XY平面内连续拍摄同一领域中对象的一部分扩大图像的文件。另外，如图4(B)所示，在拍摄范围的其他领域中，也同样可以获得比如由图像文件IF_2，1(1)～IF_2，1(10)形成的图像群IF_2，1等。另外，这些图像文件IF_1，1(1)～IF_1，1(10)等在全体处理结束之前，被保存于存储装置55的图像数据存储单元D2(参照图2)中。另外，各图像文件IF_1，1(1)～IF_1，1(10)等为彩色图像，是比如每像素中指定了RGB3原色强度的数据群。

图5(A)相当于图4(A)，图5(B)所示的是对应多个划出领域的模块图像数据，该多个划出领域是从构成图5(A)所示图像群FG_1,1的各图像文件IF_1，1(1)～IF_1，1(10)划分的部分领域。如图所示，可以认为图像群FG_1,1是集合了模块图像数据而构成的。具体来讲，图像群FG_1,1是由模块图像数据BA₁(1)～BA₁(10)…、BA_n(1)～BA_n(10)…、BA_z(1)～BA_z(10)构成的。每个划出的部分领域在1个模块图像数据中所占面积与在其他模块图像数据中所占面积相同。各模块图像数据在XY平面内的相同领域，分别构成1组模块图像群。比如，图中央位置所示，通过模块图像数据BA_n(1)～BA_n(10)构成模块图像群BG_n。关于其他模块图像数据，也是同样，比如，图端所示，通过BA₁(1)～BA₁(10)构成模块图像群BG₁，通过BA_z(1)～BA_z(10)构成模块图像群BG_z。也可以认为图像群FG_1,1是由模块图像群BG₁～BG_n构成的。这些模块图像群BG_n等作为图像群FG_1,1相关数据，而被暂时保存于存储装置55的图像数据存储单元D2中，为进行之后的图像选择等用。关于模块图像数据的配置等，以下进行更加详细的说明。从构成图像群FG_1,1的图像文件IF_1，1(1)～IF_1，1(10)中，划分出构成1个模块图像群BG_n的模块图像数据BA_n(1)～BA_n(10)的位置在各图像文件IF_1，1(1)～IF_1，1(10)上是同一位置，即对于相邻的模块图像群不能发生领域重叠或产生间隙，模块图像数据BA_n(1)～BA_n(10)的坐标范围仅在纵轴(XY方向)的像素宽度相分离的间隔，而在XY平面内，呈矩阵配置。通过集合所有这些如此配置的模块图像数据BA_n(1)～BA_n(10)，可以构成完全的图像文件IF_1，1(1)～IF_1，1(10)即构成图像群FG_1,1。纵轴(XY方向)的像素宽度比如为16pixel*16pixel。另外，在各像素文件IF_1，1(1)～IF_1，1(10)的边缘部分，未必可以使模块图像数据BA_n(1)～BA_n(10)的像素宽度与中央部分一致。此时，可以将模块图像数据BA_n(1)～BA_n(10)的像素宽比如包含尾数部分作成比中央部分像素值大。

分别对于构成各图像文件IF_1，1(1)～IF_1，1(10)的模块图像群BG₁…、BG_n…、BG_z，选择对焦状态最好的，决定最佳对焦位置。比如，从构成模块图像群BG_n的模块图像数据BA_n(1)～BA_n(10)的10阶段图像中，选择对焦状态最好的。选择时，有各种手法，比如可应用根据对比度高低选择处于最佳焦点位置的图像的方法。另外，基于焦点度，可判断各模块图像数据ＢBA₁(1)～BA₁(10)等任何一个模式是否精细(即是否合焦，是否鲜明)。此焦点度是通过比如积分方法，分别计算出使用上述专利文献1(特开2006-221365号公报)中记载的高速傅里叶变换的系数处理、波相位处理后的空间频率向量的焦点度。

图6和图7是就从10阶段的模块图像数据组成的模块图像群选择的最佳对焦位置进行示例的图。图6(A)是平面显示初期设定下的拍摄中获得的各模块图像数据中最佳对焦位置(初期最佳对焦位置)的图。图6(B)是显示1个图像群(比如图5(B)的图像群FG_1，1)各模块图像数据中最佳对焦位置的图表。另外，图6(B)的图表本来如图7的斜视图那样，是X、Y的2个变量函数。在此，关于Z方向，因为将其视为存在10阶段的对焦位置，如图6(B)等所示，将各模块图像数据中初期最佳对焦位置从最靠近－Z侧位置开始，按顺序，以深度H₁～H₁₀来显示。如图6(A)所示，比如在坐标(1,1)中，在深度H₁～H₁₀中，深度H₁表示的是初期最佳对焦位置。在坐标(1,1)中，图5(B)的模块图像数据中，比如模块图像数据BA₁(1)～BA₁(10)所对应的，通过选择将深度H1作为对焦位置的模块图像数据BA1(1)，深度H1成为初期最佳对焦位置。以下，同样，关于各模块图像数据BA_n(1)～BA_n(10)，分别选择初期最佳对焦位置。利用以上所得到的初期最佳位置相关分布偏差，若再设定对焦位置，可得到更高精度的图像。

图8是显示关于初期最佳对焦位置的面积率累积度数的图表，该初期最佳对焦位置被应用于上述得到的初期最佳对焦位置分布计算中。横轴为深度即对焦位置，纵轴为累积度数。换而言之，图8是合计了累积度数的图表。此累积度数是关于上述各模块图像数据获得的初期最佳对焦位置即深度H₁～H₁₀的。在此，1个模块图像数据中所占面积与其他图像数据中所占面积相同，此模块图像数据的累积度数是显示应形成的全范围的合成图像的面积率。另外，图中点划线所表示的曲线CC是根据累积度数增加程度推导出的假设性增大曲线。即曲线CC显示的是初期最佳对焦位置变化的曲线。另外，图9就基于初期最佳对焦位置的分布的对焦位置再设定进行说明的纲要图。即图9显示的是初期设定的深度H₁～H₁₀和新设定的深度是S₁～S₈。

在此，进行更加精细的对焦位置分割即设定新的对焦位置(对焦位置再设定)时，根据图8所示面积率(累积率)的增加程度，决定再设定时的对焦位置分割数和配置。即在曲线CC上，初期设定中，对于显示相邻深度H₄到深度H₅之间增大率的领域A₁的面积、曲线CC的倾斜度的变化量，实现确定阈值，通过判定是否超过阈值，决定重新再设定对焦位置即深度S₁等。在此，举一例子，基于领域A₁、A₂，在深度H₄到H₅之间，设定新的对焦位置即深度S₂、S₃，在深度H₅到H₆之间，设定新的对焦位置即S₄。比如，深度S₂、深度S₃的配置对应显示累积值增加的领域A₁的面积变化来决定。作为阈值，比如领域A₁等的值即面积相对于全体，每增加10％，设置新的分割，即进行新的深度设定。深度的位置对应面积增加程度来决定。即增加率越高，越在短间隔设定深度的位置。具体来讲，图8、图9所示的例子中，基于上述阈值，领域A₁相对急剧增加，此增加率比例化的结果，在深度H₄到H₅之间2个地方新设定深度S₂、S₃。另一方面，领域A₂的增加比较稳缓，此增加率比例化的结果，在深度H₅到H₆之间1个地方设定新的深度S₄。相对于新设定的深度S₂被设置于深度H₄和深度H₅中间点偏深度H₄一侧，深度S₃被配置于偏近深度H₅一侧。即增加率越高，越以狭窄的间隔设定新的深度。比如，如深度S₁那样，新的深度可以和原本的深度(深度H₄)一致。在此，比如如图9所示，在再设定中，为设定了8阶段的深度S₁～S₈。此时，深度S₁～S₈在初期设定的深度H₁～H₁₀中被收束于更加限定的深度H₄～H₈之间。如此，累积值变化率越大，越密集即越在狭小范围再设定，以便进行更高精度的拍摄(高精单元扫描拍摄)。关于以上，换个角度，图8中，通过设定被细分化的新的深度，抑制上升阶段的急剧增加，即稳定化(归一化)上升度。这在某种程度上，并不是最佳对焦位置急剧增加，而是作成缓慢增长为多阶段的图像数据。

从上述取得的多阶段对焦位置的图像中，选择对焦状态最好的图像，通过适当拼接这些图像数据，即使存在在初期设定的任何一个阶段对焦状态不合焦(散焦状态)的状况，通过利用再设定的图像数据，可作成良好的合成图像。

另外，上述中，为进行了初期设定下的拍摄和再设定下的拍摄2次拍摄动作，进而再重复再设定的操作，即进行3次以上的拍摄动作，可取得更高精度的图像数据。这与将图8所示阶段状上升程度进一步均一化相关联。

以下，就图1等所示图像处理装置100的动作一例进行说明。图10是关于图像处理装置100的图像获取及图像处理的一例进行说明的流程图。

首先，控制装置50的CPU51从程序存储单元PS读取对焦位置设定程序P1，同时读取初期对焦位置存储单元D1，同时读取拍摄处理程序PX，在拍摄单元30进行初期对焦位置的多阶段拍摄。即CPU51作为初期设定拍摄处理单元，将初期设定深度H₁～H₁₀作为初期设定的对焦位置进行设定(步骤S₁₀₁)，在这些对焦位置进行通常的拍摄动作(初期设定拍摄工序)。在此，拍摄单元30就各深度H₁～H₁₀，沿同一深度即Z方向以一定的速度在XY平面内(垂直于对焦方向的平面内)扫描、拍摄(步骤S₁₀₂)。即在如图3所示的同一高度，关于XY方向，进行不同范围多张图像拍摄。此动作从深度H₁开始到深度H₁₀重复10次，快速确切地获取图像处理所必须的大量图像数据。然后，CPU51作为第1选择单元，从程序存储单元PS读取最佳对焦位置选择程序P2，比如如图5(B)等所示，基于同一领域的信息，选择初期设定的最佳对焦位置即第1次最佳对焦位置(步骤S₁₀₃：第1选择工序)。然后，CPU51作为计算模块图像数据相关最佳对焦位置分布的分布计算程序单元，读取分布计算程序P3，计算出图8等所示最佳对焦位置相关分布(步骤S₁₀₄：分布计算工序)。接着，CPU51作为再设定程序单元，读取再设定程序P4，对应步骤S₁₀₄中计算的嘴角对焦位置相关分布的偏差，对于多阶段的对焦位置进行再设定处理(步骤S₁₀₅：再设定工序)。比如，图9中，关于深度S₁～S₈所示再设定的对焦位置，被暂时存储于再设定对焦位置存储单元D3中。接着，CPU51作为再设定拍摄处理单元，从程序存储单元PS读取对焦位置设定程序P1，同时读取再设定对焦位置存储单元D3，在拍摄单元30进行再设定的对焦位置上的多阶段拍摄。也就是说，CPU51通过拍摄单元30进行再次拍摄(高精度扫描拍摄)(步骤S₁₀₆：再设定拍摄工序)。接着，CPU51作为第2选择单元，从程序存储单元PS读取最佳对焦位置选择程序P2，从在同一领域多阶段拍摄的多阶段图像群的BLOCK图像数据选择再设定时的最佳对焦位置即第2次最佳对焦位置(步骤S₁₀₇：第2选择工序)。最后，CPU51作为做成1张合成合成图像的合成处理单元，进行合成图像做成处理，也就是基于步骤S₁₀₃选择的初期设定下的图像数据和步骤S107中选择的再设定下的图像数据，拼接图像数据，做成对应1个图像的文件(步骤S₁₀₈：合成工序)。将取得的各种信息作为最终结果，存储于合成图像数据存储单元D2a、等高位置信息存储单元D4内，结束图像处理动作。以上过程中，基于对焦位置，对个图像进行图像处理、图像数据选择，作为结果，等高位置信息存储单元D4中收藏的拍摄位置到拍摄对象的距离是精度比较高的数据。

本实施例相关图像处理装置100中，不仅仅是从初期设定的对焦位置下多阶段拍摄的多阶段图像群选择图像数据，也可以从再设定程序单元再设定的对焦位置下多阶段拍摄所得多阶段图像群选择图像数据，进行图像合成，使用对焦状态良好的图像进行图像合成(拼接)。因此，对于立体的拍摄对象，在各单元可以获取对焦状态良好的合成写真，模拟性获得加深焦点深度的图像。另外，基于对焦相关数据，可正确进行拍摄位置到拍摄对象的距离测定。

上述中，在步骤S₁₀₆中，关于再设定的深度S1～S8，就与初期设定相同的所有范围进行拍摄，比如，像上述情况的深度S1那样，新的深度与原深度(深度H₄)一致时，因为已经获得了一部分必要的数据，就可以省略将深度H₄作为对焦位置的拍摄。

另外，如上述，相对移动XY平面，进行扫描拍摄时，再设定的拍摄中，也是就与初期设定的拍摄相同范围即全部拍摄范围进行的拍摄，可将再设定的拍摄作为仅针对一部分领域进行的拍摄。比如，从对焦状态开始需要进行再设定下的拍摄的范围在40％以上时，最好就全部拍摄范围总括起来进行拍摄。另一方面，比如，需要进行再设定下的拍摄的范围再0.5％以下时，仅就那一部分进行再次拍摄会效率比较高。因此，比如，实现确定是否需要再次拍摄的基准即散焦状态相关指定阈值，超过该阈值的领域即对焦状态不好的领域非常少时，仅就那一部分进行再度拍摄，可以高效进行拍摄处理。

另外，如图11所示，在再设定扫描拍摄中，可以挪动XY平面的拍摄位置。具体来讲，比如，在图中，对于虚线所示初期设定下的扫描拍摄的拍摄位置，将再设定下的扫描拍摄的拍摄位置如图中实线所示那样，沿X和Y方向偏移图像文件的1张的长度的一半的长度，可在这种状态下进行拍摄。

实施例2：

以下，就本发明第2实施例相关图像处理装置通过图面进行说明。另外，本实施例相关图像处理装置是第1实施例的变形例，关于图像处理装置的构造，与图1等所示第1实施例的图像处理装置100相同，在此省略图示及说明。

图12到图14是本实施例相关图像处理装置说明图。其中，图12是显示存储装置55(内存55a)中收藏的程序及数据的模块图，对应第1实施例的图2。另外，图13(A) 和 (B) 是对应图6(A)的模块图，图14是模式性显示对应图3的多张图像的图。

如图12所示，本实施例中，在程序存储单元PS中，除了图2所示的对焦位置设定程序P1外，进一步还收藏者再设定时散焦测定程序PD。此再设定时散焦测定程序PD就再设定下的最佳对焦位置上的散焦状态算出数值，同时，在散焦状态相关数值计算结果中，特别规定指定是否存在阈值以上的散焦状态的再设定散焦部分领域。

作为进行拍摄单元30拍摄结果，在初期设定或者再设定的对焦位置取得的图像数据的一部分中，有时存在最佳对焦位置的图像数据依然为指定阈值以上的散焦状态。特别是根据在再设定的对焦位置取得的图像数据选择的最佳对焦位置的图像，仍为指定阈值以上的散焦状态的情况下说明存在问题。至于发生这种现象的理由，比如，1次拍摄领域中，靠近周边侧的领域部分的模块图像与拍摄中心侧的模块图像相比，容易受到像差等的影响，图像容易劣化。作为结果，要考虑上述问题发生的情形。在此，在图13(A) 和 (B) 所示各模块图像中，虚点背景所示部分为指定阈值以上的散焦状态的图像。即1张图像数据中的一部分，比如位于周边侧的若干模块图像中存在指定阈值以上的散焦状态的图像。

在本实施例中，在再设定时散焦测定程序PD中，计算出最佳对焦位置模块图像的散焦状态数值，同时，在散焦状态相关数值计算结果中，特别指定是否存在处于指定阈值以上的散焦状态的再设定时散焦部分领域，若存在再设定时散焦部分领域，通过变更拍摄单元在XY平面内的拍摄位置，可处理对应上述问题。

具体来讲，首先，相当于图10步骤S₁₀₇的第2次最佳对焦位置判定处理结束后，CPU51作为再设定时散焦测定单元，读取再设定时散焦测定程序PD，就判定为最佳对焦位置的图像数据，计算散焦状态相关数值，同时，在散焦状态相关数值计算结果中，特别指定是否存在处于指定阈值以上散焦状态的再设定时散焦部分领域。在此，若判定为不存在再设定时散焦部分领域，则进行相当于图10的步骤S₁₀₈的图像处理，生成合成图像，结束动作。

一方面，判断存在再设定时散焦部分领域RD即如图13(A) 和 (B) 中包含虚点背景所示的对焦状态不太良好的模块图像数据领域时，针对该部分进行再次拍摄。因此，首先，CPU51读取再设定时散焦测定程序PD，根据所得到的散焦计算结果，特别指定再设定时散焦部分领域，使确定其中心位置。以具体例来讲，如图14所示，4个相邻图像数据的角落部分存在再设定时散焦部分领域RD，CPU51读取拍摄处理程序PX，特别指定这些中心位置RC，同时为使该中心位置RC与拍摄单元30的拍摄位置的拍摄中心CO一致，变更拍摄位置。即为使1次拍摄中拍摄领域成为图中的矩形领域DD1，再设定时散焦部分领域PD被包含于中心侧，变更拍摄单元30的拍摄位置。如此，通过变更拍摄位置，使再设定时散焦部分领域RD成为拍摄单元30的拍摄中拍摄中心CO，关于像再设定时散焦部分领域那样对焦状态特别不好的领域，在像差少的状态，可重拍图像。

上述中，变更拍摄单元30的拍摄位置时，为使再设定时散焦部分领域RD的中心位置RC与拍摄领域的拍摄中心CO一致而移动拍摄位置，但只要能够恰对再设定时散焦部分领域RD进行拍摄，也不仅仅现定于拍摄位置的变更方法。比如，另外一种方法，不将拍摄中心作为点状，而在确保镜头性能的范围来确定拍摄中心，在该范围内，涵盖再设定时散焦部分领域RD，进行拍摄。

以上，以实施例说明本发明，但本发明并不仅仅局限于上述实施例。比如，本实施例中，以分割图像文件的模块图像数据为单位，决定最佳对焦位置，也可以不进行分割，以图像文件作为单位决定最佳对焦位置。

另外，上述中，以领域的面积的增加率等的最佳对焦位置面积变化为基准，决定再设定中新的对焦位置及深度相关分割数、位置的设定。也可以代替面积变化，或除了替面积变化之外，再基于最佳对焦位置的对焦值，决定再设定的分割数和位置。以此，在最佳对焦位置，可以选择对焦值更高的地方作为新的对焦位置。比如，判断对焦值不充分时，在不充分的对焦位置，在对焦值最高的对焦位置附近，还未设定高度的对焦位置可进行拍摄。比如，有最高对焦值的对焦位置两侧对焦位置中，与对焦值最高侧位置的中间点可作为新的对焦位置。

进而，作为利用对焦值的形态，比如，给对焦值设置阈值，在初期设定的拍摄结果中，计算出对焦值超过阈值的图像数据的比例，按照其比例，决定是将再设定的拍摄范围作成与初期设定下拍摄相同的全拍摄范围还是仅取其一部分。

另外，比如，本实施例中，就图像文件IF_1，1(1)～IF_1，1(10)等为显微镜图像的进行了说明，但就一般相机图像，也可做同样处理，在包含立体对象、风景等2个对象的图像中，也可获得合焦清晰的图像文件。

另外，在本实施例中，对于图像文件整体进行合成处理，也可针对图像文件某指定领域进行合成处理。

Claims (8)

1.一种图像处理装置，其特征在于，具有以下单元：

拍摄单元，切换多阶段对焦位置来对拍摄对象进行拍摄，且在拍摄时可在与对焦方向相垂直的平面内方向变更与拍摄对象的相对位置；

初期设定拍摄处理单元，初期设定多阶段初期对焦位置，通过所述拍摄单元进行拍摄；

第1选择单元,在垂直于对焦方向的平面内的拍摄范围内的相同领域，基于所述初期设定拍摄处理单元的处理，从所述多阶段初期对焦位置所拍摄的图像群选择处于最佳对焦位置的1张图像数据；

分布计算程序单元，在垂直于对焦方向的平面内的拍摄范围的不同位置的多个部分领域，根据所述第1选择单元的选择,分别计算出所选择图像数据的最佳对焦位置的分布；

再设定程序单元，利用所述分布计算程序单元计算出的最佳对焦位置的分布的偏差，对对焦位置进行多阶段再设定处理；

再设定拍摄处理单元，在所述再设定程序单元在多阶段再设定的再设定对焦位置，通过所述拍摄单元进行再次拍摄；

第2选择单元，基于所述再设定拍摄处理单元的处理，从通过所述拍摄单元在再设定对焦位置进行多阶段拍摄所取得图像群中，选择处于最佳对焦位置的1个图像数据；

合成处理单元，基于所述第1选择单元选择的初期设定的图像数据和所述第2选择单元选择的再设定图像数据，合并图像数据，生成对应1张图像的文件；

再设定时散焦测定单元，该再设定时散焦测定单元计算在设定的最小对焦位置中散焦状态相关数值，同时特别指定散焦状态相关数值计算结果中是否存在处于指定阈值以上的散焦状态的再设定时散焦部分领域的；所述再设定拍摄处理单元根据所述再设定时散焦测定单元确认存在上述再设定时散焦部分领域时，基于所述再设定程序单元再设定的对焦位置，变更在垂直于对焦方向的平面内的上述拍摄单元的拍摄位置，通过上述拍摄单元进行拍摄。

2.根据权利要求1所述的图像处理装置，其特征在于：所述再设定拍摄处理单元基于再设定对焦位置，在与初期设定的对焦方向垂直的平面内所有拍摄范围相同的范围内，由所述拍摄单元进行拍摄。

3.根据权利要求2所述的图像处理装置，其特征在于：所述拍摄单元在对应所设定的多阶段对焦位置的1个对焦位置时，在垂直于对焦方向的平面内方向同时变更与拍摄对象的相对位置同时拍摄多张图像。

4.根据权利要求1所述的图像处理装置，其特征在于：所述分布计算程序单元求取各初期对焦位置阶段最佳对焦位置的累积值，所述再设定程序单元通过该累积值的变化率确定再设定对焦位置。

5.根据权利要求4所述的图像处理装置，其特征在于：所述再设定程序单元在多阶段初期对焦位置中，在相邻对焦位置之间，累积值超过指定的阈值时，在该对焦位置中间增加设置1个以上新的对焦位置。

6.根据权利要求5所述的图像处理装置，其特征在于：所述再设定程序单元在相邻对焦位置之间设置新的对焦位置时，基于所述累积值的增大率来决定该相邻对焦位置间的该新对焦位置的分割数及配置。

7.根据权利要求1所述的图像处理装置，其特征在于：所述再设定拍摄处理单元在所述拍摄单元的拍摄中，变更拍摄位置使再设定时散焦部分领域处于拍摄中心。

8.根据权利要求1所述的图像处理装置，其特征在于：所述拍摄单元有用于拍摄扩大像的图像的扩大光学系。