CN103503434A

CN103503434A - 深度扩展装置

Info

Publication number: CN103503434A
Application number: CN201280020833.3A
Authority: CN
Inventors: 榛泽丰治; 高杉芳治; 富冈诚
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Corp
Priority date: 2011-12-16
Filing date: 2012-11-06
Publication date: 2014-01-08
Anticipated expiration: 2032-11-06
Also published as: US20130335534A1; EP2690862A4; JPWO2013088861A1; JP5341286B1; CN103503434B; EP2690862A1; WO2013088861A1; US8743186B2

Abstract

一种深度扩展装置，具备：摄像光学系统(2)和摄像元件(3)，其使焦点位置不同的图像A、B成像来进行拍摄；以及深度扩展图像生成部(5)，其基于图像A、B来生成维持物点至摄像光学系统的距离与亮度变化的关系的深度扩展图像，其中，在将图像A的像侧NA设为NA’、将由摄像光学系统和摄像元件决定的分辨率设为R、将图像A的成像面和图像B的成像面的光路间隔设为d、将图像A、B中的摄影距离近的图像的NA设为NAn、将摄影距离远的图像的NA设为NAf时，摄像光学系统和摄像元件满足条件式(1)和(2)。R×NA’/2≤d…(1)0.05≤(NAf/NAn)²≤0.9…(2)。

Description

深度扩展装置

技术领域

本发明涉及一种将焦点位置不同的多个图像进行合成来扩展焦深的深度扩展装置。

背景技术

以往，为了加深观察系统的景深，一般以缩小亮度光圈(将F值变大)的方式来进行应对。但是，这种情况下成像出的图像变暗。并且，近年来的摄像元件为了实现小型化、多像素化而使像素间距变小。对于这种摄像元件，当缩小光圈时有时出现衍射的影响，因此不能使F值过大。

另外，还提出了如下方案：以具备聚焦功能的方式来构成观察光学系统，使得能够在广阔的景深范围内进行对焦。但是在该情况下，需要使透镜在观察光学系统内进行移动的空间，还需要驱动透镜的机构，因此观察光学系统大型化。因而，具备聚焦功能的观察光学系统未必适用于为了确保高插入性而谋求小型化、细径化的内窥镜。

与此相对地，关于将焦点位置不同的多个图像进行合成来扩展焦深的技术，提出了各种技术。

例如，在日本特开平11-32251号公报中记载了如下一种技术：通过包括双折射晶体的双焦点光学系统来获取焦点位置不同的多个图像，对这些不同焦点位置的图像的各像素的亮度进行比较选择并重新合成图像，来获得焦深深的图像。在此，该公报所记载的深度扩展图像的合成技术是对亮度进行比较并基于比较结果来选择多个图像中的某一个像素值的技术。

另外，在日本特开2001-344599号公报中记载了如下一种技术：在对焦点位置不同的多个图像进行合成之前，使各图像的亮度水平一致，来削减噪声。

并且，在日本特开2004-350070号公报中记载了如下一种图像处理装置，具有对通过单个摄影光学系统成像出的图像进行拍摄的多个摄像元件，来获得将由上述多个摄像元件拍摄到的多个图像数据进行合成而得到的图像，在该图像处理装置中具有控制单元，该控制单元根据摄影光学系统的工作条件来控制上述各摄像元件的位置，使得满足上述各摄像元件所形成的景深范围相邻或者略微重叠的条件。

此外，在日本特开平8-241396号公报中记载了如下一种技术：基于一边使对焦面在光轴方向上移动一边被累积地相加输入的图像成为将点像分布函数(PSF；Point Spread Function)投影到光轴方向而得到的响应函数与物体像的平行投影像的卷积这个原理，一边使对焦面在光轴方向上移动一边获取多个图像，基于对应于不同的对焦面的多个图像，沿着平行于光轴的断层面内在规定的角度方向上生成平行投影像。

另外，在日本特开2005-49646号公报、日本特开2006-208407号公报中记载了DFD式(Depth-Fused3D)装置的改良型的立体显示技术。

作为将如上所述的焦点位置不同的多个图像进行合成来生成深度扩展图像的方法，一般是剪切并合成深度内的图像的技术。

然而，在剪切并合成深度内的图像的技术中，无法再现与被摄体距离相应的自然的对比度变化。对此，参照图1～图3进行说明。图1是用于说明与被摄体距离相应的成像位置的差异的图，图2是表示根据被摄体距离剪切并合成焦点位置不同的两张图像时的与被摄体距离相应的亮度变化的情形的线图，图3是表示与将距离D0设为对焦位置时的被摄体距离的变化相应的点光源的亮度变化的情形的线图。

在处于远距离的被摄体OBJf和处于近距离的被摄体OBJn的情况下，即使使用同一个摄像光学系统LS，也能够在不同位置成像出远距离像IMGf和近距离像IMGn。在远距离像IMGf中，远距离被摄体OBJf是对焦的像，但近距离被摄体OBJn为失焦的像。相反地，在近距离像IMGn中，远距离被摄体OBJf是失焦的像，但近距离被摄体OBJn是对焦的像。

因此，通过分别取出在远距离像IMGf中进行了对焦的远距离被摄体OBJf和在近距离像IMGn中进行了对焦的近距离被摄体OBJn来合成一张图像，能够获得对远距离被摄体OBJf和近距离被摄体OBJn两者进行了对焦的深度扩展图像。

具体地说，如图2所示，当设为近距离像IMGn的对焦被摄体距离为D1、远距离像IMGf的对焦被摄体距离为D2(D2>D1)时，以处于D1与D2的中间的被摄体距离D3为边界，与D3相比处于近距离的被摄体的近距离像IMGn接近对焦，与D3相比处于远距离的被摄体的远距离像IMGf接近对焦。因而，针对图像中的距离比距离D3近的被摄体，从近距离像IMGn提取图像部分，针对图像中的距离比距离D3远的被摄体，从远距离像IMGf提取图像部分，并将它们进行合成，由此能够整体上获得更为聚焦的图像。

另外，在为了易于理解而考虑使点光源成像的情况时，如图3所示，在点光源处于距离D0的对焦位置的情况下能够获得最高的亮度值，随着远离对焦位置(近距离侧、远距离侧中的某一个)而失焦的程度扩大，因此在同一像素位置处获得的亮度值降低。如该图3所示的亮度变化是与被摄体距离相应的自然的亮度变化。

与此相对地，在深度扩展图像的情况下，如图2所示，在距离D1与距离D2之间亮度降低，因此不能获得与被摄体距离相应的亮度变化，难以理解被摄体之间的前后关系，成为不自然的图像。例如，存在从分辨率极限起点光源的像的大小在距离D1与距离D2之间大致相同的情况，但该相同大小的像的亮度随着被摄体距离的变化而连续不断地取极大、极小、极大的值是不自然的。

这样，在剪切并合成深度内的图像的现有技术中，不能可靠地再现与被摄体距离相应的对比度变化。并且，为了根据图像内的各部分的被摄体距离来决定使用远距离图像和近距离图像中的哪个数据，需要画面整体的被摄体距离信息，并且合成处理也变得复杂。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够以简单的处理再现与被摄体距离相应的自然的对比度变化的深度扩展装置。

发明内容

用于解决问题的方案

为了达成上述目的，本发明的一个方式的深度扩展装置能够基于焦点位置不同的多个图像生成或者显示焦深被扩展的图像，具备：摄像光学系统和摄像元件，其使图像A和图像B成像来进行拍摄，其中，该图像A是基准图像，该图像B是焦点位置与上述图像A的焦点位置不同的图像；以及深度扩展图像构成部，其基于上述图像A和上述图像B中的对应的每个像素的亮度变化，来生成或者显示维持物点至上述摄像光学系统的距离与亮度变化的关系的深度扩展图像，其中，在将上述图像A的像侧NA设为NA’、将由上述摄像光学系统决定的分辨率和由上述摄像元件决定的分辨率中的低的一方设为R、将图像A的成像面与图像B的成像面之间的光路间隔设为d、将上述图像A与上述图像B中的摄影距离近的图像的NA设为NAn、将上述图像A与上述图像B中的摄影距离远的图像的NA设为NAf时，上述摄像光学系统和上述摄像元件构成为满足下述的条件式(1)和(2)。

R×NA’/2≤d…(1)

0.05≤(NAf/NAn)²≤0.9…(2)

附图说明

图1是用于说明与被摄体距离相应的成像位置的差异的图。

图2是表示根据被摄体距离剪切并合成焦点位置不同的两张图像时的与被摄体距离相应的亮度变化的情形的线图。

图3是表示与将距离D0设为对焦位置时的被摄体距离的变化相应的点光源的亮度变化的情形的线图。

图4是表示本发明的实施方式1中的深度扩展装置的结构的框图。

图5是表示上述实施方式1中的深度扩展装置的摄像光学系统和摄像元件的结构的一例的图。

图6是将在上述实施方式1中近距离、中距离、远距离被摄体的像的与距摄像光学系统的像侧距离相应的亮度变化的情形与图像A、B的成像位置一起表示的线图。

图7是表示在上述实施方式1中与从图像A的亮度值减去图像B的亮度值而得到的值的被摄体距离相应的变化的线图。

图8是表示在上述实施方式1中与被摄体图像的对焦面和摄像面A、B的位置关系相应的图像A、B、标准化图像C、深度扩展图像的例子的表图。

图9是表示在上述实施方式1中由深度扩展图像生成部进行的深度扩展合成的处理的流程图。

图10是表示上述实施方式1的第一变形例中的分割光学元件的结构的图。

图11是表示上述实施方式1的第二变形例中的分割光学元件的结构的图。

图12是表示上述实施方式1的第三变形例中的摄像光学系统和摄像元件的结构的图。

图13是表示在上述实施方式1的第三变形例中在摄像元件上形成的远点用像素和近点用像素的排列的图。

图14是表示在上述实施方式1的第三变形例中根据近点用像素获得的近点图像的图。

图15是表示在上述实施方式1的第三变形例中根据远点用像素获得的远点图像的图。

图16是表示上述实施方式1的第四变形例中的摄像元件和光路校正用玻璃盖片的结构的图。

图17是表示本发明的实施方式2中的深度扩展装置的结构的框图。

图18是表示上述实施方式2的深度扩展装置中的摄像光学系统与摄像面的位置关系的图。

图19是表示上述实施方式2的深度扩展装置中的显示面与观察者的眼的位置关系的图。

图20是表示在上述实施方式2中摄影距离不同的三个点X、Y、Z的对比度变化与两个摄影面的关系的线图。

图21是表示在上述实施方式2中对视线方向位置不同的两个显示面中的点X的显示进行观察时的对比度变化的情形的线图。

图22是表示在上述实施方式2中对视线方向位置不同的两个显示面中的点Y的显示进行观察时的对比度变化的情形的线图。

图23是表示在上述实施方式2中对视线方向位置不同的两个显示面中的点Z的显示进行观察时的对比度变化的情形的线图。

图24是表示上述实施方式2中的深度扩展图像显示部的变形例的图。

图25是表示在上述实施方式2的变形例中对视线方向位置不同的两个显示面中的点X的显示进行观察时的对比度变化的情形的线图。

图26是表示在上述实施方式2的变形例中对视线方向位置不同的两个显示面中的点Y的显示进行观察时的对比度变化的情形的线图。

图27是表示在上述实施方式2的变形例中对视线方向位置不同的两个显示面中的点Z的显示进行观察时的对比度变化的情形的线图。

具体实施方式

下面，参照附图来说明本发明的实施方式。

[实施方式1]

图4至图16示出了本发明的实施方式1，图4是表示深度扩展装置的结构的框图。

如图4所示，本实施方式的深度扩展装置1基于焦点位置不同的多个图像生成焦深被扩展的图像，具备对基准图像(以下称为图像A)和焦点位置与图像A的焦点位置不同的图像(以下称为图像B)进行成像并拍摄的摄像光学系统2和摄像元件3。

图5是表示深度扩展装置1的摄像光学系统2和摄像元件3的结构的一例的图。

在图5所示的例子中，摄像光学系统2具备共用光学系统LSC和作为分割光学元件的半透半反镜HM。

共用光学系统LSC例如构成为固定焦点的广角的物镜光学系统，包括具有负焦度的第一透镜组L1、亮度光圈S以及具有正焦度的第二透镜组L2。第一透镜组L1主要起到将广视角的光线引导到亮度光圈S的作用。另外，第二透镜组L2主要起到成像作用。而且，该共用光学系统LSC构成为远心光学系统(如果进一步限定则为像侧远心光学系统)。

半透半反镜HM配设在共用光学系统LSC的光轴O上后方，通过同时发挥光透射作用和光反射作用将从共用光学系统LSC入射的光分割为两份并向空间上不同的方向射出。此外，在此使用半透半反镜HM作为分割光学元件，但也可以如后所述使用棱镜光学系统，还可以使用其它分割光学元件。

透过半透半反镜HM的被摄体像在第一摄像元件ISa上成像。该第一摄像元件ISa例如用于对如图1所示的近距离像IMGn进行光电转换并生成图像A。

另外，被半透半反镜HM反射的被摄体像在第二摄像元件ISb上成像。该第二摄像元件ISb例如用于对如图1所示的远距离像IMGf进行光电转换，并生成焦点位置与图像A的焦点位置不同的图像B。因而，第二摄像元件ISb被配置在与上述第一摄像元件ISa相比距共用光学系统LSC的光路长度短的位置(在图5中将该光路间隔表示为d)。

通过这样，在本实施方式中，作为基准的图像A成为近距离被摄体OBJn的图像，图像B成为远距离被摄体OBJf的图像。

此外，在图5中示出了设置有两个摄像元件的例子，但并不限于此，也可以设置三个以上的摄像元件来同时获取焦点位置不同的三个以上的图像，也可以如之后作为变形例进行说明那样，通过单个摄像元件同时获得两个以上的不同成像位置的图像。

上述深度扩展装置1能够广泛应用于光学领域的各种装置，但如果列举所应用的装置的几个例子，则是内窥镜、显微镜、数码相机等。例如在将深度扩展装置1应用于内窥镜的情况下，考虑将图像A设为近点图像，将图像B设为远点图像。

图5所示的结构仅为一例，但本实施方式的摄像光学系统2和摄像元件3一般满足下述的条件式(1)。

R×NA’/2≤d…(1)

在此，NA’是图像A的像侧NA(像侧数值孔径)(参照图5)，R是由摄像光学系统2决定的分辨率和由摄像元件3决定的(作为具体例是由摄像元件3的像素间距等决定的)分辨率中的低的一方，d是图像A的成像面(图5的IMGa)与图像B的成像面(图5的IMGb)之间的光路间隔(参照图5)。

为了获得深度扩展图像，期望使图像A与图像B之间的光路间隔d的最小值为与焦深的0.5倍对应的值以上。原因是，当光路间隔d小于与焦深的0.5倍对应的值时，图2所示的距离D1与距离D2接近，从而图像A和图像B的亮度的变化小，不能充分获得深度扩展的效果。条件式(1)中的d的下限值R×NA’/2是基于该条件的。

本实施方式的摄像光学系统2和摄像元件3还满足下述的条件式(2)。

0.05≤(NAf/NAn)²≤0.9…(2)

在此，NAn是图像A和图像B中的摄影距离近的图像的NA(数值孔径)，NAf是图像A和图像B中的摄影距离远的图像的NA。

当(NAf/NAn)²小于条件式(2)的下限值0.05时，NA的变化过大，因此感受到由近距离对焦的部分与远距离对焦的部分之间的分辨率极限之差引起的不适感，成为不自然的像。因而，条件式(2)的下限值0.05是用于抑制这种不自然感的值。

另外，当(NAf/NAn)²超过条件式(2)的上限值0.9时，由距离导致的分辨率变化消失，仍然为不自然的图像。因而，条件式(2)的上限值0.9是用于抑制这种不自然感的值

期望本实施方式的摄像光学系统2和摄像元件3还满足下述的条件式(3)。

将与用人眼获取焦点的差的微调节(参照后述的实施方式2)的最大值的屈光度0.5(1/m)对应的值设为上限值，期望上述条件式(1)所表示的图像A与图像B之间的光路间隔d为该上限值以下。这是由于如果使光路间隔d比对应于屈光度0.5(1/m)的值大，则图像A和图像B的失焦的差过大，似乎超过了能够用人眼校正的范围，看作不自然的图像。

将摄像光学系统2的焦距设为f，通过以下的条件式(3)来表示使光路间隔d为对应于屈光度0.5(1/m)=1/2(1/m)=1/2000(1/mm)的值以下的条件。

d≤f²/2000…(3)

这样，通过构成为使摄像光学系统2和摄像元件3满足条件式(1)的下限值，能够抑制深度扩展效果变得过小，并且通过构成为满足条件式(3)的上限值，能够将通过图像A和图像B获得的深度扩展幅度抑制到目视时用于深度扩展的微调节的振幅最大值以下，能够对不自然的观看、疲劳的增加防患于未然。

以下表示满足这种条件式(1)、(2)、(3)的摄像光学系统2和摄像元件3的实施例1～3。此外，WD是焦距。

实施例1

实施例2

实施例3

深度扩展装置1还具备深度扩展图像构成部，该深度扩展图像构成部基于图像A和图像B中的对应的每个像素的亮度变化来生成或者显示维持物点至摄像光学系统2的距离与亮度变化的关系的深度扩展图像。

特别是，如图4所示，本实施方式的深度扩展图像构成部具备深度扩展图像生成部5，该深度扩展图像生成部5计算从图像A减去图像B而得到的差图像，将差图像的各像素的像素值与用于使该差图像的最大亮度值为像素值所能取到的最大值的相加值相加之后除以最大值，由此生成标准化图像C，并且通过将图像A的各像素的像素值除以在标准化图像C中对应的像素的像素值来生成深度扩展图像。该深度扩展图像生成部5例如设置在用于对从摄像元件3输出的图像进行处理的图像处理部4内(但是，并不限定于该结构，也可以与图像处理部4分开地设置)。

对该深度扩展图像生成部5生成深度扩展图像进行说明。

图6是将近距离、中距离、远距离被摄体的像的与距摄像光学系统的像侧距离相应的亮度变化的情形与图像A、B的成像位置一起表示的线图，图7是表示与从图像A的亮度值减去图像B的亮度值而得到的值的被摄体距离相应的变化的线图。

首先，如图5的实线、点划线、虚线的各亮度曲线所示，在像面与对焦面一致时被摄体的亮度值取峰值，不论像面从对焦位置起是接近摄像光学系统2还是远离摄像光学系统2，被摄体的亮度值均与远离量相应地自峰值起降低。

而且，当被摄体的对焦面位于图像A的像面(图像A的成像面IMGa，以下适当地称为像面A)与图像B的像面(图像B的成像面IMGb，以下适当地称为像面B)的中间时(中距离被摄体M时)，如图6的实线所示，亮度曲线的峰位于像面A与像面B的中间，在图像A中获得的亮度和在图像B中获得的亮度大致为同一水平。

另一方面，当被摄体是近距离被摄体N时，如图6的点划线所示，像面A与像面B相比更靠近亮度曲线的峰，在图像A中获得的亮度比在图像B中获得的亮度高。

另外，当被摄体是远距离被摄体F时，如图6的虚线所示，像面B与像面A相比更靠近亮度曲线的峰，在图像A中获得的亮度比在图像B中获得的亮度低。

因而，如果用图表示从图像A的亮度值减去图像B的亮度值而得到的值A-B如何与被摄体距离相应地变化，则如图7所示。

即，当被摄体距离从摄像光学系统2的跟前位置向无限远变化时，值A-B从最初的0或者正值起先增加，在经过作为正值的最大值之后转为减少，在将像面A与像面B的大致中间设为对焦面的位置处成为0之后，值A-B进一步减少而取作为负值的最小值，之后朝向0缓慢地增加。

基于这样的被摄体距离与亮度的关系，深度扩展图像生成部5根据图像A和图像B生成深度扩展图像。参照图8和图9来说明深度扩展图像生成部5生成深度扩展图像。在此，图8是表示与被摄体像的对焦面和摄像面A、B的位置关系相应的图像A、B、标准化图像C、深度扩展图像的例子的表图，图9是表示由深度扩展图像生成部5进行的深度扩展合成的处理的流程图。

当开始深度扩展合成的处理时，首先，从作为基准的图像A减去图像B，

差图像=图像A-图像B

来计算出差图像(步骤S1)。对相同的像素位置的每个像素进行该减法运算。

接着，从差图像中的所有像素检索最大亮度值L_{diff_max}的像素(步骤S2)。

另外，在图像中存在根据以几比特表现像素值所能取到的最大亮度值L_max。如果列举一例，则在以10比特来表现像素值的情况下，亮度值L取0～1023的值，因此最大亮度值L_max为1023。使用该最大亮度值L_max和在步骤S2中检索出的最大亮度值L_{diff_max}，如下面那样计算相加亮度值L_add(步骤S3)。

L_add=L_max-L_{diff_max}

作为具体例，在差图像的最大亮度值L_{diff_max}是50的情况下，相加亮度值L_add为1023-50=973。该相加亮度值L_add是如下的相加值：通过与差图像相加，而使差图像的最大亮度值L_{diff_max}成为像素值所能取到的最大值(最大亮度值L_max)。

然后，在对差图像的所有像素加上相加亮度值L_add之后除以最大亮度值L_max，由此生成标准化图像C

C=(差图像+[L_add])/L_max(步骤S4)。该标准化图像C是由以使最大像素值为1的方式进行标准化的0～1的像素值构成的图像。在此，[L_add]表示所有像素的像素值为相加亮度值L_add的相加图像，如上述那样对相同像素位置的每个像素进行差图像与相加图像的加法运算。因而，相加亮度值L_add是适用于所有像素的全局值。

之后，通过将图像A除以标准化图像C来计算出深度扩展图像(步骤S5)。

深度扩展图像=图像A/标准化图像C

也对相同像素位置的每个像素进行该除法。通过这样计算出的图像是深度扩展图像。

当计算出深度扩展图像时，结束该深度扩展合成的处理。

通过该深度扩展合成的处理生成的深度扩展图像例如显示在设置于深度扩展装置1的如图4所示的显示部6中。该显示部6不仅显示所生成的深度扩展图像，作为其它可选显示，还可以进行如下显示等：并排地显示图像A和图像B、显示为能够按期望切换图像A和图像B中的某一方、重叠地显示图像A和图像B、以高速帧频按每帧切换显示图像A和图像B(由于眼睛的残像现象而看起来景深扩展)。

接着，参照图8对通过这种深度扩展合成的处理而计算出的深度扩展图像如何与被摄体距离相应地变化的几个例子进行说明。此外，在图8所示的各曲线图中，纵轴示出了亮度值(对比度值)，横轴示出了图像上的空间位置(像素位置)。

如图8所示，关于将摄像面A设为对焦面的点，在图像A中对比度清楚，在亮度值中产生尖峰。另一方面，在摄像面B中为失焦图像，因此对比度不清楚，亮度值的峰也变平缓。从这种图像A减去图像B而得到的差图像为在与图像A的亮度值峰相同的位置处存在峰的形成为山形的图像。如果设为该峰例如能够赋予差图像中的最大亮度值L_{diff_max}，则根据差图像获得的标准化图像C是在与图像A的亮度值峰相同的位置处存在像素值1的峰的形成为山形的图像。当将图像A除以该标准化图像C来计算深度扩展图像时，标准化图像C的峰为像素值1，因此图像A的亮度值峰的值不变，除标准化图像C的峰以外的像素值小于1，因此通过除法使除与图像A的亮度值峰对应的像素以外的像素的像素值增加，从而能够获得与图像A相比峰两侧的倾斜稍微平缓的如图所示的图像。

另外，关于将摄像面A与摄像面B的中间设为对焦面的点，在图像A和摄像面B两者获得某种程度的对比度，但成为亮度值的峰稍微平缓的图像。而且，存在所谓的前焦点或后焦点的差异，但成为比较相似的失焦图像，因此差图像的各像素值接近0(即，远小于上述最大亮度值L_{diff_max})，标准化图像C为接近(L_add/L_max)的像素值的图像。因而，当将图像A除以标准化图像C时，各像素的像素值大致放大(L_max/L_add)倍，作为深度扩展图像而获得的图像是形状与图像A相似但与图像A相比大幅放大后的图像。

并且，关于将摄像面B设为对焦面的点，在摄像面A中为失焦图像，因此对比度不清楚，亮度值的峰也平缓。另一方面，在图像B中对比度清楚，在亮度值中产生尖峰。当基于这种图像A和图像B计算标准化图像C时，获得在与图像B的亮度值峰相同的位置处存在亮度值的谷底(峰谷)的图像。当将图像A除以该标准化图像C来计算深度扩展图像时，由于标准化图像C的峰谷而在深度扩展图像中的与图像B的亮度值峰相同的位置处产生亮度值的峰。另外，标准化图像C的除峰谷以外的像素除了标准化图像C中的像素值为1的像素以外，也通过除法使像素的像素值增加，从而获得与图像A相比峰两侧的倾斜稍陡峭(但是与图像B相比峰两侧的倾斜稍平缓)的如图所示的图像。

因而，即使在亮度值的尖峰处于图像A与图像B中的某一方的情况下，所合成的深度扩展图像也能够一边使倾斜变得稍微平缓一边大致维持其亮度值峰。另一方面，关于将摄像面A与摄像面B的中间设为对焦面的点，一边大致维持峰形状一边如上述那样放大，因此能够获得更高的峰值。这种处理的结果是，深度扩展图像的对比度从如图2所示的双耳峰形状变为接近如图3所示的具有单个峰的山形。对图像整体进行这种处理，因此在摄影视角内存在各种被摄体距离的被摄体，即使各被摄体的对焦面与摄像面A、B的位置关系多种多样，也能够提高图像整体的对比度来实现深度扩展。

这样，通过进行如参照图9所说明那样的深度扩展合成的处理，还能够将像的亮度反映为距离信息，制作通过深度内的距离来反映亮度变化的深度扩展图像，成为在观察者看来自然的图像。

此外，深度扩展图像生成部5并不是仅将从摄像元件3得到的两个图像设为生成深度扩展图像时的合成对象。

例如，在从摄像元件3获取焦点位置不同的三个图像的情况下，深度扩展图像生成部5也可以根据第一图像和第二图像生成深度扩展图像，将所生成的深度扩展图像与第三图像进行合成来生成进一步的深度扩展图像。

另外例如，在从摄像元件3获取焦点位置不同的四个图像的情况下，深度扩展图像生成部5也可以根据第一图像和第二图像生成第一深度扩展图像，根据第三图像和第四图像生成第二深度扩展图像，将所生成的第一深度扩展图像和第二深度扩展图像进行合成来生成进一步的深度扩展图像。

在这种情况下，生成深度扩展图像时的作为合成对象的两个图像的焦深可能不同。但是，当将焦深过于不同的图像彼此进行合成时，合成后的进一步的深度扩展图像有时观察起来不自然。因此，期望使作为合成对象的两个图像的其中一个图像的焦深与另一个图像的焦深的比RFD满足以下的条件

0.7≤RFD≤(1/0.7)

接着，图10是表示第一变形例中的分割光学元件的结构的图。

在图5所示的结构中，使用半透半反镜HM作为分割光学元件，但在该图10所示的结构中，使用将第一棱镜P1与第二棱镜P2相接合而构成的棱镜光学系统作为分割光学元件DO。即，该分割光学元件DO的第一棱镜P1与第二棱镜P2的接合面是通过同时发挥光透射作用和光反射作用来将从共用光学系统LSC入射的光分割为两份并向空间上不同的方向射出的光学面。

另外，第一摄像元件ISa例如与第二棱镜P2相粘接，第二摄像元件ISb例如与第一棱镜P1相粘接，分割光学元件DO与第一摄像元件ISa和第二摄像元件ISb一体地作为摄像单元。

在这种结构中，例如通过控制粘接厚度而将第一摄像元件ISa定位于近点位置，将第二摄像元件ISb定位于远点位置。此时，例如首先使分割光学元件DO沿光轴进行移动并进行Z方向(也就是焦点定位)的位置调整，之后在棱镜面上分别进行第一摄像元件ISa和第二摄像元件ISb的XY位置调整。

接着，图11是表示第二变形例中的分割光学元件的结构的图。

关于该第二变形例，与上述第一变形例同样地，使用棱镜光学系统作为分割光学元件DO，并且构成为以无反射的方式向两个摄像元件中的一方射出光，以二次反射的方式向另一方射出光。

即，分割光学元件DO具备第一棱镜P1、第二棱镜P2以及第三棱镜P3。在第一棱镜P1与第二棱镜P2之间设置有被设定为微小的间隔的气隙。另外，将第二棱镜P2与第三棱镜P3相接合，从而成为通过同时发挥光透射作用和光反射作用而将从共用光学系统LSC入射的光分割为两份并向空间上不同的方向射出的光学面。并且，第一棱镜P1的入射面与第三棱镜P3的射出面例如以平行的方式构成。

从共用光学系统LSC入射的光通过第一棱镜P1并经由气隙入射到第二棱镜P2。入射到第二棱镜P2的光被第二棱镜P2与第三棱镜P3的接合面分割为两份，所透过的光经由第三棱镜P3入射到第一摄像元件ISa。另外，被第二棱镜P2与第三棱镜P3的接合面反射的光还在设置有上述气隙的入射面的内表面例如朝上方反射，从第二棱镜P2射出并入射到第二摄像元件ISb。

在如上述图10所示的结构中，为了使由第二摄像元件ISb成像出的像相对于由第一摄像元件ISa成像出的像为镜面对称的像，当生成深度扩展图像时，需要进行使从第二摄像元件ISb输出的图像左右反转的处理。

与此相对地，根据该第二变形例的结构，从第二摄像元件ISb输出的图像也为正像，因此具有不需要进行左右反转处理的优点。

参照图12至图15说明第三变形例。图12是表示摄像光学系统和摄像元件的结构的图，图13是表示在摄像元件上形成的远点用像素和近点用像素的排列的图，图14是表示根据近点用像素获得的近点图像的图，图15是表示根据远点用像素获得的远点图像的图。

该第三变形例构成为通过单个摄像元件在一次摄像中获取焦点位置不同的两个图像。

首先，本实施方式的摄像光学系统2由与上述共用光学系统LSC大致相同结构的摄像光学系统LS(对应于图4的摄像光学系统2)构成，没有设置分割光学元件DO。

在通过摄像光学系统LS成像的光束的光路上配设有摄像元件IS1。在该摄像元件IS1的前面侧例如贴设有玻璃盖片CG1。

摄像元件IS1设置有距摄像光学系统LS的光路长度不同的两种像素、即用于拍摄远点图像(处于远点的远距离被摄体OBJf的图像)的远点用像素Pf和用于拍摄近点图像(处于近点的近距离被摄体OBJn的图像)的近点用像素Pn。

在此，在摄像光学系统LS的对焦位置处配置摄像元件IS1时的位置精度例如是10～20μm。这种结构例中的近点用像素Pn与远点用像素Pf的光路差的一例是50μm。其中，根据使用什么样的光学系统作为摄像光学系统LS、使用什么样尺寸什么样像素间距的摄像元件作为摄像元件IS1等的结构、规格，来优化近点用像素Pn与远点用像素Pf的光路差的大小。

这些远点用像素Pf和近点用像素Pn均以在摄像元件IS1的整个摄像面上以同一密度均匀地分布的方式进行排列，当设为i=1、2、…、j=1、2、…时，例如图13所示，在(2i-1、2j-1)和(2i、2j)的像素位置处配置近点用像素Pn，在(2i-1、2j)和(2i、2j-1)的像素位置处配置远点用像素Pf。

因而，仅根据近点用像素Pn获得的近点图像A成为由如图14所示的像素位置的像素值构成的图像，仅根据远点用像素Pf获得的远点图像B成为由如图15所示的像素位置的像素值构成的图像。此外，在以这种方式构成的情况下，与使用两个摄像元件的情况相比，近点图像A和远点图像B二者所获得的图像的像素数均为一半，但由于近年来的摄像元件被高像素化，因此从实用方面能够获得足够的图像质量。

而且，对这两个近点图像A和远点图像B进行如下处理：在图像处理部4中通过插值处理等进行去马赛克，在所有像素位置转换为对应的图像之后，通过深度扩展图像生成部5生成深度扩展图像。

此外，在上述说明中，在一个摄像元件上设置了距摄像光学系统的光路长度不同的两种像素，但也可以设置光路长度不同的三种以上的像素。并且一般情况下也可以在n(n为正整数)个摄像元件上设置光路长度不同的m(m为比n大的正整数)种像素。在该情况下，与将m个普通的摄像元件配置在光路长度不同的位置处的情况相比，能够将摄像元件的个数减少m-n个。

如果采用该第三变形例的结构，则即使在使用了单片的摄像元件的情况下，也能够一次获取焦点位置不同的两张以上的图像，并且具有不需要分割光学元件的优点。

图16是表示第四变形例中的摄像元件和光路校正用玻璃盖片的结构的图。

上述第三变形例使摄像元件上的距摄像光学系统的像素位置不同。在这种结构的情况下，需要利用专用的制造工序来制造专用的摄像元件，制造成本增大。

与此相对地，该第四变形例想方设法使得在使用通用的摄像元件的同时使距摄像光学系统的像素位置不同。

即，在通用的摄像元件IS2的受光面上贴设有光路校正用玻璃盖片CG2。该光路校正用玻璃盖片CG2具备使到达摄像元件IS2上的像素的光的光路长度不同的结构。具体地说，具备用于使近点用的光路长度的光到达像素的近点用构造部Hn和用于使远点用的光路长度的光到达像素的远点用构造部Hf。

在此，近点用构造部Hn和远点用构造部Hf既可以通过在平板的玻璃盖片上形成空气长度不同的孔来构成，也可以通过利用激光照射使微小区域的折射率改性来构成，还可以采用其它结构。

在采用了这种结构的情况下，通过近点用构造部Hn的光所到达的像素组为用于拍摄图像A的像素组，通过远点用构造部Hf的光所到达的像素组为用于拍摄图像B的像素组。

此外，用于使到达像素的光的光路长度不同的构造部的种类可以与上述同样地，是三种以上。

根据这种第四变形例也能够达成与上述第三变形例相同的功能、发挥与上述第三变形例相同的效果，并且由于能够使用通用的摄像元件IS2，因此具有能够大幅降低制造成本的优点。

根据这种实施方式1，生成了维持物点至摄像光学系统的距离与亮度变化的关系的深度扩展图像，因此成为没有不适感的自然的深度扩展图像。

另外，满足了条件式(1)，因此能够充分地获得深度扩展的效果。

并且，满足了条件式(2)，因此能够减轻由近距离对焦的部分与远距离对焦的部分之间的分辨率极限之差引起的不适感，且能够察觉到由距离引起的分辨率变化，从而能够获得自然的图像

而且，基于从图像A减去图像B而得到的差图像来制作标准化图像C，通过将图像A除以标准化图像C来生成深度扩展图像，因此能够按每个像素反映与距离相应的像素值，能够减轻与距离有关的不适感，能够获得更为自然的深度扩展图像。另外，运算简单，因此能够减轻处理负荷，还能够进行也可应对运动图像的高速处理。

除此以外，在距摄像光学系统的光路长度不同的多个位置处分别配置摄像元件，由此能够不需要对透镜或者摄像元件进行驱动的机构并且同时获得焦点位置不同的多个图像。由此，不需要对摄像元件、透镜进行驱动的致动器等，因此能够实现摄像光学系统的小型化，从而成为适于要求细径化的内窥镜的结构。并且，由于不具有驱动系统而易于密封，还能够适用于必须需要高压釜的腹腔镜。此时，如果应用于将图像A设为近点图像、将图像B设为远点图像的深度深的内窥镜，则具有能够获得更高的深度扩展效果的优点。

在基于这样获取到的焦点位置不同的多个图像生成或者显示深度扩展图像的情况下，与缩小亮度光圈获得深度深的图像的情况相比，具有图像鲜明、对比度高的优点。

另外，在将摄像元件设为具备距摄像光学系统的光路长度不同的两个像素组的结构的情况下，不需要分割光学元件，不需要设置多个摄像元件，能够利用其中一个像素组拍摄图像A，利用另一个像素组拍摄图像B。因而，能够容易地实现深度扩展装置的小型化。

并且，在将分割光学元件构成为以无反射的方式向其中一个摄像元件射出光，以二次反射的方式向另一个摄像元件射出光的情况下，不需要在生成深度扩展图像时进行左右反转处理，能够减少图像处理的处理负荷从而缩短处理时间。

而且，使用了远心光学系统作为摄像光学系统2，因此即使从摄像光学系统2到第一摄像元件的光路长度与从摄像光学系统2到第二摄像元件的光路长度不同，也能够不需要进行倍率调整地使图像A和图像B的对应的像素位置彼此重叠。因而，能够在减轻图像处理的负荷的同时生成焦深扩展图像。

另外，在作为合成对象的两个图像的焦深的比RFD为0.7以上且(1/0.7)以下的情况下，使比较相似的焦深的图像彼此进行合成，从而能够获得观察为自然的图像的深度扩展图像。

除此以外，在构成为满足条件式(3)的情况下，能够抑制通过图像A和图像B获得的深度扩展幅度，能够对不自然的观看、疲劳的增加防患于未然。

通过这样，能够以简单的处理再现与被摄体距离相应的自然的对比度变化。

[实施方式2]

图17至图27示出了本发明的实施方式2，图17是表示深度扩展装置的结构的框图，图18是表示深度扩展装置中的摄像光学系统与摄像面的位置关系的图，图19是表示深度扩展装置中的显示面与观察者的眼的位置关系的图，图20是表示摄影距离不同的三个点X、Y、Z的对比度变化与两个摄影面的关系的线图，图21是表示对视线方向位置不同的两个显示面中的点X的显示进行观察时的对比度变化的情形的线图，图22是表示对视线方向位置不同的两个显示面中的点Y的显示进行观察时的对比度变化的情形的线图，图23是表示对视线方向位置不同的两个显示面中的点Z的显示进行观察时的对比度变化的情形的线图，图24是表示深度扩展图像显示部的变形例的图，图25是表示在变形例中对视线方向位置不同的两个显示面中的点X的显示进行观察时的对比度变化的情形的线图，图26是表示在变形例中对视线方向位置不同的两个显示面中的点Y的显示进行观察时的对比度变化的情形的线图，图27是表示在变形例对视线方向位置不同的两个显示面中的点Z的显示进行观察时的对比度变化的情形的线图。在该实施方式2中，对与上述的实施方式1相同的部分附加相同的附图标记并适当地省略说明，主要只说明不同的点。

关于上述实施方式1，深度扩展图像构成部具备基于焦点位置不同的多个图像生成焦深被扩展的图像的深度扩展图像生成部5，但本实施方式2具备基于焦点位置不同的多个图像显示焦深被扩展的图像的深度扩展图像显示部6A。

首先，以往的焦深扩展技术几乎都是通过使投影到平面上的线、点轮廓分明(提高对比度)来扩展深度的技术。因此，对于膜那样的面，焦深的扩展效果不存在或者不薄弱，相反地有时还使观察者难以识别对象。另外，为了改善该情况考虑利用立体图像，但关于能够最简单地制作的立体图像，利用了识别2D图像的点、线的对应点的方法，因此与2D图像的深度扩展技术同样地，识别面是困难的。

对此，还考虑了使用上述日本特开2005-49646号公报、上述日本特开2006-208407号公报所记载那样的DFD式的改良型的立体显示，但在这种立体显示中，高效地扩展深度的方法不清楚。

另一方面，已知人眼以比根据眼睛的分辨率计算出的值深的焦深来识别对象。由此推测是不是因为人眼进行微调节这样的运动。该微调节是在0.5秒左右期间以屈光度0.3～0.5(1/m)使焦点位置变化的眼的运动。而且，认为是不是人在无意识中进行了该微调节，在不同的焦点位置处观察对象，立体地获取对象的信息，将对象识别为深度被扩展的对象。

参照图20～图23对利用了这种人眼的功能的深度扩展的原理进行说明。

使用了微调节的深度识别方法是将视线方向(眼的光轴方向)的对比度峰识别为位置的方法。因而，需要制作对比度在视线方向上变化的图像。因此，对使摄影距离不同的多个图像进行拍摄，但在此为了易于理解，列举了如下例子进行说明：对摄影距离不同的两个图像、即摄影距离近的摄影面PC的图像和摄影距离远的摄影面PD的图像进行拍摄。并且，要拍摄的物体是同一个点光源，对在摄影面PC上存在点光源(点X)、在摄影面PC与摄影面PD的中间存在点光源(点Y)、在摄影面PD上存在点光源(点Z)的情况进行说明。

如果图示这种例子中的摄影面PC、PD和点X、Y、Z的对比度变化，则如图20所示。即，点X是在摄影面PC上具有对比度峰的对比度曲线CX，点Y是在摄影面PC与摄影面PD的中间具有对比度峰的对比度曲线CY，点Z是在摄影面PC上具有对比度峰的对比度曲线CZ。通过这样，在摄影面PC的图像和摄影面PD的图像中记录点X、点Y、点Z的对比度变化。

将在这样的位置处拍摄到的摄影面PC的图像和摄影面PD的图像分别显示在显示面DS1和显示面DS2上。此时，将两个显示面中的至少处于视线方向的眼前侧的显示面DS2设为通过DS2的图像透视DS1的像的透过型的显示面。当使用这种显示方法时，用眼看到点X、点Y、点Z的显示时的对比度变化如下那样。即，当使显示面DS1上显示的图像与显示面DS2上显示的图像重叠并进行观察时，在观察者看来对比度为两个图像的对比度的积。

如果具体地说明，则如图21所示，在仅观察显示面DS1上显示的图像时，点X在显示面DS1上具有比较高的尖细的对比度峰(对比度曲线CX1)，在仅观察显示面DS2上显示的图像时，点X在显示面DS2附近具有比较低的平缓的对比度峰(对比度曲线CX2)。而且，当将它们重叠并进行观察时，如合成对比度曲线CX0所示，点X的显示图像的对比度峰在显示面DS1上(此外，在图21～图23中，以使合成前的对比度曲线偏离于纵轴位置的方式绘制合成对比度曲线)。

另外，如图22所示，在仅观察显示面DS1上显示的图像时，点Y在显示面DS1上具有某种程度的高度的对比度峰(对比度曲线CY1)，在仅观察显示面DS2上显示的图像时，点Y在显示面DS2上具有相同程度的高度的对比度峰(对比度曲线CY2)。而且，在使它们重叠并进行观察时，如合成对比度曲线CY0所示，点Y的显示图像的对比度峰在显示面DS1与显示面DS2的中间。

并且，如图23所示，在仅观察显示面DS1上显示的图像时，点Z在显示面DS1附近具有比较低的平缓的对比度峰(对比度曲线CZ1)，在仅观察显示面DS2上显示的图像时，点Z在显示面DS2上具有比较高的尖细的对比度峰(对比度曲线CZ2)。而且，在使它们重叠并进行观察时，如合成对比度曲线CZ0所示，点Z的显示图像的对比度峰在显示面DS2上。

观察者基于显示面DS1上显示的图像和显示面DS2上显示的图像的对比度变化，如上述合成对比度曲线那样感受图像，并识别显示图像的每个像素的距离。由此，能够立体地掌握图像上显示的物体的形状。而且，在如图22所示的情况下，观察者识别为在两个显示图像之间对焦，因此能够实现自然的深度的扩展。

此外，以上作为人眼的功能以微调节为主体进行了说明，这是由于使焦点变化的量比较大。但并不限于此，通过使人眼的眼轴伸缩或者使人眼的视网膜的厚度改变的功能，也能够获得相同的效果。

参照图17～图19对利用如上所述的原理构成的本实施方式的深度扩展图像显示部6A进行说明。

即，本实施方式的深度扩展装置1A具备摄像光学系统2、摄像元件3、图像处理部4A、深度扩展图像显示部6A。

在此，摄像光学系统2和摄像元件3的结构与上述实施方式1及其变形例中说明的结构大致相同。其中，在上述实施方式1中，摄像光学系统2和摄像元件3必须满足条件式(1)和(2)，条件式(3)是可选选项。与此相对地，本实施方式的摄像光学系统2不仅必须满足条件式(1)和(2)，而且还将条件式(3)设为必要条件。

即，摄像光学系统2和摄像元件3在微调节的范围以内(即，屈光度0.5(1/m)以内)配置有多个摄像面。在图18中，示意性地示出了在摄像光学系统LS(对应于图17的摄像光学系统2)的光路上相隔与满足a≤0.5的规定值a(1/m)对应的光路间隔d(满足条件式(3)的光路间隔d)地配置摄像面IMG1和IMG2的例子。但是，并不限于设置两个摄像面，如虚线所示，也可以在屈光度0.5(1/m)的范围以内还配置其它摄像面。

通过这种摄像面IMG1、IMG2或者其它摄像面来拍摄多个图像。

接着，与上述实施方式1不同，图像处理部4A不具备深度扩展图像生成部5。因而，图像处理部4A对通过拍摄而获得的焦点位置不同的多个图像进行普通的各种图像处理(放大、白平衡、去马赛克、去噪、伽玛校正等各种处理)。但是，以维持多个图像之间的平衡的方式(例如获取同一明亮度、同一色彩平衡的方式)进行该图像处理。

而且，本实施方式的显示部是以能够将焦点位置不同的多个图像观察为焦深被扩展的图像的方式进行显示的深度扩展图像显示部6A。

该深度扩展图像显示部6A具备互相平行的在观察者看来距离不同的多个显示面。在此，多个显示面之间的面间隔被设定为与人眼的微调节的范围以内(即，屈光度0.5(1/m)以内)对应的规定间隔。

在图19所示的具体例中，在屈光度0.5(1/m)的范围以内配置有与上述摄像面IMG1对应的显示面DS1和与上述摄像面IMG2对应的显示面DS2。这两个显示面DS1与DS2的配置间隔是与摄像面IMG1和摄像面IMG2的配置间隔相同的、对应于满足a≤0.5的规定值a(1/m)的间隔(与摄像的屈光度差成比例的间隔)。而且，在观察者的眼睛EYE看来显示面DS1与DS2的排列顺序与从图18所示的摄像光学系统LS看到将摄像面IMG1设为对焦面的被摄体和将摄像面IMG2设为对焦面的被摄体时的排列顺序相同。即，在摄像面IMG1上例如形成远点图像，在摄像面IMG2上例如形成近点图像。因而，在观察者的眼睛EYE看来，与摄像面IMG1对应的显示面DS1处于远方，在观察者的眼睛EYE看来，与摄像面IMG2对应的显示面DS2处于附近。

此外，如在图18中用虚线所示，在屈光度0.5(1/m)的范围以内还配置有其它摄像面来进行拍摄的情况下，如在图19中用虚线所示，在深度扩展图像显示部6A中也设置与各摄像面对应的显示面。在该情况下，观察者能够更为立体、详细地掌握被摄体，例如能够在扩展了焦深的状态下更为容易地识别形成膜状的被摄体。

在采用了图19所示的结构的情况下，除了观察者的眼睛EYE看来最里面的显示面以外，这些显示面全部是透过型的显示面。另外，在观察者看来最里面的显示面既可以是透过型也可以是非透过型，但为了防止背景的透过而易于观察，优选是非透过型。

当通过这种结构在多个显示面上显示多个图像时，观察者的眼睛EYE重叠地观察所显示的多个图像。如上所述，对这种同一被摄体的焦点位置不同的多个图像进行观察的观察者无意识地进行微调节，因此不会各自分开地识别多个图像，而是识别为深度被扩展的一张图像。

此外，深度扩展图像显示部6A当然也可以是与上述实施方式1的显示部6相关地说明那样的能够进行可选显示的其它结构。

另外，以上假设使用了透过型液晶显示元件等的显示装置作为深度扩展图像显示部6A并进行了说明，但并不限于此。

参照图24至图27来说明深度扩展图像显示部的变形例。

该变形例的深度扩展图像显示部6A是利用半透半反镜等分束器BS，使视线方向位置不同的多个图像重叠的结构。

即，深度扩展图像显示部6A具备：远点用图像显示部6Af，其具备与上述摄像面IMG1对应的显示面DS1；近点用图像显示部6An，其具备与上述摄像面IMG2对应的显示面DS2；以及分束器BS，其用于使显示面DS1上显示的远点图像与显示面DS2上显示的近点图像相重叠并引导到观察者的眼睛EYE。

在使用如该图24所示的结构的深度扩展图像显示部6A对上述摄影距离不同的三个点X、Y、Z进行观察时，对比度变化为显示面DS1上显示的图像与显示面DS2上显示的图像之和，例如如图25至图27所示。

并且，深度扩展图像显示部6A并不限于利用了如上所述的透过型液晶显示元件、分束器BS的显示装置，也可以是如下的深度扩展图像相框：将以不能按时间识别全透过状态和图像显示状态的速度进行切换的显示元件配置在微调节的范围内、即上述显示面DS1和显示面DS2的位置处，并高速地切换显示。另外，也可以是在用染料墨印刷透过型的胶片而得到的多个图像之间插入微调节的范围以内的透明板并进行层叠而构成的深度扩展图像印刷品等。因而，深度扩展图像构成部还可以包括用于生成深度扩展图像印刷品的打印机。并且，还能够代替在透过型的胶片上用染料墨印刷而得到的图像，而使用银盐逆转胶片。

根据这种实施方式2，除了合成图像这点以外能够发挥与上述实施方式1大致相同的效果，并且为了能够使焦点位置不同的多个图像重叠并进行观察，隔开微调节的范围以内的面间隔并进行显示，因此能够进行利用了对焦点位置不同的两个图像的中间位置进行识别的人的能力的立体再现，能够显示自然的深度扩展图像。

而且，构成为满足条件式(3)，因此能够将通过图像A和图像B获得的深度扩展幅度抑制为目视时用于深度扩展的微调节的振幅最大值以下，能够预先防止看起来不自然、疲劳的增加。

此外，本发明并不就那样限定于上述实施方式，在实施阶段能够在不脱离其宗旨的范围内对结构要素进行变形并具体化。另外，通过使上述实施方式公开的多个结构要素进行适当地组合，能够形成各种发明的方式。例如，也可以从实施方式所示的所有结构要素中删除几个结构要素。并且，也可以对所有不同的实施方式中的结构要素进行恰当地组合。这样，显然能够在不脱离发明的主旨的范围内进行各种变形、应用。

本申请要求以2011年12月16日于日本申请的特愿2011-276369号为优先权的基础来进行申请，上述的公开内容被本申请的说明书、权利要求书以及附图所引用。

Claims

1.一种深度扩展装置，能够基于焦点位置不同的多个图像生成或者显示焦深被扩展的图像，其特征在于，具备：

摄像光学系统和摄像元件，其使图像A和图像B成像来进行拍摄，其中，该图像A是基准图像，该图像B是焦点位置与上述图像A的焦点位置不同的图像；以及

深度扩展图像构成部，其基于上述图像A和上述图像B中的对应的每个像素的亮度变化，来生成或者显示维持物点至上述摄像光学系统的距离与亮度变化的关系的深度扩展图像，

其中，在将上述图像A的像侧数值孔径设为NA’、将由上述摄像光学系统决定的分辨率和由上述摄像元件决定的分辨率中的低的一方设为R、将图像A的成像面与图像B的成像面之间的光路间隔设为d、将上述图像A与上述图像B中的摄影距离近的图像的数值孔径设为NAn、将上述图像A与上述图像B中的摄影距离远的图像的数值孔径设为NAf时，上述摄像光学系统和上述摄像元件构成为满足下述的条件式(1)和(2)，

R×NA’/2≤d…(1)

0.05≤(NAf/NAn)2≤0.9…(2)。

2.根据权利要求1所述的深度扩展装置，其特征在于，

上述深度扩展图像构成部具有深度扩展图像生成部，该深度扩展图像生成部计算从上述图像A减去上述图像B而得到的差图像，将该差图像的各像素的像素值与用于使该差图像的最大亮度值为像素值所能取到的最大值的相加值相加之后除以上述最大值，由此制作标准化图像C，并且通过将图像A的各像素的像素值除以标准化图像C中对应的像素的像素值来生成深度扩展图像。

3.根据权利要求2所述的深度扩展装置，其特征在于，

上述摄像光学系统设置于内窥镜，上述图像A是近点图像，上述图像B是远点图像。

4.根据权利要求3所述的深度扩展装置，其特征在于，

上述摄像元件具备距上述摄像光学系统的光路长度不同的两个像素组，利用其中一个像素组拍摄上述图像A，利用另一个像素组拍摄上述图像B。

5.根据权利要求3所述的深度扩展装置，其特征在于，

上述摄像元件包括第一摄像元件和第二摄像元件，

上述摄像光学系统包括分割光学元件，该分割光学元件将入射的光分割而向上述第一摄像元件和上述第二摄像元件射出，

上述分割光学元件以无反射的方式向上述第一摄像元件和上述第二摄像元件中的一个摄像元件射出光，以二次反射的方式向另一个摄像元件射出光。

6.根据权利要求2所述的深度扩展装置，其特征在于，

上述摄像光学系统是远心光学系统。

7.根据权利要求2所述的深度扩展装置，其特征在于，

上述深度扩展图像生成部将来自摄像元件的两个图像进行合成来生成深度扩展图像，并且还能够将来自摄像元件的一个图像和一个深度扩展图像或者将两个深度扩展图像进行合成来生成进一步的深度扩展图像，其中，上述来自摄像元件的一个图像和一个深度扩展图像是焦深能够不同的两个图像，上述两个深度扩展图像是焦深能够不同的两个图像，

作为合成对象的两个图像的其中一个图像的焦深与另一个图像的焦深之比RFD满足以下条件，

0.7≤RFD≤(1/0.7)。

8.根据权利要求1所述的深度扩展装置，其特征在于，

在将上述摄像光学系统的焦距设为f时，上述光路间隔d还满足以下条件式(3)，

d≤f²/2000…(3)。

9.根据权利要求8所述的深度扩展装置，其特征在于，

上述深度扩展图像构成部具有深度扩展图像显示部，该深度扩展图像显示部能够在相互平行的多个不同的显示面上以重叠地看到多个图像的方式进行显示，

上述深度扩展图像显示部通过在屈光度0.5以内的范围内将上述图像A与上述图像B隔开间隔地进行显示，来显示深度扩展图像。

10.根据权利要求9所述的深度扩展装置，其特征在于，

11.根据权利要求10所述的深度扩展装置，其特征在于，

12.根据权利要求10所述的深度扩展装置，其特征在于，

上述摄像元件包括第一摄像元件和第二摄像元件，

上述摄像光学系统包括分割光学元件，该分割光学元件将入射的光进行分割而向上述第一摄像元件和上述第二摄像元件射出，

13.根据权利要求9所述的深度扩展装置，其特征在于，

上述摄像光学系统是远心光学系统。