CN108616698B - 成像装置 - Google Patents

Abstract

本申请公开了一种成像装置，用于拍摄具有多个区域的被拍摄物体；成像装置包括相机单元、结构光源、运动和处理单元，结构光源用于将产生的结构光投射至被拍摄物体；运动单元用于改变所述相机单元在所述被拍摄物体的区域的聚焦高度；相机单元用于在多个聚焦高度下拍摄所述结构光投射下的被拍摄物体的区域对应的多张第一备选图像；处理单元连接于运动单元和所述相机单元，用于接收相机单元发送的多张第一备选图像，并从多张第一备选图像中从中选择该区域对应的区域图像，并利用多张区域图像合成被拍摄物体的图像。本申请采用了结构光照明，不仅适用于有显著纹理的物体，同样适用于弱纹理和无纹理的物体，极大的扩展了成像的应用场景。

Description

成像装置

技术领域

本申请涉及成像技术领域，特别是涉及一种成像装置。

背景技术

相机拍照时由于镜头存在景深的物理限制，只有在距离镜头一定范围内的物体才可清晰成像，超出景深范围越远，成像则越模糊。一般的，随着镜头的分辨能力越大，景深越小。如在显微应用中，10倍的显微物镜对应的景深只有20微米左右，使用时需要仔细的调节镜头与被摄物体的距离，造成使用上的不便；同时，假如被拍摄物体表面的高低起伏超出了景深，则单张图像存在局部区域因为超出景深而失焦模糊的情况，无法得到全局处处清晰的图像。

图1所示为现有技术中的被拍摄物体和景深的示意图。图2和图3为显微镜下被拍摄物体的示意图。如图1、图2和图3所示，对于被测物体100来说，其表面区域A和区域B处于不同的高度，当相机10’聚焦于区域A时，聚焦高度匹配于其最佳聚焦面20’，所得图像中区域A为清晰的，而区域B则处于失焦的状态；当相机10’聚焦于区域B时，已偏离了A的最佳聚焦面20’，所得图像中区域A处于失焦状态。区域A与区域B无法同时对焦。

为解决业内存在的问题，业界提出了一些技术方案，试图解决现有技术存在的问题。例如，美国专利US 2012/0050562 A1提出一种使用微阵列透镜和光场成像原理获得景深扩展图像的方案。此种方案在图像传感器和相机镜头之间，放置由很多微小透镜组成的阵列单元，称之为微透镜阵列；每个微小透镜可有不同的孔径、焦距等；每个微小透镜和相机镜头组成了一个子光路，每个子光路有着不一样的等效焦距、观察视角等特点；通过微透镜阵列，整个光学系统则等效于多个子光路成像的综合结果；通过合适的图像处理算法，综合各个子光路在对应图像传感器成像的局部信息，可以重建出物体表面三维信息和景深扩展合成图像。此方案的优点是只需要拍摄一张图像，就可通过各个子光路成像信息，综合获得景深扩展图像。

但是，该方案存在如下缺陷：

第一，该方案本质上是综合各个微透镜阵列形成的子光路信息综合判断被摄物体距离相机的远近，所以对图像传感器分辨率有着很高的要求。

第二，重建算法本质上属于多视角成像的原理范畴。对于没有明显纹理的物体，如完全均匀的单一材质表面，多视角成像会出现无法区分对应点的问题，此方法仍会失效。

第三，此种成像方法对微透镜阵列的安装精度有很高的要求，同时需要相对复杂的过程对相机内参进行标定，造价较高。

第四，该方案对图像传感器分辨率要求很高，同时对可清晰成像的物体表面高度起伏范围有物理限制。

第五，鉴于高分辨率镜头景深都很小，该方案不适合高分辨率的成像使用场景。

第六，景深扩展范围由微透镜阵列单元的焦距等硬件信息决定，一般仅仅为相机镜头自身景深的6倍左右，对于高倍率显微应用，景深扩展的范围非常有限，使用场景受限，不适合高清成像应用。

发明内容

鉴于上述问题，本申请一实施例提出一种成像装置，以解决现有技术存在的问题。

为了解决上述问题，本申请一实施例公开一种成像装置，用于拍摄具有多个区域的被拍摄物体；所述成像装置包括相机单元、结构光源、运动单元和处理单元，其中：

所述结构光源用于将产生的结构光投射至被拍摄物体；

所述运动单元用于改变所述相机单元在所述被拍摄物体的区域的聚焦高度；

所述相机单元用于在多个聚焦高度下拍摄所述结构光投射下的被拍摄物体的区域对应的多张第一备选图像；

所述处理单元连接于所述运动单元和所述相机单元，用于接收所述相机单元发送的多张第一备选图像，并从所述多张第一备选图像中从中选择该区域对应的区域图像，并利用多张区域图像合成所述被拍摄物体的图像。

在本申请成像装置的一实施例中，所述处理单元还用于根据锐利度从所述多张第一备选图像中从中选择该区域对应的区域图像，根据所述区域图像对应的聚焦高度计算所述区域的高度信息，并利用多个区域的高度信息合成所述被拍摄物体的图像，例如为景深扩展图像。

在本申请成像装置的一实施例中，所述处理单元还用于根据锐利度从所述多张第一备选图像中从中选择该区域对应的区域图像，根据所述区域图像对应的聚焦高度计算所述区域的高度信息，并利用多个区域的高度信息、所述区域图像的像素信息以及所述区域图像的位置信息，合成所述被拍摄物体的图像，例如为三维图像。

在本申请成像装置的一实施例中，所述运动单元连接于所述相机单元和所述被拍摄物体至少其中之一，所述成像装置还包括驱动单元，用于驱动所述运动单元带动所述相机单元或所述被拍摄物体运动。

所述运动单元连接于所述结构光源中的光路器件，用于通过调节所述光路器件改变所述相机单元在所述被拍摄物体的区域的聚焦高度。

在本申请成像装置的一实施例中，所述相机单元包括镜头和图像传感器，所述运动单元连接于镜头和图像传感器其中之一，用于调节所述相机单元的图像传感器与镜头之间相对位置。

在本申请成像装置的一实施例中，所述结构光源包括：发光装置、结构图案模块和投影光路组件，所述结构光图案模块包括设置有固定或可变的结构图案的载体。

本申请实施例还提出一种成像装置，用于拍摄具有多个区域的被拍摄物体；其特征在于，所述成像装置包括相机单元、同步触发单元、运动单元、处理单元、第一光源和第二光源，其中：

所述第一光源用于将产生的第一光线投射至被拍摄物体，所述第一光源包括结构光源；

所述第二光源用于将产生的第二光线投射至被拍摄物体；

所述运动单元用于改变所述相机单元在所述被拍摄物体的区域的聚焦高度；

所述相机单元用于在多个聚焦高度下拍摄所述第一光源投射下的被拍摄物体的区域，获得对应的多张第一备选图像；并用于在多个聚焦高度下拍摄所述第二光源投射下的被拍摄物体的区域，获得对应的多张第二备选图像，并将所述第一备选图像和所述第二备选图像发送至所述处理单元；

所述同步触发单元连接于所述第一光源、第二光源和所述相机单元，用于在相机单元拍摄所述第一备选图像时保持第一光源开启，并在相机单元拍摄所述第二备选图像时保持所述第二光源开启；

所述处理单元连接于所述运动单元和所述相机单元，用于接收所述相机单元发送的多张第一备选图像，从所述多张第一备选图像中从中选择该区域对应的参照图像，根据选定的参照图像从多张第二备选图像中获取对应的区域图像，并利用所述区域图像合成所述被拍摄物体的图像。

在本申请成像装置的一实施例中，所述处理单元还用于根据锐利度从所述多张第一备选图像中从中选择该区域对应的参照图像，根据所述区域图像对应的聚焦高度计算所述区域的高度信息，并利用所述高度信息和所述区域图像合成所述被拍摄物体的图像。

在本申请成像装置的一实施例中，所述处理单元还用于根据锐利度从所述多张第一备选图像中从中选择该区域对应的参照图像，根据所述区域图像对应的聚焦高度计算所述区域的高度信息，并利用所述高度信息、所述区域图像、所述区域图像的位置信息，合成所述被拍摄物体的图像。

在本申请成像装置的一实施例中，所述运动单元连接于所述相机单元和所述被拍摄物体至少其中之一，所述成像装置还包括驱动单元，用于驱动所述运动单元带动所述相机单元或所述被拍摄物体运动。

在本申请成像装置的一实施例中，所述运动单元连接于所述第一光源中的光路器件，用于通过调节所述光路器件改变所述相机单元在所述被拍摄物体的区域的聚焦高度。

在本申请成像装置的一实施例中，所述相机单元包括镜头和图像传感器，所述运动单元连接于镜头和图像传感器其中之一，用于调节所述相机单元的图像传感器与镜头之间相对位置。

在本申请成像装置的一实施例中，所述结构光源包括：发光装置、结构图案模块和投影光路组件，所述结构光图案模块包括设置有固定或可变的结构图案的载体。

在本申请成像装置的一实施例中，所述处理单元还用于：根据锐利度从所述多张第一备选图像中从中选择该区域对应的参照图像，计算所述参照图像的拍摄高度，并利用该拍摄高度从多张第二备选图像中获取对应高度的区域图像。

在本申请成像装置的一实施例中，所述第一光源还包括自然光源，所述第二光源包括自然光源。

在本申请成像装置的一实施例中，所述相机单元包括图像传感器，所述同步触发单元具体用于：

在第一时序开启所述第一光源，并在第二时序开启所述第二光源；或者

在第一时序开启所述图像传感器上的用于滤除第二光源的滤光片，并在第二时序开启所述图像传感器上的用于滤除第一光源的滤光片；或者

在第一时序开启所述图像传感器上的用于通过第一光源的偏振片，并在第二时序开启所述图像传感器上的用于通过第二光源的偏振片；或者

在第一时序和第二时序分别开启图像传感器的不同成像区域；或者

在第一时序和第二时序分别开启所述相机单元的不同的图像传感器。

由上述可知，本申请实施例提出的成像装置，包括以下优点：

本申请是一种通过融合多个聚焦位置获得多张图像信息的景深扩展三维成像方案，对带成像的物体表面高度起伏范围没有限制，尤其适合于高分辨率的成像使用场景。本申请采用了结构光照明，不仅适用于有显著纹理的物体，同样适用于弱纹理和无纹理的物体，极大的扩展了成像的应用场景。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为现有技术中的被拍摄物体和景深的示意图。

图2和图3为显微镜下被拍摄物体的示意图。

图4所示为本申请的原理示意图。

图5所示为利用本申请实施例提出的方案拍摄获得的合成图像的示意图。

图6所示为本申请第一实施例的景深扩展成像装置的结构示意图。

图7所示为本申请合成的3D图像的示意图。

图8所示为本申请第二实施例的景深扩展成像装置的结构示意图。

图9所示为本申请第二实施例的景深扩展成像装置的紧凑结构示意图。

图10所示为本申请第三实施例的景深扩展成像装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

本申请的核心思想之一在于，提出一种成像装置，通过采集多张在不同聚焦位置拍摄的图像，用数字技术将多张部分失焦的图像合成为一张无失焦、清晰的图像，并通过各个图像聚焦位置计算出被拍摄物三维信息的光学成像装置。本申请使用了结构光投影技术，对比传统方法，具有成像精度高，成像效果稳定，重建算法简单，使用场景广泛等优点。

本申请第一实施例提出一种景深扩展成像装置。图4所示为本申请的原理的示意图。如图4所示，相机固定在高度可调节的运动平台中，保持恒定的结构光照明环境，移动相机在不同高度(位置1-6)采集一系列图像(图像1-6)，并通过位置传感器记录每张图像拍摄时的高度信息。每个图像中只有部分处在镜头景深范围内的区域可以清晰，其余区域则处在失焦状态。通过改变相机与被拍摄物之间的距离，拍摄多张照片，提取出每张照片内可清晰聚焦的区域，则可通过数字处理技术合成一张全局清晰的图像；进一步的，通过分析图像每块聚焦区域对应的拍照位置，可以得到每块区域的三维高度信息。

具体来说，对于每张图像，通过数字图像技术，可以对其每个像素计算出一个锐利度。例如，一种常用的锐利度是当前像素的亮度与周围邻域像素平均亮度值之差。当图像聚焦越清晰，则图像的细节越丰富，锐利度就会越高，反之图像越模糊，当前像素与周围邻域像素平均值越接近，锐利度就越低。锐利度的计算存在多种方式，如基于边缘分析，基于图像纹理特征计算等等。这些锐利度的定义大都依赖一个原则，图像像素在局部范围内亮度波动越大，锐利度越高；反之，局部范围内亮度分布越一致，锐利度越低。

值得说明的是，以上根据锐利度确定清晰的图像的方式仅是举例，本领域技术人员可以通过各种方式确定清晰的图像，在此不再赘述。

在本申请第一实施例提出的方案中，照明光可以为结构光。结构光是采用投射的方法，在被拍摄物体的表面投射出纹理特征。结构光的相关内容可以参考美国专利申请US8208719。

在本申请提出的方案中，通过引入结构光成像信息，可以稳定地在弱纹理区域表面投射结构光，从而通过人为的方式生成纹理信息，从而能够更好地获知在哪一聚焦高度下能够获得更清晰的成像，也即更方便准确地获取区域的高度信息，再结合高度信息和平面信息获得被拍摄物体的图像。上述的聚焦高度可以为成像最佳的聚焦面的位置。即，在被拍摄物体上的这一聚焦面上，所成的像是最清晰的或者说锐度最高的。

相比于利用普通光成像，本申请实施例提出的方案一方面使用了结构光进行拍摄，不仅对有纹理的表面能够尽快找到其清晰的图像，而且对弱纹理的区域适配性得到了改善；另一方面通过多个聚焦高度拍摄被拍摄物体的区域，获取该区域的清晰图像，从而利用聚焦高度确定出区域的高度信息，提高了计算的准确度，简化了计算处理。

以下配合图4说明本申请提出的构思的操作方法：

首先，通过运动机构，调节相机镜头到多个不同聚焦高度，拍照采集一系列图像，用其信息用三维函数I(x,y,z)表示，即对于相机视野内的每个位置(x,y)，通过在不同聚焦高度z采集的图像对应像素值(亮度、色度等)是I(x,y,z)。

其次，通过I(x,y,z)计算出锐利度f(x,y,z)。

接着，对于每个位置(x,y)，选择最大的锐利度对应的聚焦高度，并进行必要的和拟合计算，以此反推出能够使处于位置(x,y)的成像点获得最佳聚焦位置z(x,y)。

再次，对于每个位置(x,y)和其对应的最佳聚焦高度z(x,y)，通过必要的插值和拟合计算，反向找到获得图像里对应的像素值，获得一个处处都聚焦的合成图像I(x,y,z(x,y))。

最后，可选地，可以通过z(x,y)和相机、镜头的成像参数(焦距、工作距离等)，计算出物体本身的高度h(x,y)，此即物体表面的三维信息。

上述插值和拟合计算是本领域技术人员能够实现的，在此不再赘述。

在可选实施例中，如有必要，还可以对该图像进行去结构光处理，形成去结构光后的合成图像。由于结构光通常是规律的纹理等信息，去结构光处理是本领域技术人员能够获知的处理方法，在此不再赘述。

图5所示为利用本申请实施例提出的方案拍摄获得的合成图像的示意图。如图5所示，所获得的图像在每一聚焦高度都是清晰、细节可辨的图像。

以下通过三个实施例，对实现本申请方案的具体结构进行举例说明。

第一实施例

图6所示为本申请一实施例的景深扩展成像装置的结构示意图。如图6所示，该景深扩展成像装置用于拍摄被拍摄物体100。该景深扩展成像装置包括相机单元10、处理单元20、位置传感器40、运动单元50、驱动机构60和结构光源70。可选地，在一实施例中，该景深扩展成像装置还可以包括触发单元30，用于间歇性地打开和关闭结构光源70。

相机单元10包括镜头11、图像传感器12和快门13。镜头11可以接收结构光源70发出的光线，快门13可以是实体的机械快门，也可以是图像传感器12集成的电子快门；快门13与触发单元30相连，受触发单元30控制。

相机单元10用于对被拍摄物体100拍照成像，包括图像传感器12、快门13、镜头11，精度由成像要求而定。图像传感器12可以选择感知亮度的黑白传感器，也可选择感知颜色信息的彩色传感器、以及多光谱传感器等。图像传感器12与处理单元20相连，生成的数字图像传输至处理单元20。结构光源70可以采用常亮的方式，也可采用频闪的方式，可以由触发单元30控制。

在一实施例中，结构光源70由发光装置71、结构图案模块72和投影光路器件73组成；发光装置71提供光线，经过结构图案模块72和投影光路器件73，生成结构光。投影光路器件73可以包括凸透镜、反射镜等，在图6中，投影光路器件73以反射镜指代。

结构图案模块72可以是固有的、不可更改的图案，如通过在玻璃等材质的基板上镀膜形成的编码图案；也可设计为可以更改的，通过外部信号来切换的图案生成器，如通过液晶显示技术实现的可编程编码图案，不同的图案信息可存储在存贮介质中，通过触发单元30来控制和选择某个既定图案。

结构图案模块72可以选择为透射式的，也可选择为反射式的。从发光装置71发出的光线，经过结构图案模块72后，通过投影光路器件73将结构图案投射到被拍摄物体100上。触发单元30控制发光装置71的点亮、关闭时刻，以及可选的结构图案模块72的不同图案种类。

虽然该实施例中，结构光源70由发光装置71、结构图案模块72和投影光路器件73组成，但是这仅为举例之用，本领域技术人员可以明确的是，在其他实施例中，只要能够提供结构光的装置或者元器件，均属于本申请保护的范围。

运动单元50用于动态地改变相机单元10在被拍摄物体100的聚焦面，在本实施例中是通过相机单元10、结构光源70的整体运动完成的。通过驱动机构60，运动单元50改变相机镜头11在沿着被拍摄物体100的聚焦高度方向的聚焦位置，获得对应于不同聚焦高度的多张图像；位置传感器40，如光栅尺、线性可变差动变压器(LVDT)等，用于衡量运动结构的位置，从而可以由处理单元20根据运动结构的位置确定聚焦高度。

在包含触发单元30的可选实施例中，触发单元30的输出信号还可以触发相机单元10内的快门13及结构光源70内的发光装置71开闭和结构光图案的种类。触发单元30的输入信号可以为时钟信号(定时触发)，运动单元50内的位置信号(位置触发)和处理单元20提供的事件信号(事件触发)。

处理单元20接收相机单元10传来的数字图像，并按次序与对应的拍照位置(聚焦高度)配对。通过分析数字图像内的聚焦高度信息，估算出被拍摄物体100的三维信息，并据此合成出三维图像，该图像例如为景深扩展图像。

在一实施例中，处理器根据位置传感器40记录的多个位置信号，确定多个位置信号分别对应的多个相机的聚焦高度；处理单元接收相机单元10传来的数字图像，从中获取多个聚焦高度下最清晰的图像，利用该聚焦高度计算出被拍摄物体的高度信息(z轴坐标信息)，并结合该区域的图像的(x，y)平面的坐标信息，合成三维图像。该三维图像例如是景深扩展图像，如图7所示。

上述的高度信息——坐标系z轴的坐标信息和坐标系(x，y)平面的坐标信息是针对三维空间中两两垂直的坐标系为例进行说明的，在这一方案中，(x，y)平面表示放置被拍摄物体的平面，坐标系z轴垂直于(x，y)平面；然而本领域技术人员可以获知，在其他坐标系之下，本申请提出的方案依然是成立的，在此不再赘述。

由上述可知，本申请实施例提出的方案，对视野内物体高度变化范围从原理上没有任何要求，其扩展的景深范围由相机在z方向运动的行程和采集图像的数目来决定，而非镜头或者相机本身参数和摆放位置。另外，该方案优选工作在显微应用的场合下，以充分利用显微物镜小景深的特点，在扩展景深的同时完成对三维信息的测量。

本申请实施例提出的方案可以生成至少三种图像：

第一，在本申请的方案中，可以找到被拍摄物体100的每一聚焦层中最清晰的图像，并合成在一张图像中，在一些场合下供使用者获得每一区域的清晰图像。即，如果仅根据每一层的像素点(x,y)的x、y轴坐标的信息生成图像，并记录了像素点(x,y)对应的聚焦高度，但是不使用聚焦高度确定被拍摄物体100的该区域的高度信息z，则可以认为生成了不包含高度信息的清晰聚焦图像，如图5所示。

第二，如果根据每一区域的像素点(x,y)的x、y轴坐标的信息，加上根据该区域的聚焦高度计算获得的该区域像素点(x,y)的高度信息z，可以利用多个区域的x，y轴坐标信息和高度信息z，生成被拍摄物体100的三维图像；在一些场景中不需要获得像素点的像素信息的场景下，仅仅获取每个像素的表面高度信息也是很有意义的。

第三，如果在上述三维图像的基础上，根据区域的像素点(x,y)的x、y轴坐标的信息和高度信息，加上像素点(x,y)的像素信息生成图像，则生成包含像素信息的三维图像，如前述图7所示。

由上述可知，本申请第一实施例提出的成像装置至少具有如下技术效果：

本申请是一种通过融合多个聚焦位置获得多张图像信息的景深扩展三维成像方案，对带成像的物体表面高度起伏范围没有限制，非常适合于高分辨率的成像使用场景。本申请采用了结构光照明，不仅适用于有显著纹理的物体，同样适用于弱纹理和无纹理的物体，极大的扩展了成像的应用场景。

第二实施例

本申请第二实施例提出一种景深扩展成像装置。图8所示为本申请一实施例的景深扩展成像装置的结构示意图。如图8所示，该景深扩展成像装置用于拍摄被拍摄物体100。该景深扩展成像装置包括相机单元10、处理单元20、同步触发单元301、位置传感器40、运动单元50、驱动机构60、结构产生器70和辅助光源80。

图8所示的实施例相对于图6增加了辅助光源80，同时用同步触发单元301代替图3中的触发单元30。在图8所示的实施例中，利用结构光源70通过分光棱镜73实现同轴照明，同时相机单元10、结构光源70、分光棱镜73通过机械结构保持彼此之间固定的相对位置。通过运动单元50和驱动机构60，它们可整体上下移动，并可通过位置传感器40获得高度信息。

在运动的过程中，同步触发单元301通过获取位置传感器40的信息。在预先设定的一系列聚焦高度上，点亮结构光源70并触发相机快门13，处理单元20从图像传感器12内读出对应的一系列结构光图像，并通过分析图像锐利度和拍照时的聚焦高度，获得被拍摄物体100的表面高度信息。在另外一系列预先设定的高度上，关闭结构光源70，点亮辅助光源80(例如普通光)并触发相机快门13，处理单元20从图像传感器内读出对应的一系列图像，结合通过结构光信息获取的物体表面高度信息，推算出物体表面每个点在聚焦状态时的图像信息，完成辅助光源80照明下的景深扩展图像合成。

在图8中，相机单元10包括镜头11、图像传感器12、和快门13。镜头11可以接收结构光源70发出的光线，快门13可以是实体的机械快门，也可以是图像传感器12集成的电子快门；快门13与同步触发单元301相连，受同步触发单元301控制；

相机单元10包括用于对被拍摄物体100拍照成像的图像传感器12、快门13、镜头11，精度由成像要求而定。图像传感器12可以选择感知亮度的黑白传感器，也可选择感知颜色信息的彩色传感器、以及多光谱传感器。图像传感器12与处理单元20相连，生成的数字图像传输至处理单元20。辅助光源80可以采用常亮的方式，也可采用频闪的方式由同步触发单元301控制。

值得注意的是，如果结构图案模块72是通过液晶等技术实现的可编程编码图案，也可在特定情况下将结构光图案设置成全通等无图案方式。在此种情况下，可认为结构光照明退化成非结构光照明(例如普通光照明)，可以与辅助光源80全部或部分地采用同一光源的硬件结构。

同步触发单元301的输出信号触发相机单元10内的快门13及辅助光源80、结构光源70的发光装置71开闭和结构光图案的种类。同步触发单元301的输入信号可以为时钟信号(定时触发)，运动单元50内的位置信号(位置触发)和处理单元20提供的事件信号(事件触发)。

处理单元20接收相机单元10传来的数字图像，并按次序与对应的拍照位置配对。通过分析数字图像内的聚焦信息，结合对应的拍照位置，估算出带拍摄物体的三维信息，并据此合成出景深扩展图像。

在本申请实施例中，结构光源70和相机单元10可以共用同一个镜头，如图9所示，实现了结构紧凑的效果。

本申请第二实施例提出的景深扩展成像装置，其工作原理描述如下：

1.通过运动单元，调节相机镜头的物方聚焦面到达多个预设高度位置，将这一系列高度位置用集合{z_i}，i∈A表示；进一步，将集合A分成两部分B，C，使得A＝B∪C，允许B和C可以有重叠元素(在极端情况下B，C可以完全重叠，即A＝B＝C)

2.在集合B对应的每个高度位置{z_i}，i∈B，使用结构光源照明，或者同时使用结构光源70和辅助光源80一起照明，触发相机快门拍照，图像回传至处理单元，同时处理单元记录每张图像的拍照高度位置，将图像信息记录为J(x，y，z)

3.在集合C对应的每个高度位置{z_i}，i∈C，使用辅助光源80照明，触发相机快门拍照，图像回传至处理单元，同时处理单元记录每张图像的拍照高度位置，将图像信息记录为J(x，y，z)

4.结构光图像J(x，y，z)具有丰富的纹理信息，通过J(x，y，z)计算出锐利度f(x，y，z)，并进行必要的插值和拟合计算，以此反推出能够使处于位置(x,y)的成像点获得最佳聚焦位置z(x,y)，并根据相机镜头参数，从z(x,y)推算出物体高度信息h(x,y)；上述插值和拟合计算是本领域技术人员能够实现的，在此不再赘述。

5.对于每个位置(x,y)和其对应的最佳聚焦高度z(x,y)，通过必要的插值和拟合计算，反向找到获得图像里对应的像素值，获得一个处处都聚焦的普通光合成图像I(x,y,z(x,y))

值得注意的是，在步骤5中，在一些应用场景中并不需要获得该点对应的像素值，仅通过该点的三维坐标信息，即可生成三维图像。

另外，在拍照的过程中，上述结构光源和辅助光源仅是举例说明。在使用中，任何两种光源均可，只要其中第一光源包含结构光源，即为本申请的范围。两种光源中的第一光源和第二光源可以按照时间片的划分，交替地打开和关闭；如果需要在同一个时间片内拍照，也可以通过但是不限制于以下的方式，在图像传感器上区分普通光与结构光的信息：例如，第一光源和第二光源采用不同的波长，在图像传感器上用对应的滤光片区分；例如，第一光源和第二光源采用不同的偏振方式，在图像传感器上用对应的偏振片区分；例如，第一光源和第二光源出现在不同的成像区域，在图像传感器上按照区域来划分；例如，第一光源和第二光源分别对应不同的图像传感器。

由上述可知，本申请第二实施例提出的成像装置至少具有如下技术效果：

本申请是一种通过融合多个聚焦位置获得多张图像信息的景深扩展三维成像方案，对带成像的物体表面高度起伏范围没有限制，非常适合于高分辨率的成像使用场景。本申请采用了结构光照明，不仅适用于有显著纹理的物体，同样适用于弱纹理和无纹理的物体，极大的扩展了成像的应用场景。

本申请优选实施例提出的方案可以利用坐标信息、高度信息、像素信息中的一种或多种信息来生成多种图像，在不增加处理难度的基础上，减少了数据的使用，满足了用户的要求。

本方案中的运动单元50的功能体现在动态的修改相机在物体的聚焦面，在一般的相机结构中，改变相机在物体上的聚焦面还可通过修改图像传感器与镜头之间相对位置完成，即传统的调焦手段。在本申请第一和第二实施例中，可以通过相机单元、结构光的整体运动，改变相机在物体的聚焦面。下述的第三实施例中，还可以通过光路内置运动机构完成。

第三实施例

本申请第三实施例提出一种成像装置。本申请第三实施例的与第一、第二实施例相同或相似之处不再赘述，仅就不同之处进行说明。

图10所示为本申请第三实施例的景深扩展成像装置的示意图。如图10所示，在本实施例中，运动单元50能够驱动与之相连的反射棱镜74的移动，当反射棱镜向图10的左右方向移动时，由被拍摄物体100反射进入相机单元10的反射点位置发生改变，导致聚焦高度发生改变。如前所述，聚焦高度可以为成像相对最清晰的聚焦面的位置。即，在被拍摄物体上的这一聚焦面上，所成的像是最清晰的或者说锐度最高的。

因此，本申请第三实施例与前述实施例的不同之处在于，可以通过运动单元50驱动结构光源70的反射棱镜74的移动，改变了相机在物体的聚焦高度，同样实现了运动单元50调节相机单元10在物体的聚焦高度的作用，用紧凑的结构实现了本申请提出的方案。

在本申请优选实施例中，通过综合采用结构光与普通光照明，不仅适用于有显著纹理的物体，同样适用于弱纹理和无纹理的物体，极大的扩展了成像的应用场景。在同等相机与镜头配置的条件下，本申请在高度方向测量精度比常规景深扩展方案更高。在做三维信息测量时，本申请不对相机镜头做小景深要求，可适配多种不同景深的镜头，均可准确的测量出给定区域的三维信息。本申请优选实施例提出的方案能够简化硬件结构，实现结构紧凑化，减少了空间的占用。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，本申请的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种成像装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种成像装置，用于拍摄被拍摄物体，所述被拍摄物体具有多个区域；其特征在于，所述成像装置包括相机单元、同步触发单元、运动单元、处理单元、第一光源和第二光源，其中：

所述第一光源用于将产生的第一光线投射至被拍摄物体，所述第一光源包括结构光源；

所述第二光源用于将产生的第二光线投射至被拍摄物体；

所述运动单元用于改变所述相机单元在所述被拍摄物体的区域的聚焦高度；

所述相机单元用于在多个聚焦高度下拍摄所述第一光源投射下的被拍摄物体的区域，获得对应的多张第一备选图像；并用于在多个聚焦高度下拍摄所述第二光源投射下的被拍摄物体的区域，获得对应的多张第二备选图像，并将所述第一备选图像和所述第二备选图像发送至所述处理单元；

所述同步触发单元连接于所述第一光源、第二光源和所述相机单元，用于在相机单元拍摄所述第一备选图像时保持第一光源开启，并在相机单元拍摄所述第二备选图像时保持所述第二光源开启；

所述处理单元连接于所述运动单元和所述相机单元，用于接收所述相机单元发送的多张第一备选图像，从所述多张第一备选图像中选择该区域对应的参照图像，根据选定的参照图像从多张第二备选图像中获取对应的区域图像，并利用多个区域对应的多张区域图像合成所述被拍摄物体的图像。

2.根据权利要求1所述的成像装置，其特征在于，所述处理单元还用于根据锐利度从所述多张第一备选图像中选择该区域对应的参照图像，根据所述区域图像对应的聚焦高度计算所述区域的高度信息，并利用多个区域的高度信息以及所述区域图像的位置信息合成所述被拍摄物体的图像。

3.根据权利要求1所述的成像装置，其特征在于，所述处理单元还用于根据锐利度从所述多张第一备选图像中选择该区域对应的参照图像，根据所述区域图像对应的聚焦高度计算所述区域的高度信息，并利用所述高度信息、所述区域图像的像素信息以及所述区域图像的位置信息，合成所述被拍摄物体的图像。

4.根据权利要求1所述的成像装置，其特征在于，所述运动单元连接于所述相机单元和所述被拍摄物体至少其中之一，所述成像装置还包括驱动单元，用于驱动所述运动单元带动所述相机单元或所述被拍摄物体运动。

5.根据权利要求1所述的成像装置，其特征在于，所述运动单元连接于所述第一光源中的光路器件，用于通过调节所述光路器件改变所述相机单元在所述被拍摄物体的区域的聚焦高度。

6.根据权利要求1所述的成像装置，其特征在于，所述相机单元包括镜头和图像传感器，所述运动单元连接于镜头和图像传感器其中之一，用于调节所述相机单元的图像传感器与镜头之间相对位置。

7.根据权利要求1所述的成像装置，其特征在于，所述结构光源包括：发光装置、结构图案模块和投影光路组件，所述结构图案模块包括设置有固定或可变的结构图案的载体。

8.根据权利要求1所述的成像装置，其特征在于，所述处理单元具体用于：根据锐利度从所述多张第一备选图像中选择该区域对应的参照图像，计算所述参照图像的拍摄高度，并利用该拍摄高度从多张第二备选图像中获取对应高度的区域图像。

9.根据权利要求1所述的成像装置，其特征在于，所述第一光源还包括自然光源，所述第二光源包括自然光源。

10.根据权利要求1所述的成像装置，其特征在于，所述相机单元包括图像传感器，所述同步触发单元具体用于：

在第一时序开启所述第一光源，并在第二时序开启所述第二光源；或者

在第一时序开启所述图像传感器上的用于滤除第二光源的滤光片，并在第二时序开启所述图像传感器上的用于滤除第一光源的滤光片；或者

在第一时序开启所述图像传感器上的用于通过第一光源的偏振片，并在第二时序开启所述图像传感器上的用于通过第二光源的偏振片；或者

在第一时序和第二时序分别开启图像传感器的不同成像区域；或者

在第一时序和第二时序分别开启所述相机单元的不同的图像传感器。