CN116385515A - 像素景深的确定方法、三维重建方法、系统、电子设备 - Google Patents

Abstract

本发明涉及一种像素景深的确定方法及确定单元、三维重建方法及系统、电子设备、计算机可读存储介质，该确定方法包括步骤：将条纹图像通过远心镜头、半透半反射镜透射后投射至待测物表面，通过远心变焦镜头、半透半反射镜的反射分别在两个不同焦距下采集待测物反射的投射图像；之后根据各焦距下的若干张实采图像分别计算对应的实测调制度，两个实测调制度相减得到实测差分调制度，将实测差分调制度在对应的景深‑差分调制度关系中对应的景深作为待定像素的实际景深，其中，景深‑差分调制度关系是通过标定步骤得到的。采用本发明的方法能够得到更精确的景深，提高三维重建的效果。

Description

像素景深的确定方法、三维重建方法、系统、电子设备

技术领域

本发明涉及三维重建技术领域，尤其涉及一种像素景深的确定方法及确定单元、三维重建方法及系统、电子设备、计算机可读存储介质。

背景技术

立体视觉重建物体主要是通过不同视角形成的视差，利用三角法测量进行物体的三维重建，这种方法当物体表面高度突变较大，会在待测物表面形成严重的遮挡问题造成部分区域形成阴影，难以获得整个面型的三维数据，无法实现完整的3D面型重建；同时这种方法占据空间较大，在空间有限、视场狭窄的条件下会导致测量不便，要么很难测量，要么要求投影仪和相机的体积极小。

现有技术中虽然也有使用同轴方式重建点云算法，但多数是基于相移条纹调制度曲线数据上进行处理，在三维重建中精度提高仍然有限；或者有的在结构上设置多个相机以提高精度，但这种方法对于空间占用较大，无法在狭窄空间进行物体的重建，尤其是对于一些小型设备。

发明内容

基于上述现状，本发明的主要目的在于提供一种像素景深的确定方法及确定单元、三维重建方法及系统、电子设备、计算机可读存储介质，以减小对于空间的占用，提高三维重建中的精度和扩大景深范围。

为实现上述目的，本发明采用的技术方案如下：

本发明的第一方面提供了一种三维重建中像素景深的确定方法，包括步骤：

S110：将条纹图像通过远心镜头、半透半反射镜透射后投射至待测物表面，通过远心变焦镜头、所述半透半反射镜的反射分别在两个不同焦距下采集所述待测物反射的投射图像，其中，每个焦距下将所述待测物放置于所述远心镜头的光轴方向上的预设位置采集若干张实采图像；

对于每一个像素的景深按照下述方式确定：

S120：根据各所述焦距下的若干张实采图像分别计算对应的实测调制度，两个所述实测调制度相减得到实测差分调制度，将所述实测差分调制度在对应的景深-差分调制度关系中对应的景深作为实际景深；

其中，所述景深-差分调制度关系是通过标定步骤得到的，在所述标定步骤中分别标定出各所述焦距下多组对应的景深和调制度，同一所述景深对应的两个所述焦距下的调制度相减得到标定差分调制度，根据多组对应的景深和标定差分调制度确定所述景深-差分调制度关系；所述景深-差分调制度关系对应的两个焦距与所述实测差分调制度对应的两个焦距一致；所述预设位置位于所述景深-调制度关系中的景深区间。

优选地，所述标定步骤包括步骤：

S210：将所述条纹图像通过远心镜头、半透半反射镜透射后投射至标定板，通过所述远心变焦镜头、所述半透半反射镜的反射分别在各所述焦距下的多个标定位置采集所述标定板反射的投射图像，其中，每个焦距的每个所述标定位置采集若干张标定图像，多个所述标定位置分布于所述远心镜头的光轴方向上；

S220：将各所述标定位置作为景深，根据各所述焦距在同一所述景深的若干张标定图像逐像素计算标定调制度，将同一所述景深在两个不同所述焦距下的两个所述标定调制度之差作为这两个焦距下的标定差分调制度，根据各像素对应的所述焦距、所述景深、所述标定调制度、所述标定差分调制度确定景深-调制度关系和所述景深-差分调制度关系。

优选地，所述景深-差分调制度关系表现为曲线，选择各像素对应的每一条所述景深-差分调制度曲线中斜率最大的部分作为判定区段；所述步骤110中的预设位置位于两个所述焦距对应的所述判定区段。

优选地，所述景深-调制度关系和所述景深-差分调制度关系均表现为曲线，所述步骤S210中的焦距个数大于或者等于3；所述步骤S220包括步骤：

S221：根据各所述焦距在同一所述景深的若干张标定图像逐像素计算标定调制度，并计算相邻两个所述焦距在同一所述景深的两个所述标定调制度之差作为标定差分调制度，根据各所述像素对应的所述焦距、所述预设位置、所述标定调制度、所述标定差分调制度确定景深-调制度曲线和景深-差分调制度曲线；

S222：选择各像素对应的每一条所述景深-差分调制度曲线中斜率最大的部分作为判定区段，选择所述判定区段对应的首尾两端的景深平均值作为判定景深，将所述判定景深在所述景深-差分调制度曲线所对应的景深-调制度曲线上的调制度作为判定调制度，如此，对于每个像素得到多组判定组，每个所述判定组包括第一焦距和第二焦距、二者对应的景深-差分调制度曲线、第一焦距对应的景深-调制度曲线、判定调制度；

所述步骤S110中，若通过远心变焦镜头、所述半透半反射镜的反射还分别在所述步骤S210中其他焦距下采集所述待测物上的投射图像；

所述S120包括步骤：

S121：选取待定像素对应的第i个判定组作为当前判定组，选择所述当前判定组中第一焦距对应的若干张实采图像计算第一实测调制度T_实i，判断所述第一实测调制度T_实i是否大于或者等于所述判定调制度T_判i，若是，根据第二焦距对应的若干张实采图像计算第二实测调制度T_实i+1，将第一实测调制度T_预i与第二实测制度T_预i+1之差在景深-差分调制度曲线对应的景深作为待确定像素的实际景深；若否，执行S122；

S122：判断所述第一实测调制度T_实i是否大于预设值，若是，根据第i+1个判定组中的第二焦距对应的若干张实采图像计算第三实测调制度T_实i+2，将第二实测调制度T_实i+1和第三实测调制度T_实i+2之差在第i+1判定组的景深-差分调制度曲线上对应的景深作为所述待确定像素的实际景深；若否，则i加1，返回步骤S121，直到获取到所述待确定像素的实际景深。

优选地，所述步骤S222中，所述判定区段的确定方法包括：

选择所述景深-差分调制度曲线中的波峰至波谷的子区段，在所述子区段上截取若干条预设长度范围的部分作为预判子段，分别计算各所述预判子段的斜率，将斜率最大的所述预判子段作为所述判定区段。

优选地，所述步骤S210中的多个所述标定位置等间距设置，且各所述焦距下的多个所述标定位置一致。

优选地，所述远心变焦镜头为电子变焦镜头；所述步骤S110和步骤S210中，通过调节所述电子变焦镜头的电流实现不同的焦距。

优选地，所述待测物和所述标定板分别放置于电动位移平台，并通过控制所述电动位移平台使所述标定板位于不同的标定位置。

本发明的第二方面提供了一种三维重建方法，根据上述任一项所确定的各待定像素的实际景深对所述被测物进行三维重建。

本发明的第三方面提供了一种三维重建中的像素景深的确定单元，包括：

采集模块，用于将条纹图像通过远心镜头、半透半反射镜透射后投射至待测物表面，通过远心变焦镜头、所述半透半反射镜的反射侧分别在两个不同焦距下采集所述待测物反射的投射图像，其中，每个焦距下将所述待测物放置于所述远心镜头的光轴方向上的预设位置采集若干张实采图像；

景深确定模块，用于根据各所述焦距下的若干张实采图像分别计算对应的实测调制度，两个所述实测调制度相减得到实测差分调制度，将所述实测差分调制度在对应的景深-差分调制度关系中对应的景深作为待定像素的实际景深，所述景深-差分调制度关系对应的两个焦距与所述实测差分调制度对应的焦距一致；

标定模块，用于分别标定出各所述焦距下多组对应的景深、调制度，以及通过同一所述景深对应的两个所述焦距下的调制度相减得到标定差分调制度，根据多组对应的景深和标定差分调制度确定所述景深-差分调制度关系；

其中，所述预设位置位于所述景深-调制度关系中的景深区间。

优选地，

所述采集模块还用于将所述条纹图像通过远心镜头、半透半反射镜透射后投射至标定板，通过远心变焦镜头、所述半透半反射镜的反射侧分别在各所述焦距下的多个标定位置采集所述标定板上的投射图像，其中，每个焦距的每个所标定位置采集若干张标定图像，多个所述标定位置分布所述远心镜头的光轴方向上；

所标定模块还用于将各所述标定位置作为景深，根据各所述焦距在同一所述景深的若干张标定图像逐像素计算标定调制度，并将同一所述景深在两个不同所述焦距下的两个所述标定调制度之差作为标定差分调制度，根据各所述像素对应的所述焦距、所述景深、所述标定调制度、所述标定差分调制度确定景深-调制度关系和所述景深-差分调制度关系。

优选地，所述采集模块包括：

同轴设置且相互连接的投影装置和远心镜头、同轴设置且相互连接的远心变焦镜头和图像采集装置，以及半透半反射镜，所述远心镜头的光轴和远心变焦镜头的光轴垂直，且二者均与所述半透半反射镜呈45度角；所述半透半反射镜的透射侧朝向所述远心镜头，反射侧朝向所述远心变焦镜头。

优选地，所述采集模块还包括电动位移平台，所述电动位移平台沿所述远心镜头的光轴方向设置，且位于所述半透半反射镜的反射侧。

优选地，所述采集模块还包括偏振片，所述偏振片设置于所述远心镜头与所述投影装置之间，或者设置于所述远心镜头的出光侧。

本发明的第四方面提供了一种三维重建系统，包括：

上述任一项所述的确定单元；

重建模块，用于根据各待定像素的实际景深对所述被测物进行三维重建。

本发明的第五方面提供了一种电子设备，包括上述所述的三维重建系统。

优选地，所述电子设备包括生物医学成像设备、工业检测设备或者显微成像设备。

本发明的第六方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，能够实现如上任一项所述的确定方法或者所述的三维重建方法。

本发明通过半透半反射镜形成同轴系统，通过远心镜头和远心变焦镜头使每次采集的图像中各像素的景深能够被忽略，而各像素的实际景深通过查找景深-差分调制度对应关系确定，从而提高三维重建中各像素景深的精度，相较于使用调制度曲线对于三维重建的精度大大提高；且通过远心变焦镜头还能够通过同一装置实现不同焦距下的图像采集，如此，只需要设置一个采集装置即能够实现不同焦距下的图像采集，减小了对空间的占用，提高了该方法和系统的适用范围。

本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。

附图说明

以下将参照附图对本发明的优选实施方式进行描述。图中：

图1为本发明提供的确定方法的一种优选实施方式的流程图；

图2为本发明提供的确定系统的一种优选实施方式的系统图；

图3为本发明提供的确定系统中采集模块的一种优选实施方式的系统图；

图4为本发明提供的确定方法的一种优选实施方式使用的条纹图像的示意图；

图5为本发明提供的确定方法的一种优选实施方式中两个焦距下得到的景深-调制度曲线、景深-差分调制度曲线图；

图6为本发明提供的确定方法的一种优选实施方式中多个焦距下得到的景深-调制度曲线、景深-差分调制度曲线图；

图7-图9分别展示了被测物为石膏像，采用不同方法对其上同一部分英文字母进行重建的效果图。

图10、图11还展示了被测物为一个平面，采用不同方法对其同一部分进行重建的效果。

图中，

100、采集模块；10、投影装置、20、远心镜头；30、远心变焦镜头；40、图像采集装置；50、半透半反射镜；60、标定板；70、电动位移平台；200、景深确定模块；300、标定模块。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分，为了避免混淆本发明的实质，公知的方法、过程、流程、元件并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本发明提供的像素景深的确定方法和确定单元，用于多种应用领域中的三维重建，如生物医学成像设备、工业检测设备或者显微成型设备中的三维重建。具体地，通过投影装置10向待测物体表面投射设定图案的结构光，如下文中条纹图像中的条纹图案(参考图4)，与投影装置10配合的采集装置40采集经过待测物体表面反射的结构光，由于结构光在待测物体表面进行了调制，故反射回的结构光携带了待测物体的表面信息，通过解调反射回的结构光，可以获得待测物体的三维形态信息，进而可以重构待测物体表面的三维形态。

本发明的确定单元，如图2所示，包括采集模块100，采集模块100用于采集上述待测物体表面反射的结构光。如图3所示，采集模块100包括同轴设置且相互连接的投影装置10和远心镜头20、同轴设置且相互连接的远心变焦镜头30和图像采集装置40，以及半透半反射镜50，远心镜头20的光轴和远心变焦镜头30的光轴垂直，且二者均与半透半反射镜50呈45度角，半透半反射镜50的透射侧朝向远心镜头20，反射侧朝向远心变焦镜头30。也就是说，远心镜头20安装于投影装置10，远心变焦镜头30安装于图像采集装置40，如此，投影装置投射的结构光从远心镜头20射出后，透过半透半反射镜50照射至远方，如照射到位于远心镜头20光轴上的标定板60或者待测物，当然，标定板60或者待测物位于半透半反射镜50的远离远心镜头20的一侧。经标定板60或者待测物反射后的结构光经半透半反射镜50的反射进入远心变焦镜头30，进而被采集装置40采集。由于远心变焦镜头30为变焦镜头，在实际采集或者标定过程中，投影装置10和采集装置40的位置固定好后，在整个对待测物反射的结构光或者标定板反射的结构光的采集过程中投影装置10与采集装置40的相对位置是固定的，与半透半反射镜50的相对位置也是固定的，通过调节远心变焦镜头30能够采集到不同焦距下的标定板60或者待测物表面的图像，只是在标定过程中，需要通过将标定板60分别放置于不同的标定位置进行图像采集。

具体地，本发明提供的一种三维重建中像素景深的确定方法，如图1所示，包括步骤：

S110：将条纹图像通过远心镜头、半透半反射镜的透射后投射至待测物表面，通过远心变焦镜头、半透半反射镜的反射分别在两个不同焦距下采集待测物反射的投射图像，其中，每个焦距下将待测物放置于远心镜头的光轴方向上的预设位置采集若干张实采图像，如此，对于该预设位置，每个焦距下得到若干张实采图像。也就是说，条纹图像的结构光经远心镜头照射到半透半反射镜的透射面，之后从半透半反射镜的反射面透射出，投射在待测物表面，经待测物表面反射后照射到半透半反射镜的反射面，经反射面反射后经远心变焦镜头后被采集(具体被图像采集装置采集)。

之后根据这些实采图像逐像素确定其景深，对于每一个像素的景深按照下述方式确定：

S120：根据各焦距下的若干张实采图像分别计算对应的实测调制度，两个焦距下的实测调制度相减得到实测差分调制度，将实测差分调制度在对应的景深-差分调制度关系中对应的景深作为实际景深，即待定像素的实际景深。

其中，景深-差分调制度关系是通过标定步骤得到的，在标定步骤中分别标定出各焦距下多组对应的景深和调制度，将同一景深对应的两个焦距下的调制度相减得到标定差分调制度，根据多组对应的景深和标定差分调制度确定景深-差分调制度关系。在确定实际景深时选用的景深-差分调制度关系对应的两个焦距与实测差分调制度对应的两个焦距一致，且步骤S110中的预设位置位于该景深-调制度关系中的景深区间。也就是说，步骤S120中，采集用于计算实测差分调制度时的两组实采图像对应的两个焦距与用于确定实际景深时的景深差分调制度关系对应的两个焦距一致。

例如，本发明中像素景深的确定方法中，在步骤S110会得到多个实测组，每个实测组的若干张实采图像对应一个焦距，如第m个实测组的若干张实采图像对应第m个焦距f_m；在步骤S120中，对于每一个焦距对应的若干张实采图像，计算待定像素的实测调制度，从而得到该像素在该焦距下的实测调制度，如根据第m个实测组的若干张实采图像得到与第m焦距f_m对应的实测调制度T_实m。之后计算第m个焦距f_m和第m+1个焦距f_m+1对应的实测差分调制度D_实m＝T_实m-T_实m+1。然后，利用对应焦距下的景深-差分调制度关系确定实测差分调制度D_m在该关系中对应的景深，将该景深作为该待测像素的实际景深，如实测差分调制度D_实m在第m个焦距f_m和第m+1个焦距f_m+1对应的景深-差分调制度关系中对应的景深，即为实测景深。其中，在步骤S110仅采集两个焦距下的实采图像时，m＝1，2；在采集多于三个焦距下的实采图像时，m＝1，2，…，M(下文详细描述)。

本发明通过半透半反射镜50、投影装置10和一个采集装置40形成同轴系统，通过远心镜头20和远心变焦镜头30使每次采集的图像中各像素能够忽略其景深信息，而各像素的实际景深通过查找景深-差分调制度对应关系确定，这种通过景深-差分调制度对应关系确定景深的方式较使用景深-调制度对应关系来说，能够提高三维重建中各像素景深的确定精度，从而相较于使用调制度曲线对于三维重建的精度大大提高；且通过远心变焦镜头还能够通过同一装置实现不同焦距下的图像采集，如此，只需要设置一个采集装置即能够实现不同焦距下的图像采集，减小了系统的空间占用，提高了像素景深确定方法和确定单元的适用范围。

其中，上述投射的条纹图像为正弦相移条纹图像，图像中包括多条明暗相间的多个条纹，如图4所示，如黑白相间的条纹，各条纹的延伸方向可以沿竖直方向，当然，也可以沿其他方向布置，如水平方向。理论上条纹图像越密集精度越好，考虑到图像采集装置40的分辨率，优选地，采集到的图像中黑白条纹的组数在35～60组，如30组、40组、45组、50组、55组或者60组等，以使采集的图像既能得到较高的分辨率，又能在后学的数据处理中实现较高的精度。

具体地，如图2所示，标定步骤包括步骤：

S210：将条纹图像通过远心镜头20、半透半反射镜50透射后投射至标定板60，通过远心变焦镜头30、半透半反射镜50的反射分别在各焦距下的多个标定位置采集标定板60上的投射图像，其中，每个焦距的每个标定位置采集若干张标定图像，多个标定位置分布于远心镜头20的光轴方向上。也就是说，在该步骤中，条纹图像的结构光经远心镜头照射到半透半反射镜的透射面，之后从半透半反射镜的反射面透射出，投射在待测物表面，经待测物表面反射后照射到半透半反射镜的反射面，经反射面反射后经远心变焦镜头后被采集(具体被图像采集装置采集)。

S220：将各标定位置作为景深，根据各焦距在同一景深的若干张标定图像逐像素计算标定调制度，将同一景深在不同两个焦距的两个标定调制度之差作为标定差分调制度，根据各像素对应的焦距、景深、标定调制度、标定差分调制度确定景深-调制度关系和景深-差分调制度关系。也就是说，对于每一个焦距来说，分别根据同一景深下的若干张标定图像计算该景深对应的标定调制度，如此，得到每一个焦距下多个景深的标定调制度，之后对于同一景深，再计算两个不同焦距下的两个标定调制度之差，将这个差作为这两个焦距对应的标定差分调制度；然后，根据各焦距下的多组景深与标定调制度确定对应焦距下的景深-调制度关系，根据两个焦距下各组景深和标定差分调制度确定这两个焦距对应的景深-差分调制度关系。

其中，标定板60为平面板，标定板60的平面与远心镜头20的光轴垂直，且位于远心镜头20光轴上，由于标定板60的平面垂直于远心镜头20的光轴，该平面的各位置相对于采集装置来说景深是一致的，因此，条纹图像的结构光投射至标定板60后，经标定板60反射的结构光被半透半反射镜反射后被采集装置40采集，如此得到的同一标定图像中各像素的景深一致。

在标定步骤中，步骤S210类似于步骤S110，只是将待测物替换为标定板60，且每个焦距下，还会设置多个不同的标定位置，在每个标定位置都采集若干张图像，如此，得到多个标定组，每个标定组的若干张实采图像对应一个焦距和一个标定位置(或者称为景深)，如第n个标定组包括有第n个焦距f_n对应的多个标定位置(或者称为景深)、以及各标定位置(或者称为景深)对应的若干张标定图像。之后对这些标定图像进行处理，在步骤S220中，对于每个标定组，先根据各标定位置(或者称为景深)对应的若干张标定图像计算待测像素在该标定位置(或者称为景深)的调制度，如第n个标定组，对第n个焦距f_n中的每一个标定位置的若干张标定图像进行处理，得到该标定位置对应的标定调制度，从而得到第n个焦距f_n对应的若干组对应的标定位置和标定调制度T_标n，之后根据第n个焦距f_n对应的这些标定位置和标定调制度T_标n确定这个标定组的景深-调制度对应关系，即得到了第n个焦距f_n对应的景深-调制度对应关系；同时根据同一标定位置的第n个焦距f_n对应的调制度T_标n和第n+1个焦距f_n+1对应的标定调制度T_标n+1能够得到该标定位置的标定差分调制度D_标n＝T_标n-T_标n+1，按照该方式计算第n个焦距f_n和第n+1个焦距f_n+1每一个标定位置对应的标定差分调制度，如此，得到这两个焦距对应的多组标定位置和标定差分调制度，之后根据这两个焦距对应的多组标定位置和标定差分调制度确定这两个焦距对应的景深-标定差分调制度关系。

其中，在步骤S210仅采集两个焦距下的标定图像时，n＝1，2，如图5所示，得到两个焦距分别对应的景深-调制度曲线(如曲线1、曲线2)和一条差分调制度曲线(如曲线3)；在采集多于三个焦距下的标定图像时，n＝1，2，…，N，N为焦距个数(下文详细描述)。在步骤S110和步骤S210均在两个焦距下采集的实施例中个，步骤S110中的两个焦距与步骤S210中的两个焦距一致。

上述标定步骤中，景深-调制度对应关系、景深-差分调制度对应关系可以分别为曲线形式，也可以为表格形式或者其他形式，在为曲线形式时，可以通过曲线拟合方式得到，在曲线中横坐标为景深(即标定位置)，纵坐标为调制度或者差分调制度；在为表格形式时，可以采用差分方式得到更多个景深与调制度的对应景深与差分调制度的对应。可以理解地，本发明的各实施例(包括下文的各实施例)中，景深-调制度曲线、景深-差分调制度曲线中的调制度、差分调制度均可以进行归一化处理之后再拟合形成曲线。为了便于表述和图示，下面以曲线形式为例进行描述。

优选地实施例中，景深-差分调制度关系表现为曲线，选择各像素对应的每一条景深-差分调制度曲线中斜率最大的部分作为判定区段；步骤110中的预设位置位于这两个焦距对应的判定区段，即预设位置位于判定区段所对应的景深区域，如图5中，选定的判定区段为AB段，A、B点对应的景深分别为Z_A、Z_B，则预设位置选自Z_A～Z_B。通过选用斜率最大的部分作为判定区段，在后续确定实际景深时即是从该判定区段上进行对应，如此，能够提高得到的景深精度，进而提高三维重建的精度。

本发明的实施例中，可以仅采集两个焦距下的标定图像，对应地，对于待测物也仅采集两个焦距下的实采图像。为了提高对各像素景深的确定精度，本发明的一种优选实施例中，在步骤S210中采集焦距个数大于或者等于3的标定图像，即步骤S210中的焦距选择三个或者三个以上。当然，对于每个焦距来说，仍然是在多个标定位置分别采集，且每个标定位置采集若干张标定图像，即步骤S210中的焦距个数大于或者等于3，如焦距个数为N，在实际标定中，N个焦距可以从小到大依次进行，也可以从大到小依次进行，当然，并不限定于这个顺序，在该实施例中，步骤S220包括步骤：

S221：根据各焦距在同一景深(即同一标定位置)的若干张标定图像逐像素计算标定调制度，并计算相邻两个焦距在同一预设位置的两个标定调制度之差作为标定差分调制度，根据各像素对应的焦距、预设位置、标定调制度、标定差分调制度确定景深-调制度曲线和景深-差分调制度曲线。S222：选择各像素对应的每一条景深-差分调制度曲线中斜率最大的区段作为判定区段，选择该判定区段对应的首尾两端的景深平均值作为判定景深，将判定景深在景深-差分调制度曲线所对应的景深-调制度曲线上的调制度作为判定调制度，如此，对于每个像素得到多组判定组，每个判定组包括第一焦距和第二焦距两个焦距、这两个焦距对应的景深-差分调制度曲线、第一焦距对应的景深-调制度曲线、判定调制度。其中，第一焦距对应的景深-调制度曲线为确定该组中景深-差分调制度曲线时作为被减数的各标定调制度得到的景深-调制度曲线。

如前所述，在步骤S221中，对于每个标定组，先根据各标定位置(或者称为景深)对应的若干张标定图像计算待测像素在该标定位置(或者称为景深)的调制度，如第n个标定组，对第n个焦距f_n中的每一个标定位置的若干张标定图像进行处理，得到该标定位置对应的标定调制度，从而得到第n个焦距f_n对应的若干组对应的标定位置和标定调制度T_标n，之后根据第n个焦距f_n对应的这些标定位置和标定调制度T_标n确定这个标定组的景深-调制度对应关系，即得到了第n个焦距f_n对应的景深-调制度对应关系；同时根据同一标定位置的第n个焦距f_n对应的调制度T_标n和第n+1个焦距f_n+1对应的标定调制度T_标n+1能够得到该标定位置的标定差分调制度D_标n＝T_标n-T_标n+1，按照该方式计算第n个焦距f_n和第n+1个焦距f_n+1每一个标定位置对应的标定差分调制度，如此，得到这两个焦距对应的多组标定位置和标定差分调制度，之后根据这两个焦距对应的多组标定位置和标定差分调制度确定这两个焦距对应的景深-标定差分调制度关系。可见步骤S221中得到了N个第n个焦距f_n对应的景深-调制度对应关系(即T_标n随Z_标n的变化关系)、N-1个第n个焦距f_n和第n+1个焦距f_n+1对应的景深-差分调制度对应关系(即D_标n随Z_标n的变化关系)，如图6中，图中的横坐标为景深，纵坐标为调制度(具体地为了便于作图图中的纵坐标为归一化处理后的调制度)，通过曲线4-曲线7展示了四个不同焦距对应的景深-调制度对应关系，通过曲线8-曲线10展示了三个景深-差分调制度对应关系，其中，对于同一景深来说，曲线10的纵坐标为曲线7与曲线6在该景深的纵坐标之差，曲线9的纵坐标为曲线6与曲线5在该景深的纵坐标之差，曲线8的纵坐标为曲线5与曲线4在该景深的纵坐标之差。在步骤S222中，根据每条景深-差分调制度曲线确定判定景深，之后根据景深-调制度曲线确定判定调制度，如根据第n个焦距f_n和第n+1个焦距f_n+1对应的第n条景深-调制度曲线确定对判定景深，即选择该条景深-调制度曲线中斜率最大的区段(即判定区段)，之后选择该判定区段的两端的景深平均值，如两端的坐标分别为(Z_标min，D_标min)、(Z_标max，D_标max)，如图6所示，则判定景深Z_标判＝(Z_标min+Z_标max)/2；之后根据第n条景深-调制度曲线确定判定调制度T_标判，即Z_标判在该景深-调制度曲线的纵坐标，在图6中，曲线10在区域3的部分、曲线9在区域2的部分、曲线8在区域1的部分分别作为各自曲线对应的判定区段，以曲线10对应的判定区段为例示出了其判定区段两端的坐标。采用这种方式，执行步骤S222能够得到每个像素对应的N-1组判定组，每个判定组包括的内容相同，包括两个焦距、这两个焦距对应的景深-差分调制度曲线、判定调制度、一个焦距对应的景深-标定调制度曲线，如在第i判定组，包括第一焦距f_i和第二焦距f_i+1两个焦距、这两个焦距对应的景深-差分调制度曲线(即第i条景深-差分调制度曲线)、第一焦距f_i对应的景深-调制度曲线(即第i条景深-调制度曲线)、判定调制度T_标判i。

在得到判定组后，步骤S110中可以选择其中一组判定组的两个焦距进行实采图像的采集，在该实施例中，步骤S120中即选择该判定组中的景深-差分调制度曲线。当然步骤S110也可以如步骤S210中对各焦距均进行实采图像的采集，也就是说，步骤S110中，若通过远心变焦镜头、半透半反射镜的反射还分别在步骤S210中其他焦距下采集待测物上的投射图像，即对于N个焦距中的每一个焦距下，都分别采集每个预设位置的若干张实采图像，则步骤S120包括步骤：

S121：选取待定像素对应的第i个判定组作为当前判定组，选择当前判定组中第一焦距f_i对应的若干张实采图像计算第一实测调制度T_实i，判断第一实测调制度T_实i是否大于或者等于判定调制度T_判i，若是，根据第二焦距f_i+1对应的若干张实采图像计算第二实测调制度T_实i+1，将第一实测调制度T_预i与第二实测调制度T_实i+1之差在当前判定组中景深-差分调制度曲线对应的景深作为待确定像素的实际景深；若否，执行S122，即第一实测调制度T_实i小于判定调制度T_判i执行步骤S122；

S122：判断第一实测调制度T_实i是否大于预设值，若是，根据第i+1个判定组中的第二焦距f_i+2对应的若干张实采图像计算第三实测调制度T_实i+2，将第二实测调制度T_实i+1(也是第i个判定组中第二焦距f_i+1对应的实测调制度)和第三实测调制度T_实i+2之差在第i+1判定组的景深-差分调制度曲线上对应的景深作为待确定像素的实际景深；若否，则i加1，返回步骤S121，直到获取到待确定像素的实际景深。

其中，上述步骤中，i的初始值为1。

也就是说，在该实施例中，在利用景深-差分调制度曲线确定待定像素的景深之前先确定选用哪一条景深-差分调制度曲线能使景深的确定更为精确。具体地，先从标定得到的多个判定组中的某一组开始，对逐个判定组中的景深-差分调制度进行判断，直到找到确定的景深-差分调制度曲线。采用这种方式能够进一步提高实际景深的精度，进而提高三维重建的精度。

其中，i＝1，2，…，N-1。预设值为接近于0但大于0的数，如0.01、0.02或者0.005等，优选为0.01。

上述各实施例中，可以直接选择景深-差分调制度曲线中的波峰至波谷的区段作为上述判定区段，本发明的一种优选实施例中，判定区段的确定方法包括：选择景深-差分调制度曲线中的波峰至波谷的子区段，在子区段上截取若干条预设长度范围的部分作为预判子段，分别计算各预判子段的斜率，将斜率最大的预判子段作为判定区段。采用这种方式，选择曲线变化最为陡的较短区段作为判定区段，能够进一步提高景深确定的精度，进而提高三维重建的精确度。

上述各实施例中，预设位置选自各判定区段对应的景深区间，优选地，步骤S110中不同焦距下的预设位置相同。

需要说明的是，上述各实施例中，在景深-调制度关系、景深-差分调制度关系表现为表格等其他形式时，上述判定区段可以选择景深-差分调制度关系中差分调制度随景深变化率最大的部分。

步骤S110中各焦距下采集的实采图像的张数可以相等，也可以不相等，如可以均为k1张。同理，步骤S210中，不同焦距、不同标定位置时采集的标定图像的张数可以相等，也可以不相等，如可以均为k2张。

上述各实施例中，根据某一焦距下某一位置的若干张图像(如标定图像或者实采图像)计算某一像素(x，y)的调制度采用如下公式(1)、(2)：

I_j(x,y)＝I₀+C(x，y)cos(2πfx+2jπ/L+φ₀)； (2)

其中，I₀为背景光强，C(x,y)表示被投射的条纹图像的对比度，f和φ₀分别表示投影的条纹的空间频率和初始相位，L为对应的图像的总张数，如在步骤S110中为k1张，在步骤S210中为k2张；j为图像的序号；I_j为第j张图像的光强。

在步骤S210中的多个标定位置可以沿远心镜头的光轴方向等间距设置，也可以非等间距设置，这些标定位置中可以包括有焦距对应的焦平面所在的位置。在各焦距下的多个标定位置可以一致，也可以各焦距下选择不同的多个标定位置。优选地，步骤S210中各焦距对应的多个标定位置等间距设置，且各焦距下的多个所述标定位置一致，以方便在步骤S220中得到景深-调制度对应关系、景深-差分调制度时程序更为简洁。

优选地，远心变焦镜头为电子变焦镜头，步骤S110和步骤S210中，通过调节所述电子变焦镜头的电流实现不同的焦距。如此，能够方便地通过调整该镜头的电流实现不同焦距下的图像采集，增加了图像采集的便利性，如在上述实施例中，可以分别选择-35mA、0mA、35mA实现三个不同的焦距。

上述步骤S210中的多个标定位置，可以通过手动实现，一种优选的实施例中，采集模块还包括电动位移平台70，待测物和标定板70可以分别放置于电动位移平台70上，电动位移平台70沿远心镜头20的光轴方向设置，使其位移方向与远心镜头20的光轴同轴，且电子位移平台70位于半透半反射镜50的反射侧。在该实施例中，通过控制电动位移平台70使标定板60位于不同的标定位置，当然，在标定步骤之后，可以将标定板70替换为待测物，将待测物放置于电动位移平台70上。

本发明还提供了一种三维重建方法，根据上述任一实施例所确定的各待定像素的实际景深对被测物进行三维重建。

采用本发明的三维重建方法，能够实现更好地三维重建效果。其中，图7-图9分别展示了被测物为石膏像，对其上同一部分英文字母进行重建的图，图7为相机拍摄的灰度图，图8为采用现有技术中利用单条景深-调制度曲线确定像素景深方法得到的三维重建图，图9为采用本发明的像素景深确定方法得到的三维重建图；图10、图11还展示了被测物为一个平面，对其同一部分进行重建的图，图10为采用现有技术中利用单条景深-调制度曲线确定像素景深方法得到的三维重建图，图11为采用本发明的像素景深确定方法得到的三维重建图。由图7-图11的各图对比，可以明显看出，采用本发明的方法得到的三维重建图效果更好。

本发明还提供了一种三维重建中的像素景深的确定单元，如图2和图3所示，包括：

采集模块100，用于实现步骤S110，即将条纹图像通过远心镜头、半透半反射镜透射后投射至待测物表面，通过远心变焦镜头、半透半反射镜的反射分别在两个不同焦距下采集所述待测物反射图像，其中，每个焦距下将待测物放置于远心镜头的光轴方向上的预设位置采集若干张实采图像；

景深确定模块200，用于实现步骤S120，即根据各焦距下的若干张实采图像分别计算对应的实测调制度，两个实测调制度相减得到实测差分调制度，将实测差分调制度在对应的景深-差分调制度关系中对应的景深作为待定像素的实际景深；

标定模块300，用于分别标定出各焦距下多组对应的景深和调制度，同一景深对应的两个焦距下的调制度相减得到标定差分调制度，根据多组对应的景深和标定差分调制度确定景深-差分调制度关系；

其中，景深确定模块2与采集模块100、标定模块300均电连接，采集模块100与标定模块300连接。景深-差分调制度关系对应的两个焦距与实测差分调制度对应的两个焦距一致，预设位置位于景深-调制度关系中的景深区间。

进一步地，采集模块100还用于在标定步骤中的图像采集，即用于执行步骤S210，将条纹图像通过远心镜头、半透半反射镜透射后投射至标定板，通过远心变焦镜头、半透半反射镜的反射分别在各焦距下的多个标定位置采集标定板上反射的投射图像。标定模块300还用于执行步骤S220，即将各标定位置作为景深，根据各焦距在同一景深(即标定位置)的若干张标定图像逐像素计算标定调制度，并将同一景深在两个不同焦距的两个标定调制度之差作为标定差分调制度，根据各像素对应的焦距、所述景深、标定调制度、标定差分调制度确定景深-调制度关系和景深-差分调制度关系。

继续参考图3，如前所述采集模块100包括：同轴设置且相互连接的投影装置10和远心镜头20、同轴设置且相互连接的远心变焦镜头30和图像采集装置40，以及半透半反射镜50，远心镜头20的光轴和远心变焦镜头30的光轴垂直，且二者均与半透半反射镜50呈45度角。采用这种采集模块100，能够在提高三维重建的精度的同时使该模块的占用空间较小，提高在狭窄空间对待测物重建的灵活性。进一步地，采集模块100还包括电动位移平台70，电动位移平台70沿远心镜头20的光轴方向设置，且位于半透半反射镜50的反射侧。

上述投影装置10可以为投影仪，图像采集装置40可以为照相机，在有些投影装置10中，其投射的光强太大，为了防止对图像采集装置40的损伤以及提高采集的图像的质量，优选地，采集模块100还包括偏振片，偏振片设置于远心镜头20与投影装置10之间，或者设置于远心镜头20的出光侧。

本发明还提供了一种三维重建系统，包括上述任一实施例所述的确定单元和重建模块，重建模块与确定单元连接，用于根据各待定像素的实际景深对被测物进行三维重建。

本发明还提供了一种电子设备，包括上述实施例所述的三维重建系统，该电子设备包括生物医学成像设备、工业检测设备或者显微成型设备。采用该三维重建系统的电子设备能够提高成像的精度，从而在应用于生物医学成像设备时提高医学诊断或者操作的精度等，在应用于工业检测设备时能够提高检测的精度，在应用于显微成像设备时使观察的被测物呈现更为直观真实的效果，有利于对图像的进一步分析。

此外，本发明还提供了一种计算机可读存储介质，如芯片、光盘等，其上存储有计算机程序，该计算机程序被处理器执行时，能够实现如上述任一实施例所述的确定方法或者所述的三维重建方法。

本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。其中，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生，例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本文中对于各步骤的编号仅为了方便说明和引用，并不用于限定前后顺序，具体的执行顺序是由技术本身确定的，本领域技术人员可以根据技术本身确定各种允许的、合理的顺序。

需要说明的是，本发明中采用步骤编号(字母或数字编号)来指代某些具体的方法步骤，仅仅是出于描述方便和简洁的目的，而绝不是用字母或数字来限制这些方法步骤的顺序。本领域的技术人员能够明了，相关方法步骤的顺序，应由技术本身决定，不应因步骤编号的存在而被不适当地限制，本领域技术人员可以根据技术本身确定各种允许的、合理的步骤顺序。

本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。

应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本发明的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本发明的权利要求范围内。

Claims (18)

1.一种三维重建中像素景深的确定方法，其特征在于，包括步骤：

S110：将条纹图像通过远心镜头、半透半反射镜透射后投射至待测物表面，通过远心变焦镜头、所述半透半反射镜的反射分别在两个不同焦距下采集所述待测物反射的投射图像，其中，每个焦距下将所述待测物放置于所述远心镜头的光轴方向上的预设位置采集若干张实采图像；

对于每一个像素的景深按照下述方式确定：

S120：根据各所述焦距下的若干张实采图像分别计算对应的实测调制度，两个所述实测调制度相减得到实测差分调制度，将所述实测差分调制度在对应的景深-差分调制度关系中对应的景深作为实际景深；

其中，所述景深-差分调制度关系是通过标定步骤得到的，在所述标定步骤中分别标定出各所述焦距下多组对应的景深和调制度，同一所述景深对应的两个所述焦距下的调制度相减得到标定差分调制度，根据多组对应的景深和标定差分调制度确定所述景深-差分调制度关系；所述景深-差分调制度关系对应的两个焦距与所述实测差分调制度对应的两个焦距一致；所述预设位置位于所述景深-调制度关系中的景深区间。

2.根据权利要求1所述的确定方法，其特征在于，所述标定步骤包括步骤：

S210：将所述条纹图像通过远心镜头、半透半反射镜透射后投射至标定板，通过所述远心变焦镜头、所述半透半反射镜的反射分别在各所述焦距下的多个标定位置采集所述标定板反射的投射图像，其中，每个焦距的每个所述标定位置采集若干张标定图像，多个所述标定位置分布于所述远心镜头的光轴方向上；

S220：将各所述标定位置作为景深，根据各所述焦距在同一所述景深的若干张标定图像逐像素计算标定调制度，将同一所述景深在两个不同所述焦距下的两个所述标定调制度之差作为这两个焦距下的标定差分调制度，根据各像素对应的所述焦距、所述景深、所述标定调制度、所述标定差分调制度确定景深-调制度关系和所述景深-差分调制度关系。

3.根据权利要求2所述的确定方法，其特征在于，所述景深-差分调制度关系表现为曲线，选择各像素对应的每一条所述景深-差分调制度曲线中斜率最大的部分作为判定区段；所述步骤110中的预设位置位于两个所述焦距对应的所述判定区段。

4.根据权利要求2所述的确定方法，其特征在于，所述景深-调制度关系和所述景深-差分调制度关系均表现为曲线，所述步骤S210中的焦距个数大于或者等于3；所述步骤S220包括步骤：

S221：根据各所述焦距在同一所述景深的若干张标定图像逐像素计算标定调制度，并计算相邻两个所述焦距在同一所述景深的两个所述标定调制度之差作为标定差分调制度，根据各所述像素对应的所述焦距、所述预设位置、所述标定调制度、所述标定差分调制度确定景深-调制度曲线和景深-差分调制度曲线；

S222：选择各像素对应的每一条所述景深-差分调制度曲线中斜率最大的部分作为判定区段，选择所述判定区段对应的首尾两端的景深平均值作为判定景深，将所述判定景深在所述景深-差分调制度曲线所对应的景深-调制度曲线上的调制度作为判定调制度，如此，对于每个像素得到多组判定组，每个所述判定组包括第一焦距和第二焦距、二者对应的景深-差分调制度曲线、第一焦距对应的景深-调制度曲线、判定调制度；

所述步骤S110中，若通过远心变焦镜头、所述半透半反射镜的反射还分别在所述步骤S210中其他焦距下采集所述待测物上的投射图像；

所述S120包括步骤：

S121：选取待定像素对应的第i个判定组作为当前判定组，选择所述当前判定组中第一焦距对应的若干张实采图像计算第一实测调制度T_实i，判断所述第一实测调制度T_实i是否大于或者等于所述判定调制度T_判i，若是，根据第二焦距对应的若干张实采图像计算第二实测调制度T_实i+1，将第一实测调制度T_预i与第二实测制度T_预i+1之差在景深-差分调制度曲线对应的景深作为待确定像素的实际景深；若否，执行S122；

S122：判断所述第一实测调制度T_实i是否大于预设值，若是，根据第i+1个判定组中的第二焦距对应的若干张实采图像计算第三实测调制度T_实i+2，将第二实测调制度T_实i+1和第三实测调制度T_实i+2之差在第i+1判定组的景深-差分调制度曲线上对应的景深作为所述待确定像素的实际景深；若否，则i加1，返回步骤S121，直到获取到所述待确定像素的实际景深。

5.根据权利要求3或4所述的确定方法，其特征在于，所述步骤S222中，所述判定区段的确定方法包括：

选择所述景深-差分调制度曲线中的波峰至波谷的子区段，在所述子区段上截取若干条预设长度范围的部分作为预判子段，分别计算各所述预判子段的斜率，将斜率最大的所述预判子段作为所述判定区段。

6.根据权利要求1所述的确定方法，其特征在于，所述步骤S210中的多个所述标定位置等间距设置，且各所述焦距下的多个所述标定位置一致。

7.根据权利要求1-6任一项所述的确定方法，其特征在于，所述远心变焦镜头为电子变焦镜头；所述步骤S110和步骤S210中，通过调节所述电子变焦镜头的电流实现不同的焦距。

8.根据权利要求1-7任一项所述的确定方法，其特征在于，所述待测物和所述标定板分别放置于电动位移平台，并通过控制所述电动位移平台使所述标定板位于不同的标定位置。

9.一种三维重建方法，其特征在于，根据权利要求1-8任一项所确定的各待定像素的实际景深对所述被测物进行三维重建。

10.一种三维重建中的像素景深的确定单元，其特征在于，包括：

采集模块，用于将条纹图像通过远心镜头、半透半反射镜透射后投射至待测物表面，通过远心变焦镜头、所述半透半反射镜的反射侧分别在两个不同焦距下采集所述待测物反射的投射图像，其中，每个焦距下将所述待测物放置于所述远心镜头的光轴方向上的预设位置采集若干张实采图像；

景深确定模块，用于根据各所述焦距下的若干张实采图像分别计算对应的实测调制度，两个所述实测调制度相减得到实测差分调制度，将所述实测差分调制度在对应的景深-差分调制度关系中对应的景深作为待定像素的实际景深，所述景深-差分调制度关系对应的两个焦距与所述实测差分调制度对应的焦距一致；

标定模块，用于分别标定出各所述焦距下多组对应的景深、调制度，以及通过同一所述景深对应的两个所述焦距下的调制度相减得到标定差分调制度，根据多组对应的景深和标定差分调制度确定所述景深-差分调制度关系；

其中，所述预设位置位于所述景深-调制度关系中的景深区间。

11.根据权利要求10所述的确定单元，其特征在于，

所述采集模块还用于将所述条纹图像通过远心镜头、半透半反射镜透射后投射至标定板，通过远心变焦镜头、所述半透半反射镜的反射侧分别在各所述焦距下的多个标定位置采集所述标定板上的投射图像，其中，每个焦距的每个所标定位置采集若干张标定图像，多个所述标定位置分布所述远心镜头的光轴方向上；

所标定模块还用于将各所述标定位置作为景深，根据各所述焦距在同一所述景深的若干张标定图像逐像素计算标定调制度，并将同一所述景深在两个不同所述焦距下的两个所述标定调制度之差作为标定差分调制度，根据各所述像素对应的所述焦距、所述景深、所述标定调制度、所述标定差分调制度确定景深-调制度关系和所述景深-差分调制度关系。

12.根据权利要求10或11所述的确定单元，其特征在于，所述采集模块包括：

同轴设置且相互连接的投影装置和远心镜头、同轴设置且相互连接的远心变焦镜头和图像采集装置，以及半透半反射镜，所述远心镜头的光轴和远心变焦镜头的光轴垂直，且二者均与所述半透半反射镜呈45度角；所述半透半反射镜的透射侧朝向所述远心镜头，反射侧朝向所述远心变焦镜头。

13.根据权利要求12所述的确定单元，其特征在于，所述采集模块还包括电动位移平台，所述电动位移平台沿所述远心镜头的光轴方向设置，且位于所述半透半反射镜的反射侧。

14.根据权利要求12所述的确定单元，其特征在于，所述采集模块还包括偏振片，所述偏振片设置于所述远心镜头与所述投影装置之间，或者设置于所述远心镜头的出光侧。

15.一种三维重建系统，其特征在于，包括：

权利要求10-14任一项所述的确定单元；

重建模块，用于根据各待定像素的实际景深对所述被测物进行三维重建。

16.一种电子设备，其特征在于，包括权利要求15所述的三维重建系统。

17.根据权利要求16所述的电子设备，其特征在于，所述电子设备包括生物医学成像设备、工业检测设备或者显微成像设备。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，能够实现如权利要求1-8任一项所述的确定方法或者权利要求9所述的三维重建方法。

Images