CN106331683A - 一种物体三维重建方法及其系统 - Google Patents

Abstract

本发明公开了一种物体三维重建方法，涉及三维重建领域，该方法包括：连续变焦并采集包含目标物体的一系列图像以及各个图像的拍摄焦距；采集各个图像上的正焦区域，并根据各个图像的拍摄焦距，进行三维重建；正焦区域为准确对焦的区域。本发明还公开了一种物体三维重建系统，包括：图像采集模块、变焦驱动模块、拍摄焦距采集模块、正焦区域识别模块以及三维重建模块。本发明避免常规视差法三维重建在若干区域深度不精确问题，同时该方法只需要一个拍摄镜头，在一个位置即可获得物体的三维模型；本发明易于实现，在三维重建等领域具有应用前景。

Description

一种物体三维重建方法及其系统

技术领域

本发明涉及物体三维重建领域，特别涉及一种物体三维重建方法及其系统。

背景技术

三维重建具有广泛的应用领域，包括体积测量、立体显示、3D打印、物体模型建立等。现有三维重建一般采用双目时差法，通过两个摄像头对物体进行拍摄，通过两个拍摄图像的微小差别，获得物体的立体信息并进行三维重构。然而，这种方法存在不足之处：三维物体的一些局部区域，在两张图像中，并不同时出现，当物体的局部出现在左图像并且未出现在右图像，此时该位置的深度信息的处理往往是不精确的。综上，现有技术由于其技术原理本身的缺陷，造成局部区域不能很好地获得图像深度信息，影响物体的三维重建，需要探求一种物体三维重建新方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种物体三维重建方法，旨在解决现有技术由于其技术原理本身的缺陷，造成局部区域不能很好地获得图像深度信息，影响物体的三维重建的技术问题。

为实现上述目的，本发明提供了一种物体三维重建方法，包括：

连续变焦并采集包含目标物体的一系列图像以及各个所述图像的拍摄焦距；

采集各个所述图像上的正焦区域，并根据各个所述图像的拍摄焦距，进行三维重建；所述正焦区域为准确对焦的区域。

在该技术方案中，采集一系列变焦图像以及这些图像对应的焦距，各个图像上存在正焦像素点和失焦像素点，此时，正焦像素点对应的拍摄物体局部区域与拍摄焦距相对应。一方面，提取各个图像上正焦区域，另一方面将各个图像的焦距转换成具有深度信息的物距，将二者重组，即可实现三维重建。该技术方案提供了一种快速三维重建方法，避免了双目视差法三维重建局部区域获得不了精确的三维深度信息。

进一步而言，所述采集各个所述图像上的正焦区域，包括：

将所述目标物体划分为若干子区域，计算各个子区域在各个所述图像中的对焦评价函数值；所述对焦评价函数值用于进行所述目标物体的局部对焦的评价；

将所述子区域划分给对焦评价函数值最大的所述图像；其中，各个所述图像划分获得的所述子区域的集合构成所述正焦区域。

在该技术方案中，将目标物体划分为若干子区域，通过对焦评价函数，将子区域划分至不同焦距的图像内，获得各个子区域的深度信息。有益之处在于，获取的子区域深度信息高，可以管控子区域大小，细化深度信息。

进一步而言，所述计算各个子区域在各个所述图像中的对焦评价函数值，包括：

采集第i张图片中第k个子区域J_k中M×N个像素的RGB值；

计算对焦评价函数值

所述

其中，所述i、k、M、N为自然数，所述x满足1≤x≤M，所述y满足1≤y≤N，所述R_i(x,y)、G_i(x,y)、B_i(x,y)分别为像素的RGB值；所述为子区域J_k内R像素平均值，所述为子区域J_k内G像素平均值，所述为子区域J_k内B像素平均值。

在该技术方案中，通过获取RGB三色的对焦评价函数，对焦评价精度高。

进一步而言，所述根据各个所述图像的拍摄焦距进行三维重建，包括：

提取各个所述拍摄焦距下的正焦区域，生成图层；

根据所述拍摄焦距，获得各个图层的物距；

根据所述物距，叠加所述图层，形成三维模型。

在该技术方案中，将各个正焦区域转换为图层，并根据物距信息，重建三维模型；图层可替换性高，便于三维模型的修改。

进一步而言，所述根据各个所述图像的拍摄焦距进行三维重建，还包括：根据所述物距或焦距，生成图层放大倍率，修正各个图层的尺寸。

在该技术方案中，基于近大远小原理，根据焦距对各个图层的尺寸大小进行修正，即越靠近镜头的物体，放大倍率越小；其有益之处在于，提高三维建模的精度和准确性。

有鉴于现有技术的缺陷，本发明所要解决的技术问题是提供一种物体三维重建系统，包括：

图像采集模块，用于连续采集目标物体的拍摄图像；

变焦驱动模块，用于驱动所述图像采集模块连续变焦；

拍摄焦距采集模块，用于连续采集所述拍摄图像的焦距；

正焦区域识别模块，用于识别各个所述拍摄图像的正焦区域，所述正焦区域为准确对焦的区域；

三维重建模块，用于根据各个所述的拍摄图像和拍摄焦距重建所述目标物体的三维模型。

在该技术方案中，采集一系列变焦图像以及这些图像对应的焦距，各个图像上存在正焦像素点和失焦像素点，此时，正焦像素点对应的拍摄物体局部区域与拍摄焦距相对应。一方面，提取各个图像上正焦区域，另一方面将各个图像的焦距转换成具有深度信息的物距，将二者重组，即可实现三维重建。该技术方案提供了一种快速三维重建系统，避免了双目视差法三维重建局部区域获得不了精确的三维深度信息。

进一步而言，所述正焦区域识别模块，包括：

子区域分割单元，用于将所述目标物体划分为若干子区域；

对焦评价单元，用于计算各个子区域在各个所述图像中的对焦评价函数值；所述对焦评价函数值用于进行所述目标物体的局部对焦的评价；

子区域划分单元，用于将所述子区域划分给对焦评价函数值最大的所述图像；其中，各个所述图像划分获得的所述子区域的集合构成所述正焦区域。

在该技术方案中，将目标物体划分为若干子区域，通过对焦评价函数，将子区域划分至不同焦距的图像内，获得各个子区域的深度信息。有益之处在于，获取的子区域深度信息高，可以管控子区域大小，细化深度信息。

进一步而言，所述对焦评价单元，被配置为：

采集第i张图片中第k个子区域J_k中M×N个像素的RGB值；

计算对焦评价函数值

所述

其中，所述i、k、M、N为自然数，所述x满足1≤x≤M，所述y满足1≤y≤N，所述R_i(x,y)、G_i(x,y)、B_i(x,y)分别为像素的RGB值；所述为子区域J_k内R像素平均值，所述为子区域J_k内G像素平均值，所述为子区域J_k内B像素平均值。

在该技术方案中，通过获取RGB三色的对焦评价函数，对焦评价精度高。

进一步而言，所述三维重建模块，被配置为：

提取各个所述拍摄焦距下的正焦区域，生成图层；

根据所述拍摄焦距，获得各个图层的物距；

根据所述物距，叠加所述图层，形成三维模型。

在该技术方案中，将各个正焦区域转换为图层，并根据物距信息，重建三维模型；图层可替换性高，便于三维模型的修改。

进一步而言，所述三维重建模块，被配置为：

提取各个所述拍摄焦距下的正焦区域，生成图层；

根据所述拍摄焦距，获得各个图层的物距；

根据所述物距或焦距，生成图层放大倍率，修正各个图层的尺寸，

根据所述物距，叠加所述图层，形成三维模型。

在该技术方案中，基于近大远小原理，根据焦距对各个图层的尺寸大小进行修正，即越靠近镜头的物体，放大倍率越小；其有益之处在于，提高三维建模的精度和准确性。

本发明的有益效果是：本发明通过采集一系列变焦图像以及这些图像对应的焦距，各个图像上存在正焦像素点和失焦像素点，此时，正焦像素点对应的拍摄物体局部区域与拍摄焦距相对应。一方面，提取各个图像上正焦区域，另一方面将各个图像的焦距转换成具有深度信息的物距，将二者重组，即可实现三维重建。该技术方案提供了一种快速三维重建方法，避免了双目视差法三维重建局部区域获得不了精确的三维深度信息。同时，本发明只需要一个拍摄镜头，在一个位置即可获得物体的三维模型。

附图说明

图1是本发明一具体实施方式的流程示意图；

图2是本发明一具体实施方式中三维建模示意图；

图3是本发明一具体实施方式的系统结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

如图1所示，本发明一实施例中提供一种物体三维重建方法，包括：

连续变焦并采集包含目标物体的一系列图像以及各个所述图像的拍摄焦距；

采集各个所述图像上的正焦区域，并根据各个所述图像的拍摄焦距进行三维重建；所述正焦区域为准确对焦的区域。

1)图像采集：变焦镜头连续变焦，并采集包含目标物体的一系列图像以及各个所述图像的拍摄焦距。

在本实施例中，在同一位置、同一角度的变焦镜头对目标物体连续变焦拍摄，并同时记录下各个采集图像的拍摄焦距。其中，变焦镜头包括变焦机构和焦距采集模块，焦距采集模块采集变焦机构的参数，根据变焦曲线，获得拍摄焦距。

可选地，变焦镜头是通过变焦机构进行变焦，如变焦步进电机控制镜头变焦。一方面，变焦步进电机改变镜头焦距，另一方面，通过步进电机的行程(或步数)和焦距关系的变焦曲线，获得变焦镜头的拍摄焦距。

可选地，变焦镜头是采用液体透镜。液体透镜镜头是通过电压控制液体改变透镜曲率，实现透镜变焦。液体透镜的变焦焦距的获得可以由厂家提供焦距-电压关系曲线或者其它相关曲线获得，也可以通过实验测试获得。

可选地，变焦镜头是采用液晶透镜镜头。液晶透镜镜头是通过电压调控液晶旋转，改变液晶折射率，实现变焦。液晶透镜的变焦焦距的获得可以由厂家提供焦距-电压关系曲线或者其它相关曲线获得，也可以通过实验测试获得。

此外，变焦镜头的选用并不限于上述方案，只需满足可变焦并且具有物理参数表征焦距即可，这里只是进行示例性说明。

2)图像处理：采集各个所述图像上的正焦区域；并根据各个所述图像的拍摄焦距进行三维重建；所述正焦区域为准确对焦的区域。

连续变焦采集的一系列图像，具有各自的拍摄焦距，各自对目标物体聚焦区域也不相同，表现为在各个图像上，拍摄清晰的位置不一样。在图像处理步骤中，需要将每个图像的清晰区域采集出来，换一句话而言，就是将每一张图像的正焦区域提取出来。

可选地，采集各个图像上的正焦区域，包括：

将所述目标物体划分为若干子区域，计算各个子区域在各个所述图像中的对焦评价函数值；所述对焦评价函数值用于进行所述目标物体的局部对焦的评价；

将所述子区域划分给对焦评价函数值最大的所述图像；其中，各个所述图像划分获得的所述子区域的集合构成所述正焦区域。

为了采集各个图像的正焦区域，需对各个图像进行图像处理，分解出正确聚焦的区域，即各个图像中清晰显示的区域，这里称之为正焦区域。在本实施例中，采用对焦评价函数采集各个图像的正焦区域。

在自动调焦系统中是通过计算机编程，利用一些算法规则来判断图像清晰度是否达到了最准确状态，带动电动对焦装置进行对焦，这个算法就称为对焦状态评价函数，简称为对焦评价函数。在本发明中，可以利用对焦评价函数获得拍摄图像中正确对焦的区域。

可选地，对焦评价函数可以为灰度梯度函数、频域函数、信息学函数和统计学函数，现有技术中公开了相关评价函数的算法，这里不再赘述。

优选地，在本实施例中，计算各个子区域在各个图像中的对焦评价函数值，包括：

采集第i张图片中第k个子区域J_k中M×N个像素的RGB值；

计算对焦评价函数值

所述

其中，所述i、k、M、N为自然数，所述x满足1≤x≤M，所述y满足1≤y≤N，所述R_i(x,y)、G_i(x,y)、B_i(x,y)分别为像素的RGB值；所述为子区域J_k内R像素平均值，所述为子区域J_k内G像素平均值，所述为子区域J_k内B像素平均值。

值得一提的是，每个子区域只能落入一个深度图像中，且该区域在该深度图像中的对焦评价函数值是在所有深度图像中最高的。

为了进行三维重建，需要获得目标对象的深度信息，即拍摄图像的物距信息，需要获得物距和焦距的关系曲线或者其他形式的物距数据。

可选地，利用焦距和物距关系曲线，获得该图层在立体空间中的深度位置；其中，焦距和物距关系可以由厂商提供。

可选地，根据焦距、物距和像距关系，计算出物距，即图层在立体空间中的深度位置；可选地，像距值可以有镜头输出或有厂商提供焦距和像距广西曲线。

可选地，根据实际采用的拍摄镜头的像距可以为固定值，也可以为随变焦进行而发生改变的变值；

三维重建工作，即将各个图像上的正焦区域以及该图像对应的深度信息结合起来，重建三维模型。

可选地，将每一个图像的正焦区域上的像素点组合成一个图层，并利用各个图层的深度信息，进行三维重建，包括如下步骤：

提取各个所述拍摄焦距下的正焦区域，生成图层；

根据所述拍摄焦距，获得各个图层的物距；

根据所述物距，叠加所述图层，形成三维模型。

值得一提的是，三维模型的X-Y面的尺寸根据各个图层上各像素位置关系获得。

优选地，根据各个所述图像的拍摄焦距进行三维重建，包括：

提取各个所述拍摄焦距下的正焦区域，生成图层；

根据所述拍摄焦距，获得各个图层的物距；

根据所述物距或焦距，生成图层放大倍率，修正各个图层的尺寸。

根据所述物距，叠加所述图层，形成三维模型。

值得一提的是，三维模型的X-Y面的尺寸根据各个图层上各像素位置关系获得。

在一个示意性案例中，变焦镜头连续变焦拍摄下方物体，物距以步进5mm变焦，物距范围为200mm-500m的物体；值得注意的是，物距与步进电机步数关系可以事先根据物距-焦距-步进电机步数关系事先换算。提取各个图像上正焦区域，并根据物距进行三维建模。图2是本实施例中三维建模示意图，如图2所示，左侧图像包含多个拍摄图像1，每个拍摄图像1上有正焦区域2，当根据深度信息将这些正焦区域2叠加起来时，形成三维模型3。

总之，本发明第一实施例提供一种物体三维重建的方法，该方法在连续变焦状态下，获得拍摄图像以及各个图像的焦距；一方面，根据拍摄图像的对焦情况，从拍摄图像中提取出正确对焦的像素点，另一方面根据拍摄的焦距获得正确对焦的像素点对应的物距，这样就可以获得每一张拍摄图像上的正确对焦像素的物距；具有物距对所有图像上的正确对焦区域进行叠加组合，形成三维模型。该方法提供了一种三维重建方法，避免常规视差法三维重建在若干区域深度不精确问题，同时该方法只需要一个拍摄镜头，在一个位置即可获得物体的三维模型。该方法操作简单，易于实现。

如图3所示,在本发明第二实施例中提供一种物体三维重建系统，包括：

图像采集模块101，用于连续采集目标物体的拍摄图像；

变焦驱动模块102，用于驱动所述图像采集模块101连续变焦；

拍摄焦距采集模块103，用于连续采集所述拍摄图像的焦距；

正焦区域识别模块104，用于识别各个所述拍摄图像的正焦区域，所述正焦区域为准确对焦的区域；

三维重建模块105，用于根据各个所述的拍摄图像和拍摄焦距重建所述目标物体的三维模型。

在本实施例中，所述正焦区域识别模块104，包括：

子区域分割单元201，用于将所述目标物体划分为若干子区域；

对焦评价单元202，用于计算各个子区域在各个所述图像中的对焦评价函数值；所述对焦评价函数值用于进行所述目标物体的局部对焦的评价；

子区域划分单元203，用于将所述子区域划分给对焦评价函数值最大的所述图像；其中，各个所述图像划分获得的所述子区域的集合构成所述正焦区域。

在本实施例中，所述对焦评价单元202，被配置为：

采集第i张图片中第k个子区域J_k中M×N个像素的RGB值；

计算对焦评价函数值

所述

其中，所述i、k、M、N为自然数，所述x满足1≤x≤M，所述y满足1≤y≤N，所述R_i(x,y)、G_i(x,y)、B_i(x,y)分别为像素的RGB值；所述为子区域J_k内R像素平均值，所述为子区域J_k内G像素平均值，所述为子区域J_k内B像素平均值。

在本实施例中，所述三维重建模块105，被配置为：提取各个所述拍摄焦距下的正焦区域，生成图层；根据所述拍摄焦距，获得各个图层的物距；根据所述物距，叠加所述图层，形成三维模型。

可选地，在本发明另一实施例中，所述三维重建模块105，被配置为：提取各个所述拍摄焦距下的正焦区域，生成图层；根据所述拍摄焦距，获得各个图层的物距；根据所述物距或焦距，生成图层放大倍率，修正各个图层的尺寸，根据所述物距，叠加所述图层，形成三维模型。

总之，本发明第二实施例提供一种物体三维重建的系统，该系统在连续变焦状态下，获得拍摄图像以及各个图像的焦距；一方面，根据拍摄图像的对焦情况，从拍摄图像中提取出正确对焦的像素点，另一方面根据拍摄的焦距获得正确对焦的像素点对应的物距，这样就可以获得每一张拍摄图像上的正确对焦像素的物距；具有物距对所有图像上的正确对焦区域进行叠加组合，形成三维模型。该系统提供了一种三维重建系统，避免常规视差法三维重建在若干区域深度不精确问题，同时该方法只需要一个拍摄镜头，在一个位置即可获得物体的三维模型。该方法操作简单，易于实现。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种物体三维重建方法，其特征在于，所述方法包括：

连续变焦并采集包含目标物体的一系列图像以及各个所述图像的拍摄焦距；

采集各个所述图像上的正焦区域，并根据各个所述图像的拍摄焦距进行三维重建；所述正焦区域为准确对焦的区域。

2.如权利要求1所述的一种物体三维重建方法，其特征在于，所述采集各个所述图像上的正焦区域，包括：

将所述目标物体划分为若干子区域，计算各个子区域在各个所述图像中的对焦评价函数值；所述对焦评价函数值用于进行所述目标物体的局部对焦的评价；

将所述子区域划分给对焦评价函数值最大的所述图像；其中，各个所述图像划分获得的所述子区域的集合构成所述正焦区域。

3.如权利要求2所述的一种物体三维重建方法，其特征在于，所述计算各个子区域在各个所述图像中的对焦评价函数值，包括：

采集第i张图片中第k个子区域J_k中M×N个像素的RGB值；

计算对焦评价函数值

所述

其中，所述i、k、M、N为自然数，所述x满足1≤x≤M，所述y满足1≤y≤N，所述R_i(x,y)、G_i(x,y)、B_i(x,y)分别为像素的RGB值；所述为子区域J_k内R像素平均值，所述为子区域J_k内G像素平均值，所述为子区域J_k内B像素平均值。

4.如权利要求1所述的一种物体三维重建方法，其特征在于，所述根据各个所述图像的拍摄焦距进行三维重建，包括：

提取各个所述拍摄焦距下的正焦区域，生成图层；

根据所述拍摄焦距，获得各个图层的物距；

根据所述物距，叠加所述图层，形成三维模型。

5.如权利要求4所述的一种物体三维重建方法，其特征在于，所述根据各个所述图像的拍摄焦距进行三维重建，还包括：根据所述物距或焦距，生成图层放大倍率，修正各个图层的尺寸。

6.一种物体三维重建系统，其特征在于，包括：

图像采集模块，用于连续采集目标物体的拍摄图像；

变焦驱动模块，用于驱动所述图像采集模块连续变焦；

拍摄焦距采集模块，用于连续采集所述拍摄图像的焦距；

正焦区域识别模块，用于识别各个所述拍摄图像的正焦区域，所述正焦区域为准确对焦的区域；

三维重建模块，用于根据各个所述的拍摄图像和拍摄焦距重建所述目标物体的三维模型。

7.如权利要求6所述的一种物体三维重建系统，其特征在于，所述正焦区域识别模块，包括：

子区域分割单元，用于将所述目标物体划分为若干子区域；

对焦评价单元，用于计算各个子区域在各个所述图像中的对焦评价函数值；所述对焦评价函数值用于进行所述目标物体的局部对焦的评价；

子区域划分单元，用于将所述子区域划分给对焦评价函数值最大的所述图像；其中，各个所述图像划分获得的所述子区域的集合构成所述正焦区域。

8.如权利要求7所述的一种物体三维重建系统，其特征在于，所述对焦评价单元，被配置为：

采集第i张图片中第k个子区域J_k中M×N个像素的RGB值；

计算对焦评价函数值

所述

其中，所述i、k、M、N为自然数，所述x满足1≤x≤M，所述y满足1≤y≤N，所述R_i(x,y)、G_i(x,y)、B_i(x,y)分别为像素的RGB值；所述为子区域J_k内R像素平均值，所述为子区域J_k内G像素平均值，所述为子区域J_k内B像素平均值。

9.如权利要求6所述的一种物体三维重建系统，其特征在于，所述三维重建模块，被配置为：

提取各个所述拍摄焦距下的正焦区域，生成图层；

根据所述拍摄焦距，获得各个图层的物距；

根据所述物距，叠加所述图层，形成三维模型。

10.如权利要求6所述的一种物体三维重建系统，其特征在于，所述三维重建模块，被配置为：

提取各个所述拍摄焦距下的正焦区域，生成图层；

根据所述拍摄焦距，获得各个图层的物距；

根据所述物距或焦距，生成图层放大倍率，修正各个图层的尺寸，

根据所述物距，叠加所述图层，形成三维模型。