CN107240148A - 基于背景纹影技术的透明物体三维表面重建方法和装置 - Google Patents

Abstract

本发明公开了一种基于背景纹影技术的透明物体三维表面重建方法和装置，通过获取光源透射于背景图像后所射出的存在折射率场时的光线和不存在折射率场时的光线所形成的空间偏折角的角度值大小；根据获取的空间偏折角的角度值大小，得出光线从背景图像照射至折射点的方向向量；根据得出的光线从背景图像照射至折射点的方向向量，确定折射点的空间坐标和折射点处切平面的法向量；基于确定的折射点的空间坐标和折射点处切平面的法向量，对折射率场进行三维表面重建。本发明提供的基于背景纹影技术的透明物体三维表面重建方法和装置，配置简单、测量的空间分辨率高、成本低。

Description

基于背景纹影技术的透明物体三维表面重建方法和装置

技术领域

本发明涉及三维空间构建领域，特别地，涉及一种基于背景纹影技术的透明物体三维表面重建方法和装置。

背景技术

物体三维表面重建技术可以在虚拟世界中创建实际物体的数字模型。这些模型具有十分广泛的用途，例如，工业设计、瑕疵检测、逆向工程、医学信息、游戏创作素材等等。物体三维重建技术多种多样，各种方法都有其优缺点，目前还没有通用的重建技术。目前应用最为广泛的物体三维表面重建设备主要是三维扫描仪，主要分为两类，一类是接触式三维扫描仪，另一类是非接触式三维扫描仪。目前最常用的非接触三维表面重建技术主体思路都是利用多台相机来捕获从物体表面反射光的像差信息，以及获取物体三维表面的深度信息，进而实现对物体三维表面的重建。但是，非接触式三维表面重建技术很难实现对透明物体三维表面进行重建。所以，目前人们通常利用接触式三维表面重建方法对透明物体的三维表面进行重建，但是，在现有的接触式三维表面重建方法中，测量的空间分辨率比较低，并且对于比较脆弱的待测物体测量较为困难。

因此，现有的三维表面重建方法中存在的测量空间分辨率低以及待测物体测量困难是一个亟待解决的技术问题。

发明内容

本发明提供了一种基于背景纹影技术的透明物体三维表面重建方法和装置，以解决现有的三维表面重建方法中存在的测量的空间分辨率低以及待测物体测量困难.的技术问题。

本发明采用的技术方案如下：

根据本发明的一个方面，提供一种基于背景纹影技术的透明物体三维表面重建方法，应用于折射率场三维表面重建系统中，折射率场三维表面重建系统包括依次安装的光源、准直透镜和相机，光源用于发出光线并将发出的光线透射于背景图像的物点上；准直透镜用于汇集穿过物点和折射率场的折射点后的光线；相机用于对准直透镜汇集后的光线形成像点；基于背景纹影技术的透明物体三维表面重建方法包括步骤：

获取光源透射于背景图像后所射出的存在折射率场时的光线和不存在折射率场时的光线所形成的空间偏折角的角度值大小；

根据获取的空间偏折角的角度值大小，得出光线从背景图像照射至折射点的方向向量；

根据得出的光线从背景图像照射至折射点的方向向量，确定折射点的空间坐标和折射点处切平面的法向量；

基于确定的折射点的空间坐标和折射点处切平面的法向量，对折射率场进行三维表面重建。

进一步地，获取光源透射于背景图像后所射出的存在折射率场时的光线和不存在折射率场时的光线所形成的空间偏折角的角度值大小的步骤包括：

获取像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系；

根据获取的像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系，确定空间偏折角的角度值大小。

进一步地，获取像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系的步骤包括：

找出与像点相对应的且不存在折射率场时的物点及与像点相对应的且存在折射率场时的物点，其中，与像点相对应的且不存在折射率场时的物点称为虚拟物点，与像点相对应的且存在折射率场时的物点称为实际物点；

获取实际物点与虚拟物点之间的相对偏移量；

保持像点的位置不变，将背景图像沿准直透镜的主光轴方向移动设定距离，找出移动背景图像后的与像点相对应的且不存在折射率场时的物点及移动背景图像后的与像点相对应的且存在折射率场时的物点，其中，移动背景图像后的与像点相对应的且不存在折射率场时的物点称为虚拟移动物点，移动背景图像后的与像点相对应的且存在折射率场时的物点称为实际移动物点；

获取实际移动物点与虚拟移动物点之间的相对偏移量。

进一步地，根据获取的像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系，确定空间偏折角的角度值大小的步骤包括：

连接实际物点和实际移动物点获取存在折射率场时的光线；以及连接虚拟物点和虚拟移动物点获取不存在折射率场时的光线；

对存在折射率场时的光线和不存在折射率场时的光线进行交汇并形成交汇点，其中，形成的交汇点构成折射率场的折射点；

根据获取的实际物点与虚拟物点之间的相对偏移量、实际移动物点与虚拟移动物点之间的相对偏移量及折射率场的折射点，确定空间偏折角的角度值大小。

进一步地，根据得出的光线从背景图像照射至折射点的方向向量，确定折射点的空间坐标和折射点处切平面的法向量的步骤包括：

获取折射点的物理坐标，依据折射点的物理坐标以及物理坐标与空间坐标的对应关系，确定折射点的空间坐标；

根据获取的光线从背景图像照射至折射点的方向向量及光线从折射点到准直透镜的方向向量，计算出折射点处切平面的法向量。

根据本发明的另一方面，还提供一种基于背景纹影技术的透明物体三维表面重建装置，折射率场三维表面重建系统包括依次安装的光源、准直透镜和相机，光源用于发出光线并将发出的光线透射于背景图像的物点上；准直透镜用于汇集穿过物点和折射率场的折射点后的光线；相机用于对准直透镜汇集后的光线形成像点；基于背景纹影技术的透明物体三维表面重建装置包括：

角度获取模块，用于获取光源透射于背景图像后所射出的存在折射率场时的光线和不存在折射率场时的光线所形成的空间偏折角的角度值大小；

向量获取模块，用于根据获取的空间偏折角的角度值大小，得出光线从背景图像照射至折射点的方向向量；

确定模块，用于根据得出的光线从背景图像照射至折射点的方向向量，确定折射点的空间坐标和折射点处切平面的法向量；

三维重建模块，用于基于确定的折射点的空间坐标和折射点处切平面的法向量，对折射率场进行三维表面重建。

进一步地，角度获取模块包括：

物点获取单元，用于获取像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系；

确定单元，用于根据获取的像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系，确定空间偏折角的角度值大小。

进一步地，物点获取单元包括：

物点搜索子单元，用于找出与像点相对应的且不存在折射率场时的物点及与像点相对应的且存在折射率场时的物点，其中，与像点相对应的且不存在折射率场时的物点称为虚拟物点，与像点相对应的且存在折射率场时的物点称为实际物点；

第一相对偏移量获取子单元，用于获取实际物点与虚拟物点之间的相对偏移量；

移动搜索子单元，用于保持像点的位置不变，将背景图像沿准直透镜的主光轴方向移动设定距离，找出移动背景图像后的与像点相对应的且不存在折射率场时的物点及移动背景图像后的与像点相对应的且存在折射率场时的物点，其中，移动背景图像后的与像点相对应的且不存在折射率场时的物点称为虚拟移动物点，移动背景图像后的与像点相对应的且存在折射率场时的物点称为实际移动物点；

第二相对偏移量获取子单元，用于获取实际移动物点与虚拟移动物点之间的相对偏移量。

进一步地，确定单元包括：

连接子单元，用于连接实际物点和实际移动物点获取存在折射率场时的光线；以及连接虚拟物点和虚拟移动物点获取不存在折射率场时的光线；

交汇子单元，用于对存在折射率场时的光线和不存在折射率场时的光线进行交汇并形成交汇点，其中，形成的交汇点构成折射率场的折射点；

角度值确定子单元，用于根据获取的实际物点与虚拟物点之间的相对偏移量、实际移动物点与虚拟移动物点之间的相对偏移量及折射率场的折射点，确定空间偏折角的角度值大小。

进一步地，确定模块包括：

空间坐标确定单元，用于获取折射点的物理坐标，并依据折射点的物理坐标以及物理坐标与空间坐标的对应关系，确定折射点的空间坐标；

计算单元，用于根据获取的光线从背景图像照射至折射点的方向向量及光线从折射点到准直透镜的方向向量，计算出折射点处切平面的法向量。

本发明具有以下有益效果：

本发明提供的基于背景纹影技术的透明物体三维表面重建方法和装置，采用准直透镜和相机，配置简单；基于背景纹影技术，通过获取折射率场的折射点的空间坐标和折射点处切平面的法向量来对折射率场进行三维表面重建，测量的空间分辨率高；使用背景图像作为待测透明物体，测量方便；利用单个相机即可完成相应操作，成本低。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明折射率场三维表面重建系统的原理图；

图2是本发明基于背景纹影技术的透明物体三维表面重建方法第一优选实施例的流程示意图；

图3为图2中获取光源透射于背景图像后所射出的存在折射率场时的光线和不存在折射率场时的光线所形成的空间偏折角的角度值大小的步骤的细化流程示意图；

图4为图3中获取像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系的步骤的细化流程示意图；

图5为图3中根据获取的像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系，确定空间偏折角的角度值大小的步骤的细化流程示意图；

图6为图2中根据得出的光线从背景图像照射至折射点的方向向量，确定折射点的空间坐标和折射点处切平面的法向量的步骤的细化流程示意图；

图7是本发明基于背景纹影技术的透明物体三维表面重建装置一优选实施例的结构示意图；

图8为图7中角度获取模块的功能模块示意图；

图9为图8中物点获取单元的功能模块示意图；

图10为图8中确定单元的功能模块示意图；

图11为图7中角度确定模块的功能模块示意图。

附图标号说明：

10、角度获取模块；20、向量获取模块；30、确定模块；40、三维重建模块；11、物点获取单元；12、确定单元；111、物点搜索子单元；112、第一相对偏移量获取子单元；113、移动搜索子单元；114、第二相对偏移量获取子单元；121、连接子单元；122、交汇子单元；123、角度值确定子单元；31、空间坐标确定单元；32、计算单元；100、光源；200、准直透镜；300、相机；400、背景图像；500、折射率场。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

参照图1和图2，本发明的优选实施例提供了一种基于背景纹影技术的透明物体三维表面重建方法，应用于折射率场三维表面重建系统中，折射率场三维表面重建系统包括依次安装的光源100、准直透镜200和相机300，光源100用于发出光线并将发出的光线透射于背景图像400的物点上；准直透镜200用于汇集穿过物点和折射率场500的折射点后的光线；相机300用于对准直透镜200汇集后的光线形成像点；基于背景纹影技术的透明物体三维表面重建方法包括步骤：

步骤S100、获取光源透射于背景图像后所射出的存在折射率场时的光线和不存在折射率场时的光线所形成的空间偏折角的角度值大小。

如图1所示，将光阑放置在准直透镜200的焦点处，保证仅有平行于光轴的光线可以穿过光阑。当光源100透射于背景图像400后，假设不存在折射率场500时，则P点为不存在折射率场时与相机300捕获的像点C相对应的背景点阵中的虚拟物点。假设存在折射率场500时，当引入折射率场后，受到折射率场影响，像点C对应的实际物点移动到P'点。请见图1，A点表示光线在折射率场处的折射点，Q点表示光线在等效相机镜头上的入射点，R点表示光线在准直透镜上的入射点。通过获取不存在折射率场时的虚拟物点P及存在折射率场时的实际物点P'之间的偏移量，绘制出存在折射率场时的光线和不存在折射率场时的光线；其中，存在折射率场时的光线和不存在折射率场时的光线两者之间所形成的空间偏折角为θ_i,j，θ_i,j的角度值大小可通过实际测量即可得出。

步骤S200、根据获取的空间偏折角的角度值大小，得出光线从背景图像照射至折射点的方向向量。

根据测量得出的空间偏折角θ_i,j的角度值大小和不存在折射率场时的虚拟物点P及存在折射率场时的实际物点P'之间的偏移量，计算得出光线从背景图像照射至折射点A的方向向量

步骤S300、根据得出的光线从背景图像照射至折射点的方向向量，确定折射点的空间坐标和折射点处切平面的法向量。

根据计算得出的光线从背景图像照射至折射点A的方向向量获取折射点A(查问区网格节点i，j)对应的Z轴物理坐标H_ij，，基于查问区网格节点与物理坐标的一一对应关系，确定折射点A的空间坐标(x_pi,y_pj,L+H_i,j)。并根据Snell(斯涅尔)定律的空间形式，计算出折射点处切平面的法向量

步骤S400、基于确定的折射点的空间坐标和折射点处切平面的法向量，对折射率场进行三维表面重建。

基于获取的折射点A的空间坐标(x_pi,y_pj,L+H_i,j)和折射点处切平面的法向量采用Gaussian Kernel(高斯核函数)方法实现折射率场三维表面重建。在本实施例中，通过依次获取折射率场各个折射点的空间坐标和折射点处切平面的法向量来对折射率场的三维表面进行重建。

本实施例提供的基于背景纹影技术的透明物体三维表面重建方法，采用准直透镜和相机，配置简单；基于背景纹影技术，通过获取折射率场的折射点的空间坐标和折射点处切平面的法向量来对折射率场进行三维表面重建，测量的空间分辨率高；使用背景图像作为待测透明物体，测量方便；利用单个相机即可完成相应操作，成本低。

优选地，如图3所示，本实施例提供的基于背景纹影技术的透明物体三维表面重建方法，步骤S100包括：

步骤S110、获取像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系。

获取像点C与不存在折射率场时的物点P两者之间的对应关系以及像点C与存在折射率场时的物点P'两者之间的对应关系，例如，利用相机捕获与像点C相对应的不存在折射率场时的物点P以及与像点C相对应的存在折射率场时的物点P'的物理坐标位置。

步骤S120、根据获取的像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系，确定空间偏折角的角度值大小。

根据获取的像点C与不存在折射率场时的物点P两者之间的对应关系以及像点C与存在折射率场时的物点P'两者之间的对应关系，得到存在折射率场时的光线和不存在折射率场时的光线，得出存在折射率场时的光线和不存在折射率场时的光线两条光线所形成的空间偏折角θ_i,j，并通过测量确定空间偏折角θ_i,j的角度值大小。

本实施例提供的基于背景纹影技术的透明物体三维表面重建方法，通过获取像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系，并根据获取的像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系，确定空间偏折角的角度值大小。在本实施例中，利用单个相机即可完成相应操作，成本低；通过与像点相对应的存在折射率场的物点及不存在折射率场时的物点之间的关系获得空间偏折角，并测量出空间偏折角的大小，获取方式简单方便。

进一步地，如图4所示，本实施例提供的基于背景纹影技术的透明物体三维表面重建方法，步骤S110包括：

步骤S111、找出与像点相对应的且不存在折射率场时的物点及与像点相对应的且存在折射率场时的物点，其中，与像点相对应的且不存在折射率场时的物点称为虚拟物点，与像点相对应的且存在折射率场时的物点称为实际物点。

利用相机捕获与像点C相对应的不存在折射率场时的物点P以及与像点C相对应的存在折射率场时的物点P'，在本实施例中，与像点C相对应的且不存在折射率场时的物点P被定义为虚拟物点。与像点C相对应的且存在折射率场时的物点P'被定义为实际物点。

步骤S112、获取实际物点与虚拟物点之间的相对偏移量。

获取实际物点P'与虚拟物点P的物理坐标位置，基于BOS(Background OrientedSchlieren，纹影模式背景纹影)方法获得实际物点P'与虚拟物点P之间的相对偏移量(Δx_pi,Δy_pj)。

步骤S113、保持像点的位置不变，将背景图像沿准直透镜的主光轴方向移动设定距离，找出移动背景图像后的与像点相对应的且不存在折射率场时的物点及移动背景图像后的与像点相对应的且存在折射率场时的物点，其中，移动背景图像后的与像点相对应的且不存在折射率场时的物点称为虚拟移动物点，移动背景图像后的与像点相对应的且存在折射率场时的物点称为实际移动物点。

在保持折射率场三维表面重建系统中各元件以及像点C的位置不变的情形下，将背景图像沿准直透镜的主光轴方向移动设定距离d移动距离d应在相机的景深范围内，以保重不能离焦过于严重，请见图1，背景图像沿准直透镜的主光轴方向移动设定距离d后，与像点C对应的且不存在折射率场时的物点变为S；与像点C对应的且存在折射率场时的物点变为S'，在本实施例中，移动背景图像后的与像点相对应的且不存在折射率场时的物点S被定义为虚拟移动物点。移动背景图像后的与像点相对应的且存在折射率场时的物点S'被定义为实际移动物点。

步骤S114、获取实际移动物点与虚拟移动物点之间的相对偏移量。

获取实际移动物点S'与虚拟移动物点S的物理坐标位置，基于BOS方法获得实际移动物点S'与虚拟移动物点S之间的相对偏移量(Δx_si,Δy_sj)。

本实施例提供的基于背景纹影技术的透明物体三维表面重建方法，通过找出与像点相对应的且不存在折射率场时的物点及与像点相对应的且存在折射率场时的物点；获取与像点相对应的且不存在折射率场时的物点及与像点相对应的且存在折射率场时的物点之间的相对偏移量；保持像点的位置不变，将背景图像沿准直透镜的主光轴方向移动设定距离，找出移动背景图像后的与像点相对应的且不存在折射率场时的物点及移动背景图像后的与像点相对应的且存在折射率场时的物点；获取移动背景图像后的与像点相对应的且不存在折射率场时的物点及移动背景图像后的与像点相对应的且存在折射率场时的物点之间的相对偏移量。在本实施例中，通过将背景图像沿准直透镜的主光轴方向移动设定距离，找出移动背景图像后的与像点相对应的且不存在折射率场时的物点及移动背景图像后的与像点相对应的且存在折射率场时的物点，从而确定空间偏折角的大小，获取方式简单方便。

可选地，如图5所示，本实施例提供的基于背景纹影技术的透明物体三维表面重建方法，步骤S120包括：

步骤S121、连接实际物点和实际移动物点获取存在折射率场时的光线；以及连接虚拟物点和虚拟移动物点获取不存在折射率场时的光线。

在本实施例中，通过直线将实际物点P'和实际移动物点S'连接在一起，获取存在折射率场时的光线。通过直线将虚拟物点P和虚拟移动物点S连接在一起，获取存在折射率场时的光线。

步骤S122、对存在折射率场时的光线和不存在折射率场时的光线进行交汇并形成交汇点，其中，形成的交汇点构成折射率场的折射点；

请见图1，对存在折射率场时的光线以及不存在折射率场时的光线进行交汇，在两条光线的交汇处形成交汇点A，此处形成的交汇点A即为折射率场的折射点。

步骤S123、根据获取的实际物点与虚拟物点之间的相对偏移量、实际移动物点与虚拟移动物点之间的相对偏移量及折射率场的折射点，确定空间偏折角的角度值大小。

根据获取的实际物点与虚拟物点之间的相对偏移量(Δx_pi,Δy_pj)、实际移动物点与虚拟移动物点之间的相对偏移量(Δx_si,Δy_sj)以及折射率场的折射点A，通过实际测值，确定存在折射率场时的光线和不存在折射率场时的光线两条光线所形成的空间偏折角θ_i,j的角度值大小。

本实施例提供的基于背景纹影技术的透明物体三维表面重建方法，通过连接实际物点和实际移动物点获取存在折射率场时的光线；以及连接虚拟物点和虚拟移动物点获取不存在折射率场时的光线；对存在折射率场时的光线和不存在折射率场时的光线进行交汇并形成交汇点，其中，形成的交汇点构成折射率场的折射点；根据获取的实际物点与虚拟物点之间的相对偏移量、实际移动物点与虚拟移动物点之间的相对偏移量及折射率场的折射点，确定空间偏折角的角度值大小。在本实施例中，通过获取的实际物点与虚拟物点之间的相对偏移量、实际移动物点与虚拟移动物点之间的相对偏移量及折射率场的折射点来确定空间偏折角的角度值大小，获取方式简单方便。

优选地，如图6所示，本实施例提供的基于背景纹影技术的透明物体三维表面重建方法，步骤S300包括：

步骤S310、获取折射点的物理坐标，依据折射点的物理坐标以及物理坐标与空间坐标的对应关系，确定折射点的空间坐标。

根据确定的空间偏折角θ_i,j的角度值大小，计算出折射点A的物理坐标，其中，折射点A的Z轴物理坐标H_ij为：

||P'-P||＝(u₀-H_i,j)tanθ_i,j (1)

其中，表示实际物点P'与虚拟物点P两点之间的距离；u0表示背景图像距离准直透镜的距离；θ_i,j为空间偏折角。

从公式1中获取折射点A(查问区网格节点i，j)对应的Z轴物理坐标H_ij，，基于查问区网格节点与物理坐标的一一对应关系，确定折射点A的空间坐标(x_pi,y_pj,L+H_i,j)。

步骤S320、根据获取的光线从背景图像照射至折射点的方向向量及光线从折射点到准直透镜的方向向量，计算出折射点处切平面的法向量。

根据光线从背景图像照射至折射点A的方向向量及光线从折射点A到准直透镜的方向向量基于Snell定律的空间形式，计算出折射点处切平面的法向量

其中，为光线从折射点到准直透镜的空间方向向量；为光线从背景图像照射至折射点A的方向向量；n代表折射率场的折射率，空气的折射率近似为1。

由于空间方向向量平行于主光轴z轴，为已知量，故可以从公式2中确定折射点处切平面的法向量

本实施例提供的基于背景纹影技术的透明物体三维表面重建方法，通过获取折射点的物理坐标，依据折射点的物理坐标以及物理坐标与空间坐标的对应关系，确定折射点的空间坐标；根据获取的光线从背景图像照射至折射点的方向向量及光线从折射点到准直透镜的方向向量，计算出折射点处切平面的法向量。在本实施例中，能自动计算出折射点的空间坐标和折射点处切平面的法向量，自动化程度高，对透明物体温的三维表面重建速度快。

如图1和图7所示，本实施例还提供一种基于背景纹影技术的透明物体三维表面重建装置，折射率场三维表面重建系统包括依次安装的光源100、准直透镜200和相机300，光源100用于发出光线并将发出的光线透射于背景图像400的物点上；准直透镜200用于汇集穿过物点和折射率场500的折射点后的光线；相机300用于对准直透镜200汇集后的光线形成像点；基于背景纹影技术的透明物体三维表面重建装置包括：角度获取模块10，用于获取光源透射于背景图像后所射出的存在折射率场时的光线和不存在折射率场时的光线所形成的空间偏折角的角度值大小；向量获取模块20，用于根据获取的空间偏折角的角度值大小，得出光线从背景图像照射至折射点的方向向量；确定模块30，用于根据得出的光线从背景图像照射至折射点的方向向量，确定折射点的空间坐标和折射点处切平面的法向量；三维重建模块40，用于基于确定的折射点的空间坐标和折射点处切平面的法向量，对折射率场进行三维表面重建。

如图1所示，将光阑放置在准直透镜200的焦点处，保证仅有平行于光轴的光线可以穿过光阑。当光源100透射于背景图像400后，假设不存在折射率场500时，则P点为不存在折射率场时与相机300捕获的像点C相对应的背景点阵中的虚拟物点。假设存在折射率场500时，当引入折射率场后，受到折射率场影响，像点C对应的实际物点移动到P'点。请见图1，A点表示光线在折射率场处的折射点，Q点表示光线在等效相机镜头上的入射点，R点表示光线在准直透镜上的入射点。

角度获取模块10通过获取不存在折射率场时的虚拟物点P及存在折射率场时的实际物点P'之间的偏移量，绘制出存在折射率场时的光线和不存在折射率场时的光线；其中，存在折射率场时的光线和不存在折射率场时的光线两者之间所形成的空间偏折角为θ_i,j，θ_i,j的角度值大小可通过实际测量即可得出。

向量获取模块20根据测量得出的空间偏折角θ_i,j的角度值大小和不存在折射率场时的虚拟物点P及存在折射率场时的实际物点P'之间的偏移量，计算得出光线从背景图像照射至折射点A的方向向量

确定模块30根据计算得出的光线从背景图像照射至折射点A的方向向量获取折射点A查问区网格节点i，j对应的Z轴物理坐标H_ij，，基于查问区网格节点与物理坐标的一一对应关系，确定折射点A的空间坐标(x_pi,y_pj,L+H_i,j)。并根据Snell(斯涅尔)定律的空间形式，计算出折射点处切平面的法向量

三维重建模块40基于获取的折射点A的空间坐标(x_pi,y_pj,L+H_i,j)和折射点处切平面的法向量采用Gaussian Kernel(高斯核函数)方法实现折射率场三维表面重建。在本实施例中，通过依次获取折射率场各个折射点的空间坐标和折射点处切平面的法向量来对折射率场的三维表面进行重建。

本实施例提供的基于背景纹影技术的透明物体三维表面重建装置，采用准直透镜和相机，配置简单；基于背景纹影技术，通过获取折射率场的折射点的空间坐标和折射点处切平面的法向量来对折射率场进行三维表面重建，测量的空间分辨率高；使用背景图像作为待测透明物体，测量方便；利用单个相机即可完成相应操作，成本低。

优选地，如图8所示，本实施例提供的基于背景纹影技术的透明物体三维表面重建装置，角度获取模块10包括：物点获取单元11，用于获取像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系；确定单元12，用于根据获取的像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系，确定空间偏折角的角度值大小。

物点获取单元11获取像点C与不存在折射率场时的物点P两者之间的对应关系以及像点C与存在折射率场时的物点P'两者之间的对应关系，例如，利用相机捕获与像点C相对应的不存在折射率场时的物点P以及与像点C相对应的存在折射率场时的物点P'的物理坐标位置。

确定单元12根据获取的像点C与不存在折射率场时的物点P两者之间的对应关系以及像点C与存在折射率场时的物点P'两者之间的对应关系，得到存在折射率场时的光线和不存在折射率场时的光线，得出存在折射率场时的光线和不存在折射率场时的光线两条光线所形成的空间偏折角θ_i,j，并通过测量确定空间偏折角θ_i,j的角度值大小。

本实施例提供的基于背景纹影技术的透明物体三维表面重建装置，通过获取像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系，并根据获取的像点与不存在折射率场时的物点两者之间的对应关系以及像点与存在折射率场时的物点两者之间的对应关系，确定空间偏折角的角度值大小。在本实施例中，利用单个相机即可完成相应操作，成本低；通过与像点相对应的存在折射率场的物点及不存在折射率场时的物点之间的关系获得空间偏折角，并测量出空间偏折角的大小，获取方式简单方便。

优选地，如图9所示，本实施例提供的基于背景纹影技术的透明物体三维表面重建装置，物点获取单元11包括：物点搜索子单元111，用于找出与像点相对应的且不存在折射率场时的物点及与像点相对应的且存在折射率场时的物点，其中，与像点相对应的且不存在折射率场时的物点称为虚拟物点，与像点相对应的且存在折射率场时的物点称为实际物点；第一相对偏移量获取子单元112，用于获取实际物点与虚拟物点之间的相对偏移量；移动搜索子单元113，用于保持像点的位置不变，将背景图像沿准直透镜的主光轴方向移动设定距离，找出移动背景图像后的与像点相对应的且不存在折射率场时的物点及移动背景图像后的与像点相对应的且存在折射率场时的物点，其中，移动背景图像后的与像点相对应的且不存在折射率场时的物点称为虚拟移动物点，移动背景图像后的与像点相对应的且存在折射率场时的物点称为实际移动物点；第二相对偏移量获取子单元114，用于获取实际移动物点与虚拟移动物点之间的相对偏移量。

物点搜索子单元111利用相机捕获与像点C相对应的不存在折射率场时的物点P以及与像点C相对应的存在折射率场时的物点P'，在本实施例中，与像点C相对应的且不存在折射率场时的物点P被定义为虚拟物点。与像点C相对应的且存在折射率场时的物点P'被定义为实际物点。

第一相对偏移量获取子单元112获取实际物点P'与虚拟物点P的物理坐标位置，基于BOS(Background Oriented Schlieren，纹影模式背景纹影)方法获得实际物点P'与虚拟物点P之间的相对偏移量(Δx_pi,Δy_pj)。

移动搜索子单元113在保持折射率场三维表面重建系统中各元件以及像点C的位置不变的情形下，将背景图像沿准直透镜的主光轴方向移动设定距离d移动距离d应在相机的景深范围内，以保重不能离焦过于严重，请见图1，背景图像沿准直透镜的主光轴方向移动设定距离d后，与像点C对应的且不存在折射率场时的物点变为S；与像点C对应的且存在折射率场时的物点变为S'，在本实施例中，移动背景图像后的与像点相对应的且不存在折射率场时的物点S被定义为虚拟移动物点。移动背景图像后的与像点相对应的且存在折射率场时的物点S'被定义为实际移动物点。

第二相对偏移量获取子单元114获取实际移动物点S'与虚拟移动物点S的物理坐标位置，基于BOS方法获得实际移动物点S'与虚拟移动物点S之间的相对偏移量(Δx_si,Δy_sj)。

本实施例提供的基于背景纹影技术的透明物体三维表面重建装置，通过找出与像点相对应的且不存在折射率场时的物点及与像点相对应的且存在折射率场时的物点；获取与像点相对应的且不存在折射率场时的物点及与像点相对应的且存在折射率场时的物点之间的相对偏移量；保持像点的位置不变，将背景图像沿准直透镜的主光轴方向移动设定距离，找出移动背景图像后的与像点相对应的且不存在折射率场时的物点及移动背景图像后的与像点相对应的且存在折射率场时的物点；获取移动背景图像后的与像点相对应的且不存在折射率场时的物点及移动背景图像后的与像点相对应的且存在折射率场时的物点之间的相对偏移量。在本实施例中，通过将背景图像沿准直透镜的主光轴方向移动设定距离，找出移动背景图像后的与像点相对应的且不存在折射率场时的物点及移动背景图像后的与像点相对应的且存在折射率场时的物点，从而确定空间偏折角的大小，获取方式简单方便。

进一步地，如图10所示，本实施例提供的基于背景纹影技术的透明物体三维表面重建装置，确定单元12包括：连接子单元121，用于连接实际物点和实际移动物点获取存在折射率场时的光线；以及连接虚拟物点和虚拟移动物点获取不存在折射率场时的光线；交汇子单元122，用于对存在折射率场时的光线和不存在折射率场时的光线进行交汇并形成交汇点，其中，形成的交汇点构成折射率场的折射点；角度值确定子单元123，用于根据获取的实际物点与虚拟物点之间的相对偏移量、实际移动物点与虚拟移动物点之间的相对偏移量及折射率场的折射点，确定空间偏折角的角度值大小。

在本实施例中，连接子单元121通过直线将实际物点P'和实际移动物点S'连接在一起，获取存在折射率场时的光线。通过直线将虚拟物点P和虚拟移动物点S连接在一起，获取存在折射率场时的光线。

请见图1，交汇子单元122对存在折射率场时的光线以及不存在折射率场时的光线进行交汇，在两条光线的交汇处形成交汇点A，此处形成的交汇点A即为折射率场的折射点。

角度值确定子单元123根据获取的实际物点与虚拟物点之间的相对偏移量(Δx_pi,Δy_pj)、实际移动物点与虚拟移动物点之间的相对偏移量(Δx_si,Δy_sj)以及折射率场的折射点A，通过实际测值，确定存在折射率场时的光线和不存在折射率场时的光线两条光线所形成的空间偏折角θ_i,j的角度值大小。

本实施例提供的基于背景纹影技术的透明物体三维表面重建装置，通过连接实际物点和实际移动物点获取存在折射率场时的光线；以及连接虚拟物点和虚拟移动物点获取不存在折射率场时的光线；对存在折射率场时的光线和不存在折射率场时的光线进行交汇并形成交汇点，其中，形成的交汇点构成折射率场的折射点；根据获取的实际物点与虚拟物点之间的相对偏移量、实际移动物点与虚拟移动物点之间的相对偏移量及折射率场的折射点，确定空间偏折角的角度值大小。在本实施例中，通过获取的实际物点与虚拟物点之间的相对偏移量、实际移动物点与虚拟移动物点之间的相对偏移量及折射率场的折射点来确定空间偏折角的角度值大小，获取方式简单方便。

可选地，如图11所示，本实施例提供的基于背景纹影技术的透明物体三维表面重建装置，确定模块30包括：空间坐标确定单元31，用于获取折射点的物理坐标，并依据折射点的物理坐标以及物理坐标与空间坐标的对应关系，确定折射点的空间坐标；计算单元32，用于根据获取的光线从背景图像照射至折射点的方向向量及光线从折射点到准直透镜的方向向量，计算出折射点处切平面的法向量。

根据确定的空间偏折角θ_i,j的角度值大小，计算出折射点A的物理坐标，其中，折射点A的Z轴物理坐标H_ij为：

||P'-P||＝(u₀-H_i,j)tanθ_i,j (3)

其中，表示实际物点P'与虚拟物点P两点之间的距离；u₀表示背景图像距离准直透镜的距离；θ_i,j为空间偏折角。

从公式1中获取折射点A(查问区网格节点i，j)对应的Z轴物理坐标H_ij，，基于查问区网格节点与物理坐标的一一对应关系，确定折射点A的空间坐标(x_pi,y_pj,L+H_i,j)。

根据光线从背景图像照射至折射点A的方向向量及光线从折射点A到准直透镜的方向向量基于Snell定律的空间形式，计算出折射点处切平面的法向量

其中，为光线从折射点到准直透镜的空间方向向量；为光线从背景图像照射至折射点A的方向向量；n代表折射率场的折射率，空气的折射率近似为1。

由于空间方向向量平行于主光轴z轴，为已知量，故可以从公式2中确定折射点处切平面的法向量

本实施例提供的基于背景纹影技术的透明物体三维表面重建装置，通过获取折射点的物理坐标，依据折射点的物理坐标以及物理坐标与空间坐标的对应关系，确定折射点的空间坐标；根据获取的光线从背景图像照射至折射点的方向向量及光线从折射点到准直透镜的方向向量，计算出折射点处切平面的法向量。在本实施例中，能自动计算出折射点的空间坐标和折射点处切平面的法向量，自动化程度高，对透明物体温的三维表面重建速度快。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于背景纹影技术的透明物体三维表面重建方法，应用于折射率场三维表面重建系统中，其特征在于，所述折射率场三维表面重建系统包括依次安装的光源、准直透镜和相机，所述光源用于发出光线并将发出的所述光线透射于所述背景图像的物点上；所述准直透镜用于汇集穿过所述物点和折射率场的折射点后的光线；所述相机用于对所述准直透镜汇集后的光线形成像点；所述基于背景纹影技术的透明物体三维表面重建方法包括步骤：

获取所述光源透射于所述背景图像后所射出的存在所述折射率场时的光线和不存在所述折射率场时的光线所形成的空间偏折角的角度值大小；

根据获取的所述空间偏折角的角度值大小，得出所述光线从所述背景图像照射至所述折射点的方向向量；

根据得出的所述光线从所述背景图像照射至所述折射点的方向向量，确定所述折射点的空间坐标和所述折射点处切平面的法向量；

基于确定的所述折射点的空间坐标和所述折射点处切平面的法向量，对所述折射率场进行三维表面重建。

2.根据权利要求1所述的基于背景纹影技术的透明物体三维表面重建方法，其特征在于，

所述获取所述光源透射于所述背景图像后所射出的存在所述折射率场时的光线和不存在所述折射率场时的光线所形成的空间偏折角的角度值大小的步骤包括：

获取所述像点与不存在所述折射率场时的物点两者之间的对应关系以及所述像点与存在所述折射率场时的物点两者之间的对应关系；

根据获取的所述像点与不存在所述折射率场时的物点两者之间的对应关系以及所述像点与存在所述折射率场时的物点两者之间的对应关系，确定所述空间偏折角的角度值大小。

3.根据权利要求2所述的基于背景纹影技术的透明物体三维表面重建方法，其特征在于，

所述获取所述像点与不存在所述折射率场时的物点两者之间的对应关系以及所述像点与存在所述折射率场时的物点两者之间的对应关系的步骤包括：

找出与所述像点相对应的且不存在所述折射率场时的物点及与所述像点相对应的且存在所述折射率场时的物点，其中，与所述像点相对应的且不存在所述折射率场时的物点称为虚拟物点，与所述像点相对应的且存在所述折射率场时的物点称为实际物点；

获取所述实际物点与所述虚拟物点之间的相对偏移量；

保持所述像点的位置不变，将所述背景图像沿所述准直透镜的主光轴方向移动设定距离，找出移动所述背景图像后的与所述像点相对应的且不存在所述折射率场时的物点及移动所述背景图像后的与所述像点相对应的且存在所述折射率场时的物点，其中，所述移动所述背景图像后的与所述像点相对应的且不存在所述折射率场时的物点称为虚拟移动物点，所述移动所述背景图像后的与所述像点相对应的且存在所述折射率场时的物点称为实际移动物点；

获取所述实际移动物点与所述虚拟移动物点之间的相对偏移量。

4.根据权利要求3所述的基于背景纹影技术的透明物体三维表面重建方法，其特征在于，

所述根据获取的所述像点与不存在所述折射率场时的物点两者之间的对应关系以及所述像点与存在所述折射率场时的物点两者之间的对应关系，确定所述空间偏折角的角度值大小的步骤包括：

连接所述实际物点和所述实际移动物点获取存在所述折射率场时的光线；以及连接所述虚拟物点和所述虚拟移动物点获取不存在所述折射率场时的光线；

对存在所述折射率场时的光线和不存在所述折射率场时的光线进行交汇并形成交汇点，其中，形成的所述交汇点构成所述折射率场的折射点；

根据获取的所述实际物点与所述虚拟物点之间的相对偏移量、所述实际移动物点与所述虚拟移动物点之间的相对偏移量及所述折射率场的折射点，确定所述空间偏折角的角度值大小。

5.根据权利要求4所述的基于背景纹影技术的透明物体三维表面重建方法，其特征在于，

所述根据得出的所述光线从所述背景图像照射至所述折射点的方向向量，确定所述折射点的空间坐标和所述折射点处切平面的法向量的步骤包括：

获取所述折射点的物理坐标，并依据所述折射点的物理坐标以及所述物理坐标与空间坐标的对应关系，确定所述折射点的空间坐标；

根据获取的所述光线从所述背景图像照射至所述折射点的方向向量及所述光线从所述折射点到所述准直透镜的方向向量，计算出所述折射点处切平面的法向量。

6.一种基于背景纹影技术的透明物体三维表面重建装置，其特征在于，所述折射率场三维表面重建系统包括依次安装的光源、准直透镜和相机，所述光源用于发出光线并将发出的所述光线透射于所述背景图像的物点上；所述准直透镜用于汇集穿过所述物点和折射率场的折射点后的光线；所述相机用于对所述准直透镜汇集后的光线形成像点；所述基于背景纹影技术的透明物体三维表面重建装置包括：

角度获取模块(10)，用于获取所述光源透射于所述背景图像后所射出的存在所述折射率场时的光线和不存在所述折射率场时的光线所形成的空间偏折角的角度值大小；

向量获取模块(20)，用于根据获取的所述空间偏折角的角度值大小，得出所述光线从所述背景图像照射至所述折射点的方向向量；

确定模块(30)，用于根据得出的所述光线从所述背景图像照射至所述折射点的方向向量，确定所述折射点的空间坐标和所述折射点处切平面的法向量；

三维重建模块(40)，用于基于确定的所述折射点的空间坐标和所述折射点处切平面的法向量，对所述折射率场进行三维表面重建。

7.根据权利要求6所述的基于背景纹影技术的透明物体三维表面重建装置，其特征在于，

所述角度获取模块(10)包括：

物点获取单元(11)，用于获取所述像点与不存在所述折射率场时的物点两者之间的对应关系以及所述像点与存在所述折射率场时的物点两者之间的对应关系；

确定单元(12)，用于根据获取的所述像点与不存在所述折射率场时的物点两者之间的对应关系以及所述像点与存在所述折射率场时的物点两者之间的对应关系，确定所述空间偏折角的角度值大小。

8.根据权利要求7所述的基于背景纹影技术的透明物体三维表面重建装置，其特征在于，

所述物点获取单元(11)包括：

物点搜索子单元(111)，用于找出与所述像点相对应的且不存在所述折射率场时的物点及与所述像点相对应的且存在所述折射率场时的物点，其中，与所述像点相对应的且不存在所述折射率场时的物点称为虚拟物点，与所述像点相对应的且存在所述折射率场时的物点称为实际物点；

第一相对偏移量获取子单元(112)，用于获取所述实际物点与所述虚拟物点之间的相对偏移量；

移动搜索子单元(113)，用于保持所述像点的位置不变，将所述背景图像沿所述准直透镜的主光轴方向移动设定距离，找出移动所述背景图像后的与所述像点相对应的且不存在所述折射率场时的物点及移动所述背景图像后的与所述像点相对应的且存在所述折射率场时的物点，其中，所述移动所述背景图像后的与所述像点相对应的且不存在所述折射率场时的物点称为虚拟移动物点，所述移动所述背景图像后的与所述像点相对应的且存在所述折射率场时的物点称为实际移动物点；

第二相对偏移量获取子单元(114)，用于获取所述实际移动物点与所述虚拟移动物点之间的相对偏移量。

9.根据权利要求8所述的基于背景纹影技术的透明物体三维表面重建装置，其特征在于，

所述确定单元(12)包括：

连接子单元(121)，用于连接所述实际物点和所述实际移动物点获取存在所述折射率场时的光线；以及连接所述虚拟物点和所述虚拟移动物点获取不存在所述折射率场时的光线；

交汇子单元(122)，用于对存在所述折射率场时的光线和不存在所述折射率场时的光线进行交汇并形成交汇点，其中，形成的所述交汇点构成所述折射率场的折射点；

角度值确定子单元(123)，用于根据获取的所述实际物点与所述虚拟物点之间的相对偏移量、所述实际移动物点与所述虚拟移动物点之间的相对偏移量及所述折射率场的折射点，确定所述空间偏折角的角度值大小。

10.根据权利要求9所述的基于背景纹影技术的透明物体三维表面重建装置，其特征在于，

所述确定模块(30)包括：

空间坐标确定单元(31)，用于获取所述折射点的物理坐标，依据所述折射点的物理坐标以及所述物理坐标与空间坐标的对应关系，确定所述折射点的空间坐标；

计算单元(32)，用于根据获取的所述光线从所述背景图像照射至所述折射点的方向向量及所述光线从所述折射点到所述准直透镜的方向向量，计算出所述折射点处切平面的法向量。