CN108810327B - 一种反射变换智能成像系统 - Google Patents

Abstract

本发明公开了一种反射变换智能成像系统，属于计算机视觉技术领域，该成像系统包括穹顶照明灯及其电动升降支架、相机及其粗微调升降支架、底座、控制机箱、电脑、控制程序和处理软件，通过所述粗微调升降支柱上的安装槽连接相机，相机可以沿粗微调升降支柱上、下移动；底座上设置有滑台支架，通过支架的固定槽安装有升降滑台，通过升降滑台一侧连接穹顶罩，穹顶罩顶部留有拍摄孔，穹顶罩内侧表面均匀布置有几十盏照明灯。本发明设计完成了一套能够自动拍摄和处理系列图像的反射变换成像智能系统，可以实现一键完成反射变换成像的全过程，系统中还包括自动矫正反射变换成像技术固有误差的程序。

Description

一种反射变换智能成像系统

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种反射变换智能成像系统。

背景技术

反射变换成像(Reflectance Transformation Imaging，缩写RTI)技术是一种计算机视觉技术，它基于数字摄影和表面反射成像模型，记录和处理被摄物体的颜色信息和表面纹理信息。该技术由惠普公司实验室的两位科学家汤姆·马尔兹本德(TomMalzbender)和丹·盖尔布(Dan Gelb)发明。利用RTI技术可以获取物体表面的法线、形状和颜色数据，从而揭示丰富的物体表面纹理信息，操作者可以通过软件实现人机交互再现任意角度入射光线在物体表面的成像效果，而这些信息往往通过传统摄影方法难以发现。

反射变换成像技术在国内很少使用，未见国内有相似软件和硬件系统的报道。国外已有能够实现自动控制光源和照片捕获的商品，被称为“穹顶光源”(Dome)。它们只是用于反射变换技术所需系列照片的自动拍摄，只能在拍摄阶段提高效率，所获得的系列照片需要人工输入处理软件，拍摄和后期处理分开进行，非智能化，且耗时较长。作为穹顶光源，它们也存在一些缺陷：1、穹顶不能根据被摄物的高度调节，或者可调节但调节不方便，需要手动实现；2、需要另行控制和调节相机拍摄参数，自动化程度低。3、有文献表明，国外个别研究机构也在研发反射变换自动成像系统，但未见固有法线误差矫正的报道。运用反射变换成像技术需要在相机和被摄物之间的半球面上不同位置布光，从不同角度照射被摄物，拍摄获得系列照片之后，运用软件计算和处理被摄物表面的颜色、反射率和法线数据，从而实现多种模式的影像重现。

发明内容

有鉴于此，本发明设计完成了一套能够自动拍摄和处理系列图像的反射变换智能成像系统，可以实现一键完成反射变换成像的全过程，系统中还包括自动矫正反射变换成像技术固有误差的程序。

本发明通过以下技术手段解决上述问题：

一种反射变换成像智能系统，包括穹顶照明灯及其电动升降支架、相机及其粗微调升降支柱、底座、控制机箱、电脑、控制程序和处理软件，通过所述粗微调升降支柱上的安装槽连接相机，所述相机可以沿所述粗微调升降支柱上、下移动；所述底座上设置有支架，通过支架的固定槽安装有升降滑台，通过升降滑台一侧连接穹顶罩，所述穹顶罩顶部留有拍摄孔，所述穹顶罩内侧表面均匀布置有几十盏照明灯，所述穹顶照明灯和所述升降滑台均与所述控制机箱连接，所述穹顶照明灯及其电动升降支架、相机及其粗微调升降支架和所述控制机箱均由所述控制程序和处理软件控制。

进一步的，所述穹顶罩为多层环形叠合结构，所述穹顶罩由两侧的穹顶连接杆安装在所述升降滑台的侧面。

进一步的，所述底座的一侧还设置有数控接口，所述数控接口连接控制机箱，所述控制机箱内部设置有步进电机驱动器、照明灯驱动电路、电源适配器，所述步进电机驱动器连接所述步进电机与电源之间，所述照明灯驱动电路连接在照明灯组与电源之间。

进一步的，所述升降滑台选用Sigma KOKI SGSP系列电动滑台，所述粗微调升降支柱选用徕卡粗微调聚焦立柱。

进一步的，所述电脑的控制软件包括控制穹顶罩的升降和复位功能、相机控制面板、光源控制面板和RTI控制面板。

进一步的，所述电脑采用固有法线误差的自动矫正的方法，通过对每个像素上的辐照方向矫正实现固有法线误差的最小化。

本发明的一种反射变换成像智能系统具有以下有益效果：

本发明设计完成了一套能够自动拍摄和处理系列图像的反射变换成像智能系统，可以实现一键完成反射变换成像的全过程，系统中还包括自动矫正反射变换成像技术固有误差的程序。

本发明提供的一种反射变换成像智能系统具有如下技术特点：1、穹顶光源的外形为多层环形叠合设计，节省整体加工半球的原材料和工序；2、自动获得反射变换影像的方法(包括软、硬件)；3、固有法线误差的自动矫正的方法和软件程序。固有法线误差是指反射变换成像技术本身所造成的法线计算误差，因为每张照片只有一个辐照方向，这个辐照方向用于计算照片中每个像素的法向量，但是照片有一定的面积，不同位置的像素的实际辐照方向偏离了这个共享的辐照方向，因此造成的法线误差，光距越近，这个误差越大。在有限的光距范围内，利用软件进行误差矫正是最小化误差的最佳方法，本发明通过对每个像素上的辐照方向矫正实现固有法线误差的最小化。

因此，本发明具有如下优点及功效：1、本设计大大提高运用反射变换成像技术的工作效率；2、自动化程度高，使用简便，易于推广，使用人员不需具备计算机视觉、数字图像处理等专业知识；3、固有法线误差的自动矫正程序，使获得的反射变换影像的法线数据误差最小化，提高法线数据的准确性；4、可以灵活控制光源系统，选择任意一个灯或多个灯，实现多种不同的光位和光效；5、穹顶多层环形叠合的设计，节省了直接整体加工半球的原材料和工序。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种反射变换智能成像系统的结构示意图；

图2是本发明一种反射变换智能成像系统的主视图；

图3是本发明一种反射变换智能成像系统的侧视图；

图4是本发明一种反射变换智能成像系统的仰俯视图；

图5是本发明一种反射变换智能成像系统的俯视图；

图6是本发明一种反射变换成像智能系统的流程图

图7是本发明一种反射变换成像智能系统主体的电脑操控系统界面。

其中，1-滑台架，2-穹顶灯罩，3-升降滑台，4-相机，5-底座，6-微调旋钮，7-粗调旋钮，8-支架，9-数控接口，10-相机连接杆，11-穹顶连接杆，12-LED灯。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

以下将结合附图对本发明进行详细说明。

如图1、2、3、4所示，一种反射变换成像智能系统，包括底座5以及设置在所述底座5之上的支架8，所述支架8上设置有滑轨和安装槽，通过支架8上的滑轨和安装槽连接有可以沿支架8上、下移动的粗微调升降支架(6、7)，所述粗微调升降支架(6、7)的一端固定有相机4；所述底座5上设置有电动升降支架1，所述电动升降支架1的一侧设置有升、降齿轨和固定槽，通过电动升降支架1的固定槽安装有升降滑台3，所述升降滑台3内部步进电机的转轴上设置有与升、降齿轨配合工作的齿轮，所述升降滑台3靠近支架8的一侧还连接设置有穹顶罩2，所述穹顶罩2顶部留有拍摄孔，所述穹顶罩2内侧表面均匀布置有照明灯12，照明灯12布局如图4所示。

具体的如图5所示，所述穹顶罩2为多层环形叠合结构，所述穹顶罩2由两侧的穹顶连接杆11安装在所述升降滑台3的侧面。

具体的，所述粗微调升降支架(6、7)的两端设置有微调旋钮和粗调旋钮，所述微调旋钮的一端设置有微调旋钮齿轮，所述粗调旋钮的一端设置有粗调旋钮齿轮，所述微调旋钮齿轮、粗调旋钮齿轮均与滑轨内部设置的齿轨配合工作；所述粗微调升降支架(6、7)与相机4之间设置有水平相机连接杆10。

如图1、2、3所示，所述底座的一侧还设置有数控接口，所述数控接口连接控制机箱，所述控制机箱内部设置有步进电机驱动器、照明灯驱动电路、电源适配器，所述步进电机驱动器连接所述步进电机与电源之间，所述照明灯驱动电路连接在照明灯组与电源之间。具体的连接方式为每颗LED连接一个LED驱动电路，所有LED和LED驱动器组成一个LED灯组，LED灯组驱动电路与之连接，LED可以选用普瑞45mil型LED、LED驱动电路可以选用AMC7135型恒流驱动器，LED灯组驱动电路可选用阵列扫描方式，也可选用串行总线寻址方式。

具体的，所述升降滑台选用Sigma KOKI SGSP系列电动滑台，所述粗微调升降支柱选用徕卡粗微调聚焦立柱。需要说明的是，可以根据实际情况灵活选择步进电机驱动器、LED驱动电路和LED灯组驱动电路，具体的LED可以选用普瑞45mil型LED、LED驱动电路可以选用AMC7135型恒流驱动器，LED灯组驱动电路可选用阵列扫描方式，也可选用串行总线寻址方式。所述步进电机驱动器可以选用TB6600型电机驱动器，LED驱动电路还可以选用OP-QD3WLED-C型恒流驱动器，同时还可以根据实际情况选择匹配RXM2AB2F7型LED继电器。

如图1所述，系统还包括电脑，所述电脑通过USB接口与所述相机4和控制机箱连接。具体的，所述电脑的控制软件包括控制穹顶罩2的升降和复位功能、相机4控制面板、光源控制面板和RTI控制面板，如图6所示。具体的，所述电脑采用固有法线误差的自动矫正的方法，通过对每个像素上的辐照方向矫正实现固有法线误差的最小化，本发明使用控制程序的如下：

软件程序控制相机和穹顶光源，自动完成RTI的拍摄和计算过程。相机使用佳能EOS单反相机，拍摄过程中利用佳能官方提供的SDK控制相机，用户通过用户界面进行相机多种参数调整和拍摄等操作。穹顶光源上的众多固定位置的照明灯的开闭控制、亮度调整和穹顶罩的升降控制等是通过USB HID协议进行。

反射变换成像智能系统的处理软件包括：

1.设置相机参数

在开始RTI拍摄前，用户可以通过互交界面对相机参数，软件通过佳能SDK按照用户需求配置相机多种参数。

2.设置RTI选项

设置RTI算法和多种模式。

3.选择一组光位

穹顶光源内设众多灯位，软件设计多种光位模板供用户选择，这些光位模板中定义了若干个灯位，拍摄时将自动点亮和关闭所选模板中的灯位。用户还可以自己编辑、新建光位模板，根据需要增加、删减灯位。

4.获取一个灯位

从用户选择的光位模板中获取一个灯位的信息。

5.点亮该灯位

软件通过USB HID协议向穹顶光源发送命令，命令点亮该灯位。

6.拍照

软件通过佳能SDK控制佳能相机快门开闭，并存储图像到指定的工程目录。

7.自动筛选图像

该环节中软件对拍摄的一系列图像进自动筛选，通过该筛选可以剔除影响RTI计算的此类图像。主要分为以下两个子环节：

1.该子环节根据图像中的特征点对图像进行配准，移除各种原因造成的非配准图像。

2.该子环节根据图像整体、局部亮度进行筛选，移除曝光不足和投影掩盖被摄主体的图像。

该环节中每个子环节是可选的，用户可以在软件的首选项中进行使能、禁用。

8.生成lp文件

软件依据用户选择的光位模板，计算每个灯位的辐照向量，生成lp文件。在生成lp文件之前，用户可以选择浏览拍摄的图像，并且移除某张或部分拍摄不理想的图像，或者恢复上一个环节中误剔除的图像。移除的图像将不添加到lp文件，进而不参与RTI计算，使RTI的获得最佳的拍摄效果。

9.RTI计算

根据lp文件和用户指定的RTI选项进行RTI计算。

本发明的固有法线误差矫正包括如下步骤：原始RTI拍摄过程利用穹顶光源，已知穹顶光源的灯位坐标(到穹顶球心的向量即辐照向量)，用光位(light position，缩写lp)文件存储了辐照向量信息，最后将lp文件用以计算形成RTI。RTI用一个半球谐函数描述图像中每一个像素亮度与辐照方向的关系，记为l_n＝f(l_un,l_vn)，称作该像素点的反射模型，RTI的核心算法为HSHfitter。

f(l_u1,l_v1)＝l₁

f(l_u2,l_v2)＝l₂

...

f(l_un,l_vn)＝l_n

其中，误差来源包括如下内容：固有法线误差是指反射变换成像技术本身所造成的法线计算误差。因为对于一张照片只有一个光位，照片中每个像素点使用同一个辐照向量作为输入进行反射模型的计算。若使用平行光作为拍摄的光源，图像中每个像素的辐照方向和相片的辐照方向一致。实际应用中，较大面积的平行光源难以获取，RTI技术的拍摄通常使用点光源。当使用点光源照明时，图像上每个像素实际的辐照方向不是一向的，距离穹顶中心越远，偏差越大，因此计算出的反射模型是有误差，随即造成法线计算的误差。在有限的光距范围内，利用软件进行误差矫正是最小化误差的最佳方法，本发明通过对每个像素上的辐照方向矫正实现固有法线误差的最小化。

矫正原理包括如下内容：通过求出每个像素点的真实辐照方向，可以减小反射模型计算时的输入误差。求得每个像素点真实辐照向量，需要已知像素长度到真实世界中的比例s，和穹顶光源的半径r。

记光位坐标为(X_n,Y_n,Z_n)，由公式(1)求得

记待求像素坐标为(u,v)，穹顶中心在图像中的坐标为(u₀,v₀)，待求像素在真实世界中坐标为(x^(u,v),y^(u,v),z^(u,v))，由公式(2)求得

记待求像素的真实辐照向量为由公式(3)求得

需要说明的是，相机4控制面板的功能包括：

1.对相机4光圈、快门、感光度和图像质量等参数的设置；

2.开启、关闭相机4的EVF功能，在用户界面实时预览相机4的影像；

3.在EVF模式下通过鼠标缩放、拖动相机4预览画面；

4.控制相机4拍照影像存储在用户设定的位置。

其中，光源控制面板的功能包括：

1.开启、关闭穹顶光源中单个或多个LED12，并在用户界面中显示具体光位和灯数；

2.通过点亮多个LED12和穹顶的升降实现在一定角度范围内可自由调节的环形光、侧光和面光源；

3.控制穹顶上下调节，回归到初始位置、标准位置。

进一步的，反射变换成像控制面板的功能：

1.编辑、保存、打开RTI拍摄的灯位数据；

2.建立RTI项目文件，自动完成RTI的拍摄和处理；

3.打开已有的RTI文件，对未完成的RTI项目继续操作或对已完成的RTI项目进行再次操作。

具体的，附加软件插件包括如下功能：

1.穹顶光源自动升降和复位插件

2.RTI实时预览插件(实时预览拍摄物法线数据)

3.RTI分析插件(反射率分析、3D重建、高/深度分析等)

4.固有法线误差矫正插件(矫正每个像素上光位偏差造成的法线误差)

本发明的一种反射变换成像智能系统具有以下有益效果：

本发明设计完成了一套能够自动拍摄和处理系列图像的反射变换成像智能系统，可以实现一键完成反射变换成像的全过程，系统中还包括自动矫正反射变换成像技术固有误差的程序。本发明提供的一种反射变换成像智能系统具有如下技术特点：1、穹顶光源的外形为多层环形叠合设计，节省整体加工半球的原材料和工序；2、自动获得反射变换影像的方法(包括软、硬件)；3、固有法线误差的自动矫正的方法和软件程序。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种反射变换成像智能系统，包括穹顶照明灯及其电动升降支架、相机及其粗微调升降支柱、底座、控制机箱、电脑、控制程序和处理软件，通过所述粗微调升降支柱上的安装槽连接相机，所述相机可以沿所述粗微调升降支柱上、下移动；所述底座上设置有支架，通过支架的固定槽安装有升降滑台，通过升降滑台一侧连接穹顶罩，所述穹顶罩顶部留有拍摄孔，所述穹顶罩内侧表面均匀布置有几十盏照明灯，所述穹顶照明灯和所述升降滑台均与所述控制机箱连接，所述穹顶照明灯及其电动升降支架、相机及其粗微调升降支架和所述控制机箱均由所述控制程序和处理软件控制；

所述电脑采用固有法线误差的自动矫正的方法，通过对每个像素上的辐照方向矫正实现固有法线误差的最小化，包括：

记光位坐标为(X_n,Y_n,Z_n)，通过求出每个像素点的真实辐照方向，求得每个像素点真实辐照向量，需要已知像素长度到真实世界中的比例s和穹顶光源的半径r，由公式(1)求得

记待求像素坐标为(u,v)，穹顶中心在图像中的坐标为(u₀,v₀)，待求像素在真实世界中坐标为(x^(u,v),y^(u,v),z^(u,v))，由公式(2)求得

记待求像素的真实辐照向量为由公式(3)求得

原始RTI拍摄过程利用穹顶光源，已知穹顶光源的灯位坐标，用光位文件存储了辐照向量信息，最后将lp文件用以计算形成RTI，RTI用一个半球谐函数描述图像中每一个像素亮度与辐照方向的关系，记为l_n＝f(l_un,l_vn)，称作该像素点的反射模型，n为第n个像素，RTI的核心算法为HSHfitter；f(l_u1,l_v1)＝l₁，f(l_u2,l_v2)＝l₂，...，f(l_un,l_vn)＝l_n。

2.根据权利要求1所述的反射变换成像智能系统，其特征在于，所述穹顶罩为多层环形叠合结构，所述穹顶罩由两侧的穹顶连接杆安装在所述升降滑台的侧面。

3.根据权利要求1所述的反射变换成像智能系统，其特征在于，所述底座的一侧还设置有数控接口，所述数控接口连接控制机箱，所述控制机箱内部设置有步进电机驱动器、照明灯驱动电路、电源适配器，所述步进电机驱动器连接所述步进电机与电源之间，所述照明灯驱动电路连接在照明灯组与电源之间。

4.根据权利要求1所述的反射变换成像智能系统，其特征在于，所述升降滑台选用Sigma KOKI SGSP系列电动滑台，所述粗微调升降支柱选用徕卡粗微调聚焦立柱。

5.根据权利要求1所述的反射变换成像智能系统，其特征在于，所述电脑的控制软件包括控制穹顶罩的升降和复位功能、相机控制面板、光源控制面板和RTI控制面板。