CN107256540B - 图像修复方法、装置及三维重建系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，提供一种图像修复方法、装置及三维重建系统，所述方法包括：获取摄像装置采集的原始图像，其中，原始图像为覆盖有正弦光栅的被测物体的图像；计算原始图像中每个像素点的光强调制值；根据每个像素点的光强调制值，确定原始图像中的误差区域；根据误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像。本发明无需额外建立模型，通过对每个误差像素点进行灰度值校正来实现误差区域的修复，可以有效减少现有的相位测量轮廓术中的多路径误差，得到更准确的三维重建结果。

Description

图像修复方法、装置及三维重建系统

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像修复方法、装置及三维重建系统。

背景技术

相位测量轮廓术(phase measuring profilometry，PMP)是指利用相位的时间域编码生成多幅投射的图案，通过投影仪将这一系列图案投射到被测物体的表面，再由摄像机捕捉被测物体表面的反射信息，然后计算出被测物体的三维坐标，就完成了被测物体的三维重建。

在相位测量轮廓术中，当被测目标存在反射率变化剧烈的区域时，由于摄像机的图像采集是一个积分过程，而摄像机的每个积分单元具有一定的尺寸，使得摄像机内部积分单元的尺寸不可能无限小，所以当每个积分单元将光信号转换为电信号时，每个像素点会包含其邻域内其他像素点的光信息，这就是多路径效应。多路径效应会导致摄像机的采集信息不准确，从而影响被测物体的三维重建结果。

发明内容

本发明的目的在于提供一种图像修复方法、装置及三维重建系统，用以改善上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明提供了一种图像修复方法，应用于三维重建系统。所述三维重建系统包括被测物体、摄像装置、投影装置和计算机，摄像装置和投影装置均与计算机电连接，被测物体设置于摄像装置能够采集及投影装置能够投影的范围内。所述方法包括：获取摄像装置采集的原始图像，其中，原始图像为覆盖有正弦光栅的被测物体的图像；计算原始图像中每个像素点的光强调制值；根据每个像素点的光强调制值，确定原始图像中的误差区域；根据误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像，其中，校正图像为摄像装置采集的原始图像之外的多帧图像，且摄像装置采集原始图像和校正图像时，投影装置的投影频率是固定的。

第二方面，本发明提供了一种图像修复装置，应用于三维重建系统。所述三维重建系统包括被测物体、摄像装置、投影装置和计算机，摄像装置和投影装置均与计算机电连接，被测物体设置于摄像装置能够采集及投影装置能够投影的范围内。所述图像修复装置包括原始图像获取模块、光强调制值计算模块、误差区域确定模块及图像修复模块。其中，原始图像获取模块，用于获取摄像装置采集的原始图像，其中，原始图像为覆盖有正弦光栅的被测物体的图像；光强调制值计算模块，用于计算原始图像中每个像素点的光强调制值；误差区域确定模块，用于根据每个像素点的光强调制值，确定原始图像中的误差区域；图像修复模块，用于根据误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像，其中，校正图像为摄像装置采集的原始图像之外的多帧图像，且摄像装置采集原始图像和校正图像时，投影装置的投影频率是固定的。

第三方面，本发明提供了一种三维重建系统，包括被测物体、摄像装置、投影装置和计算机。摄像装置和投影装置均与计算机电连接，被测物体设置于摄像装置能够采集及投影装置能够投影的范围内。所述计算机包括存储器、处理器、以及图像修复装置，所述图像修复装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组。所述图像修复装置包括原始图像获取模块、光强调制值计算模块、误差区域确定模块及图像修复模块。其中，原始图像获取模块，用于获取摄像装置采集的原始图像，其中，原始图像为覆盖有正弦光栅的被测物体的图像；光强调制值计算模块，用于计算原始图像中每个像素点的光强调制值；误差区域确定模块，用于根据每个像素点的光强调制值，确定原始图像中的误差区域；图像修复模块，用于根据误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像，其中，校正图像为摄像装置采集的原始图像之外的多帧图像，且摄像装置采集原始图像和校正图像时，投影装置的投影频率是固定的。

相对现有技术，本发明具有以下有益效果：本发明提供的一种图像修复方法、装置及三维重建系统，首先，通过原始图像中每个像素点的光强调制值来确定原始图像中的误差区域，可以很准确地确定出受多路径效应影响的区域，且操作简单；其次，根据误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像，本发明无需额外建立模型，通过对每个误差像素点进行灰度值校正来实现误差区域的修复，可以有效减少现有的相位测量轮廓术中的多路径误差，得到更准确的三维重建结果。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的三维重建系统的方框示意图。

图2示出了本发明实施例提供的计算机的方框示意图。

图3示出了本发明实施例提供的图像修复方法流程图。

图4为图3示出的步骤S103的子步骤流程图。

图5为图3示出的步骤S104的子步骤流程图。

图6为图5示出的子步骤S1043的子步骤流程图。

图7为图5示出的子步骤S1044的子步骤流程图。

图8示出了利用图3所示的方法进行图像修复的实验信息。

图9为图8中的被测目标修复前和修复后的三维重建结果信息。

图10为图9中图像修复前后相位误差曲线图。

图11示出了本发明较佳实施例提供的图像修复装置的方框示意图。

图12为图11示出的图像修复装置中误差区域确定模块的方框示意图。

图13为图11示出的图像修复装置中图像修复模块的方框示意图。

图14为图13示出的图像修复模块中第一校正图像确定单元的方框示意图。

图15为图13示出的图像修复模块中灰度值确定单元的方框示意图。

图标：100-三维重建系统；110-被测物体；120-投影装置；130-摄像装置；140-计算机；141-存储器；142-存储控制器；143-处理器；200-图像修复装置；201-原始图像修复模块；202-光强调制值计算模块；203-误差区域确定模块；2031-第一获取单元；2032-第二获取单元；2033-第一执行单元；2034-第二执行单元；204-图像修复模块；2041-误差像素点获取单元；2042-基准点获取单元；2043-第一校正图像确定单元；20431-第一子执行单元；20432-第二子执行单元；2044-灰度值确定单元；20441-第三子执行单元；20442-第四子执行单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，图1示出了本发明实施例提供的一种三维重建系统100的结构示意图。三维重建系统100包括被测物体110、投影装置120、摄像装置130及计算机140，摄像装置130和投影装置120均与计算机140电连接，被测物体110设置于摄像装置130能够采集及投影装置120能够投影的范围内，也就是说，被测物体110在投影装置120的视场和摄像装置130的视场内。

在本发明实施例中，被测物体110可以是用于进行三维重建的物体，可以是二维物体或者是三维物体。

在本发明实施例中，投影装置120可以是，但不限于投影仪。例如，投影装置120可以是目前常见的CASIO XJ-A155V DLP投影仪，该投影仪的缓存帧大小为800ⅹ600像素，最大输出频率为150帧/秒。

在本发明实施例中，摄像装置130可以是，但不限于数字摄像机。例如，摄像装置130可以是Prosilica GC650工业摄像头，分辨率为640ⅹ480像素，最大捕捉频率为62帧/秒。

请参照图2，图2示出了本发明实施例提供的计算机140的方框示意图。计算机140可以是台式电脑或者笔记本电脑等，其包括图像修复装置200、存储器141、存储控制器142和处理器143。

所述图像修复装置200、存储器141、存储控制器142和处理器143各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图像修复装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器141中或固化在所述计算机140的操作系统(operating system，OS)中的软件功能模块。所述处理器143用于执行存储器141中存储的可执行模块，例如所述图像修复装置200包括的软件功能模块或计算机程序。

其中，存储器141可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器141用于存储程序，所述处理器143在接收到执行指令后，执行所述程序，本发明任一实施例揭示的流程定义的服务器所执行的方法可以应用于处理器143中，或者由处理器143实现。

处理器143可以是一种集成电路芯片，具有信号处理能力。上述的处理器143可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器143也可以是任何常规的处理器等。

第一实施例

请参照图3，图3示出了本发明实施例提供的图像修复方法流程图。图像修复方法包括以下步骤：

步骤S101，获取摄像装置采集的原始图像，其中，原始图像为覆盖有正弦光栅的被测物体的图像。

在本发明实施例中，投影装置120将正弦光栅投影到被测物体110上，原始图像可以为被测物体110覆盖有正弦光栅时，摄像装置130所采集的被测物体110的图像，正弦光栅可以是投影装置120投影到被测物体110上的编码图案。多路径效应产生于摄像装置130的采样过程，采样的结果即原始图像，而摄像装置130成像的实际像素灰度值

是真实灰度值

和点扩散函数h(x^c,y^c)的卷积，用下式表示：

其中，(x^c,y^c)是摄像装置130采集的原始图像的像素点坐标。

利用摄像装置130采集的原始图像计算的相位表示为：

其中，N表示同一频率正弦光栅的投影数量，n表示正弦光栅的相移指数。因此，摄像装置130的多路径效应会造成原始图像的灰度值不准确，这样相位计算就会出现误差，从而导致三维重建的结果不准确。

由摄像装置130的多路径效应引入的相位误差表达式为：

其中，

表示利用摄像装置130采集的原始图像计算得到的理想相位值，α_c是原始图像中像素点的理想反射率，从上式可以看出，相位误差和被测物体110表面的反射率有关。当投影装置120沿Y方向扫描被测物体110时，与反射率相关的相位误差表达式为：

其中，α_c1～α_c9表示一个邻域内像素点的反射率，按从左到右，从上到下的顺序排列；

是Y方向相邻像素的理想相位之差。从上式可以看到，多路径效应对相位的影响主要出现在反射率变化剧烈的区域，当被测物体110表面存在反射率变化剧烈的区域时，这些区域的灰度值会出现严重的偏差，从而导致三维重建的结果不准确，因此，需要找出反射率变化剧烈的区域，并且对这一区域的灰度值进行校正。

步骤S102，计算原始图像中每个像素点的光强调制值。

在本发明实施例中，利用光强调制法检测原始图像中每个像素点，从而确定出原始图像中受多路径效应影响的区域。光强调制值B^c的表达式为：

其中，(x^c,y^c)是摄像装置130采集的原始图像的像素点坐标，N表示同一频率正弦光栅的投影数量，n表示正弦光栅的相移指数。

步骤S103，根据每个像素点的光强调制值，确定原始图像中的误差区域。

在本发明实施例中，计算出原始图像中每个像素点的光强调制值之后，确定原始图像中的误差区域的方法可以是，但不限于：对每个像素点的光强调制值做行间的差分操作，得到光强调制差值；由于光强调制值和被测物体110表面反射率的值成正比，因此通过设定第一预设值就可以确定出原始图像中的误差区域，也就是反射率变化剧烈的区域；当一个像素点的光强调制差值的绝对值大于或等于第一预设值时，该像素点就是误差区域中的像素点。

第一预设值可以是通过大量原始图像的图像修复结果而预先设置的，例如，对多帧原始图像的误差区域的进行灰度值校正，当校正至多帧原始图像的灰度值均恢复时记录此时误差区域的光强调制值，然后对所有记录的误差区域的光强调制值进行算术平均，由此将得到的光强调制值平均值作为第一预设值。在本发明实施例中，第一预设值的取值为10。

在本发明实施例中，摄像装置130的多路径效应类似于3×3的平滑掩模，也就是原始图像中误差区域的大小为3×3，因此，误差区域的误差像素点的灰度值使用3×3区域以外的非误差点的灰度值进行修复。

请参照图4，步骤S103还包括以下子步骤：

子步骤S1031，获取第一像素点的光强调制值，其中，第一像素点为原始图像中的任意一个像素点。

在本发明实施例中，获取原始图像中第一像素点的光强调制值B^c(x^c,y^c)，第一像素点为原始图像中的任意一个像素点。

子步骤S1032，获取第二像素点的光强调制值，其中，第一像素点和第二像素点相邻，且具有相同的列坐标。

在本发明实施例中，获取第二像素点的光强调制值B^c(x^c+1,y^c)，在原始图像中按照从上到下的顺序，第二像素点位于第一像素点的下一行，第二像素点和第一像素点具有相同的列坐标。

子步骤S1033，对第一像素点的光强调制值和第二像素点的光强调制值进行差分操作，得到光强调制差值。

在本发明实施例中，得到第一像素点的光强调制值B^c(x^c,y^c)和第二像素点的光强调制值B^c(x^c+1,y^c)之后，对B^c(x^c,y^c)和B^c(x^c+1,y^c)进行差分操作，得到光强调制差值B(x^c,y^c)，其中，B(x^c,y^c)＝B^c(x^c,y^c)-B^c(x^c+1,y^c)。

子步骤S1034，当光强调制差值的绝对值大于或等于第一预设值时，第一像素点为构成所述误差区域的误差像素点。

在本发明实施例中，当B(x^c,y^c)的绝对值大于或等于第一预设值时，第一像素点为构成所述误差区域的误差像素点，第一预设值的取值为10。

步骤S104，根据误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像，其中，校正图像为摄像装置采集的原始图像之外的多帧图像，且摄像装置采集原始图像和校正图像时，投影装置的投影频率是固定的。

在本发明实施例中，由于在PMP中被测物体110被正弦光栅覆盖，因此误差区域的实际灰度值是有误差的灰度值覆盖上了相移的正弦光栅。而对误差区域的每个误差像素点进行灰度值校正时，需要对原始图像中被测物体110的灰度值进行校正，对正弦光栅的灰度值进行保留，因此，可以设置每个误差像素点对应的正弦光栅的光栅点为基准点，通过每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，来得到修复图像。

在本发明实施例中，当投影装置120投射同一频率的正弦光栅的帧数为N，每一帧之间的相移变化为

时，摄像装置130采集的N帧图像可以表示为：

其中，(x^c,y^c)表示原始图像中每个像素点的横纵坐标，A^c是原始图像的像素值均值，B^c是每个像素点的光强调制值，n为正弦光栅的相移指数。摄像装置130采集的N帧图像中，任意一帧图像是原始图像，原始图像之外的多帧图像则为校正图像。在原始图像中，任意一个误差像素点被一个周期的正弦光栅的一个基准点覆盖，这个基准点会在校正图像中相移到非误差区域，因此，可以用相移到非误差区域的基准点的灰度值替换误差区域中该基准点对应的误差像素点的灰度值，使原始图像的误差区域的每个误差像素点都得到修复，从而得到修复图像。

请参照图5，步骤S104还包括以下子步骤：

子步骤S1041，获取误差区域内的任意一个误差像素点。

子步骤S1042，获取该误差像素点对应的基准点，其中，基准点为正弦光栅在原始图像中的光栅点。

子步骤S1043，根据该基准点确定第一校正图像，其中，第一校正图像为校正图像中的任意一帧图像，且该基准点位于第一校正图像的非误差区域。

在本发明实施例中，第一校正图像为该基准点对应的校正图像中的任意一帧图像，根据该基准点确定第一校正图像的方法可以是，但不限于：首先，根据正弦光栅的相移特性，确定该基准点对应的校正图像；其次，根据该基准点在校正图像中所在的区域颜色，确定第一校正图像。在本发明实施例中，第一校正图像中，基准点位于非误差区域，且位于白色区域。

请参照图6，子步骤S1043还包括以下子步骤：

子步骤S10431，根据正弦光栅的相移特性，确定该基准点对应的校正图像，其中，该基准点位于校正图像的非误差区域。

子步骤S10432，根据该基准点在校正图像中所在的区域颜色，确定第一校正图像。

子步骤S1044，根据该基准点在第一校正图像中的灰度值，确定该误差像素点的灰度值。

在本发明实施例中，确定的基准点位于第一校正图像中的非误差白色区域，原始图像中误差区域的大小为3×3，误差像素点所在得区域颜色不同，最后确定的第一校正图像也不同。因此，需要判断该基准点对应的误差像素点是白色到黑色区域的像素点，还是黑色到白色区域的像素点，判断出来之后，再根据不同的修复值来确定该基准点在第一校正图像中的灰度值。

在本发明实施例中，在原始图像中按照从上到下的顺序，可以根据误差像素点的光强调制差值B(x^c,y^c)＝B^c(x^c,y^c)-B^c(x^c+1,y^c)来确定误差像素点是白色到黑色区域的像素点，还是黑色到白色区域的像素点，若B(x^c,y^c)的值为正，则该误差像素点是白色到黑色区域的像素点，若B(x^c,y^c)的值为负，则该误差像素点是黑色到白色区域的像素点。

在本发明实施例中，若误差像素点是白色到黑色区域的像素点，则根据第一修复式

确定该误差像素点的灰度值，其中，下标表示同一频率的图像次序，范围从1到N，i为正数；m的取值大于正弦光栅从原始图像的误差区域相移到第一校正图像的非误差区域所需的帧数；i的取值大于误差区域到距离最近的非误差区域所需的像素点个数。

在本发明实施例中，若误差像素点是黑色到白色区域的像素点，则根据第二修复式

确定该误差像素点的灰度值。

在本发明实施例中，由于被测物体110与投影装置120之间的距离影响，可以先用特定频率(例如，f＝1或f＝32)、任意帧数的正弦光栅对被测物体110进行一次预投影。为了便于m和i的取值，可以根据预投影时采集的原始图像中误差区域的邻域的正弦光栅确定N的合适的取值，确定之后再进行投影。当被测物体110在投影方向的形态为线性变化或变化较为平缓时，以上参数的取值可以适用于整个原始图像。

请参照图7，子步骤S1044还包括以下子步骤：

子步骤S10441，沿列坐标方向，若该误差像素点为白色到黑色区域像素点，则根据第一修复式

确定该误差像素点的灰度值。

子步骤S10442，沿列坐标方向，若该误差像素点为黑色到白色区域像素点，则根据第二修复式

确定该误差像素点的灰度值。

在本发明实施例中，为了使得正弦光栅移动时能逐点覆盖误差像素点，同时减小其他随机噪声等对三维重建系统100的影响，投影光栅在基频f＝1时取N＝436，高频f＝32时取N＝15。采用以上投影光栅投影，可以使得非线性误差和随机噪声可以忽略不计，避免了其他误差对三维重建系统100的影响。

请参照图8，图8示出了利用图3所示的方法进行图像修复的实验信息。被测物体110为图8(a)所示的印在A4纸上的黑色图案。摄像装置130采集的原始图像的局部放大如图8(b)所示，可以看到在图案黑白交界处出现了模糊的现象，这些模糊都是错误的灰度信息。经过图像修复后，在图8(c)中可以看到黑白交界的模糊现象得到了很好的改善，更接近于真实的灰度信息。

请参照图9，图9为图8中的被测目标修复前和修复后的三维重建结果信息。图9(a)为修复前的三维重建结果及侧视图，可以看到在图案边缘有黑色痕迹，黑色痕迹表明这些像素点与周围的深度信息不一样，而A4纸是一个平面，截取误差区域的侧视图可以看到，在黑白交界区域确实出现了错误的凹凸现象。图9(b)为图像修复后的三维重建结果及侧视图，可以看到，进行图像修复之后，有效恢复了原始图像中误差区域的正确光强值，得到了更准确的三维重建结果。

请参照图10，图10为图9中图像修复前后相位误差曲线图。由于投影带图案A4纸和白色A4纸是两次投影不同目标，表面形态和摆放位置都有所不同，因此相位误差不为一条直线。但是修复前误差区域的相位误差必然远远大于非误差区域。图10选取相位误差矩阵第283列的138行到400行展示了图像修复前后的相位误差比较，从图中可以看出本发明提出的图像修复方法有明显的修复效果，受多路径影响区域的相位误差修复前的均方根(RMS)为0.0079，经图像修复后的均方根为0.0054，减小了约31.65％。

第二实施例

请参照图11，图11示出了本发明较佳实施例提供的图像修复装置200的方框示意图。图像修复装置200包括原始图像修复模块201、光强调制值计算模块202、误差区域确定模块203及图像修复模块204。

原始图像修复模块201，用于获取摄像装置采集的原始图像，其中，原始图像为覆盖有正弦光栅的被测物体的图像。

在本发明实施例中，原始图像修复模块201可以用于执行步骤S101。

光强调制值计算模块202，用于计算原始图像中每个像素点的光强调制值。

在本发明实施例中，光强调制值计算模块202可以用于执行步骤S102。

误差区域确定模块203，用于根据每个像素点的光强调制值，确定原始图像中的误差区域。

在本发明实施例中，误差区域确定模块203可以用于执行步骤S103。

请参照图12，图12为图11示出的图像修复装置200中误差区域确定模块203的方框示意图。误差区域确定模块203包括第一获取单元2031、第二获取单元2032、第一执行单元2033及第二执行单元2034。

第一获取单元2031，用于获取第一像素点的光强调制值，其中，第一像素点为原始图像中的任意一个像素点。

在本发明实施例中，第一获取单元2031可以用于执行子步骤S1031。

第二获取单元2032，用于获取第二像素点的光强调制值，其中，第一像素点和第二像素点相邻，且具有相同的列坐标。

在本发明实施例中，第二获取单元2032可以用于执行子步骤S1032。

第一执行单元2033，用于对第一像素点的光强调制值和第二像素点的光强调制值进行差分操作，得到光强调制差值。

在本发明实施例中，第一执行单元2033可以用于执行子步骤S1033。

第二执行单元2034，用于当光强调制差值的绝对值大于或等于第一预设值时，第一像素点为构成所述误差区域的误差像素点。

在本发明实施例中，第二执行单元2034可以用于执行子步骤S1034。

图像修复模块204，用于根据误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像，其中，校正图像为摄像装置采集的原始图像之外的多帧图像，且摄像装置采集原始图像和校正图像时，投影装置的投影频率是固定的。

在本发明实施例中，图像修复模块204可以用于执行步骤S104。

请参照图13，图13为图11示出的图像修复装置200中图像修复模块204的方框示意图。图像修复模块204包括误差像素点获取单元2041、基准点获取单元2042、第一校正图像确定单元2043及灰度值确定单元2044。

误差像素点获取单元2041，用于获取误差区域内的任意一个误差像素点。

在本发明实施例中，误差像素点获取单元2041可以用于执行子步骤S1041。

基准点获取单元2042，用于获取该误差像素点对应的基准点，其中，基准点为正弦光栅在原始图像中的光栅点。

在本发明实施例中，基准点获取单元2042可以用于执行子步骤S1042。

第一校正图像确定单元2043，用于根据该基准点确定第一校正图像，其中，第一校正图像为校正图像中的任意一帧图像，且该基准点位于第一校正图像的非误差区域。

在本发明实施例中，第一校正图像确定单元2043可以用于执行子步骤S1043。

请参照图14，图14为图13示出的图像修复模块204中第一校正图像确定单元2043的方框示意图。第一校正图像确定单元2043包括第一子执行单元20431及第二子执行单元20432。

第一子执行单元20431，用于根据正弦光栅的相移特性，确定该基准点对应的校正图像，其中，该基准点位于校正图像的非误差区域。

在本发明实施例中，第一子执行单元20431可以用于执行子步骤S10431。

第二子执行单元20432，用于根据该基准点在校正图像中所在的区域颜色，确定第一校正图像。

在本发明实施例中，第二子执行单元20432可以用于执行子步骤S10432。

灰度值确定单元2044，用于根据该基准点在第一校正图像中的灰度值，确定该误差像素点的灰度值。

在本发明实施例中，灰度值确定单元2044可以用于执行子步骤S1044。

请参照图15，图15为图13示出的图像修复模块204中灰度值确定单元2044的方框示意图。灰度值确定单元2044包括第三子执行单元20441及第四子执行单元20442。

第三子执行单元20441，用于沿列坐标方向，若该误差像素点为白色到黑色区域像素点，则根据第一修复式

确定该误差像素点的灰度值。

在本发明实施例中，第三子执行单元20441可以用于执行子步骤S10441。

第四子执行单元20442，用于沿列坐标方向，若该误差像素点为黑色到白色区域像素点，则根据第二修复式

确定该误差像素点的灰度值。

在本发明实施例中，第四子执行单元20442可以用于执行子步骤S10442。

综上所述，本发明提供的一种图像修复方法、装置及三维重建系统，首先获取摄像装置采集的被测物体的原始图像；其次计算原始图像中每个像素点的光强调制值，并根据每个像素点的光强调制值，确定原始图像中的误差区域；最后根据误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像。本发明无需额外建立模型，通过对每个误差像素点进行灰度值校正来实现误差区域的修复，可以有效减少现有的相位测量轮廓术中的多路径误差，得到更准确的三维重建结果。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (6)

1.一种图像修复方法，其特征在于，应用于三维重建系统，所述三维重建系统包括被测物体、摄像装置、投影装置和计算机，所述摄像装置和所述投影装置均与所述计算机电连接，所述被测物体设置于所述摄像装置能够采集及所述投影装置能够投影的范围内；所述方法包括：

获取所述摄像装置采集的原始图像，其中，所述原始图像为覆盖有正弦光栅的被测物体的图像；

计算所述原始图像中每个像素点的光强调制值；

根据每个像素点的光强调制值，确定所述原始图像中的误差区域；

根据所述误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像，其中，所述校正图像为所述摄像装置采集的所述原始图像之外的多帧图像，且所述摄像装置采集所述原始图像和所述校正图像时，所述投影装置的投影频率是固定的；

根据所述误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像的步骤，包括：

获取所述误差区域内的任意一个误差像素点；

获取该误差像素点对应的基准点，其中，所述基准点为所述正弦光栅在所述原始图像中的光栅点；

根据正弦光栅的相移特性，确定该基准点对应的校正图像，其中，该基准点位于所述校正图像的非误差区域；

根据该基准点在所述校正图像中所在的区域颜色，确定第一校正图像，其中，所述第一校正图像为所述校正图像中的任意一帧图像，基准点位于第一校正图像中的非误差白色区域；

根据该基准点在第一校正图像中的灰度值，确定该误差像素点的灰度值。

2.如权利要求1所述的方法，其特征在于，所述根据每个像素点的光强调制值，确定所述原始图像中的误差区域的步骤，包括：

获取第一像素点的光强调制值，其中，所述第一像素点为所述原始图像中的任意一个像素点；

获取第二像素点的光强调制值，其中，所述第一像素点和所述第二像素点相邻，且具有相同的列坐标；

对所述第一像素点的光强调制值和所述第二像素点的光强调制值进行差分操作，得到光强调制差值；

当所述光强调制差值的绝对值大于或等于第一预设值时，所述第一像素点为构成所述误差区域的误差像素点。

3.如权利要求1所述的方法，其特征在于，所述根据该基准点在第一校正图像中的灰度值，确定该误差像素点的灰度值的步骤，包括：

沿列坐标方向，若该误差像素点为白色到黑色区域像素点，则根据第一修复式

确定该误差像素点的灰度值，其中，I表示灰度值，N表示同一频率正弦光栅的投影数量，n表示正弦光栅的相移指数，(x^c,y^c)是摄像装置采集的原始图像的像素点坐标，下标(N+n-m)、(n-m)表示同一频率的图像次序，范围从1到N；i为正数，m的取值大于正弦光栅从原始图像的误差区域相移到第一校正图像的非误差区域所需的帧数，i的取值大于误差区域到距离最近的非误差区域所需的像素点个数；

沿列坐标方向，若该误差像素点为黑色到白色区域像素点，则根据第二修复式

确定该误差像素点的灰度值。

4.一种图像修复装置，其特征在于，应用于三维重建系统，所述三维重建系统包括被测物体、摄像装置、投影装置和计算机，所述摄像装置和所述投影装置均与所述计算机电连接，所述被测物体设置于所述摄像装置能够采集及所述投影装置能够投影的范围内；所述装置包括：

原始图像获取模块，用于获取所述摄像装置采集的原始图像，其中，所述原始图像为覆盖有正弦光栅的被测物体的图像；

光强调制值计算模块，用于计算所述原始图像中每个像素点的光强调制值；

误差区域确定模块，用于根据每个像素点的光强调制值，确定所述原始图像中的误差区域；

图像修复模块，用于根据所述误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像，其中，所述校正图像为所述摄像装置采集的所述原始图像之外的多帧图像，且所述摄像装置采集所述原始图像和所述校正图像时，所述投影装置的投影频率是固定的；

所述图像修复模块包括：

误差像素点获取单元，用于获取所述误差区域内的任意一个误差像素点；

基准点获取单元，用于获取该误差像素点对应的基准点，其中，所述基准点为所述正弦光栅在所述原始图像中的光栅点；

第一校正图像确定单元，用于根据正弦光栅的相移特性，确定该基准点对应的校正图像，其中，该基准点位于所述校正图像的非误差区域；根据该基准点在所述校正图像中所在的区域颜色，确定第一校正图像，其中，所述第一校正图像为所述校正图像中的任意一帧图像，基准点位于第一校正图像中的非误差白色区域；

灰度值确定单元，用于根据该基准点在第一校正图像中的灰度值，确定该误差像素点的灰度值。

5.如权利要求4所述的装置，其特征在于，所述误差区域确定模块包括：

第一获取单元，用于获取第一像素点的光强调制值，其中，所述第一像素点为所述原始图像中的任意一个像素点；

第二获取单元，用于获取第二像素点的光强调制值，其中，所述第一像素点和所述第二像素点相邻，且具有相同的列坐标；

第一执行单元，用于对所述第一像素点的光强调制值和所述第二像素点的光强调制值进行差分操作，得到光强调制差值；

第二执行单元，用于当所述光强调制差值的绝对值大于或等于第一预设值时，所述第一像素点为构成所述误差区域的误差像素点。

6.一种三维重建系统，其特征在于，包括被测物体、摄像装置、投影装置和计算机，所述摄像装置和所述投影装置均与所述计算机电连接，所述被测物体设置于所述摄像装置能够采集及所述投影装置能够投影的范围内；

所述计算机包括：

存储器；

处理器；以及

图像修复装置，所述图像修复装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组，所述图像修复装置包括：

原始图像获取模块，用于获取所述摄像装置采集的原始图像，其中，所述原始图像为覆盖有正弦光栅的被测物体的图像；

光强调制值计算模块，用于计算所述原始图像中每个像素点的光强调制值；

误差区域确定模块，用于根据每个像素点的光强调制值，确定所述原始图像中的误差区域；

图像修复模块，用于根据所述误差区域中每个误差像素点对应的基准点在校正图像中的灰度值，对每个误差像素点进行灰度值校正，得到修复图像，其中，所述校正图像为所述摄像装置采集的所述原始图像之外的多帧图像，且所述摄像装置采集所述原始图像和所述校正图像时，所述投影装置的投影频率是固定的；

所述图像修复模块包括：

误差像素点获取单元，用于获取所述误差区域内的任意一个误差像素点；

基准点获取单元，用于获取该误差像素点对应的基准点，其中，所述基准点为所述正弦光栅在所述原始图像中的光栅点；

第一校正图像确定单元，用于根据正弦光栅的相移特性，确定该基准点对应的校正图像，其中，该基准点位于所述校正图像的非误差区域；根据该基准点在所述校正图像中所在的区域颜色，确定第一校正图像，其中，所述第一校正图像为所述校正图像中的任意一帧图像，基准点位于第一校正图像中的非误差白色区域；

灰度值确定单元，用于根据该基准点在第一校正图像中的灰度值，确定该误差像素点的灰度值。

Images