CN102104735A - 一种计算光照的运动场景图像捕获方法及装置 - Google Patents

Abstract

本发明提出一种计算光照的运动场景图像捕获方法及装置，其中，该方法包括以下步骤：根据预先设置的光照编码模式控制光源的发光与熄灭，并同步采集运动场景；分割运动场景的前景和背景，以提取目标运动场景；根据目标运动场景的曝光时间对目标运动场景进行解耦，以得到目标运动场景的多个解耦反投影轮廓；和根据预先保存的目标运动场景的精确初始模型对多个解耦反投影轮廓进行捕捉，以得到目标运动场景在当前时间的精确图像。通过本发明的方法和装置能够对高速运动的场景进行多视角的图像采集，并且通过对光照亮灭的控制及时空间插方法采集得到的图像在图像的重构上有更好的效果。

Description

一种计算光照的运动场景图像捕获方法及装置

技术领域

本发明涉及计算摄像学中的新型采集机制技术领域，特别涉及一种计算光照的运动场景图像捕获方法及装置。

背景技术

目前，针对高速运动场景采集，计算摄像学领域相关的研究正如火如荼的展开，国际上一些顶级实验室和研究机构已经设计并实现了多个采集系统和对应算法。

为此，早在2005年，斯坦福大学的Bennett实现了一个由52个紧密排列的低速相机间插采集以虚拟单视角高速相机的采集系统，若每个低速相机的帧率为20帧每秒，那么该采集系统的采集帧率可以达到52*20＝1040帧每秒。但该系统利用大规模相机阵列仅实现单视角高速视频采集，并且每一帧采集都是短曝光，间插的相机越多，虚拟帧率越高曝光时间越短，采集图像的信噪比越低。2006年，麻省理工大学的Raskar等人设计并实现了编码曝光采集系统，通过在一次图像采集内，按照特定规则开闭快门，获取频谱无零点的卷积核函数。但是，该系统只能对匀速直线运动和简单背景的场景进行采集。2009年Raskar等人又提出了连续变曝光的运动去模糊算法，该方法只需要采集视频的连续帧之间曝光时间发生变化，使得联合频谱无零点即可，但是，该方法针对单视角，并且只对直线运动等简单场景有效。2009年Sellent等人提出了交替长短曝光的采集方法实现单视角高速场景采集和场景运动信息估计，但是该方法受限于“短一长一短”的采集模式，对高速场景在时间域上的信息捕获不连续，信息丢失较大。

目前对视频图像的采集有着单视角采集的局限性，并且对于需要拍摄物体的运动方式也存在着制约。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为达到上述目的，本发明一方提出一种计算光照的运动场景图像捕获方法及装置，本发明的计算光照的运动场景图像捕获方法能够通过多视角对视频图像进行采集，并且能够采集高速运动的场景图像。其中，该方法包括以下步骤：根据预先设置的光照编码模式控制光源的发光与熄灭，并根据所述光照编码模式利用采集装置同步采集运动场景图像；分割所述运动场景图像的前景图像和背景图像，以提取目标运动场景图像；根据所述目标运动场景图像的曝光时间采用解耦方法对所述目标运动场景图像进行时间范围上的解耦，以得到所述目标运动场景图像在多个时间点上的解耦反投影轮廓；以及根据预先保存的所述目标运动场景图像的精确初始模型对所述多个时间点上的解耦反投影轮廓进行捕捉，以得到所述目标运动场景在当前时间的精确图像。

在本发明的一个实施例中，所述光照编码模式为由数字0和数字1组合而成的二进制序列，当判断所述二进制序列对应位为1时对应光源发光，当判断所述二进制序列对应位为0时对应光源熄灭。

在本发明的一个实施例中，所述光源为多个高频LED光源组合而成，所述多个高频LED光源分别按照所述光照编码模式进行亮灭。

在本发明的一个实施例中，所述采集装置为多个低速相机，所述多个低速相机处于长曝光状态，当所述光源亮时所述多个低速相机分别采集所述运动场景图像，当所述光源熄灭时所述多个低速相机停止采集。

在本发明的一个实施例中，所述光照编码模式控制所述光源在不同时间亮灭，并控制空间分布不同的光源亮灭，所述多个低速相机根据所述光源的亮灭同步采集所述运动场景图像，且根据不同的所述光源亮灭，多个低速相机采集所述运动场景图像不同。

在本发明的一个实施例中，所述不同光照编码模式控制时间和空间上分布不同的光源的亮灭，所述多个低速相机分别在不同光源发光时以多视角采集所述运动场景图像。

本发明的另一方面还提出了一种计算光照的运动场景图像捕获装置，包括：光源设备；控制装置，所述控制装置用于根据预先设置的光照编码模式控制光源设备的发光与熄灭；采集装置，所述采集装置用于根据所述光照编码模式采集所述运动场景图像；以及附属设备，其中，所述光源设备、采集装置和控制装置设置在所述附属设备内。

在本发明的一个实施例中，所述光照编码模式为数字0和数字1组合而成的二进制序列，当判断所述二进制序列对应位为1时对应光源发光，当判断所述二进制序列对应位为0时对应光源熄灭。

在本发明的一个实施例中，所述光源设备的分布、亮度和角度根据不同的需要而变化，其中，所述光源设备为所述多个可精确控制的高频LED光源。

在本发明的一个实施例中，所述采集装置的个数和空间分布按照不同的需要而变化，其中，所述采集设备为多个低速相机，且所述多个低速相机处于长曝光状态，当所述光源设备发光时所述多个低速相机分别采集所述运动场景图像，当所述光源设备熄灭时所述多个低速相机停止采集。

在本发明的一个实施例中，所述不同光照编码模式控制时间和空间上分布不同的光源的亮灭，所述多个低速相机分别在不同光源发光时以多视角采集所述运动场景图像。

在本发明的一个实施例中，所述附属设备为表面附有黑色幕布且内部附有绿色幕布的半球形框架，其中，所述光源设备和所述采集设备分别均匀分布在所述附属设备内一个或多个平面上。

通过本发明实施例的方法和装置，能够通过多视角对视频图像进行采集，并且能够采集高速运动的场景图像，且通过对光照亮灭的控制及时空间插方法采集得到的图像在图像的重构上有更好的效果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的计算光照的运动场景图像捕获方法的流程图；

图2为本发明实施例的计算光照的运动场景图像捕获装置的结构图；

图3a-3e为本发明实施例的采集设备示意图；

图4a-4b为本发明实施例的光源设备配置和幕布环境示意图；

图5为本发明实施例的LED光源与相机的控制时序图；

图6为本发明实施例的编码模式成像积分与连续长曝光成像积分的对比图；

图7a-7b为本发明实施例的采集图像与连续长曝光模式下的采集结果的对比图；

图8为现有技术中编码光照和长曝光的频谱对比图；以及

图9a-9b为本发明实施例的运动捕捉结果的运动模糊图像重建算法示意图。

具体实施方式

下面详细描述本发明的全部实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明是针对目前对高速运动场景图像采集往往通过单视角的采集方法，而一旦采用多视角的采集方法又不能对高速运动的场景图像进行采集，因此，本发明提出了一种通过多视角采集高速运动场景图像，并通过优化光照编码的方式获取运动场景图像的计算光照的运动场景图像捕获方法和装置。

以下就结合附图1-9对本发明实施例的计算光照的运动场景图像捕获方法的流程做详细描述，同时对本发明实施例的计算光照的运动场景图像捕获装置的结构的工作原理做详细描述。

如图1所示，为本发明实施例的计算光照的运动场景图像捕获方法的流程图。

步骤S101，根据预先设置的光照编码模式控制光源的发光与熄灭，并根据所述光照编码模式利用采集装置同步采集所述运动场景图像，其中，所述采集设备在所述光源发光时采集所述运动场景图像。

具体地，为了采集到用户所需要的运动场景图像，不能够以普通长曝光的模式下通过采集设备采集运动场景图像，以普通长曝光模式采集到的图像包含的图像信息少，而且图像质量不高，因此，在本发明的一个实施例中，为了避免长曝光下采集图像，因此需要对光源进行周而复始的亮与灭的控制，通过此种控制能够使采集图像在短曝光的模式下采集，而控制程序根据用户预先设定的光照编码模式进行亮灭控制。在本发明的一个实施例中，该光源的光照编码模式为数字0和数字1组合而成的二进制序列，控制程序根据此二进制序列对光源的亮灭进行控制，当控制程序识别到当前二进制序列的当前位为1时，对相应的光源进行高电平触发，此时，该光源处于发光状态，相应的采集设备能够采集到此刻的运动场景图像信息，当识别到当前二进制序列的当前位为0时，控制对应的光源熄灭，此时，对应的采集设备将采集不到任何图像，因此，采集图像能够按照用户规定的光照编码方式进行采集。

在本发明的一个具体实施例中，该光源为多个高频LED光源组合而成，该多个高频LED光源分别按照不同规定的光照编码模式进行亮灭，为了增加对光源的可控性，该多个高频LED光源能够通过控制程序控制多个高频LED光源在空间上的分布，并且根据需要控制各个LED光源的亮度程度和照射的角度。

在本发明的一个具体实施例中，采集装置为多个低速相机，多个低速相机处于长曝光状态，当光源亮时该多个低速相机分别采集运动场景图像，当光源熄灭时该多个低速相机停止采集，为了使相机能够多角度的采集场景图像，在本发明的具体实施例中，通过调整相机在空间上的布局，使相机能够根据用户的需要以各个角度采集图像，因此，实现了时空间插采集的方式，并且实现了多角度，高精度的采集高速运动的场景图像信息。

步骤S102，分割所述运动场景图像的前景图像和背景图像，以提取目标运动场景图像。

具体地，根据步骤S101的方法得到的高速运动场景的多角度，多组合的图像信息，对每个图像分别进行目标运动场景图像提取，为了能够准确，可靠的分割出运动场景图像的目标运动场景和背景图像，在本发明的具体实施例中，设置运动场景的背景为绿色幕布，以绿色作为背景能够更方便，准确的提取出前景的目标运动场景。当然，本领域的技术人员知道，采用绿色幕布作为背景只是为了更好的体现出本发明的发明效果，而采用其它颜色的背景也能够实现前景的提取，因此，这些基于本发明思想的改变和变换都应列为本发明的保护范围。

步骤S103，根据所述目标运动场景图像的曝光时间采用解耦方法对所述目标运动场景图像进行时间范围上的解耦，以得到所述目标运动场景图像在多个时间点上的解耦反投影轮廓。

具体地，在本发明的一个实施例中，假设该目标运动场景图像的曝光时间为1秒，而相机数量为5个，则可以对该目标运动场景图像在时间域上进行N个解耦反投影轮廓，其中，N＝曝光时间/相机数量，在此处，N＝1/5＝0.2秒，所以在此处解耦的反投影轮廓为5个。

步骤S104，根据预先保存的所述目标运动场景图像的精确初始模型对所述多个时间点上的解耦反投影轮廓进行捕捉，以得到所述目标运动场景在当前时间的精确图像。

在本发明实施例的另一方面还提出一种用在此方法上的计算光照的运动场景图像捕获装置，如图2所示，为本发明实施例的计算光照的运动场景图像捕获装置的结构图。在本发明的一个具体实施例中，该计算光照的运动场景图像捕获装置200包括光源设备210、控制装置220、采集装置230和附属设备240。具体地，控制装置220用于根据预先设置的光照编码模式控制光源设备210的发光与熄灭，光源设备210可以为多个LED光源组合而成，其每个LED光源具有高频率，且空间分布、光照亮度和照射角度可调，通过控制器根据控制程序按照相应的光照编码模式对每个LED光源进行亮灭控制。采集装置230用于根据所述光照编码模式采集所述运动场景图像，其中，当所述光源设备210发光时所述采集装置230采集所述运动场景图像，在本发明的一个实施例中，所述采集装置为多个低速相机，且每个相机分别按照光源的亮灭对场景进行同步的采集，换言之，当光源发光时，采集图像，而当光源熄灭是，相应的相机停止采集，另外，多个低速相机在空间上是可变换的，每个低速相机可以均匀分布在一个平面上，也可以根据用户的需要分布在几个不同的平面上，因此，能够对场景进行多角度的采集，并且实现了时空间插采集的方式，在时间和空间上有着不同的组合采集方式，这样能够采集到更多的运动信息，并且采集的信息冗余性小，为后续的恢复提供更多的信息。在本发明的一个具体实施例中，附属设备240为一个直径六米的半球形框架，外部由黑色幕布遮蔽，防止外部光线照射进来，而内部由绿色幕布构成，以便提取图像的前景信息。其中，光源设备210、采集设备230按照一定的规则分布在附属设备240中。

具体地，如图3a-3b所示，为本发明实施例的采集设备示意图。在本发明的一个实施例中，采集设备如图3a所示，该采集设备内有20个低速相机，可以均匀的分布在一个圆形平面上，也可以将其中15个相机紧贴幕布上一圈分布，另外5个相机在半球顶部的一个小圆平面均匀分布。如图3b-3e所示，该多视角相机设备可以实现高速场景的同步采集以及时空间插采集。

如图4a-4b所示，为本发明实施例的光源设备配置和幕布环境示意图。在本发明的一个实施例中，如图4a所示，最上面一圈均匀分布着40个LED，中间一圈均匀分布50个LED，下面一圈均匀分布着60个LED，每一组LED都独立控制，可以实现高精度的同步亮灭已经高频率的同步亮灭，且同步精度达到微秒级别，同时LED亮灭频率可以高达1000Hz。每个LED的位置，朝向，都是可以变化调节的，在实际采集中，根据曝光时间的长短不同可以使用不同LED的组合。如图4b所示，以实现光照的优化控制。

如图5所示，为本发明实施例的LED光源与相机的控制时序图。在本发明的一个实施例中，相机与LED光源时间同步，在暗室环境下，相机传感器长曝光，在计算编码光照该位为1的情况下场景信号被采集到，否则没有任何光的信息被传感器接收。换言之，控制程序按照光照编码模式对光源进行亮灭控制，当控制程序判断光照编码模式的当前位为1时，触发对应的光源发光，否则控制对应的光源熄灭。

如图6所示，为本发明实施例的编码模式成像积分与连续长曝光成像积分的对比图。在本发明的一个实施例中，在光照编码模式下场景信号只有在对应位为1的情况下才会积分，当光照编码模式对应位为0时，从图中可以看出线性没有递增，而是平行于左边过度到直至下个对应位为1时再次积分。而连续长曝光成像积分每时每刻都在增长，使成像积分准确度下降。

如图7a-7b所示，为本发明实施例的采集图像与连续长曝光模式下的采集结果的对比图。在本发明的一个实施例中，图7a为采用本发明方法和装置采集的图像，图7b为采用普通长曝光模式采集的图像。其中，不同的编码模式对应着不同的运动信息结构化效果。如下面三种编码模式分别对应不同的采集效果：

C1：0100001001010111001000001100000010000100；

C2：0101111000111110101111001100001000101000；

C3：0101001100000010100110000001010011000000。

如图8所示，为现有技术中的编码光照和长曝光的频谱对比图。可见编码曝光将长曝光模糊图像卷积核对应的零点给消除了，形成了宽带无零点卷积核，这对于后续的去运动模糊具有非常好的效果。

如图9a-9b所示，为本发明实施例的运动捕捉结果的运动模糊图像重建算法示意图。在本发明的一个实施例中，图9a-9b具有与计算光照相对应的结构化信息。其中，图9a为采用本发明运动分割后的目标运动场景图像，结合采集时的计算编码光照信息以及运动捕捉得到的模型动态信息来提取每一个解耦短曝光对应的纹理信息，如图9b所示，为相应的N个反投影轮廓，其中，N的个数取决于相机的个数，即N＝相机个数，并对目标图像估计运动模糊核，进行重构。

通过本发明提出的计算光照的运动场景图像捕获方法及装置，能够通过多视角对视频图像进行采集，并且能够采集高速运动的场景图像，且通过对光照亮灭的控制及时空间插方法采集得到的图像在图像的重构上有更好的效果。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (12)

1.一种计算光照的运动场景图像捕获方法，其特征在于，包括以下步骤：

根据预先设置的光照编码模式控制光源的发光与熄灭，并根据所述光照编码模式利用采集装置同步采集运动场景图像；

分割所述运动场景图像的前景图像和背景图像，以提取目标运动场景图像；

根据所述目标运动场景图像的曝光时间采用解耦方法对所述目标运动场景图像进行时间范围上的解耦，以得到所述目标运动场景图像在多个时间点上的解耦反投影轮廓；以及

根据预先保存的所述目标运动场景图像的精确初始模型对所述多个时间点上的解耦反投影轮廓进行捕捉，以得到所述目标运动场景在当前时间的精确图像。

2.如权利要求1所述的计算光照的运动场景图像捕获方法，其特征在于，所述光照编码模式为由数字0和数字1组合而成的二进制序列，当判断所述二进制序列对应位为1时使对应光源发光，当判断所述二进制序列对应位为0时使对应光源熄灭。

3.如权利要求2所述的计算光照的运动场景图像捕获方法，其特征在于，所述光源由多个高频LED光源组合而成，所述多个高频LED光源分别按照所述光照编码模式进行亮灭。

4.如权利要求1所述的计算光照的运动场景图像捕获方法，其特征在于，所述采集装置为多个低速相机，所述多个低速相机处于长曝光状态，当所述光源发光时所述多个低速相机分别采集到所述运动场景图像。

5.如权利要求4所述的计算光照的运动场景图像捕获方法，其特征在于，所述光照编码模式控制所述光源在不同时间亮灭，并控制空间分布不同的光源亮灭，所述多个低速相机根据所述光源的亮灭同步采集所述运动场景图像，且根据不同的所述光源亮灭，多个低速相机采集所述运动场景图像不同。

6.如权利要求5所述的计算光照的运动场景图像捕获方法，其特征在于，所述不同光照编码模式控制时间和空间上分布不同的光源的亮灭，所述多个低速相机分别在不同光源发光时以多视角采集所述运动场景图像。

7.一种计算光照的运动场景图像捕获装置，其特征在于，包括：

光源设备；

控制装置，所述控制装置用于根据预先设置的光照编码模式控制光源设备的发光与熄灭；

采集装置，所述采集装置用于根据所述光照编码模式采集所述运动场景图像；以及

附属设备，其中，所述光源设备、采集装置和控制装置设置在所述附属设备内。

8.如权利要求7所述的计算光照的运动场景图像捕获装置，其特征在于，所述光照编码模式为数字0和数字1组合而成的二进制序列，当判断所述二进制序列对应位为1时对应光源发光，当判断所述二进制序列对应位为0时对应光源熄灭。

9.如权利要求8所述的计算光照的运动场景图像捕获装置，其特征在于，所述光源设备的分布、亮度和角度根据不同的需要而变化，其中，所述光源设备为所述多个可精确控制的高频LED光源。

10.如权利要求7所述的计算光照的运动场景图像捕获装置，其特征在于，所述采集装置的个数和空间分布按照不同的需要而变化，其中，所述采集设备为多个低速相机，且所述多个低速相机处于长曝光状态，当所述光源设备发光时所述多个低速相机分别采集到所述运动场景图像。

11.如权利要求10所述的计算光照的运动场景图像捕获装置，其特征在于，所述不同光照编码模式控制时间和空间上分布不同的光源的亮灭，所述多个低速相机分别在不同光源发光时以多视角采集所述运动场景图像。

12.如权利要求7所述的计算光照的运动场景图像捕获装置，其特征在于，所述附属设备为表面附有黑色幕布且内部附有绿色幕布的半球形框架，其中，所述光源设备和所述采集设备分别均匀分布在所述附属设备内至少一个平面上。

Images