CN115209126A - 一种子弹时间立体图像采集系统及同步控制方法 - Google Patents

Abstract

本发明涉及一种子弹时间立体图像采集系统及同步控制方法，所述系统包括：图像采集模块，包括多个传感器组，用于采集图像及运动信息并进行存储；专用计算模块，用于向时间同步后的图像采集模块发送拍摄指令、以及接收来自于图像采集模块采集到的图像及运动信息数据并进行数据处理；通用计算模块；用于对图像采集模块中的相机和运动传感器参数进行标定和修改、以及基于专用计算模块数据处理得到的图片序列生成子弹时间立体图像。与现有技术相比，本发明具有能够直接生成立体或VR视频源、可现场查看拍摄效果并且可快速部署的优点。

Description

一种子弹时间立体图像采集系统及同步控制方法

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种子弹时间立体图像采集系统及同步控制方法。

背景技术

“子弹时间”是一种影视拍摄手法，观众在观看时感觉时间如同静止了一般，可带来震撼的视觉效果，广泛应用于电影特效、广告、创意活动的影视制作。现有子弹时间的图像采集系统一般采用单目相机搭建。按所用相机的数量，可分为相机阵列和单个运动相机两大类。

相机阵列，通常由固定在特定曲线上的多台相机构成。一般通过信号线或蓝牙实现同步触发。相机可以采用专业单反相机，如索尼公司2018年11月所展示的由 80台同步触发相机构成的拍摄系统以及2022年2月期间中国联通公司展示的采用5G无线数据传输的拍摄系统。低成本的图像采集系统也可以使用智能手机作为相机进行拍摄，如巴西的Camera360系统，利用笔记本电脑控制多台安卓智能手机进行拍摄。同样，手机也需要固定在相应支架上构成特定形状的阵列。

现有利用相机阵列实现“子弹时间”效果的图像采集系统，每个相机只能采集单张图片。如果要生成立体视频或VR视频流，需要大量的后期制作工作。单反相机阵列在搭建时，需要连接数据线、电源线、无线或有线快门触发设备；相机安装时还要对角度、水平程度进行调整；拍摄时现场的光照、快门的同步情况、不同相机所得图片的空间对准程度等因素都会影响拍摄效果，需要做大量的后期工作才能得到合格的样片。由于相机阵列所用相机的数量一般都在几十台以上，现场部署和后期制作的工作量很大，拍摄人员一般无法现场看到立体或VR成片的效果。

单个运动相机一般采用一台相机，使之以拍摄对象为中心进行环绕运动，同时连续拍摄，再通过后期处理，获得子弹时间的拍摄效果。如Insta360相机，可采用螺旋杆或线，由拍摄者手动环绕进行拍摄。另外一种如OrcaVue简易系统，由可以立人承重的踏盘和一条可安装相机的自转臂架构成。拍摄时，自传悬臂围绕踏盘旋转，获得全景图像。

现有单个运动相机只能实现环绕拍摄，子弹时间效果需要通过后期制作实现。相机以拍摄对象为中心环绕拍摄对场地、设施和场景都有严格的要求。该拍摄方法也无法直接生成立体或VR视频源，需要后期制作。

因此，需要设计一种能够直接生成立体或VR视频源、可现场查看拍摄效果并且可快速部署的子弹时间立体图像采集系统及同步控制方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种可直接生成立体或VR视频的子弹时间立体图像采集系统及同步控制方法。

本发明的目的可以通过以下技术方案来实现：

根据本发明的第一方面，提供了一种子弹时间立体图像采集系统，，该系统包括：

图像采集模块，包括多个传感器组，用于采集图像及运动信息并进行存储；

专用计算模块，用于向时间同步后的图像采集模块发送拍摄指令、以及接收来自于图像采集模块采集到的图像及运动信息数据并进行数据处理；

通用计算模块；用于对图像采集模块中的相机和运动传感器参数进行标定和修改、以及基于专用计算模块数据处理得到的图片序列生成子弹时间立体图像；

所述图像采集模块和通用计算模块中均设有用于实现两者时间同步的控制电路。

优选地，所述图像采集模块包括FPGA器件、图像传感器组、MEMS传感器组、UWB定位标签和5G/WIFI射频模块。

优选地，所述图像采集模块中的FPGA器件内部设有SDR接口、时间同步、立体视觉、图像与运动信息采集和数据压缩电路。

优选地，所述专用计算模块包括FPGA器件、多个UWB基站和5G/WIFI射频模块。

优选地，所述UWB基站数量至少为3。

优选地，所述专用计算模块中的FPGA器件中设有SDR接口、时间同步、数据解压电路和图像处理电路。

优选地，所述通用计算模块为通用图形工作站或服务器，包括相应的CPU、 GPU和存储设备；其中，配套的软件包括通用操作系统、图像采集系统管理软件及视频编辑软件。

根据本发明的第二方面，提供了一种用于所述子弹时间立体图像采集系统的同步控制方法，该方法包括以下步骤：

S1、无线组网：通用计算模块、专用计算模块和图像采集模块各自加电、初始化后进行无线组网，组网完毕后整个系统进入工作状态；

S2、时间同步：通用计算模块采集相机和网络相关参数，对相机和运动传感器参数进行标定和修改，然后开始时间同步；通用计算模块把时间同步指令发给专用计算模块，专用计算模块自动开始和图像采集单元进行时间同步；

S3、图像采集：专用计算模块把拍摄指令发送给图像采集模块，并附加上当前时间戳；图像采集模块接收到拍摄指令后，根据收到的时间戳，计算最佳曝光指令发出时间，然后发出曝光指令，在图像传感器帧同步信号有效后开始接收图像并同时记录图像采集模块运动信息；

S4、图像信息存储：采集到的图像和运动信息压缩后写入图像采集模块内的存储设备中；待拍摄张数完成后，图像采集模块把数据回传到专用计算模块；专用计算模块接收到数据后进行解压，然后通过图像处理模块，根据运动信息和时空上有关联图片对当前图像质量进行改善，得到最后的图片序列，并写入通用计算模块的存储设备中；

S5、子弹时间立体图像生成：通用计算模块打开图片序列，生成立体视频或 VR视频，进行预览，并根据预览的效果判断是否合格，是否重复拍摄过程。

优选地，所述步骤S2中通用计算模块把时间同步指令发给专用计算模块，专用计算模块自动开始和图像采集单元进行时间同步，具体为：

专用计算模块把当前时间信息发送给图像采集模块，图像采集模块从SDR接口中直接获得时间信息，调整本地时间，然后将自身的时间信息发回专用计算模块，循环这个过程直到误差小于设定。

优选地，所述步骤S3中的拍摄指令包括设定为时间间隔和拍摄图片张数。

与现有技术相比，本发明具有以下优点：

1)直接采集立体图像或视频，通过现场处理生成立体或VR视频源，可现场查看拍摄效果，提高拍摄效率；

2)图像采集模块自带电源和大容量存储设备，数据传输和快门触发均采用无线网络，且图像采集模块内置相机自动标定功能，可实现整个拍摄系统现场快速部署；

3)图像采集模块自带运动传感器，能实现相机本体运动状态的检测，可适应相机使用更多类型轨迹进行运动拍摄，有利于动态拍摄时图像质量的增强及后期特效的制作；

4)本发明涉及的系统可进一步集成为专用芯片，实现更低成本，也可扩展到工业控制、仪器仪表、测量测绘等领域的相关应用。

附图说明

图1为本发明的方法流程图；

图2为本发明的系统模块结构示意图；

图3为本发明的图像采集模块结构详细示意图；

图4为本发明的通用计算模块与专用计算模块结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

图1所示为本发明方法流程示意图，用于完成多立体图像拍摄的同步控制。

以三个图像采集模块、一个专用计算模块和一个通用计算模块为例，在其完成上电初始化和基于WIFI的无线组网后，结合图1对以下同步控制步骤进行详细描述：

在步骤401中，通用模块上的图像采集系统管理软件向专用计算模块和图像采集模块发送指令，查询当前与拍摄相关的系统参数和传感器参数，根据拍摄要求设置相关参数，然后执行步骤402；

在步骤402中，通用模块发出时间同步指令，然后执行步骤403；

在步骤403中，专用计算模块接收到时间同步指令，然后执行步骤404；

在步骤404中，专用计算模块开始按IEEE1588标准进行时间同步，将当前时间信息通过采用SDR模块的WIFI/5G接口发送至图像采集模块，然后步骤405；

在步骤405中，图像采集模块通过SDR接口，按IEEE1588标准获得时间信息，并通过本地时钟同步电路，调整时钟，并发回时间信息，然后执行步骤406；

在步骤406中，专用计算模块根据各个图像采集模块反馈的时间信息确定当前同步误差，如果帧率为60帧，则同步误差则需小于1/80秒的10％，即1.25毫秒，如果同步误差小于设定执行步骤407；大于设定则执行步骤404；

在步骤407中，通用计算模块把拍摄指令发送给专用计算模块，拍摄指令一般设定为时间间隔、拍摄图片张数等，如设定0.1秒、3张等，然后执行步骤408；

在步骤408中，专用计算模块接收拍摄指令，然后执行步骤409；

在步骤409中，专用计算模块将拍摄指令及当前时间戳发送给图像采集模块，然后执行步骤410；

在步骤410中，图像采集模块接收到拍摄指令和当前时间戳后，开始计算最优曝光指令给出时间，一般在当前时间戳加上各自估算的网络延迟修正值，尽可能的在时间上同步向图像传感器发出曝光指令，然后执行步骤411；

在步骤411中，图像采集模块向各自的图像传感器发出曝光指令，启动拍摄，然后执行步骤412；

在步骤412中，图像采集模块等待各自图像传感器的帧同步信号，如果帧同步信号有效，执行步骤413；若无效则继续等待，执行步骤412；

在步骤413中，图像采集模块接收各自图像传感器的图像数据，并同时记录运动MEMS传感器组、UWB定位标签的信息，然后执行步骤414；

在步骤414中，图像传感器模块把图像信息和MEMS传感器组、定位信息以及时间戳进行数据压缩，并存入各自的本地存储设备中，然后执行步骤415；

在步骤415中，图像采集模块判断是否完成拍摄图片张数，若完成执行步骤 416；若未完成则继续拍摄，执行步骤411；

在步骤416中，图像采集模块将压缩后的图像数据和运动信息数据通过无线网WIFI，按图像采集模块预设编号顺序，如1、2、3顺序，分时回传数据到专用计算模块，然后执行步骤417；

在步骤417中，专用计算模块将收到的数据解压缩，并根据图片间关联信息、运动信息对图片质量进行改善，然后执行步骤418；

在步骤418中，通用计算模块上的图像采集系统管理软件，根据时间戳和图像采集的所在位置信息，将图片数据处理成图片序列，并存入本地存储设备中供预览或其它视频编辑软件生成立体或VR视频源。

接下来，结合图2～图4，给出本发明的系统实施例，一种子弹时间立体图像采集系统，包括图像采集模块、专用计算模块和通用计算模块，每个模块上面运行相应的操作系统和管理软件，实现多个立体相机时空同步拍摄。其中图像采集模块和专用计算模块采用无线网联接，专用计算模块和通用计算模块采用有线网联接。

如图3所示，图像采集模块，由图像传感器、FPGA器件、WIFI/5G射频模块、 MEMS传感器组(运动传感器组)、UWB模块、电池、硬盘构成。FPGA器件内部有SDR接口、时间同步、立体视觉、图像与运动信息采集和数据压缩电路，配套软件为操作系统和图像采集模块管理软件。其中MEMS传感器组内传感器包括但不限于：三轴加速度计、三轴陀螺仪、三轴磁强计、温度传感器、气压计等。

如图4所示，专用计算模块由FPGA器件、至少3台UWB基站和5G/WIFI 射频模块构成。FPGA内部有SDR接口、时间同步、数据解压电路和图像处理电路，配套软件有操作系统和专用计算模块管理软件。通用计算模块，由现有图形工作站、服务器构成，其上运行图像采集系统管理软件，也可根据需要安装视频编辑软件。专用计算模块和通用计算模块采用有线网互联。

本实施例采用无线网络将图像采集模块与专用计算模块、通用计算模块组网，分时进行时间同步、数据采集和回传。通用计算模块及运行其上的图像采集系统管理软件负责与拍摄人员交互，获取时间同步、拍摄等相关指令后发送给专用计算模块，专用计算模块再根据相关协议和图像采集模块配合实现时间同步并完成拍摄，接着再将图像和相机运动数据回传至专用计算模块进行统一处理，最后再在通用计算模块上生成原始图片序列供预览，并生成立体或VR视频。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种子弹时间立体图像采集系统，其特征在于，该系统包括：

图像采集模块，包括多个传感器组，用于采集图像及运动信息并进行存储；

专用计算模块，用于向时间同步后的图像采集模块发送拍摄指令、以及接收来自于图像采集模块采集到的图像及运动信息数据并进行数据处理；

通用计算模块；用于对图像采集模块中的相机和运动传感器参数进行标定和修改、以及基于专用计算模块数据处理得到的图片序列生成子弹时间立体图像；

所述图像采集模块和通用计算模块中均设有用于实现两者时间同步的控制电路。

2.根据权利要求1所述的一种子弹时间立体图像采集系统，其特征在于，所述图像采集模块包括FPGA器件、图像传感器组、MEMS传感器组、UWB定位标签和5G/WIFI射频模块。

3.根据权利要求2所述的一种子弹时间立体图像采集系统，其特征在于，所述图像采集模块中的FPGA器件内部设有SDR接口、时间同步、立体视觉、图像与运动信息采集和数据压缩电路。

4.根据权利要求1所述的一种子弹时间立体图像采集系统，其特征在于，所述专用计算模块包括FPGA器件、多个UWB基站和5G/WIFI射频模块。

5.根据权利要求4所述的一种子弹时间立体图像采集系统，其特征在于，所述UWB基站数量至少为3。

6.根据权利要求4所述的一种子弹时间立体图像采集系统，其特征在于，所述专用计算模块中的FPGA器件中设有SDR接口、时间同步、数据解压电路和图像处理电路。

7.根据权利要求1所述的一种子弹时间立体图像采集系统，其特征在于，所述通用计算模块为通用图形工作站或服务器，包括相应的CPU、GPU和存储设备；其中，配套的软件包括通用操作系统、图像采集系统管理软件及视频编辑软件。

8.一种用于权利要求1所述的子弹时间立体图像采集系统的同步控制方法，其特征在于，该方法包括以下步骤：

S1、无线组网：通用计算模块、专用计算模块和图像采集模块各自加电、初始化后进行无线组网，组网完毕后整个系统进入工作状态；

S2、时间同步：通用计算模块采集相机和网络相关参数，对相机和运动传感器参数进行标定和修改，然后开始时间同步；通用计算模块把时间同步指令发给专用计算模块，专用计算模块自动开始和图像采集单元进行时间同步；

S3、图像采集：专用计算模块把拍摄指令发送给图像采集模块，并附加上当前时间戳；图像采集模块接收到拍摄指令后，根据收到的时间戳，计算最佳曝光指令发出时间，然后发出曝光指令，在图像传感器帧同步信号有效后开始接收图像并同时记录图像采集模块运动信息；

S4、图像信息存储：采集到的图像和运动信息压缩后写入图像采集模块内的存储设备中；待拍摄张数完成后，图像采集模块把数据回传到专用计算模块；专用计算模块接收到数据后进行解压，然后通过图像处理模块，根据运动信息和时空上有关联图片对当前图像质量进行改善，得到最后的图片序列，并写入通用计算模块的存储设备中；

S5、子弹时间立体图像生成：通用计算模块打开图片序列，生成立体视频或VR视频，进行预览，并根据预览的效果判断是否合格，是否重复拍摄过程。

9.根据权利要求8所述的方法，其特征在于，所述步骤S2中通用计算模块把时间同步指令发给专用计算模块，专用计算模块自动开始和图像采集单元进行时间同步，具体为：

专用计算模块把当前时间信息发送给图像采集模块，图像采集模块从SDR接口中直接获得时间信息，调整本地时间，然后将自身的时间信息发回专用计算模块，循环这个过程直到误差小于设定。

10.根据权利要求8所述的方法，其特征在于，所述步骤S3中的拍摄指令包括设定为时间间隔和拍摄图片张数。

Images