CN114581284A - 一种多相机高速同步拍摄系统及拍摄方法 - Google Patents

Abstract

本发明公开了一种多相机高速同步拍摄系统及拍摄方法，本发明所述系统包括硬件同步器主板、硬件同步器从板、相机、数据采集电脑、电源部分；所述硬件同步器主板用于发出硬件控制触发信号，经过放大电路后输出给硬件同步器从板；所述硬件同步器从板用于接收硬件同步器主板的信号，将控制信号传递给相机，从而触发相机拍摄；所述相机用于接受硬件同步器从板的信号，按照控制触发信号的频率拍摄照片，并传输给数据采集电脑。本发明能够实现多相机，多视点和高速情况下的相机同步拍摄问题，使得拍摄得到的数据无需经过后期调整即可得到高同步性和可靠性的多视点视频序列。

Description

一种多相机高速同步拍摄系统及拍摄方法

技术领域

本发明涉及计算机视觉、摄像领域，具体地，涉及一种多相机高速同步拍摄系统及拍摄方法。

背景技术

如何高效可靠的获得同步的视频序列是研究人员和摄影人员一直关心的问题，因为在视频的拍摄中，相机的位置往往非常分散，同时在不同的拍摄场景中相机的位置又是变动的。因此如何获得可靠的同步视频就受到了人们的广泛关注。同步的视频可以用来提升深度学习模型对于时间和空间的理解，从而提高多种计算机视觉领域的模型训练效果，几乎所有计算机视觉领域的模型都依赖于大量可靠的数据。同时，一个多相机高速同步拍摄方法和系统也可以应用于影视娱乐领域。

到目前为止，如何获取高速同步的视频序列已经取得了部分的研究成果。概括起来可以分为二大类：1）在拍摄的时候采取同步开始、软件同步指令、频闪灯等方法进行同步拍摄；2）后期矫正。在获得多相机的视频之后通过人工矫正或软件关键点匹配的方法进行匹配同步。由于同步的匹配能够融合计算机图形学与计算机视觉的方法进行处理，因此其获得了一定的成功。但是目前尚存在以下问题：1）同步开始、软件同步指令的方法往往会受到环境的干扰，同步性不能得到很好的保证；2）后期人工矫正的方法往往需要巨大的人力和经济成本；3）软件关键点匹配的方法往往运行的时间较长，而且并不能保证完全准确。

发明内容

发明目的：本发明的目的是针对上述存在的问题提出一种多相机高速同步拍摄系统及拍摄方法，能够实现多相机，多视点和高速情况下的相机同步拍摄问题，使得拍摄得到的数据无需经过后期调整即可得到高同步性和可靠性的多视点视频序列。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：

一种多相机高速同步拍摄系统，包括硬件同步器主板、硬件同步器从板、相机、数据采集电脑、电源部分；所述硬件同步器主板用于发出硬件控制触发信号，经过放大电路后输出给硬件同步器从板；所述硬件同步器从板用于接收硬件同步器主板的信号，将控制信号传递给相机，从而触发相机拍摄；所述相机用于接受硬件同步器从板的信号，按照控制触发信号的频率拍摄照片，并传输给数据采集电脑。

进一步地，所述硬件同步器的主板，选用华大通用MCU做为处理核心，具体型号为HC32F460 KETA，使用蓝牙和按键双重控制的方式，并使用MCU控制一块四线的OLED屏幕。

进一步地，所述硬件同步器的主板，使用74HC04做输出反转，使用ULN2003做输出信号的功率放大；使用LT3080电源芯片作为一级降压芯片，将电压从12V降至5V；使用MIC5207-3.3V电源芯片将电压从5V降至3.3V。

进一步地，所述硬件同步器的主板，使用外接的12伏通用DC接口电源输入。

进一步地，所述硬件同步器的主板和硬件同步器从板之间使用通用千兆网网线标准定义，硬件同步器从板的输出端也使用通用网线标准。

进一步地，所述硬件同步器的从板的输入端使用了光耦隔离，选用AQY210SX光耦隔离芯片作为输入隔离芯片，使用双XL7005A型DC-DC电源芯片，一片芯片将输入的12V电压降压到3.3V给板上芯片供电，另一片芯片通过一个分压电路做成一个可调的输出电源。

进一步地，所述数据采集电脑使用PCIE转4USB3.0的转换卡以扩展USB3.0通道的数目，同时使用1206以上型号的桥接芯片。

用上述多相机高速同步拍摄系统进行多相机高速同步拍摄的方法，该方法包括如下步骤：

步骤1，根据实际的拍摄需求，准备好多相机高速同步拍摄系统所需要的各种硬件设备；

步骤2，将设备使用运送到拍摄的场地，并进行系统的组装和调试，并对相机进行初始化；

步骤3：内部参数的标定：使用色卡和棋盘格对相机的内部参数进行标定；其中色卡用于矫正相机的颜色；使用OpenCV的棋盘格板方法进行去畸变化；

步骤4：外部参数的标定：使用大型标定物或在相机视野中不断活动的人进行相机外部参数的标定；

步骤5：进行数据的采集：首先通过主机向各个数据采集的从机发射采集图片的数据的命令，初始化相机的触发方式为硬件触发，设定采集程序的允许内存为最大值，并设定每个相机拍摄的图片的数目；使用手机或者按键设定供给相机的触发信号的频率和数；控制硬件同步器开始触发后，相机开始采集照片；

如果需要采集多组数据，则可以重复步骤5多次；

数据采集结束后，先断开电源、然后将接线板、网线、硬件同步器从板、硬件同步器主板、数据采集电脑、电源部分、相机收起。

与现有技术相比，本发明具有以下优点：

本发明提供的硬件触发系统，通过硬件外部触发信号的方式，保证了相机工作在同一信号下，极大的提高了多视点同步相机拍摄的同步性和可靠性。解决了多视点数据集的时空不同步问题。

此外，针对多采集相机和电脑的大系统，我们还开发了软件，这可以使得相机采集的操控可以从一台主机上进行，大大提高了系统调试的便捷性。

此外，从硬件上保证了视频序列的同步性，就无须在后期进行手动的调节和矫正，这大大减少了数据集拍摄的工作量。

此外，完全可移动的系统，使得我们可以在任何我们想拍摄数据集的场景布置和拍摄数据，而并非局限于室内或者某种特定的场景。

此外，我们的系统还具有相当大的可扩展性，相机和采集电脑的数目可以随着需要而增减，可以满足更多的要求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明硬件同步器主板的原理图；

图2是本发明硬件同步器主板的PCB设计图；

图3是本发明硬件同步器主板的实物图；

图4是本发明硬件同步器从板的原理图；

图5是本发明硬件同步器从板的PCB设计图；

图6是本发明硬件同步器从板的实物图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

实施例1：

本实施例提供一种多相机高速同步拍摄系统，具有特征高速、高可靠性、高同步性和可扩充性。该系统主要包括下列组成部分：组成部分1，硬件同步器主板，主板负责发出硬件控制触发信号，经过放大电路后输出给从板；组成部分2，硬件同步器从板，可以串接的从板接受主板的信号，将控制信号传递给相机，从而硬件触发相机拍摄；组成部分3，相机，相机接受硬件同步器从板的信号，按照控制触发信号的频率拍摄照片，并传输给数据采集电脑；组成部分4，数据采集电脑，数据采集电脑通过USB3.0和相机相连，将采集到的数据高速传输到电脑上；组成部分5，电源部分，系统使用统一的家用220V电源插头，在室内时可以使用插座供电，户外采集数据时可以使用移动电源供电。方法提出的系统结构框图如图1所示。

本实施例中对硬件同步器的主板，选用华大通用MCU做为处理核心，具体型号为HC32F460 KETA。使用蓝牙和案件双重控制的方案，使得系统使用者可以随时控制控制信号的发出和频率，帧数调节。

本实施例中对硬件同步器的主板，使用74HC04做输出反转，保证了输出低电平有效，保证了系统的稳定性。

本实施例中对硬件同步器的主板，使用ULN2003做输出信号的功率放大，同时将电压输出信号转换为电流输出信号，使得输出信号的抗干扰能力更强，传输距离更远。

本实施例中对硬件同步器的主板，使用MCU控制一块四线的OLED屏幕，使得使用者可以方便的观察当前信号输出的频率和总帧数等状态，提升了系统的便捷性。

本实施例中对硬件同步器的主板，使用LT3080电源芯片作为一级降压芯片，将电压从12V降至5V；使用MIC5207-3.3V电源芯片将电压从5V降至3.3V。电压逐级降压保证了电源的稳定性，同时，板上在相当多的适当位置加入了滤波电容（100nF）和储能电容（100uF）组，使得电压具有更强的稳定性。

本实施例中对硬件同步器的主板和从板，使用外接的12伏通用DC接口电源输入，使得电路板的电源与市面上常见的AC-DC电源适配，提高系统的适配性。

本实施例中对硬件同步器的主板和从板，他们之间使用通用千兆网网线标准定义，从板的输出端也使用通用网线标准，因为网线具有成熟、容易获得、各种长度都有的特性，这使得主板、从板、相机之间的连接线变得灵活多变。

本实施例中对硬件同步器的从板，为保证信号的稳定并保护从板不被破坏，主板不被倒灌，因此在从板的输入端使用了光耦隔离，选用AQY210SX光耦隔离芯片作为输入隔离芯片。

本实施例中对硬件同步器的从板，使用双XL7005A型DC-DC电源芯片，一片芯片将输入的12V电压降压到3.3V给板上芯片供电，另一片芯片通过一个分压电路做成一个可调的输出电源，这使得从板的输出电源变得可调，从而适应不同的相机。

本实施例中对相机，可以使用不同类别和公司的工业相机，只要该相机可以接受外部硬件触发信号，并可用过数据线与电脑相连接。

本实施例中对数据采集电脑，我们使用PCIE转4USB3.0的转换卡以扩展USB3.0通道的数目，需要注意的是，使用的PCIE转USB3.0的转换卡应当使用1206以上型号的桥接芯片，否则其上行带宽无法满足4条USB3.0同时上传。

本实施例中对电源部分，系统均采用标准220V电源（12V电源由外接电源头转换得到），如果在室内采集，则可以使用室内电源；若在户外工作，则可以通过适当数目和容量的户外电源联合供电，以满足需要的工作时间。

用上述多相机高速同步拍摄系统进行多相机高速同步拍摄的方法，该方法包括如下步骤：

步骤1，根据实际的拍摄需求，准备好多相机高速同步拍摄系统和方法所需要的各种硬件设备。

在本实施案例中，我们计划使用我们提出的多相机高速同步拍摄系统和方法拍摄一组十个视点（相机）的户外篮球运动数据集，场地的大小为标准篮球场的半场。

根据我们的拍摄需求，我们应当准备十个工业相机及其支架，三台数据采集主机，三个移动电源，和用来组成局域网的一个路由器。此外，因为我们的每个硬件同步器主板有10个硬件同步器从板的输出口，而每个硬件同步器从板有10个输出口，且硬件同步器从板可串联，因此在本案例中我们需要一个硬件同步器主板和三个硬件同步器从板。

此外，因为本案例为户外数据采集，因此携带的三个移动电源（一个容量为1千瓦时，两个容量为0.5千瓦时）应当事先充满电。

步骤2，将设备使用小推车或汽车等运输工具，运送到拍摄的场地，并进行系统的组装和调试。根据实际布置场地的经验，系统的组装和调试应当按照如下的步骤和方式：

（1）相机的安放：首先根据场地的大小合理的安放相机的位置。

（2）电脑的安放：根据相机的位置合理的安放三台电脑的位置，使得需要的数据线长度最短

（3）电源的安放：根据相机和电脑的位置，合理的安放总控制车和移动电源的大体位置，使得所需要的网线和接线板最少。

（4）控制从板的安放：根据相机和电脑的位置，合理的安放控制从板的位置、使得在满足相机和电脑需要的情况下，所用到的网线和接线板最少。

（5）网线、接线板连接：为所有的从板和电脑连接电源线、接线板和网线。

（6）相机初始化：非常重要，对于电脑所接的需要接延长线的相机来说，要首先使用GPIO口供电，不接延长线接到电脑上进行初始化。初始化完成后，在GPIO口供电、相机不掉电的情况下，接上延长线。

至此，硬件层面的系统已经搭建完成，在实际的篮球场地内搭建的系统。

步骤3：内部参数的标定：使用色卡和棋盘格对相机的内部参数进行标定。

色卡可以矫正相机的颜色，便于后期得到相机拍摄过程中的白平衡参数，这样就可以得到标准颜色下的数据集。

单孔摄像机（照相机）会给图像带来很多畸变。畸变主要有两种：径向畸变和切想畸变。系统使用OpenCV的棋盘格板方法进行去畸变化，为了标定相机内参，我们需要在拍摄数据集之前，首先拍摄OpenCV生成的棋盘格方法。在黑白相间的棋盘格上，二维图像点很容易通过角点检测找到。

步骤4：外部参数的标定：使用大型标定物或在相机视野中不断活动的人进行相机外部参数的标定。

为了确定相机的参数，即相机在世界位置中的坐标，我们需要让相机拍摄具有明显特征的同一标定物，标定物的大小应当占据相机图像的1/3以上；或者让相机拍摄在视野中不断活动的人，根据已知的人的先验知识不断迭代，从而得到相机的外部参数。

步骤5：进行数据的采集。

以上步骤完成后，我们即开始拍摄数据，首先通过主机向各个数据采集的从机发射采集图片的数据的命令，初始化相机的触发方式为硬件触发，设定采集程序的允许内存为最大值，并设定每个相机拍摄的图片的数目。

此时相机处于等待采集的状态，但是因为相机并没有收到硬件触发信号，所以相机并没有采集图片，电脑也没有收到数据。

使用手机或者按键设定供给相机的触发信号的频率和数目，这也就决定了相机拍摄的帧率和拍摄数目。控制硬件同步器开始触发后，相机开始采集照片，因为电脑和硬件同步器均设定了采集图片的数目，因此，如果采集顺利完成，则说明采集过程顺利，没有发生丢帧或其他异常；反之，如果电脑没有收到预期的图片数目，则应当检查相机、以及相机和电脑之间的链接是否正常。

如果需要采集多组数据，则可以重复步骤5多次。

实际在篮球场采集数据，我们得到了多个视角的完全同步的数据。

数据采集结束后，先断开电源、然后将接线板、网线、从板、控制板、电脑、电源、相机收起。

实施例二

本实施例采用实施例1所述的多相机高速同步拍摄系统在室内复杂光照条件下的拍摄方法的一种具体实施案例，下面详细说明步骤。

步骤1，根据实际的拍摄需求，准备好多相机高速同步拍摄系统和方法所需要的各种硬件设备。

在本实施案例中，我们计划使用我们提出的多相机高速同步拍摄系统和方法拍摄一组十个视点（相机）的室内舞台数据集，场地的大小为一个工字型的舞台场景。

根据我们的拍摄需求，我们应当准备十个工业相机及其支架，三台数据采集主机，和用来组成局域网的一个路由器。此外，因为我们的每个硬件同步器主板有10个硬件同步器从板的输出口，而每个硬件同步器从板有10个输出口，且硬件同步器从板可串联，因此在本案例中我们需要一个硬件同步器主板和三个硬件同步器从板。

此外，因为本案例为室内采集，因此我们不需要携带电源，可以直接使用室内220V电源。

步骤2，将设备使用小推车或汽车等运输工具，运送到拍摄的场地，并进行系统的组装和调试。根据实际布置场地的经验，系统的组装和调试应当按照如下的步骤和方式：

（1）相机的安放：首先根据场地的大小合理的安放相机的位置。

（2）电脑的安放：根据相机的位置合理的安放三台电脑的位置，使得需要的数据线长度最短

（3）电源的安放：根据相机和电脑的位置，合理的安放总控制车的大体位置，使得所需要的网线和接线板最少。

（4）控制从板的安放：根据相机和电脑的位置，合理的安放控制从板的位置、使得在满足相机和电脑需要的情况下，所用到的网线和接线板最少。

（5）网线、接线板连接：为所有的从板和电脑连接电源线、接线板和网线。

（6）相机初始化：非常重要，对于电脑所接的需要接延长线的相机来说，要首先使用GPIO口供电，不接延长线接到电脑上进行初始化。初始化完成后，在GPIO口供电、相机不掉电的情况下，接上延长线。

至此，硬件层面的系统已经搭建完成，在实际的舞台场地内搭建系统。

步骤3：内部参数的标定：使用色卡和棋盘格对相机的内部参数进行标定。

色卡可以矫正相机的颜色，便于后期得到相机拍摄过程中的白平衡参数，这样就可以得到标准颜色下的数据集。

单孔摄像机（照相机）会给图像带来很多畸变。畸变主要有两种：径向畸变和切想畸变。系统使用OpenCV的棋盘格板方法进行去畸变化，为了标定相机内参，我们需要在拍摄数据集之前，首先拍摄OpenCV生成的棋盘格方法。在黑白相间的棋盘格上，二维图像点很容易通过角点检测找到。

步骤4：外部参数的标定：使用大型标定物或在相机视野中不断活动的人进行相机外部参数的标定。

为了确定相机的参数，即相机在世界位置中的坐标，我们需要让相机拍摄具有明显特征的同一标定物，标定物的大小应当占据相机图像的1/3以上；或者让相机拍摄在视野中不断活动的人，根据已知的人的先验知识不断迭代，从而得到相机的外部参数。

步骤5：进行数据的采集。

以上步骤完成后，我们即开始拍摄数据，首先通过主机向各个数据采集的从机发射采集图片的数据的命令，初始化相机的触发方式为硬件触发，设定采集程序的允许内存为最大值，并设定每个相机拍摄的图片的数目。

此时相机处于等待采集的状态，但是因为相机并没有收到硬件触发信号，所以相机并没有采集图片，电脑也没有收到数据。

使用手机或者按键设定供给相机的触发信号的频率和数目，这也就决定了相机拍摄的帧率和拍摄数目。控制硬件同步器开始触发后，相机开始采集照片，因为电脑和硬件同步器均设定了采集图片的数目，因此，如果采集顺利完成，则说明采集过程顺利，没有发生丢帧或其他异常；反之，如果电脑没有收到预期的图片数目，则应当检查相机、以及相机和电脑之间的链接是否正常。

如果需要采集多组数据，则可以重复步骤5多次。

实际在篮球场采集数据，我们得到了多个视角的完全同步的数据。

数据采集结束后，先断开电源、然后将接线板、网线、从板、控制板、电脑、相机收起。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种多相机高速同步拍摄系统，其特征在于，所述系统包括硬件同步器主板、硬件同步器从板、相机、数据采集电脑、电源部分；所述硬件同步器主板用于发出硬件控制触发信号，经过放大电路后输出给硬件同步器从板；所述硬件同步器从板用于接收硬件同步器主板的信号，将控制信号传递给相机，从而触发相机拍摄；所述相机用于接受硬件同步器从板的信号，按照控制触发信号的频率拍摄照片，并传输给数据采集电脑。

2.根据权利要求1所述的多相机高速同步拍摄系统，其特征在于，所述硬件同步器的主板，选用华大通用MCU做为处理核心，具体型号为HC32F460 KETA，使用蓝牙和按键双重控制的方式，并使用MCU控制一块四线的OLED屏幕。

3.根据权利要求1所述的多相机高速同步拍摄系统，其特征在于，所述硬件同步器的主板，使用74HC04做输出反转，使用ULN2003做输出信号的功率放大；使用LT3080电源芯片作为一级降压芯片，将电压从12V降至5V；使用MIC5207-3.3V电源芯片将电压从5V降至3.3V。

4.根据权利要求1所述的多相机高速同步拍摄系统，其特征在于，所述硬件同步器的主板，使用外接的12伏通用DC接口电源输入。

5.根据权利要求1所述的多相机高速同步拍摄系统，其特征在于，所述硬件同步器的主板和硬件同步器从板之间使用通用千兆网网线标准定义，硬件同步器从板的输出端也使用通用网线标准。

6.根据权利要求1所述的多相机高速同步拍摄系统，其特征在于，所述硬件同步器的从板的输入端使用了光耦隔离，选用AQY210SX光耦隔离芯片作为输入隔离芯片，使用双XL7005A型DC-DC电源芯片，一片芯片将输入的12V电压降压到3.3V给板上芯片供电，另一片芯片通过一个分压电路做成一个可调的输出电源。

7.根据权利要求1所述的多相机高速同步拍摄系统，其特征在于，所述数据采集电脑使用PCIE转4USB3.0的转换卡以扩展USB3.0通道的数目，同时使用1206以上型号的桥接芯片。

8.一种用上述多相机高速同步拍摄系统进行多相机高速同步拍摄的方法，其特征在于，该方法包括如下步骤：

步骤1，根据实际的拍摄需求，准备好多相机高速同步拍摄系统所需要的各种硬件设备；

步骤2，将设备使用运送到拍摄的场地，并进行系统的组装和调试，并对相机进行初始化；

步骤3：内部参数的标定：使用色卡和棋盘格对相机的内部参数进行标定；其中色卡用于矫正相机的颜色；使用OpenCV的棋盘格板方法进行去畸变化；

步骤4：外部参数的标定：使用大型标定物或在相机视野中不断活动的人进行相机外部参数的标定；

步骤5：进行数据的采集：首先通过主机向各个数据采集的从机发射采集图片的数据的命令，初始化相机的触发方式为硬件触发，设定采集程序的允许内存为最大值，并设定每个相机拍摄的图片的数目；使用手机或者按键设定供给相机的触发信号的频率和数；控制硬件同步器开始触发后，相机开始采集照片；

如果需要采集多组数据，则可以重复步骤5多次；

数据采集结束后，先断开电源、然后将接线板、网线、硬件同步器从板、硬件同步器主板、数据采集电脑、电源部分、相机收起。

Images