CN204481975U - 一种多目相机系统 - Google Patents

Abstract

本实用新型提供了一种多目相机系统，包括硬件信号发生装置产生同步信号，并通过电缆将该同步信号同时发送至多个相机单元；多个相机单元接收硬件信号发生装置发出的同步信号，并受该同步信号触发各相机单元拍摄同步二维图像；同步图像匹配装置获取各相机单元拍摄的同步二维图像，并将获取的多个同步二维图像进行同步匹配。采用本实用新型提供的技术方案，硬件信号发生装置将产生的同步信号通过电缆发送至多个相机单元拍摄同步二维图像，并利用同步图像匹配装置实现同步二维图像的匹配，由于电缆传输信号的传输速度接近光速，几乎不损耗时间，因此通过电缆发送同步信号可以实现大基线多目相机系统中多个相机单元的精确同步。

Description

一种多目相机系统

技术领域

本实用新型涉及计算机视觉领域，特别涉及一种多目相机系统。

背景技术

随着信息技术的迅猛发展，人们对三维模型及与之相关的需求越来越多，而多目相机系统是实现三维模型的重要手段。多目相机系统是指具有多个成像相机单元组成的、各成像相机单元之间以一定的距离和角度固定组成的一个相机系统。多个成像相机单元同步采集二维图像，通过立体视觉算法将同一时刻采集的多个二维图像组成三维立体图像数据，用于计算机视觉处理。

多目相机系统的基线是指相机单元之间的距离，基线的大小影响采集三维图像目标的距离，基线越大，采集到的远处目标的三维信息越精确。

目前，基于小基线的多目相机系统，多个成像相机单元一般都设计集成到同一电路板上，可以使用同一个硬件处理单元控制，因为成像相机单元之间共用总线和时钟，所以可以很容易进行同步。

大基线多目相机系统，由于成像相机单元之间的距离较大(0.5米～5米)，成像相机单元无法设计到同一电路板上，大多采用多头独立的方式，即为了达到实时的测量，采用多个成像相机单元独立工作，分别同时拍摄，然后分别通过USB、Ethernet等数据传输通道传送到PC，通过PC完成各个图像的拼接、合成等处理。其中，USB、Ethernet等接口主要用于数据传输，而数据处理和传输的延迟误差的数量级一般在几个毫秒以上，因此使用USB、Ethernet等数据传输通道无法实现大基线多目相机系统的精确同步。

现有技术的不足在于：目前多目相机系统使用的USB或Ethernet接口传 递同步信号，无法实现大基线多目相机系统的精确同步。

实用新型内容

本实用新型实施例中提供了一种多目相机系统，用以解决现有技术中的大基线多目相机系统无法实现精确同步的问题。

本实用新型实施例中提供了一种多目相机系统，包括多个相机单元，硬件信号发生装置以及同步图像匹配装置，其中：

硬件信号发生装置，与多个相机单元通过电缆相连，用于产生同步信号，并将该同步信号同时发送至多个相机单元；

多个相机单元，分别与硬件信号发生装置和同步图像匹配装置相连，用于接收硬件信号发生装置发出的同步信号，各相机单元受该同步信号触发拍摄同步二维图像；

同步图像匹配装置，与多个相机单元相连，用于获取各相机单元拍摄的同步二维图像，并将获取的多个同步二维图像进行同步匹配。

本实用新型的有益效果是：

本实用新型实施例提供的技术方案中，硬件信号发生装置将产生的同步信号通过电缆发送至多个相机单元，并触发相机单元拍摄同步二维图像，并利用同步图像匹配装置实现同步二维图像的匹配，由于电缆中信号的传输速度接近光速，几乎不损耗时间，因此使用电缆传递同步信号可以实现大基线多目相机系统中多个相机单元的精确同步。

附图说明

下面将参照附图描述本实用新型的具体实施例，其中：

图1为本实用新型实施例中多目相机系统实施的结构示意图；

图2为本实用新型实施例中多目相机系统及装置的实施示意图；

图3为本实用新型实施例中多目相机同步方法实施的流程示意图；

图4为本实用新型实施例中同步信号发生方法实施的流程示意图；

图5为本实用新型实施例中图像匹配方法实施的流程示意图。

具体实施方式

为了使本实用新型实施例中的技术方案及优点更加清楚明白，以下结合附图对本实用新型的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本实用新型的一部分实施例，而不是所有实施例的穷举。

针对现有技术的不足，本实用新型实施例中提供了一种多目相机系统、装置及同步方法，来实现大基线多目相机系统的精确同步。下面进行说明。

图1为本实用新型实施例中多目相机系统实施的结构示意图，如图所示，可以包括多个相机单元101、102......10N，硬件信号发生装置110以及同步图像匹配装置120，其中：

硬件信号发生装置110，与多个相机单元通过电缆相连，用于产生同步信号，并将该同步信号同时发送至多个相机单元；

多个相机单元，分别与硬件信号发生装置110和同步图像匹配装置120相连，用于接收硬件信号发生装置110发出的同步信号，各相机单元受该同步信号触发拍摄同步二维图像；

同步图像匹配装置120，与多个相机单元相连，用于获取各相机单元拍摄的同步二维图像，并将获取的多个同步二维图像进行同步匹配。

具体实施中，本实用新型实施例中的多目相机系统可以使用在大基线(0.5米～5米)的场景中，基线越大，采集到的远处目标的三维信息越精确，同时拍摄同步二维图像的相机单元越多，采集到的二维图像计算获得的三维信息也越精确。本实用新型实施例不再使用传统的USB、Ethernet数据传输通道进行相机单元的同步，而是采用电缆传输接近光速的电信号作为同步信号来触发相机单元进行拍摄，进而提高了相机单元的同步精确度。

实施中，多个相机单元可以按照预设距离和预设位置固定在机械装置上。

具体实施中，由于本实用新型实施例中提供的多目相机系统可以使用在大 基线场景下，因此，相机单元之间的距离可以在0.5米以上。

另外，为了提高多个相机单元拍摄同步二维图像的稳定性，可以将相机单元固定在机械装置上，此处并不限制固定的方式，只要是可以满足本实用新型实施例中将相机单元固定在机械装置上的方式均在本实用新型的保护范围之内。

具体实施中，各相机单元可以以直线方式排列固定在机械装置上，也可以以圆弧方式排列固定在机械装置上，或者以其他任意角度固定在机械装置上，此处不做限制。例如，使用圆弧的方式将各相机单元固定在机械装置上。

与直线排列方式相比，以圆弧方式排列可以以较少的相机单元获得更大角度的二维图像信息。

实施中，硬件信号发生装置110可以是电信号发生器，同步信号可以为电平信号。

具体实施中，硬件信号发生装置110可以是一个可配置的电信号发生器，产生的同步信号可以是电平信号，可以通过电缆(信号传输线)连接到各个相机单元的触发输入接口。在发送同步信号至各相机单元之前，可以先将各个相机单元的快门触发方式设置为外部触发，并且设置触发快门的信号方式，比如是电平跳变的上升沿，抑或是电平跳变的下降沿。由于电平信号的传输速度接近于光速，因此利用电平信号作为同步信号，其时间损耗可忽略不计，可以精确地实现各相机单元的同步拍摄。

实施中，硬件信号发生装置110可以按照预设周期发送同步信号至多个相机单元。

具体实施中，硬件信号发生装置110可以按一定的周期发送同步信号，则各相机单元周期性的拍摄同步二维图像。通过设定产生同步信号的周期，可以控制相机单元拍摄的时间，并且设定周期的方式，减少了人为控制的人力成本，可以高效的获取同步二维图像。

实施中，同步图像匹配装置120可以进一步用于设置各相机单元具有相同 的拍摄参数。

具体实施中，同步图像匹配装置120可以对各相机单元进行参数设置和控制，具体地，可以设置各相机单元具有相同的拍摄参数。各个相机单元在相同的拍摄参数下拍摄的二维同步图像能够更准确地反映物体的三维信息，能够更好的重建三维图像。

实施中，同步图像匹配装置120可以进一步用于控制硬件信号发生装置110将同步信号发送至多个相机单元中的全部或部分相机单元，拍摄获得同步二维图像；

和/或，

还可以进一步用于控制开启多个相机单元中的全部或部分相机单元，接收硬件信号发生装置110发送的同步信号，拍摄获得同步二维图像。

具体实施中，同步图像匹配装置120除了可以控制各相机单元外，还可以控制硬件信号发生装置110。当多个相机单元排列在机械装置上时，根据不同的使用场景，可以控制多个相机单元中的部分或全部进行拍摄。例如，在拍摄近距离的物体时，使用较少数量的近的相机单元进行拍摄就可以获得较为完整的三维图像；而在拍摄较远距离的物体时，需要使用多个相隔较远的相机单元进行拍摄才能够获得完整的三维图像。

通过同步图像匹配装置120对硬件信号发生器发送同步信号的目标进行控制或者对进行拍摄的相机单元的工作状态进行控制，能够避免系统中的所有相机单元在任何时刻均进行同步二维图像的采集，从而达到更高效资源利用的目的，减少不必要的资源损耗和开销。

本实用新型实施例中还提供了一种硬件信号发生装置110，该装置可以产生触发多个相机单元进行同步拍摄的同步信号，并将该同步信号通过电缆同时发送至多个相机单元。

具体实施中，本实用新型实施例中硬件信号发生装置110可以不再使用传统的USB、Ethernet数据传输通道进行相机单元的同步，而是采用电缆传输接 近光速的电信号来实现相机单元的同步，进而提高了相机单元的同步精确度。

实施中，该硬件信号发生装置110可以是电信号发生器，该同步信号可以为电平信号。

具体实施中，具体实施中，硬件信号发生装置110可以是一个可配置的电信号发生器，可以通过电缆(信号传输线)连接到各个相机单元的触发输入接口。设置触发快门的信号方式，比如是电平跳变的上升沿，抑或是电平跳变的下降沿。由于电平信号的传输速度接近于光速，因此利用电平信号作为同步信号，其时间损耗可忽略不计，可以精确地实现各相机单元的同步拍摄。

实施中，该硬件信号发生装置110可以按照预设周期发送同步信号至多个相机单元。

具体实施中，具体实施中，硬件信号发生装置110可以按一定的周期发送同步信号，则各相机单元周期性的拍摄同步二维图像。通过设定产生同步信号的周期，可以减少了人为控制的人力成本。

本实用新型实施例中还提供了一种同步图像匹配装置120，该装置可以用于获取多个相机单元在同步信号触发下拍摄的同步二维图像，并将该多个二维图像进行同步匹配。

实施中，该同步图像匹配装置120可以进一步用于设置各相机单元具有相同的拍摄参数。

具体实施中，同步图像匹配装置120可以对各相机进行参数设置和控制，具体地，可以设置各相机单元具有相同的拍摄参数。只有各个相机单元在相同的拍摄参数下拍摄的二维同步图像才能够正确反映物体的三维信息，能够更好的重建三维图像。

实施中，该同步图像匹配装置120可以进一步用于控制硬件信号发生装置将同步信号发送至多个相机单元中的全部或部分相机单元，拍摄获得同步二维图像；

和/或，

该同步图像匹配装置120可以进一步用于控制开启多个相机单元中的全部或部分相机单元，接收硬件信号发生装置发送的同步信号，拍摄获得同步二维图像。

具体实施中，同步图像匹配装置120除了可以控制各相机单元外，还可以控制硬件信号发生装置。当多个相机单元排列在机械装置上时，根据不同的使用场景，可以控制多个相机单元中的部分或全部进行拍摄。例如，在拍摄近距离的物体时，使用较少数量的近的相机单元进行拍摄就可以获得较为完整的三维图像；而在拍摄较远距离的物体时，需要使用多个相隔较远的相机单元进行拍摄才能够获得完整的三维图像。

通过同步图像匹配装置120对硬件信号发生器发送同步信号的目标进行控制或者对进行拍摄的相机单元的工作状态进行控制，能够避免系统中的所有相机单元在任何时刻均进行同步二维图像的采集，从而达到更高效资源利用的目的，减少不必要的资源损耗和开销。

为了描述的方便，以上所述装置的各部分以功能分为各种部件或单元分别描述。当然，在实施本实用新型时可以把各部件或单元的功能在同一个或多个软件或硬件中实现。

下面再以实例对实施例提供的多目相机系统的使用进行说明，图2为本实用新型实施例中多目相机系统及装置的实施示意图。如图所示，

相机单元101、相机单元102至相机单元10N固定在机械装置上，硬件信号发生装置110通过信号线(即电缆)连接各相机单元，同步图像匹配装置120控制硬件信号发生装置110以周期的方式发送同步电平信号至各相机单元，或者控制硬件信号发生装置110将产生的同步电平信号发送至多个相机单元中的部分，相机单元受同步电平信号的触发拍摄同步二维图像，将同步二维图像传输至同步图像匹配装置120，同步图像匹配装置120对接收到的同步二维图像进行同步匹配，进而将二维图像进过立体算法进行三维重建。

在此过程中，同步图像匹配装置120还用于对各相机单元的参数进行设置， 也可以直接控制多个相机单元中的部分相机单元在同步电平信号触发下拍摄同步二维图像。

基于同一实用新型构思，本实用新型实施例中还提供了一种多目相机同步方法、一种同步信号发生方法以及一种图像匹配方法，由于方法解决问题的原理与一种多目相机系统、一种硬件信号发生装置、以及一种同步图像匹配装置相似，因此方法的实施可以参见系统和装置的实施，重复之处不再赘述。

图3为本实用新型实施例中多目相机同步方法实施的流程示意图，如图所示，可以包括步骤：

步骤301、硬件信号发生装置产生同步信号，并将所述同步信号通过电缆同时发送至多个相机单元；

步骤302、多个相机单元接收硬件信号发生装置发出的同步信号，并受所述同步信号触发各相机单元拍摄同步二维图像；

步骤303、同步图像匹配装置获取各相机单元拍摄的同步二维图像，并将获取的多个同步二维图像进行同步匹配。

实施中，在多个相机单元接收同步信号并触发各相机单元拍摄同步二维图像之前，可以进一步包括：

将多个相机单元按照预设距离和预设位置固定在机械装置上。

具体实施中，为了各相机单元拍摄的稳定性以及满足不同拍摄需求，可以将多个相机单元以一定的距离(大基线场景下相机单元的距离一般在0.5米以上)、一定的角度(可以以直线排列、圆弧型排列等等)固定在机械装置上。

实施中，在多个相机单元接收硬件信号发生装置发出的同步信号之前，可以进一步包括：

设置各相机单元的快门触发方式为外部触发。

具体实施中，只有设置各相机单元的快门触发方式为外部触发，才能够在接收到同步信号后拍摄同步二维图像。并且，可以设置发快门的信号方式，比如是电平跳变的上升沿，抑或是电平跳变的下降沿。由于电平信号的传输速度 接近于光速，因此利用电平信号作为同步信号，其时间损耗可忽略不计，可以精确地实现各相机单元的同步拍摄。

实施中，硬件信号发生装置发送同步信号至相机单元可以按照预设周期发送。

具体实施中，通过设定产生同步信号的周期，可以控制相机单元拍摄的时间，并且设定周期的方式，不需要人为控制，降低了人力成本。

实施中，在多个相机单元接收硬件信号发生装置发出的同步信号之前，可以进一步包括：

设置各相机单元具有相同的拍摄参数。

具体实施中，只有各个相机单元在相同的拍摄参数下拍摄的二维同步图像才能够正确反映物体的三维信息，能够更好的重建三维图像。

实施中，可以进一步包括：

同步图像匹配装置控制硬件信号发生装置将同步信号发送至多个相机单元中的全部或部分相机单元，拍摄获得同步二维图像；

和/或，

同步图像匹配装置控制开启多个相机单元中的全部或部分相机单元，接收硬件信号发生装置发送的同步信号，拍摄获得同步二维图像。

具体实施中，根据不同的使用场景，可以控制多个相机单元中的部分或全部进行拍摄，可以扩展本实用新型实施例中提供的多目相机系统的使用场景，也能更有效的利用资源，减少不必要的资源开销。

实施中，将获取的多个同步二维图像进行同步匹配，可以包括步骤：

将从各相机单元获取的同步二维图像包含的数据帧缓冲至多个缓冲队列，所述缓冲队列与拍摄同步二维图像的相机单元一一对应；

在缓冲至缓冲队列的数据帧使得所有与拍摄同步二维图像的相机单元对应的缓冲队列非空时，在所述缓冲队列中确定与该数据帧具有相同时间戳的同步数据帧，所述时间戳为相机单元获取该数据帧时的时间值；

将确定的多个同步数据帧进行同步匹配。

具体实施中，缓冲至缓冲队列的每个数据帧都可以包含成像的时间戳。不同相机单元的数据帧，如果时间戳差dt小于某个设定的值，则认为这两帧是同时触发的，他们的时间戳相同。以此为依据可以在缓冲队列中寻找具有相同时间戳的同步数据帧，将这些同步数据帧进行计算等处理就可以实现三维重建。

各相机单元拍摄的同步二维图像的数据帧可能并不是同时进入到缓冲队列中，当某一个同步二维图像的数据帧进入到缓冲队列后，此时恰好所有与拍摄同步二维图像的相机单元对应的缓冲队列非空，表明各相机单元拍摄的同步二维图像的数据帧均已缓冲至缓冲队列，此时，在缓冲队列中查找具有相同时间戳的同步数据帧，将找到的同步数据帧可以从缓冲队列中取出，或者在缓冲队列中，进行同步匹配、运算等处理，最终获得三维立体图像。

实施中，将确定的多个同步数据帧进行同步匹配之后，可以进一步包括：

将所述多个同步数据帧从缓冲队列中清除。

具体实施中，在同步数据帧进行同步匹配之后从缓冲队列中清除，可以保证每次各相机单元拍摄的同步二维图像的数据帧进入缓冲队列前，缓冲队列是空的，这样能够减少缓存的数据量，并且能够使查找同步数据帧的操作更加简单和明了，有效降低查找同步数据帧的错误率。

本实用新型还提供了一种同步信号发生方法，图4为本实用新型实施例中同步信号发生方法实施的流程示意图，如图所示，可以包括步骤：

步骤401、产生触发多个相机单元进行同步拍摄的同步信号；

步骤402、将所述同步信号通过电缆同时发送至多个相机单元。

实施中，该同步信号可以为电平信号。

实施中，在将该同步信号同时发送至多个相机单元时，同步信号可以是按照预设周期发送至多个相机单元的。

本实用新型还提供了一种图像匹配方法，图5为本实用新型实施例中同步信号发生方法实施的流程示意图，如图所示，可以包括步骤：

步骤501、获取各相机单元在同步信号触发下拍摄的同步二维图像；

步骤502、将获取的多个同步二维图像进行同步匹配。

实施中，将获取的多个同步二维图像进行同步匹配，可以包括步骤：

将从各相机单元获取的同步二维图像包含的数据帧缓冲至缓冲队列，所述缓冲队列与拍摄同步二维图像的相机单元一一对应；

在缓冲至缓冲队列的数据帧使得所有与拍摄同步二维图像的相机单元对应的缓冲队列非空时，在所述缓冲队列中确定与该数据帧具有相同时间戳的同步数据帧，所述时间戳为相机单元获取该数据帧时的时间值；

对所述多个同步数据帧完成同步匹配。

实施中，将确定的多个同步数据帧进行同步匹配之后，可以进一步包括：

将所述多个同步数据帧从缓冲队列中清除。

本实用新型提供了一种多目相机系统、装置及同步方法，包括硬件信号发生装置产生同步信号，并通过电缆将该同步信号同时发送至多个相机单元；多个相机单元接收硬件信号发生装置发出的同步信号，并受该同步信号触发各相机单元拍摄同步二维图像；同步图像匹配装置获取各相机单元拍摄的同步二维图像，并将获取的多个同步二维图像进行同步匹配。采用本实用新型提供的技术方案，硬件信号发生装置将产生的同步信号通过电缆发送至多个相机单元拍摄同步二维图像，并利用同步图像匹配装置实现同步二维图像的匹配，由于电缆传输电信号的速度接近光速，几乎不损耗时间，因此使用电缆作为同步信号的传输媒介可以实现大基线多目相机系统中多个相机单元的精确同步。

同时通过将同步二维图像的数据帧缓冲至缓冲队列并查找同步数据帧的方式，精确地实现了同步二维图像的匹配。相机单元的拍摄同步和同步二维图像的同步匹配都保证了多目相机系统的精确同步。

本领域内的技术人员应明白，本实用新型的实施例可提供为方法、系统、或计算机程序产品。因此，本实用新型可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本实用新型可采用在一个 或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本实用新型是参照根据本实用新型实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本实用新型的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本实用新型范围的所有变更和修改。

显然，本领域的技术人员可以对本实用新型进行各种改动和变型而不脱离本实用新型的精神和范围。这样，倘若本实用新型的这些修改和变型属于本实用新型权利要求及其等同技术的范围之内，则本实用新型也意图包含这些改动和变型在内。

Claims (6)

1.一种多目相机系统，其特征在于，包括多个相机单元，硬件信号发生装置以及同步图像匹配装置，其中：

硬件信号发生装置，与多个相机单元通过电缆相连，用于产生同步信号，并将所述同步信号同时发送至多个相机单元；

多个相机单元，分别与硬件信号发生装置和同步图像匹配装置相连，用于接收硬件信号发生装置发出的同步信号，各相机单元受所述同步信号触发拍摄同步二维图像；

同步图像匹配装置，与多个相机单元相连，用于获取各相机单元拍摄的同步二维图像，并将获取的多个同步二维图像进行同步匹配。

2.如权利要求1所述的系统，其特征在于，所述多个相机单元按照预设距离和预设位置固定在机械装置上。

3.如权利要求1或2所述的系统，其特征在于，所述硬件信号发生装置是电信号发生器，所述同步信号为电平信号。

4.如权利要求3所述的系统，其特征在于，所述硬件信号发生装置按照预设周期发送同步信号至多个相机单元。

5.如权利要求1所述的系统，其特征在于，所述同步图像匹配装置进一步用于设置各相机单元具有相同的拍摄参数。

6.如权利要求1或5所述的系统，其特征在于，所述同步图像匹配装置进一步用于控制硬件信号发生装置将同步信号发送至多个相机单元中的全部或部分相机单元，拍摄获得同步二维图像；

和/或，

进一步用于控制开启多个相机单元中的全部或部分相机单元，接收硬件信号发生装置发送的同步信号，拍摄获得同步二维图像。