CN108259880B - 多向双目视觉感知方法、装置及系统 - Google Patents

Abstract

本发明属于机器视觉技术领域，提供了一种多向双目视觉感知方法、装置及系统。该系统包括依次连接的采集单元、处理单元和供电单元，采集单元包括多组双目相机，且均与处理单元连接，用于获取目标区域的图像数据，处理单元用于生成多个触发信号，根据触发信号，分时选择对应方向的双目相机的图像数据，进行缓存，计算缓存的数据量，根据缓存的数据量，同步输出双目相机的图像数据，每个触发信号对应一个方向的双目相机，处理单元为FPGA，供电单元用于为处理单元提供电能量。本发明多向双目视觉感知方法、装置及系统，能够准确、高效地实现多方位视觉感知，灵活调度多路双目相机。

Description

多向双目视觉感知方法、装置及系统

技术领域

本发明涉及机器视觉技术领域，具体涉及一种多向双目视觉感知方法、装置及系统。

背景技术

双目立体视觉技术是机器视觉领域的关键技术之一，尤其对于移动机器人而言，快速、准确地获取三维立体信息，对于实现移动机器人的避障、定高、vSLAM、路径规划、导航等具有十分重要的意义。

在实际应用过程中，移动机器人的工作环境复杂多变，障碍物的位置是全方位的。为了提高移动机器人工作的可靠性，需要多向乃至全向的双目视觉解决方案。

但是，受限于当下移动机器人双目立体视觉的发展现状，以及双目立体视觉运算平台的计算能力限制，现有的双目立体视觉方法仍以单向双目为主，在应用中仍有局限。

虽然，现有技术可以采用多个单向双目视觉单元，组成多向双目视觉感知模块。但是，这种方式存在系统复杂、鲁棒性降低、成本成倍提升、多路双目相机之间难以灵活调度等问题。

如何准确、高效地实现多方位视觉感知，灵活调度多路双目相机，是本领域技术人员亟需解决的问题。

发明内容

针对现有技术中的缺陷，本发明提供了一种多向双目视觉感知方法、装置及系统，能够准确、高效地实现多方位视觉感知，灵活调度多路双目相机。

第一方面，本发明提供一种多向双目视觉感知方法，该方法包括：

生成多个触发信号，每个触发信号对应一个方向的双目相机；

根据触发信号，分时选择对应方向的双目相机的图像数据；

将选中的双目相机的图像数据缓存于缓存区，并计算缓存区的数据量；

根据缓存区的数据量，同步输出双目相机的图像数据。

进一步地，根据触发信号，分时选择对应方向的双目相机的图像数据，包括：实时监测各路触发信号，直至存在上升沿或下降沿的触发信号；

根据触发信号的上升沿或下降沿，选择对应方向的双目相机的图像数据。

进一步地，将选中的双目相机的图像数据缓存于缓存区，并计算缓存区的数据量，包括：

根据触发信号的上升沿或下降沿，清空左相机缓存区和右相机缓存区；

将选中的左相机的图像数据缓存于清空后的左相机缓存区；

将选中的右相机的图像数据缓存于清空后的右相机缓存区，双目相机包括左相机和右相机；

计算左相机缓存区和右相机缓存区的数据量。

进一步地，同步输出双目相机的图像数据，包括：

检测数据量计算结果，直至左相机缓存区的数据量和右相机缓存区的数据量均为非零；

按照统一的时钟信号输出左相机缓存区和右相机缓存区的图像数据。

基于上述任意多向双目视觉感知方法实施例，进一步地，任意两个触发信号的上升沿之间的时间间隔至少为相机输出一帧图像数据的时间间隔，或任意两个触发信号的下降沿之间的时间间隔至少为相机输出一帧图像数据的时间间隔。

第二方面，本发明提供一种多向双目视觉感知装置，该装置包括：信号生成模块、数据选择模块、数据缓存模块和同步输出模块，信号生成模块用于生成多个触发信号，每个触发信号对应一个方向的双目相机；数据选择模块用于根据触发信号，分时选择对应方向的双目相机的图像数据；数据缓存模块用于将选中的双目相机的图像数据缓存于缓存区，并计算缓存区的数据量；同步输出模块用于根据缓存区的数据量，同步输出双目相机的图像数据。

进一步地，数据选择模块具体用于：实时监测各路触发信号，直至存在上升沿或下降沿的触发信号；根据触发信号的上升沿或下降沿，选择对应方向的双目相机的图像数据。

进一步地，数据缓存模块具体用于：根据触发信号的上升沿或下降沿，清空左相机缓存区和右相机缓存区；将选中的左相机的图像数据缓存于清空后的左相机缓存区；将选中的右相机的图像数据缓存于清空后的右相机缓存区，双目相机包括左相机和右相机；计算左相机缓存区和右相机缓存区的数据量。

进一步地，同步输出模块具体用于：检测数据量计算结果，直至左相机缓存区的数据量和右相机缓存区的数据量均为非零；按照统一的时钟信号输出左相机缓存区和右相机缓存区的图像数据。

进一步地，信号生成模块为信号生成子单元，数据选择模块为数据选择器，数据缓存模块为缓存区。

第三方面，本发明提供一种多向双目视觉感知系统，该系统包括：依次连接的采集单元、处理单元和供电单元，采集单元包括多组双目相机，且均与处理单元连接，用于获取目标区域的图像数据，处理单元用于生成多个触发信号，根据触发信号，分时选择对应方向的双目相机的图像数据，进行缓存，计算缓存的数据量，根据缓存的数据量，同步输出双目相机的图像数据，每个触发信号对应一个方向的双目相机，处理单元为FPGA，供电单元用于为处理单元提供电能量。

进一步地，处理单元包括信号生成子单元、数据选择器和缓存区，信号生成子单元分别与数据选择器和缓存区连接，数据选择器还分别与缓存区和每组双目相机连接，信号生成子单元还与供电单元连接，信号生成子单元用于生成多个触发信号并传输至数据选择器和缓存区，数据选择器用于根据触发信号，分时选择对应方向的双目相机的图像数据，并将选中的双目相机的图像数据缓存于缓存区，缓存区用于根据触发信号，清空缓存区，并缓存数据选择器传输的已选中的双目相机的图像数据，计算缓存区的数据量，根据缓存区的数据量，同步输出双目相机的图像数据。

进一步地，双目相机通过MIPI接口或LVDS接口与数据选择器连接，MIPI接口和LVDS接口均用于传输双目相机的图像数据。

进一步地，缓存区包括左相机缓存区和右相机缓存区，左相机缓存区用于存储左相机的图像数据，右相机缓存区用于存储右相机的图像数据，双目相机包括左相机和右相机。

进一步地，双目相机为CMOS式相机。

由上述技术方案可知，本实施例提供的多向双目视觉感知方法、装置及系统，采用触发信号，分时选择不同方向双目相机的图像数据，实现了多向双目相机分时曝光和输出、数据选择与缓存同步，以分时的方式降低后端双目立体视觉、vSLAM等应用算法的实现，可大幅降低运算量，实现多向双目视觉感知，提高多路双目相机调度的灵活性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明所提供的一种多向双目视觉感知方法的方法流程图；

图2示出了本发明所提供的同步数据输出的方法流程图；

图3示出了本发明所提供的触发信号和图像数据输出的波形图；

图4示出了本发明所提供的一种多向双目视觉感知装置的连接示意图；

图5示出了本发明所提供的一种多向双目视觉感知系统的连接示意图；

图6示出了本发明所提供的数据选择器的连接示意图；

图7示出了本发明所提供的数据缓存的架构图；

图8示出了本发明所提供的多向双目视觉感知系统的原理图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

第一方面，本发明实施例提供一种多向双目视觉感知方法，结合图1，该方法包括：

步骤S1，生成多个触发信号，每个触发信号对应一个方向的双目相机，生成多个触发信号，以分时触发各方向双目相机曝光并输出图像。

步骤S2，根据触发信号，分时选择对应方向的双目相机的图像数据。

步骤S3，将选中的双目相机的图像数据缓存于缓存区，并计算缓存区的数据量。

步骤S4，根据缓存区的数据量，在左右相机的缓存区均有数据时，同步输出双目相机的图像数据。

由上述技术方案可知，本实施例提供的多向双目视觉感知方法，采用触发信号，分时选择不同方向双目相机的图像数据，实现了多向双目相机分时曝光和输出、数据选择与缓存同步，以分时的方式降低后端双目立体视觉、vSLAM等应用算法的实现，可大幅降低运算量，实现多向双目视觉感知，提高多路双目相机调度的灵活性。

为了进一步提高本实施例多向双目视觉感知方法的准确性，在图像数据选择方面，根据触发信号，分时选择对应方向的双目相机的图像数据时，具体实现过程如下：

实时监测各路触发信号，直至存在上升沿或下降沿的触发信号。

根据触发信号的上升沿或下降沿，选择对应方向的双目相机的图像数据。

在此，本实施例多向双目视觉感知方法能够实时监测各路触发信号的状态，在出现上升沿或下降沿时，以选择对应方向的双目相机图像数据，以提高各路双目相机调度灵活性。

在图像数据缓存方面，将选中的双目相机的图像数据缓存于缓存区，并计算缓存区的数据量时，具体实现过程如下：

根据触发信号的上升沿或下降沿，清空左相机缓存区和右相机缓存区。

将选中的左相机的图像数据缓存于清空后的左相机缓存区。

将选中的右相机的图像数据缓存于清空后的右相机缓存区，双目相机包括左相机和右相机。

计算左相机缓存区和右相机缓存区的数据量。

在此，本实施例多向双目视觉感知方法，能够根据触发信号的状态，实时清空缓存区，以缓存选中的左相机和右相机的图像数据，并重新计算缓存区的数据量，实现双目相机数据的缓存，以提高同步数据输出效率。

在图像数据输出方面，同步输出双目相机的图像数据时，具体实现过程如下：

检测数据量计算结果，直至左相机缓存区的数据量和右相机缓存区的数据量均为非零。

按照统一的时钟信号输出左相机缓存区和右相机缓存区的图像数据。

当左右相机的缓存区均有数据时，同步输出左右相机的图像数据，结合图2，具体的同步机制为：

判断左相机和右相机缓存区的计数值是否都非零：

若是，则采用统一的时钟读取出左右相机缓存区内的图像数据，否则再次返回判断。

在此，本实施例多向双目视觉感知方法能够实时判断左相机缓存区和右相机缓存区的数据量，并以统一的时钟信号传输图像数据，实现左右相机数据的同步输出。

对于触发信号，结合图3，触发信号为多个，分别为：trigger1、trigger2、trigger3…triggerN，每个触发信号对应于一路双目相机，触发信号的上升沿时刻延时一段固定的时间后，对应的双目相机图像数据开始输出，图像数据分别为data1、data2、data3…dataN。

其中，触发信号需满足如下特征：

第一，任意两个触发信号的上升沿之间的时间间隔至少为相机输出一帧图像的时间间隔。

第二，在满足第一项的基础上，各个触发信号上升沿之间的时间间隔可以自由调整。

第三，触发信号上升沿到相机开始输出图像数据之间的延时是固定值。

同样，任意两个触发信号的下降沿之间的时间间隔至少为相机输出一帧图像的时间间隔。各个触发信号下降沿之间的时间间隔可以自由调整。触发信号下降沿到相机开始输出图像数据之间的延时是固定值。

第二方面，本发明实施例提供一种多向双目视觉感知装置，结合图4，该装置包括信号生成模块41、数据选择模块42、数据缓存模块43和同步输出模块44，信号生成模块41用于生成多个触发信号，每个触发信号对应一个方向的双目相机。数据选择模块42用于根据触发信号，分时选择对应方向的双目相机的图像数据。数据缓存模块43用于将选中的双目相机的图像数据缓存于缓存区，并计算缓存区的数据量。同步输出模块44用于根据缓存区的数据量，同步输出双目相机的图像数据。

在实际应用过程中，信号生成模块41为信号生成子单元，如信号发生器，数据选择模块42为数据选择器，数据缓存模块43为缓存区，数据同步输出时，FPGA控制时钟单元与缓存器，同步输出数据。

由上述技术方案可知，本实施例提供的多向双目视觉感知装置，采用触发信号，分时选择不同方向双目相机的图像数据，实现了多向双目相机分时曝光和输出、数据选择与缓存同步，以分时的方式降低后端双目立体视觉、vSLAM等应用算法的实现，可大幅降低运算量，实现多向双目视觉感知，提高多路双目相机调度的灵活性。

为了进一步提高本实施例多向双目视觉感知装置的准确性，在图像数据选择方面，数据选择模块42具体用于：实时监测各路触发信号，直至存在上升沿或下降沿的触发信号。根据触发信号的上升沿或下降沿，选择对应方向的双目相机的图像数据。

在此，本实施例多向双目视觉感知装置能够实时监测各路触发信号的状态，在出现上升沿或下降沿时，以选择对应方向的双目相机图像数据，以提高各路双目相机调度灵活性。

在图像数据缓存方面，数据缓存模块43具体用于：根据触发信号的上升沿或下降沿，清空左相机缓存区和右相机缓存区。将选中的左相机的图像数据缓存于清空后的左相机缓存区。将选中的右相机的图像数据缓存于清空后的右相机缓存区，双目相机包括左相机和右相机。计算左相机缓存区和右相机缓存区的数据量。

在此，本实施例多向双目视觉感知装置，能够根据触发信号的状态，实时清空缓存区，以缓存选中的左相机和右相机的图像数据，并重新计算缓存区的数据量，实现双目相机数据的缓存，以提高同步数据输出效率。

在图像数据输出方面，同步输出模块44具体用于：检测数据量计算结果，直至左相机缓存区的数据量和右相机缓存区的数据量均为非零。按照统一的时钟信号输出左相机缓存区和右相机缓存区的图像数据。

在此，本实施例多向双目视觉感知装置能够实时判断左相机缓存区和右相机缓存区的数据量，并以统一的时钟信号传输图像数据，实现左右相机数据的同步输出。

第三方面，本发明实施例提供一种多向双目视觉感知系统，结合图5，该系统包括依次连接的采集单元2、处理单元1和供电单元3，采集单元2包括多组双目相机，且均与处理单元1连接，用于获取目标区域的图像数据，处理单元1用于生成多个触发信号，根据触发信号，分时选择对应方向的双目相机的图像数据，进行缓存，计算缓存的数据量，根据缓存的数据量，同步输出双目相机的图像数据，每个触发信号对应一个方向的双目相机，处理单元1为FPGA，供电单元3用于为处理单元1提供电能量。

其中，处理单元1包括信号生成子单元11、数据选择器12和缓存区13，信号生成子单元11分别与数据选择器12和缓存区13连接，数据选择器12还分别与缓存区13和每组双目相机连接，信号生成子单元11还与供电单元3连接，信号生成子单元11用于生成多个触发信号并传输至数据选择器12和缓存区13，数据选择器12用于根据触发信号，分时选择对应方向的双目相机的图像数据，并将选中的双目相机的图像数据缓存于缓存区13，缓存区13用于根据触发信号，清空缓存区13，并缓存数据选择器12传输的已选中的双目相机的图像数据，计算缓存区13的数据量，根据缓存区13的数据量，同步输出双目相机的图像数据。

其中，数据选择器12的连接示意图如图6所示，数据选择器12的选择方法具体如下：

第一，实时监测各路trigger信号，直到某一路的trigger信号产生上升沿。

第二，判断哪一路trigger信号产生上升沿，选中对应双目的图像数据并输出到后端。

结合图6或图8，双目相机通过MIPI接口或LVDS接口与数据选择器12连接，MIPI接口和LVDS接口均用于传输双目相机的图像数据。

数据缓存的架构如图7或图8所示，缓存区13包括左相机缓存区和右相机缓存区，左相机缓存区用于存储左相机的图像数据，右相机缓存区用于存储右相机的图像数据，双目相机包括左相机和右相机。

将选中的双目的左右相机数据分别缓存于缓存区13，并计数缓存区数据量，具体的缓存机制为：

第一，检测到一个trigger信号的上升沿，将左相机缓存区和右相机缓存区清空，开辟FIFO缓存，并将计数值归零。

第二，trigger信号的上升沿后，从选中的一路相机中，左右相机的图像数据分别缓存于对应的缓存区13，并计数缓存区13中的数据量。

当左右相机的缓存区均有数据时，同步输出左右相机的图像数据，具体的同步机制为：

判断左相机和右相机缓存区的计数值是否都非零：

若是，则采用统一的时钟读取出左右相机缓存区内的图像数据，否则再次返回判断。

双目相机为CMOS式相机。

由上述技术方案可知，本实施例提供的多向双目视觉感知系统，采用触发信号，分时选择不同方向双目相机的图像数据，实现了多向双目相机分时曝光和输出、数据选择与缓存同步，以分时的方式降低后端双目立体视觉、vSLAM等应用算法的实现，可大幅降低运算量，实现多向双目视觉感知，提高多路双目相机调度的灵活性。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种多向双目视觉感知方法，其特征在于，包括：

生成多个触发信号，每个触发信号对应一路双目相机，每路双目相机对应一个方向，所述方向为双目相机中的左相机和右相机对同一目标的拍摄方向；

根据所述触发信号，分时选择对应方向的双目相机的图像数据；

将选中的双目相机的图像数据缓存于缓存区，并计算缓存区的数据量；

根据所述缓存区的数据量，同步输出双目相机的图像数据；

其中，所述触发信号需满足如下特征：

（1）任意两个触发信号的上升沿之间的时间间隔至少为相机输出一帧图像数据的时间间隔；

（2）在满足（1）的基础上，各个触发信号的上升沿之间的时间间隔可自由调整；

（3）触发信号的上升沿到相机开始输出图像数据之间的延时是固定值；或

（1）任意两个触发信号的下降沿之间的时间间隔至少为相机输出一帧图像数据的时间间隔；

（2）在满足（1）的基础上，各个触发信号的下降沿之间的时间间隔可自由调整；

（3）触发信号的下降沿到相机开始输出图像数据之间的延时是固定值。

2.根据权利要求1所述多向双目视觉感知方法，其特征在于，根据所述触发信号，分时选择对应方向的双目相机的图像数据，包括：

实时监测各路触发信号，直至存在上升沿或下降沿的触发信号；

根据所述触发信号的上升沿或下降沿，选择对应方向的双目相机的图像数据。

3.根据权利要求2所述多向双目视觉感知方法，其特征在于，将选中的双目相机的图像数据缓存于缓存区，并计算缓存区的数据量，包括：

根据触发信号的上升沿或下降沿，清空左相机缓存区和右相机缓存区；

将选中的左相机的图像数据缓存于清空后的左相机缓存区；

将选中的右相机的图像数据缓存于清空后的右相机缓存区，所述双目相机包括左相机和右相机；

计算所述左相机缓存区和所述右相机缓存区的数据量。

4.根据权利要求3所述多向双目视觉感知方法，其特征在于，同步输出双目相机的图像数据，包括：

检测数据量计算结果，直至所述左相机缓存区的数据量和所述右相机缓存区的数据量均为非零；

按照统一的时钟信号输出所述左相机缓存区和所述右相机缓存区的图像数据。

5.一种多向双目视觉感知装置，其特征在于，包括：

信号生成模块，用于生成多个触发信号，每个触发信号对应一路双目相机，每路双目相机对应一个方向，所述方向为双目相机中的左相机和右相机对同一目标的拍摄方向；

数据选择模块，用于根据所述触发信号，分时选择对应方向的双目相机的图像数据；

数据缓存模块，用于将选中的双目相机的图像数据缓存于缓存区，并计算缓存区的数据量；

同步输出模块，用于根据所述缓存区的数据量，同步输出双目相机的图像数据；

其中，所述触发信号需满足如下特征：

（1）任意两个触发信号的上升沿之间的时间间隔至少为相机输出一帧图像数据的时间间隔；

（2）在满足（1）的基础上，各个触发信号的上升沿之间的时间间隔可自由调整；

（3）触发信号的上升沿到相机开始输出图像数据之间的延时是固定值；或

（1）任意两个触发信号的下降沿之间的时间间隔至少为相机输出一帧图像数据的时间间隔；

（2）在满足（1）的基础上，各个触发信号的下降沿之间的时间间隔可自由调整；

（3）触发信号的下降沿到相机开始输出图像数据之间的延时是固定值。

6.根据权利要求5所述多向双目视觉感知装置，其特征在于，所述数据缓存模块，具体用于：根据触发信号的上升沿或下降沿，清空左相机缓存区和右相机缓存区；将选中的左相机的图像数据缓存于清空后的左相机缓存区；将选中的右相机的图像数据缓存于清空后的右相机缓存区，所述双目相机包括左相机和右相机；计算所述左相机缓存区和所述右相机缓存区的数据量。

7.根据权利要求6所述多向双目视觉感知装置，其特征在于，所述同步输出模块，具体用于：检测数据量计算结果，直至所述左相机缓存区的数据量和所述右相机缓存区的数据量均为非零；按照统一的时钟信号输出所述左相机缓存区和所述右相机缓存区的图像数据。

8.一种多向双目视觉感知系统，其特征在于，包括：

依次连接的采集单元、处理单元和供电单元，所述采集单元包括多组双目相机，且均与所述处理单元连接，用于获取目标区域的图像数据，

所述处理单元，用于生成多个触发信号，根据所述触发信号，分时选择对应方向的双目相机的图像数据，进行缓存，计算缓存的数据量，根据缓存的数据量，同步输出双目相机的图像数据，每个触发信号对应一路双目相机，每路双目相机对应一个方向，所述方向为双目相机中的左相机和右相机对同一目标的拍摄方向，所述处理单元为FPGA，

供电单元，用于为所述处理单元提供电能量；

其中，所述触发信号需满足如下特征：

（1）任意两个触发信号的上升沿之间的时间间隔至少为相机输出一帧图像数据的时间间隔；

（2）在满足（1）的基础上，各个触发信号的上升沿之间的时间间隔可自由调整；

（3）触发信号的上升沿到相机开始输出图像数据之间的延时是固定值；或

（1）任意两个触发信号的下降沿之间的时间间隔至少为相机输出一帧图像数据的时间间隔；

（2）在满足（1）的基础上，各个触发信号的下降沿之间的时间间隔可自由调整；

（3）触发信号的下降沿到相机开始输出图像数据之间的延时是固定值。