CN107580208B - 一种多深度测量设备的协同工作系统和方法 - Google Patents

Abstract

本发明公开了一种多深度测量设备的协同工作系统和方法。该系统包括若干台深度测量设备和一个集中控制器，相邻两台深度测量设备具有重叠视场区域，各深度测量设备均与集中控制器进行数据交互，实现集中控制器对每台深度测量设备的配置，包括时间同步的配置和去干扰的配置。本发明不需要复杂的硬件结构和较高的成本，适合大规模应用。

Description

一种多深度测量设备的协同工作系统和方法

技术领域

本发明属于深度测量设备技术领域，特别涉及了一种多深度测量设备的协同工作系统和方法。

背景技术

目前，基于结构光技术的深度感知设备(以下有时简称深度相机)的发展已成熟稳定，易于实现和商用。深度相机通常包含红外发射装置(以下有时简称发射器)和红外接收装置(成像装置)，发射器将光源打向装置内的光栅，形成固定的斑点、线或其他复杂二维图案，并投射到场景物体表面，投射光在物体表面反射后被成像装置接收，根据成像后的图案形变以及发射器、成像装置的几何位置关系，即可以获得当前场景的深度信息。该类型深度相机通常运行在低分辨率状态，并且视场范围有限，为满足更多的应用，如虚拟试衣、全景拍摄等深度测量需求，经常需要将多个深度相机连接起来组成阵列来以获得更大视场和更精细的深度信息恢复。

为保证更大视场的、连续的、完整的深度信息获取，该阵列往往设置为各深度相机间有一定比例的视场重叠。在视场重叠区域，每一个可以感光该区域的成像装置都将看到两个甚至更多个发射器同时投射在该区域的光斑或图案，这将极大影响上述每一台成像装置的成像质量，最终将导致该区域的深度信息中包含大量噪声，具体表现为细节缺失、空洞、失真等等。

中国专利申请(公开号：CN106461783A)《使用时间共享的自动的多个深度相机同步》中公开了如下技术方案，即额外使用一个控制器集中控制两台或以上的多个深度感知设备，系统经过配置可控制各深度感知设备的曝光窗口不互相重叠，即当其中一台设备投射光斑到场景的时间窗口内，只激活对应该设备的成像设备进行曝光，其他设备均处于禁止曝光阶段，以此方法在多个设备间循环。该方法随着设备的增多，将严重影响设备获取深度信息的帧率，特别是每秒钟可感光的图像数量。

论文《Reducing Interference Between Multiple Structured Light DepthSensors Using Motion》中描述了如下技术方案，即在某一深度相机外绑定一个震动马达，马达启动时将造成设备按照一定规律震动，从其他深度相机的感光装置来看，打在场景内的光斑随着变模糊，强度衰减的，而在自身(震动中的)对应的感光装置来看，因为震动的一致性，打在场景内的光斑是清晰且强度正常的，以此来减少在同一感光区域来自不同投射器的光斑干扰。但是基于震动的此类技术对硬件结构设计要求复杂，成本较高，不利于大规模应用。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供一种多深度测量设备的协同工作系统和方法，克服现有技术存在的缺陷，实现多深度测量设备的同步工作，降低各设备之间的干扰。

为了实现上述技术目的，本发明的技术方案为：

一种多深度测量设备的协同工作系统，包括若干台深度测量设备和一个集中控制器，相邻两台深度测量设备具有重叠视场区域，各深度测量设备均与集中控制器进行数据交互，实现集中控制器对每台深度测量设备的配置，集中控制器内含计时器和存储器。

基于上述多深度测量设备的协同工作系统的协同工作方法，集中控制器按照随机或预设顺序的方式逐一启动各台深度测量设备，记录每台深度测量设备的启动就绪时间T0i和每台深度测量设备中红外接收装置的首次曝光结束时间T1i，并计算每台深度测量设备的T1i与T0i的差值dTi，将时间序列{dTi,1≤i≤N}存储于集中控制器中，用于多台深度测量设备的时间同步参考；其中i表示深度测量设备的编号，N表示深度测量设备的数量。

进一步地，所有深度测量设备按照恒定的曝光周期进行工作。

进一步地，设定间隔时间ΔT，集中控制器每隔ΔT重新获取每台深度测量设备的曝光结束时间来更新T1i，并更新时间序列{dTi,1≤i≤N}。

进一步地，当在某一时刻有新的深度测量设备加入系统，集中控制器将在距该时刻最近的时钟周期内完成对该新加入的深度测量设备的时间序列的采集，并将该新加入的深度测量设备加入到轮询队列中，且不影响整个系统的同步。

基于上述多深度测量设备的协同工作系统的协同工作方法，集中控制器对每台深度测量设备的红外发射装置进行配置，使得在某一时刻Ts，有且只有一台深度测量设备的红外发射装置按照正常发射功率工作，而其余所有深度测量设备的红外发射装置的发射功率均被抑制在某一预设值下；同时，集中控制器对所有深度测量设备的红外接收射装置进行配置，在时刻Ts，仅有被配置为正常发射功率的红外发射装置的所投射的光斑能被红外接收装置感知。

基于上述多深度测量设备的协同工作系统的协同工作方法，集中控制器对每台深度测量设备的红外发射装置进行配置，使得在某一时刻Ts，仅彼此没有重叠视场区域的深度测量设备的红外发射装置按照正常发射功率工作，而其余深度测量设备的红外发射装置的发射功率均被抑制在某一预设值下；同时，集中控制器对所有深度测量设备的红外接收射装置进行配置，在时刻Ts，仅有被配置为正常发射功率的红外发射装置的所投射的光斑能被红外接收装置感知。

基于上述多深度测量设备的协同工作系统的协同工作方法，当每台深度测量设备的红外发射装置所投射的光斑的几何图形不完全相同时，集中控制器对每台深度测量设备的红外接收装置进行配置，使得每台深度测量设备的红外接收装置仅能解码本台深度测量设备的红外发射装置发射的几何图形。

进一步地，在布置深度测量设备时，保证相邻的深度测量设备所投射的光斑的几何图形不同。

进一步地，对每台深度测量设备的安装位置进行标定，保证当重叠视场区域存在多种几何图形的光斑时，不同几何图形的光斑在重叠视场区域交错、不重叠地排布。

采用上述技术方案带来的有益效果：

本发明与现有以机械方式参与的协同抗干扰方法相比，避免了高速启停所带来的机械磨损、过热和功耗增加，也不需要复杂的硬件结构和较高的成本，适合大规模应用。

附图说明

图1是本发明的系统部署示意图；

图2是集中控制器控制多台红外发射装置轮流改变发射功率的时序参考图；

图3是深度测量设备发射的几种不同形状的光斑或条纹；

图4是一种可能的在重叠区域两种不同图案的排列方式示意图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

一种多深度测量设备的协同工作系统，包括若干台深度测量设备和一个集中控制器，相邻两台深度测量设备具有重叠视场区域，各深度测量设备均与集中控制器进行数据交互，实现集中控制器对每台深度测量设备的配置，集中控制器内含计时器和存储器。

图1为本系统的部署示意图，设备数量可以在空间允许的情况下设置更多，图示中只示出三个设备。每个设备均包含独立可控的红外发射装置以及红外接收装置，每一个红外发射装置被设置为可以投射结构化光图案，投射到空间物体表面上的光斑图案由一个或多个红外接收装置捕获。每一个红外发射装置都有其预设的对应的接收装置，但不妨碍其他设备的红外接收装置能捕获其投射到空间中的光斑信息。所有深度测量设备通过有线或无线通信的方式连接到集中控制器，集中控制器可以控制红外发射或红外接收装置以对它们做出不同的配置。集中控制器的空间位置可以是任意的。多个设备的空间位置需保证任意相邻两台设备间有足够的重叠视场区域。图1中的阴影部分为紧邻设备间的重叠视场区域，一台红外发射装置投射的光斑可能被一个或多于一个的红外接收装置观察到，光斑重叠就会造成深度感知的误差或不确定性。在理想情况下，每台设备被假设为只接收和该设备内红外接收装置所对应的红外发射装置所投射的光斑。为了降低邻近设备在重叠区域的互相干扰，图1中示出的集中控制器与所有设备相连，做时间同步以及消除干扰的配置。

集中控制器启动后，按照随机或顺序的方式逐一启动所有设备工作，并记录下每一台设备的启动就绪时间T0i，i表示第i台设备，以及记录每一台设备中红外接收装置首次曝光结束时间T1i，i表示第i台设备，计算T1i和T0i的差值dTi，i表示第i台设备。针对N(N>1)台设备的场景，该时间序列{dTi,1≤i≤N}被存储在控制器端。假设随后的工作过程中所有设备都按照恒定的曝光周期进行工作。或者间隔预设时间重新获取每一台红外接收设备的曝光结束时间并更新T1i序列及按照上述方法重新计算{dTi}序列，用于多台设备的时间同步参考。

考虑到设备的可移动性，可能在某一时刻有新设备加入到上述同步系统中，在保证其他设备正常工作的情况下，集中控制器被配置为允许这种“热接入”模式。即该设备一旦通过某种有线或无线链接连接到控制器(控制器也不必须只是完整的一台设备，也可由分布式的，或者基于网络组件的多个控制器组成)，集中控制器将在最近的时钟周期内完成对该新加入设备的涉及上述时间序列采集工作，并将该设备加入到轮询队列中，该设备加入到队列尾部、头部、或随机位置，并不影响整个系统的同步。

图2为集中控制器控制多台红外发射装置轮流改变发射功率的时序参考图。在某一时刻，集中控制器配置所有红外发射装置，有且只有一台红外发射装置被激活为按照正常发射功率工作，其他红外发射装置发射功率均被抑制在某一预设值内，使得场景目标被照射的光斑呈现明暗。图2中突起位置(高位波形)时刻，表示某设备被激活为按照正常功率发射工作，其他平坦位置(低位波形)时刻处于功率被抑制状态。图2中仅展示了三台设备同时工作的场景，但本方案不局限于此。同时，所有红外接收装置激活曝光成像，某一时刻仅有被激活为按照正常功率发射的那台红外发射装置所投射的光斑才能被成像设备感知，其他光斑因为光强度或模糊的原因不能被感知。时间顺序也可以是随机的或其他序列的，每台设备激活状态所需要保持的时间间隔也不局限于图示方案，目的在于保证某一时刻只有一台发射装置被激活为按照正常发射功率工作。

集中控制器在一段时间内访问完所有设备，此后按照上述工作流程循环。电子可控的红外发射装置可以实现足够高的发射功率转换频率，以满足更高图像获取帧率的需求。考虑到空间中并非两两设备都会有重叠区域，如图1示出的设备一与设备三，他们在视场投射区域上完全没有重叠，针对这种情况，实施操作过程中可以不必严格遵循上述方案，也即设备三不需要参与到设备一与设备二的时间片占用划分方案中。这样就减少了控制器轮询所有设备的时间段长度，提高了设备的工作频率(即发射-成像)，如在不考虑设备三的情况下，设备一和设备二能在相同的时间内获得更多次的轮询，占用更多的时间片段。

图3示出了几种不同形状的光斑或条纹，相应的红外接收装置被配置为仅能解码特定形状的光斑或条纹，其余干扰信息被选择性过滤。如设备一只能识别直角图案，设备二只能识别条纹光斑，设备三只能识别星型图形。该方案在相邻设备的重叠视场区域内，如图三所示的阴影部分区域，来自设备一和设备二的不同图案可能会在该区域产生重叠，在来自相邻设备所投射的图案完全不重叠的情况如图四示出，即调整相邻设备间的相对位置，使得相邻设备所投射的光斑在目标物体表面的排列交错、完全不重叠。图4示出一种可能的在重叠区域两种不同图案的排列方式，实现这种方案需要在运行系统前做精确的标定，以确保紧邻设备间获得的光斑图案完全不重叠，此时多个设备可以同时全负载工作，即使在重叠区域有部分来自其他设备投射过来的光斑，也因为形状不同而被选择性过滤，最大程度的减少噪声干扰。不同的图案形状由发射装置中的光栅决定，紧邻的可能会有重叠视场的设备间应选用不同类型的光栅，相距较远且确认不会产生重叠的设备间不需要满足前述条件。该方案中可以存在集中控制器来实施时间同步方案，但不必须要控制器来轮询所有设备划分时间片或控制发射装置功率。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (8)

1.一种多深度测量设备的协同工作系统，其特征在于：包括若干台深度测量设备和一个集中控制器，相邻两台深度测量设备具有重叠视场区域，各深度测量设备均与集中控制器进行数据交互，实现集中控制器对每台深度测量设备的红外发射装置和红外接收装置的配置，集中控制器内含计时器和存储器；集中控制器对每台深度测量设备的红外发射装置进行配置，使得在某一时刻Ts，仅彼此没有重叠视场区域的深度测量设备的红外发射装置按照正常发射功率工作，而其余深度测量设备的红外发射装置的发射功率均被抑制在某一预设值下；同时，集中控制器对所有深度测量设备的红外接收射装置进行配置，在时刻Ts，仅有被配置为正常发射功率的红外发射装置的所投射的光斑能被红外接收装置感知；当每台深度测量设备的红外发射装置所投射的光斑的几何图形不完全相同时，集中控制器对每台深度测量设备的红外接收装置进行配置，使得每台深度测量设备的红外接收装置仅能解码本台深度测量设备的红外发射装置发射的几何图形。

2.基于权利要求1所述多深度测量设备的协同工作系统的协同工作方法，其特征在于：集中控制器按照随机或预设顺序的方式逐一启动各台深度测量设备，记录每台深度测量设备的启动就绪时间T0i和每台深度测量设备中红外接收装置的首次曝光结束时间T1i，并计算每台深度测量设备的T1i与T0i的差值dTi，将时间序列{dTi,1≤i≤N}存储于集中控制器中，用于多台深度测量设备的时间同步参考；其中i表示深度测量设备的编号，N表示深度测量设备的数量。

3.根据权利要求2所述协同工作方法，其特征在于：所有深度测量设备按照恒定的曝光周期进行工作。

4.根据权利要求2所述协同工作方法，其特征在于：设定间隔时间ΔT，集中控制器每隔ΔT重新获取每台深度测量设备的曝光结束时间来更新T1i，并更新时间序列{dTi,1≤i≤N}。

5.根据权利要求2-4中任意一项所述协同工作方法，其特征在于：当在某一时刻有新的深度测量设备加入系统，集中控制器将在距该时刻最近的时钟周期内完成对该新加入的深度测量设备的时间序列的采集，并将该新加入的深度测量设备加入到轮询队列中，且不影响整个系统的同步。

6.基于权利要求1所述多深度测量设备的协同工作系统的协同工作方法，其特征在于：集中控制器对每台深度测量设备的红外发射装置进行配置，使得在某一时刻Ts，有且只有一台深度测量设备的红外发射装置按照正常发射功率工作，而其余所有深度测量设备的红外发射装置的发射功率均被抑制在某一预设值下；同时，集中控制器对所有深度测量设备的红外接收射装置进行配置，在时刻Ts，仅有被配置为正常发射功率的红外发射装置的所投射的光斑能被红外接收装置感知。

7.根据权利要求6所述协同工作方法，其特征在于：在布置深度测量设备时，保证相邻的深度测量设备所投射的光斑的几何图形不同。

8.根据权利要求6或7所述协同工作方法，其特征在于：对每台深度测量设备的安装位置进行标定，保证当重叠视场区域存在多种几何图形的光斑时，不同几何图形的光斑在重叠视场区域交错、不重叠地排布。

Images