CN112639807A - 用于碰撞检测和对象尺寸标注的双模数据捕获系统 - Google Patents

Abstract

一种双模数据捕获系统，包括捕获控制器、点云生成器、碰撞检测器、查看捕获体积的多个照相机以及用于在对象到达该体积内的捕获位置处时生成检测信号的运动传感器。该控制器：在碰撞检测模式下激活照相机的子集以捕获该体积的图像序列；响应于接收到该检测信号，在尺寸标注模式下激活该照相机以捕获该捕获位置的图像同步集合。碰撞检测器：确定图像序列是否指示潜在碰撞；以及响应于检测到潜在碰撞，生成警报。点云生成器：接收图像同步集合并基于该图像同步集合生成表示对象的点云，以用于确定对象的尺寸。

Description

用于碰撞检测和对象尺寸标注的双模数据捕获系统

背景技术

诸如包裹之类的对象的运输和储存可能需要了解包裹的尺寸。此类信息可用于优化容器(例如，拖车)中可用空间的使用，以确定包裹的装运或储存成本等。然而，可能事先不知道包裹尺寸，因此工人可能需要通过手动测量包裹来获取包裹尺寸。进行手动测量可能既耗时又容易出错。用于自动测量包裹尺寸的系统也可能会遭受降低的精度，例如，在测量运动中的包裹、具有深色(例如，黑色)表面的包裹等时。此类系统还可能需要利用诸如叉车等之类的装备来移动包裹，从而在尺寸标注过程期间在包裹移动装备中引入潜在的干扰风险。

附图说明

附图(其中类同的附图标记贯穿单独的视图表示相同的或功能类似的要素)连同下面的具体实施方式被并入于此并形成说明书的一部分，并用来进一步阐述包括所要求保护的发明的构思的实施例，以及解释那些实施例的各种原理和优势。

图1是用于碰撞检测和对象尺寸标注的双模数据捕获系统的示意图。

图2是图1的系统的某些组件的示例部署的图。

图3A是图1的图像处理服务器的某些内部组件的框图。

图3B是图1的捕获控制器的某些内部组件的框图。

图4是用于碰撞检测和对象尺寸标注的双模数据捕获的方法的流程图。

图5A-图5B示出了在图1的系统的碰撞检测模式下对图像序列的捕获和处理。

图6示出了在图1和图2的系统中经由图4的方法的执行所捕获的示例图像。

图7是图1的系统的某些组件的另一个示例部署的图。

图8-图9是根据附加实施例的用于碰撞检测和对象尺寸标注的双模数据捕获系统的示意图。

本领域技术人员将理解附图中的要素出于简化和清楚而示出，并且不一定按比例绘制。例如，附图中的要素中的一些要素的尺寸可相对于其他要素被放大以帮助提升对本发明的实施例的理解。

已在附图中通过常规符号在合适位置对装置和方法构成进行了表示，所述表示仅示出与理解本发明的实施例有关的那些特定细节，以免因得益于本文的描述对本领域普通技术人员显而易见的细节而混淆本公开。

具体实施方式

本文公开的示例涉及一种双模数据捕获系统，包括：多个照相机，该多个照相机被设置为查看捕获体积；运动传感器，该运动传感器被配置为响应于在该捕获体积内的捕获位置处检测到对象而生成检测信号；捕获控制器，该捕获控制器连接到该运动传感器，并且该捕获控制器被配置为：在碰撞检测模式下激活该多个照相机的至少子集，使得照相机的子集捕获该捕获体积的相应的图像序列；响应于接收到该检测信号，在尺寸标注模式下激活该多个照相机，使得每一个照相机捕获该捕获位置的图像同步集合的相应图像；碰撞检测器，该碰撞检测器连接到照相机的该至少子集，并且该碰撞检测器被配置为：接收该相应的图像序列；确定来自该多个照相机的该至少子集的该相应的图像序列是否指示该捕获体积中的一个或多个对象的潜在碰撞；以及响应于检测到该潜在碰撞，生成警报；以及点云生成器，该点云生成器连接到该多个照相机中的每一个，并且该点云生成器被配置为从该照相机接收该图像同步集合并基于该图像同步集合生成表示该对象的点云，其中该对象的尺寸基于该点云来确定。

本文公开的附加示例涉及一种用于双模数据捕获的方法，包括：在连接到被设置为查看捕获体积的多个照相机的捕获控制器处，在碰撞检测模式下激活该多个照相机的至少子集，使得照相机的子集捕获该捕获体积的相应的图像序列；在连接到照相机的该至少子集的碰撞检测器处，接收该相应的图像序列，并且确定来自该多个照相机的该至少子集的该相应的图像序列是否指示该捕获体积中的一个或多个对象的潜在碰撞；响应于在该碰撞检测器处检测到该潜在碰撞，生成警报；在连接到该捕获控制器的运动传感器处，响应于在该捕获体积内的捕获位置处检测到对象而生成检测信号；在该捕获控制器处，响应于接收到该检测信号，在尺寸标注模式下激活该多个照相机，使得每一个照相机捕获该捕获位置的图像同步集合的相应的图像；以及在连接到该多个照相机中的每一个的点云生成器处，从该照相机接收该图像同步集合并基于该图像同步集合生成表示该对象的点云，其中该对象的尺寸基于该点云来确定。

图1描绘了用于碰撞检测和对象尺寸标注的双模数据捕获系统100。在尺寸标注模式下，数据捕获系统100被配置为生成描绘捕获体积内的对象104的点云数据，并经由网络110将该点云数据提供给尺寸标注服务器108(例如，一个或多个计算设备)。尺寸标注服务器108进而被配置为处理该点云数据并确定对象104的至少一个尺度(例如，高度、宽度、长度等)。在碰撞检测模式下，数据捕获系统100被配置为不论对象104是否存在，都捕获描绘上文提及的捕获体积的图像数据，并确定该图像数据是否指示该捕获体积内(例如，在操纵对象的两个叉车之间等)的潜在碰撞。如下文将更详细地讨论的，数据捕获系统100被配置为在某些条件下在碰撞检测模式和尺寸标注模式之间切换。

在本示例中，对象104是包裹，因此在本文中也被称为包裹104。例如，包裹104可以是在装运、存储等之前要由服务器108进行尺寸标注的多个包裹中的一个。例如，系统100可以部署在运输和物流(T&L)设施中，在该T&L设施中多个包裹104被移动通过系统100以进行数据捕获和随后的尺寸标注。

系统100包括图像处理服务器112(本文中也被称为服务器112)，该图像处理服务器112被配置为生成上文提及的表示包裹104的点云数据。服务器112还配置为执行如上文提及的潜在碰撞的检测。图像处理服务器112被实现为合适的计算设备，其组件将在下文中更详细地描述。在其他示例中，如下文将进一步讨论的，尺寸标注和碰撞检测的功能可在分开的计算设备上实现。

服务器112被配置为基于由多个照相机116-1、116-2、…、116-n(统称为照相机116，一般称为照相机116；类似的命名法用于本文中的其他元件)捕获的图像来检测上文提及的潜在碰撞并生成上文提及的表示包裹104的点云数据，该照相机116被布置为具有涵盖了捕获体积的视场，该捕获体积包含将要对包裹104进行尺寸标注的捕获位置。在本示例中，照相机116是彩色照相机(例如，被配置为生成包含RGB数据的图像文件)，诸如数字单透镜反射(DSLR)照相机。在其他示例中，照相机116可以包括一个或多个灰度照相机、红外照相机等。另外，可以实现除了上文提及的DSLR格式以外的照相机格式。

在尺寸标注模式下，照相机116被配置为捕获图像同步集合，从该图像同步集合中生成上文提及的点云数据。本文中所指的图像同步集合包含基本上同时由每一个照相机所捕获的一个图像。例如，可在约0.5秒或更短的时间段内捕获图像同步集合中的图像。在一些实施例中，可在约0.2秒或更短的时间段内捕获图像同步集合中的图像。因此，该集合中的每一个图像在基本上相同的时间瞬间描绘了包裹104，但由于照相机116相对于捕获体积的不同物理位置而来自与其他图像不同的查看位置。

另一方面，在碰撞检测模式下，照相机116被配置为捕获相应的图像序列，而不是每个照相机116捕获单个图像。由照相机116捕获的图像序列可以被捕获为单独的帧(例如，针对序列中每一个图像的分立的图像文件)，或者被捕获为视频流(例如，针对每一个图像序列的单个视频文件)。

在本示例中，被服务器112用于生成点云数据和执行碰撞检测的图像通过照相机116经由一组双连接器120-1、120-2、…、120-n传输到服务器112。每一个双连接器120包括被配置为与相对应的照相机116的通信端口126接合的照相机段124。通信端口126包括一组控制接触件(例如，引脚或其他合适的电气接触件)和一组数据传输接触件。例如，数据传输接触件可以基于通用串行总线(USB)标准。通信端口126的示例是Sony^TM多端口(也被称为多终端)端口，其包括五个USB接触件和十个控制接触件。

每一个双连接器120的照相机段124包括与上文提及的数据传输接触件和控制接触件两者相对应的电气通道。每一个双连接器120还包括传输段128和控制段132。如图1所示，段128和段132从照相机段124分离。具体地，传输段128包含上文提及的数据传输通道，而控制段132包含上文提及的控制通道。

因此，在图1所示的实施例中，照相机116被配置为经由双连接器120(并且具体地经由照相机段124和传输段128)将所捕获的图像传输到服务器112。系统100还包括通信中枢136(诸如USB中枢)，该通信中枢136将传输段128连接到服务器112(例如，连接到服务器112的单个USB端口)。在其他示例中，省略通信中枢136，并且传输段128直接连接到服务器112，例如，其中服务器112包括足够数量的端口(例如，USB端口)以适应传输段128。

照相机116被配置为响应于通过双连接器120的控制段132向照相机发出的命令来捕获图像。具体地，系统100包括捕获控制器140，该捕获控制器140被配置为接收控制段132中的每一个，并通过控制段132向照相机116传送命令。

捕获控制器140被实现为合适的计算设备，诸如一个或多个单板微控制器(例如，树莓派(Raspberry Pi)^TM)。在其他示例中，控制器140可以被实现为台式计算机、膝上型计算机、平板计算机等。捕获控制器140被配置为生成控制信号以传送到照相机116，该控制信号包括用于在上文提及的尺寸标注模式和碰撞检测模式之间切换的命令。此类命令包括响应于在控制器140处接收到的对象检测信号而生成的同步快门命令。

在本示例中，对象检测信号由运动传感器144生成，该运动传感器144被配置为检测包裹104到达捕获体积内的捕获位置处。运动传感器144包括任何合适的运动感测设备，诸如光检测和测距(lidar)设备、超声传感器、被配置为检测包裹104的存在的进一步的照相机和相关联的图像处理器等。运动传感器144经由合适的通信链路(例如，USB、I2C接口等)连接到控制器140。

系统100还包括连接到捕获控制器140的功率开关148。在本示例中，功率开关148是被配置为使得控制器140向照相机116发送控制命令以接通或断开的手动可操作开关。控制器140还可以被配置为响应于功率开关148的操作而接通或断开运动传感器144。在其他实施例中，功率开关148可以被省略或被替换为在由控制器140执行的软件中实现并经由输入设备(例如，键盘、触摸屏、麦克风等)的操纵来操作的软开关。

系统100进一步包括一个或多个输出设备，该一个或多个输出设备被配置为响应于服务器112对潜在碰撞的检测而生成警报信号。例如，所示的系统100包括连接到网络110的警报灯152和扬声器156。在其他实施例中，警报灯152和扬声器156中的一者或两者直接连接到服务器112(例如，经由USB、蓝牙^TM或另一个合适的本地通信链路)。

转到图2，在示例部署中示出了系统100的某些组件。图2所示的示例部署包括16个照相机116，该16个照相机116被布置在四个组200-1、200-2、200-3和200-4中，每一个组200包括四个照相机116。从图2可以明显看出，每一个组200内的照相机116的间隔小于相邻组200之间的间隔。

照相机116支撑在支撑结构204上(例如，围绕支撑结构204的周界)，支撑结构204诸如可以从部署了系统100的设施的天花板(未示出)悬挂的基本上环形的框架。各种各样的其他支撑结构也可用于支撑照相机116，包括用于每一个组200或每一个照相机116的分立支撑结构。在其他实施例中，照相机116围绕支撑结构204等间隔。在进一步实施例中，可部署其他数量的照相机116。例如，另一个部署可采用围绕支撑结构204设置的12个照相机116，该12个照相机116设置为三组(每一组4个)，或者设置为四组(每一组3个)。

通过支撑结构204定位照相机116，使得每一个照相机116的视场涵盖捕获体积208的至少一部分。此外，每一个组200内的相邻照相机116的视场重叠约40％。因此，照相机116一起提供对捕获体积208内的捕获位置210的基本上完全的覆盖(例如，捕获位置210处的每一个位置在至少两个照相机116的视场内)。在本示例中，捕获位置210被限定为具有各自为约8英尺的高度、宽度和长度的体积；在其他实施例中，照相机116可以被布置为涵盖各种其他捕获位置，例如取决于要捕获的包裹104的大小。如图2所示，捕获体积208大于捕获位置(即，捕获位置是捕获体积208的子体积)。与捕获位置210相比，照相机116可以提供对捕获体积208的减小的覆盖。然而，优选地，捕获体积210中的每一个位置都在照相机116中的至少一个的视场内。

包裹104可被运输通过捕获体积208，例如在诸如叉车212的车辆上，或经由另一合适的运动机构(例如，传送带等)。因此，如图2所示，在路径中部署运动传感器144，沿着该路径运输包裹104，以检测包裹104到达捕获体积208内的预定义捕获210处。当包裹104到达捕获位置210处时，运动传感器144被配置为生成上文提及的检测信号。

在详细讨论系统100的操作之前，将参考图3A和图3B讨论服务器112和控制器140的某些内部组件。

参考图3A，示出了服务器112的某些内部组件。服务器112包括与非瞬态计算机可读存储介质(诸如存储器304)互连的中央处理单元(CPU)，该CPU也被称为处理器300。存储器304包括易失性存储器(例如，随机存取存储器(RAM))和非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)的任何合适的组合。处理器300和存储器304各自包括一个或多个集成电路(IC)。

服务器112还包括通信接口308，使得服务器112能够经由网络110与其他计算设备(诸如尺寸标注服务器108)交换数据。因此，通信接口308包括允许服务器112通过网络110进行通信的任何合适的硬件(例如，发射器、接收器、网络接口控制器等)。

服务器112进一步包括输入/输出接口312，该输入/输出接口312也可以被称为本地通信接口，使得服务器112能够与设备(诸如照相机116)交换数据。在本示例中，接口312包括连接到中枢136的USB接口。接口312也可以采用其他合适的接口技术，包括以太网、Wi-Fi、Thunderbolt^TM等。

服务器112还可以包括未示出的输入设备(例如，键盘、鼠标、麦克风等)和输出设备(例如，显示器、扬声器等)。服务器112的组件通过通信总线(未示出)互连，并且由电池或其他电源通过上文提及的通信总线或通过不同的功率总线(未示出)供电。

服务器112的存储器304存储多个应用，每一个应用包括可由处理器300执行的多个计算机可读指令。如本文中所讨论的，由处理器300执行上文提及的指令使得服务器112实现某些功能。因此，在下面的讨论中将这些应用称为配置为执行该功能。在本示例中，服务器112的存储器304存储监视应用316、点云生成器应用320和碰撞检测应用322(在本文中也分别被简称为应用316、应用320和应用322)。

经由处理器300执行应用316，服务器112被配置为监视对于存储器304中的第一公共图像储存库324(例如，数据库、文件夹等)的内容的更改，以及使点云生成器应用320在检测到更改时基于储存库324的内容启动点云生成。应用320是合适的点云生成应用，诸如Agisoft PhotoScan。服务器112进一步被配置为经由碰撞检测应用322的执行，通过比较第二图像储存库326中的图像来检测捕获体积208中的潜在碰撞，照相机116被配置为在碰撞检测模式下将图像传送到该第二图像储存库326。

在其他示例中，应用316、应用320和应用322可以被实现为单个应用、两个应用、或者被实现为多于三个应用。在其他示例中，通过执行应用316、应用320和应用322配置的处理器300被实现为一个或多个特定配置的硬件元件，诸如现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)。

参考图3B，示出了控制器140的某些内部组件。控制器140包括与非瞬态计算机可读存储介质(诸如存储器354)互连的中央处理单元(CPU)，该CPU也被称为处理器350。存储器354包括易失性存储器(例如，随机存取存储器(RAM))和非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)的任何合适的组合。处理器350和存储器354各自包括一个或多个集成电路(IC)。

控制器140进一步包括输入/输出接口358，使得控制器140能够与设备(诸如照相机116和运动传感器144)交换数据。在本示例中，接口358包括通用输入/输出(GPIO)引脚的阵列(例如，至少一组40个GPIO引脚)。接口358还可以包括一个或多个USB端口等。接口358的第一部分360(例如，GPIO引脚的第一子集)连接到功率开关148。接口358的第二部分362(例如，GPIO引脚的第二子集，或USB端口)连接到运动传感器144。接口358的第三部分364(例如，GPIO引脚的第三子集)连接到照相机116。也就是说，第三部分364在控制器140和每一个双连接器120的控制段132之间建立连接。因此，在本示例中，第三部分364建立16个连接(到16个照相机116中的每一个)，每一个连接具有足够数量的接触件(例如，GPIO引脚)以将下文更详细地讨论的命令传送到照相机116。

控制器140还可以包括进一步的通信接口(未示出)，该通信接口包括发射器、接收器、网络接口控制器等的合适的组合，并且使得控制器140能够例如经由网络110与其他计算设备通信。

控制器140还可以包括未示出的输入设备(例如，键盘、鼠标、麦克风等)和输出设备(例如，显示器、扬声器等)。控制器140的组件通过通信总线(未示出)互连，并且由电池或其他电源通过上文提及的通信总线或通过不同的功率总线(未示出)供电。

控制器140的存储器354存储多个应用，每一个应用包括可由处理器350执行的多个计算机可读指令。如本文中所讨论的，由处理器350执行上文提及的指令使得控制器140实现某些功能。因此，在下面的讨论中将这些应用称为配置为执行该功能。在本示例中，控制器140的存储器354存储捕获控制应用368(本文中也被称为应用368)。

经由处理器350执行应用368，控制器140被配置为接收来自运动传感器144的对象检测信号，并且作为响应根据碰撞检测模式和尺寸标注模式中的一个控制照相机116，捕获图像并将该图像传输到服务器112以存储在储存库324(在尺寸标注模式下)或储存库326(在碰撞检测模式下)中并进行后续处理。

在其他示例中，应用368可以被实现为多个逻辑上不同的应用。在其他示例中，通过执行应用368配置的处理器350被实现为一个或多个特定配置的硬件元件，诸如现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)。

现在转到图4，示出了用于对象尺寸标注的数据捕获的方法400。将结合如上文联系图1、图2和图3A-图3B所讨论的系统100中的该方法的执行来描述方法400。具体地，方法400示出了由捕获控制器140和服务器112采取的动作，以捕获捕获体积208内的包裹104的图像，并生成表示包裹104的点云以传送到尺寸标注服务器108。

从框405处开始，经由应用368的执行，控制器140被配置为初始化照相机116和运动传感器144。例如，控制器140被配置为检测功率开关148的激活(例如，经由接口358的第一部分360)，并且作为响应，向运动传感器144(例如，经由接口358的第二部分362)和照相机116中的每一个(例如，经由接口358的第三部分364)传送接通命令。

在框410处，服务器112被配置为启动监视应用316、点云生成器应用320和碰撞检测应用322的执行。启动点云生成器应用320的执行可以包括加载与照相机116相对应的校准数据。该校准数据定义照相机116相对于预定义参考帧(例如，表示捕获体积208的坐标系)的物理位置和取向(例如，俯仰、横滚和偏航)。

在框410处，与启动应用320的执行一起，服务器112还可被配置为初始化第一公共储存库324。更具体地，服务器112可以被配置为利用表示捕获体积208的初始图像集合来填充储存库324。该初始图像集合可表示在没有包裹104的情况下的捕获体积208。可以实现各种机制来初始化储存库324。例如，初始图像的静态集合可以存储在存储器304中，并且在框410处，服务器112可以被配置(例如，经由应用320的执行)为清除储存库324的内容并将该初始图像集合的副本写入该储存库。在另一个示例中，控制器140可以被配置为，在检测到功率开关148的激活时，不仅向照相机116发送接通命令，而且还向照相机116发送快门命令，使得照相机116捕获初始图像集合并将该初始图像集合传输到服务器112以存储在储存库324中。

当储存库324在框410处被初始化时，服务器112还可以被配置为基于储存库324中的初始图像集合生成初始点云。根据任何合适的常规机制执行从一组二维图像生成点云，并且本文中不详细讨论。该初始点云在生成时被存储在存储器304中(例如，在储存库324中)。如上文所描述的，储存库324的初始化和初始点云的生成可稍后在方法400的执行中加速生成表示包裹104的点云数据。例如，应用320可以被配置为通过检测与初始点云匹配的后续图像集合的各部分并重新使用该初始点云的相对应部分来生成后续点云数据。在其他实施例中，在框410处的储存库324的初始化和初始点云的生成可以被省略。

在框412处，在将照相机116和运动传感器144初始化之后，控制器140被配置为在碰撞检测模式下激活照相机116的至少子集。如上文提及的，在碰撞检测模式下，照相机116被配置为捕获相应的图像序列。也就是说，上文提及的子集中的每一个照相机116被配置为捕获按顺序的多个图像。在框412处在碰撞检测模式下激活的照相机116的子集被预配置，例如作为存储器354中的一组照相机标识符。在本示例中，在框412处激活的照相机116的子集包括照相机116中的至少四个(例如，来自图2所示的组200中的每一个组中的一个照相机116)。还构想了包括其他数量的照相机116的子集，最多包括照相机116中的全部。

例如，子集中的每一个照相机116可以被配置为以每秒30帧的速率捕获图像序列，但是现在将显而易见的是，照相机116还可以被配置为以其他合适的帧速率捕获图像，包括低于每秒30帧的那些帧速率(例如，每秒20帧)和高于每秒30帧的那些帧速率(例如，每秒150帧)。

在框412处由控制器140激活照相机116的子集包括从控制器140向该子集中的每一个照相机116传送命令，使得照相机将所捕获的图像序列传输到服务器112处的第二储存库326，而不是传输到第一储存库324。例如，控制器140可以被配置为向子集中的每一个照相机116传送命令，该命令包括与储存库326相对应的路径标识符(例如，统一资源定位符URL等)。因此，接收到该命令的每一个照相机116被配置为将所捕获的任何图像传输到储存库326。控制器140还可以被配置为采用其他机制以使得照相机116将图像传输到储存库326。例如，控制器140可以被配置为向子集中的照相机116传送命令，以经由不同于双连接器120的输出接口来传输图像。其他输出接口可以包括，例如，每一个照相机116和服务器112之间的高清晰度多媒体接口(HDMI)连接，如将在下文更详细地讨论的。

在框412处，控制器140还可以被配置为向子集中的每一个照相机116传送命令，使得照相机116在单帧捕获模式和连续捕获模式之间切换。在单帧捕获模式下，每一个照相机116响应于单个快门命令而捕获单个图像。然而，在连续捕获模式下，每一个照相机116被配置为在不需要针对每一个图像的连续快门命令的情况下，捕获连续的图像流(例如，以上文提及的帧速率)。因此，在框412处，控制器140可以(例如，经由双连接器120)向子集中的每一个照相机116传送从单捕获切换到连续捕获(也可被称为视频捕获模式)的命令。

在其他示例中，与如上文所描述的切换照相机116的捕获模式不同，控制器140可以被配置为向每一个照相机116传送快门命令序列，使得照相机在保持在单捕获模式下的同时捕获图像序列。在进一步的示例中，控制器140可以向照相机116传送帧速率参数(例如，针对碰撞检测模式将帧速率设置为30)，使得照相机116以指定的帧速率捕获帧序列。帧速率参数可以存储在存储器354中并且在框405处的初始化期间被检取。上述实现方式(其中照相机116保持在相同的捕获模式而不是从单帧捕获模式切换到连续捕获模式)可能特别适合于能够以超过每秒约20帧的帧速率捕获单个帧的照相机116。此类相机的示例包括配备全局快门的区域扫描照相机(与上文提及的DLSR照相机形成对比，该DLSR照相机通常包括滚动快门)。

如从图1和图4将显而易见的，在碰撞检测模式下，没有直接向服务器112通知照相机116的子集的激活。经由碰撞检测应用322的执行，服务器112被配置为监视第二储存库326的内容，并由此检测向储存库326添加图像。因此，在控制器140在碰撞检测模式下激活照相机116之后，在框413处，服务器112被配置为检测储存库326中的结果图像序列(例如，四个视频文件，每一个视频文件由照相机116中的一个捕获)。服务器112进一步被配置为从储存库326的内容确定由照相机116捕获的图像序列是否指示捕获体积208内的潜在碰撞。

在框413处，服务器112(经由碰撞检测应用322的执行)可以被配置为比较每一个序列中的相邻图像以执行确定。例如，服务器112可以被配置为对序列中的每一个图像执行对象检测操作，以标识出现在序列的至少两个图像中的一个或多个对象。服务器112可以进一步被配置为在序列中检测到对象之后确定该对象的移动向量，基于对象在图像序列中的位置来定义该对象的移动的方向和速度。

因此，服务器112被配置为在框413处检测和确定捕获体积内的任何移动对象的移动向量。在执行对象检测和移动向量确定之后，服务器112随后被配置为根据相对应的移动向量确定如果对象保持其当前移动向量，对象中的任一个是否将在预定时间段内(例如，在接下来的5秒内)碰撞。

参考图5A，图像序列(例如，多个分立帧或视频流)500-1被示出为从照相机116-1传输到储存库326，而另一个图像序列500-8被示出为从照相机116-8传输到储存库326。图5B示出了如序列500-1和序列500-8中所描绘的捕获体积208的俯视示意图。具体地，如图5B所示，服务器112已经从序列500-1中标识出第一对象(例如，叉车等)502-1，并且从序列500-8中标识出进一步的对象(例如，另一个叉车等)502-8。在其他示例中，服务器112可以被配置为跨多个图像序列来标识对象。本领域技术人员将想到用于从图像序列中进行对象识别和移动向量生成的各种合适的机制。此类机制的示例包括基于特征(诸如方向梯度直方图(HOG))的对象识别等。

例如，服务器112从如图像序列500-1和500-8中所描绘的对象502-1和502-8的先前位置508-1和508-8中确定相应的移动向量504-1和504-8。如从移动向量504-1和504-8所看到的，对象500和对象504都移动进入到捕获体积208中，其中对象502-8以比对象502-1更快的速度移动。因此，如果两个对象保持移动向量504-1和504-8，则将会在位置516处发生碰撞。因此，在本示例中，框413处的确定结果为肯定。

返回图4，响应于框413处的肯定的确定结果，在框414处服务器112被配置为生成警报信号。警报信号的生成可以包括灯152(例如，闪烁)和扬声器156(例如，发出警笛声)中的任一者或两者的激活。警报信号的生成还可以包括将消息(例如，SMS消息等)从服务器112传送到与对象502中的任一者或两者相关联的计算设备。例如，服务器112可以被配置为检测每一个对象502的标识符(例如，叉车或其他车辆可以被配置为广播或以其他方式传送车辆标识符)，并向安装在每一个叉车上或每一个叉车中的移动计算机传送关于潜在碰撞的警报消息。本领域技术人员还将想到各种其他警报信号。在框414的执行之后，服务器112返回框413以继续监视碰撞。当框413处的确定结果是否定时，服务器112行进到框425，这将在下文更详细地讨论。

在框412处激活碰撞检测模式之后，在框415处，控制器140被配置为确定是否已经从运动传感器144接收到了对象检测信号，该对象检测信号指示在捕获体积208内的捕获位置210处存在对象(例如，包裹104)。短暂地参考图2，当包裹104打断由运动传感器144发射的光束(例如，激光、红外光等)时，由运动传感器144生成此类检测信号。在一些示例中，可以由服务器112经由碰撞检测应用322的执行来实现运动传感器的功能。具体地，由碰撞检测应用322实现的对象检测机制可以用于标识特定类型的对象(例如，预定义尺寸阈值内的矩形框)。响应于在捕获体积208内(例如，在与捕获位置210相对应的子体积内)的预定义位置处的对象的标识，服务器112可以被配置为向控制器140传送检测信号。

当框415处的确定结果为否定时，控制器140被配置为重复框415的执行。如现在将显而易见的，在框415的执行期间，在框412处以碰撞检测模式激活的照相机116继续在碰撞检测模式下操作。也就是说，系统100的碰撞检测功能可以与确定是否启动尺寸标注操作并行地操作。然而，当框415处的确定结果为肯定时，控制器140被配置为行进到框420。

在框420处，控制器140被配置为在尺寸标注模式下激活照相机116。在本示例中，在框420处，在尺寸标注模式下激活照相机116中的全部，包括在碰撞检测模式下所采用的子集中的那些照相机116。在尺寸标注模式下激活照相机116包括从控制器140向每一个照相机116传送命令(例如，经由双连接器120)，使得每一个照相机116将任何所捕获的图像传输到服务器112处的第一储存库324，而不是第二储存库326。如结合框412所述，控制器140可以被配置为向每一个照相机116传送命令，该命令包括与储存库324相对应的路径标识符(例如，统一资源定位符URL等)。因此，每一个照相机116被配置为将所捕获的任何图像传输到储存库324。

在其他示例中，控制器140可以被配置为采用其他机制以使得照相机116将图像传输到储存库324。例如，控制器140可以被配置为向每一个照相机116传送命令，以经由与结合碰撞检测模式采用的输出接口不同的输出接口来传输图像。在此类示例中，框420的执行可以包括从控制器140向每一个照相机116发送命令，以使得照相机116通过USB接口(例如，双连接器120的段124和段128)而不是用于在碰撞检测模式下传输视频的HDMI接口来传输图像。

在已经以尺寸标注模式激活了照相机116之后，控制器140被配置为生成快门命令并将该快门命令传送到每一个照相机116。更具体地，快门命令基本上同时应用于连接到接口358的第三部分364的每一个控制段132，使得照相机116基本上同时接收该快门命令。例如，照相机116可以在约0.2秒的总时间段内接收快门命令，如前所述。可以部分地基于对象104移动通过捕获体积的速度(例如，如经由碰撞检测模式所检测的，基于传送带的已知速度，等等)来选择每一个照相机116接收快门命令的时间段。如本领域技术人员将显而易见的，包裹104的更快的移动速度可能会要求快门命令在更短的时间段内在所有照相机116处被接收。本文提及的示例时间段与高达约8mph的包裹移动速度相对应。

快门命令的性质取决于照相机116的能力。例如，每一个照相机的端口126可以包括快门控制接触件，以及自动对焦接触件、闪光灯激活接触件等。控制段132包括与上文提及的接触件相对应的通道，并且因此快门命令可以包括施加到这些通道中的一个或多个通道的信号(例如，指示快门、闪光灯等的激活的高电压，或指示未激活的低电压)。在本示例中，快门命令包括快门激活信号和自动对焦激活信号，这些信号指令每一个照相机116同时触发自动对焦和快门。在一些实施例中，可以在框420处省略快门命令。例如，某些照相机116(例如，配备全局快门的区域扫描照相机)可以被配置为在没有快门命令的情况下连续地捕获图像帧，并且在框420处，控制器140可以仅发送命令以将所捕获的下一个图像传输到储存库324。

在生成并传送了快门命令之后，控制器140被配置为返回框412，其中上文提及的照相机116的子集被返回到碰撞检测模式，直到在框415处接收到随后的检测信号。如本领域技术人员现在将显而易见的，对于运动传感器144的一些配置，给定的包裹104可以使得运动传感器144生成多于一个检测信号。因此，控制器140可以被配置为将框415的下一次执行延迟预定义的时间段，以允许包裹104清除运动传感器144的检测范围。例如，对于如上文提及的具有约8英尺的长度的捕获位置210，和约8mph的包裹移动速度，控制器140可以被配置为忽略在框420的执行的约0.3秒内从运动传感器接收的任何检测信号。

响应于控制器140执行框420，每一个照相机116在接收到快门命令时被配置为执行该快门命令(例如，如上文提及的，通过激活自动对焦和快门)来捕获图像。每一个照相机116进一步被配置为经由相对应的照相机段124和传输段128自动地将所捕获的图像传输到服务器112。因此，在本示例中，服务器112被配置为经由通信中枢136接收用于存储在储存库324中的图像同步集合。

在本示例中，每一个照相机116还被配置为将专属于该照相机116的静态文件名分配给任何所捕获的图像。也就是说，由照相机116所捕获的每一个同步图像集合都具有相同的文件名集合。因此，将每一个同步图像集合中的所捕获的图像传输到储存库324将覆写存储在储存库324中的任何先前图像集合。覆写储存库324中的文件，而不是将新文件写入储存库324，可以加速图像的后处理，例如，通过允许点云生成器320维护要处理的文件名的静态列表，而不是在处理每一个图像集合之前执行发现过程。

短暂地转到图6，示出了响应于在框420处尺寸标注模式的激活和所生成和发送的快门命令而将图像600-1、600-2、…、600-16(即，每个照相机116一个图像)的同步集合传输到储存库324。如从图6显而易见的，图像600从多个角度描绘了包裹104，该多个角度由支撑结构204支撑照相机116的位置和取向来确定。

返回图4，在上文结合框410讨论的初始化之后，在框425处，服务器112被配置为确定储存库324的内容是否已经被更新。如图1所示，快门命令没有直接到达服务器112，因此服务器112被配置为间接地检测图像已经被捕获。具体地，监视应用316被配置为确定储存库324是否已经被更新。在本示例中，其中每一个照相机116被配置为给所捕获的图像分配静态文件名，监视应用316被配置为通过检查与存储在储存库324中的文件相关联的时间戳来确定储存库324是否已经被更新。例如，表1示出了在框420的执行之前(例如，在储存库324的初始化之后)储存库324的内容的列表，而表2示出了在框420的执行之后储存库324的内容的列表。

表1：储存库324的初始内容

文件名	修改日期/时间
		IMG_Camera_1.jpg	5/1/2018 10:01:15.9AM
IMG_Camera_2.jpg	5/1/2018 10:01:15.9AM
		...	...
IMG_Camera_15.jpg	5/1/2018 10:01:16.2AM
		IMG_Camera_16.jpg	5/1/2018 10:01:16.2AM

表2：储存库324的更新内容

文件名	修改日期/时间
		IMG_Camera_1.jpg	5/1/2018 10:01:16.7AM
IMG_Camera_2.jpg	5/1/2018 10:01:16.7AM
		...	...
IMG_Camera_15.jpg	5/1/2018 10:01:16.9AM
		IMG_Camera_16.jpg	5/1/2018 10:01:16.2AM

如上文所见，在这两个实例中，储存库324包含具有相同文件名的图像。然而，在表2中，除了图像中的一个(“IMG_Camera_16.jpg”)，其他所有图像的时间戳与表1所示的不同。更新的时间戳指示，在控制器140执行框420之后(这导致每一个照相机116捕获图像，并将这些图像传输到储存库324)，那些图像已经被覆写。在框425处，监视应用316被配置为仅在每一个图像都已经被覆写时(即，当已经接收到整个新的图像同步集合时)才作出肯定的确定结果。因此，在上文的表1和表2所表示的示例中，在框425处的确定结果为否定，直到接收到最终图像，从而导致对图像“IMG_Camera_16.jpg”的时间戳进行更新。在其他实施例中，监视应用316被配置为当储存库324中的图像中的任何一个被更新时作出肯定的确定结果。

在进一步实施例中，在框425处的确定不需要依赖于检测时间戳更新。例如，在图像不以静态文件名被写入储存库324的实施例中，监视应用316被配置为在检测到储存库324中的新文件名(例如，至少一个新文件、预定数量的新文件等)时作出肯定的确定结果。在进一步实施例中，服务器112被配置为检查与所捕获的图像相关联的其他合适的元数据，以检测对储存库324的更新。例如，服务器112可以被配置为在框425处检测文件大小的变化。

当框425处的确定结果为否定时，服务器112被配置为返回框413以确定是否检测到任何潜在碰撞。如现在将显而易见的，监视应用316还可以基本上与框413的执行并行地在框425处继续监视储存库324以寻找更新。当框425处的确定结果为肯定时，方法400的执行行进到框430。

在框430处，监视应用316被配置为生成到点云生成器应用320的命令，以基于在框425处检测到的图像集合来启动点云数据的生成。如前所述，点云数据的生成是经由合适的点云生成机制来执行的，并且本文中不详细讨论。一般地，在框435处的点云数据的生成包括多个体素的生成，每一个体素包含颜色数据(例如，红、绿和蓝值，或与另一个合适的颜色模型相对应的值)和三维位置数据。体素的位置数据和颜色数据是基于上文提及的校准数据从同步集合中的图像中导出的。该校准数据用于确定由每一个图像的每一个像素表示的捕获体积208内的位置。换句话说，可以为图像中的每一个像素生成三维位置。每一个不同的三维位置可以存储在体素中，并且可以基于来自与该三维位置相对应的一个或多个像素的颜色数据将该颜色数据分配给体素。

在框435处生成的点云数据存储在存储器304中。例如，点云数据可以存储在储存库324中，或者存储在存储器304中定义的单独的储存库中。在生成初始点云的示例中，在框435处生成的点云数据与初始点云分开存储。然而，框435的后续执行可以导致来自框435的先前执行的点云数据被覆写。

在框440处，在框435处生成的点云数据被用于获取包裹104的尺寸。在本示例中，服务器112被配置为经由网络110传送被传送到尺寸标注服务器108的点云数据，并且尺寸标注服务器108被配置为检测包裹104在该点云数据中的表示并确定包裹104的尺寸。尺寸标注服务器108可以被配置为采用任何合适的尺寸标注操作或操作集合以从点云中确定包裹尺寸(例如，聚类检测算法(诸如欧几里德聚类提取)和用于在聚类中检测包裹的边缘的边缘检测算法的合适的组合(诸如随机抽样一致(RANSAC)))。在其他示例中，在服务器112内实现尺寸标注服务器108的功能中的一些或全部。例如，服务器112可以包括尺寸标注应用(未示出)，该尺寸标注应用被配置为检测点云数据内的边缘或其他特征并计算此类特征的尺寸。从点云数据获取的尺寸可以被返回到服务器112，在耦合到服务器112或尺寸标注服务器108等的显示器上呈现。尺寸也可以被传送到进一步的计算设备，例如用于确定运输或存储定价、用于空间优化处理等。在框440的执行之后，服务器112被配置为返回框413。

构想了对上述系统和方法的变型。例如，在一些实施例中，可以省略双连接器120。在此类实施例中，可以根据合适的有线(例如，USB、Thunderbolt^TM)或无线(例如，蓝牙^TM、Wi-Fi)连接来实现照相机116与服务器112之间的连接。可以根据另一个合适的有线或无线连接来实现照相机116和控制器140之间的连接。

在一些实施例中，控制器140被实现为两个或更多个物理设备，例如，当单个设备的接口358不包括足够数量的接触件来建立与照相机116中的全部以及功率开关148和运动传感器144的连接时。在此类实施例中，每一个段132可以被分成两个或更多个段，其中某些控制通道(例如，快门和自动对焦)连接到第一控制器140，而其他控制通道(例如，用于照相机116的功率切换)连接到第二控制器140。在此类实施例中，控制器140例如经由有线(例如，以太网)或无线(例如，Wi-Fi、蓝牙^TM)连接彼此通信。

在进一步实施例中，系统100包括一个或多个投影仪，该一个或多个投影仪被布置为例如利用可由照相机116检测到的结构光来照亮捕获体积208。例如，如图7所示，系统100可以包括由支撑结构204支撑的第一投影仪700-1和第二投影仪700-2，以照亮捕获体积208。

在其他实施例中，参考图8，系统100包括连接到网络110的碰撞检测服务器800。在此类实施例中，碰撞检测服务器800托管储存库326并执行应用322。也就是说，碰撞检测服务器800实现上文结合框413和框414讨论的碰撞检测功能，而图像处理服务器112实现点云生成以用于尺寸标注，如上文结合框425-框440讨论的。

在进一步实施例中，参考图9，如上所述，照相机116可以经由多于一个接口连接到服务器112和/或服务器800。具体地，如图9所示的系统100包括次级通信中枢900(诸如键盘、视频和鼠标(KVM)开关等)，该次级通信中枢900具有多个视频输入(诸如用于从照相机116接收视频连接器904-1、904-2、…904-n的HDMI输入)。中枢900可以连接到I/O接口(例如，USB端口等)。在此类实施例中，如前文提及的，可以通过切换捕获模式来控制照相机116以将图像传输到储存库324或储存库326。例如，照相机116的视频捕获模式可以被配置为经由HDMI输出来传输图像，因此该HDMI输出经由中枢900将图像传输到服务器800。照相机116可以进一步被配置为经由USB以单帧捕获模式传输图像，因此该USB经由中枢136将图像传输到服务器112。

在上述说明书中已经描述了具体实施例。然而，本领域普通技术人员理解，可以做出各种修改和改变而不脱离如下权利要求书所阐述的本发明的范围。因此，说明书和附图被认为是示意性的而非限制性的意义，并且所有此类修改都旨在被包括在本教导的范围内。

这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的任何(多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。本发明仅由所附权利要求书限定，包括在本申请处于待审状态期间做出的任何修改以及授权公告的这些权利要求的所有等效物。

此外，在该文档中，诸如第一和第二、顶部和底部等之类的关系术语可以单独地用来将一个实体或动作与另一个实体或动作区别开，而不一定要求或暗示此类实体或动作之间具有任何实际的此类关系或顺序。术语“包括”、“包括有”、“具有”、“具备”、“包含”、“包含有”、“涵盖”、“涵盖有”或它们的任何其他变型旨在覆盖非排他性包括，以使包括、具有、包含、涵盖一要素列表的过程、方法、物品或装置不仅包括那些要素还可包括未明确列出的或对此类过程、方法、物品或装置固有的其他要素。以“包括一”、“具有一”、“包含一”、“涵盖一”开头的要素，在没有更多约束条件的情形下，不排除在包括、具有、包含、涵盖该要素的过程、方法、物品或装置中有另外的相同要素存在。术语“一”和“一个”被定义为一个或更多个，除非本文中另有明确声明。术语“基本”、“大致”、“近似”、“约”或这些术语的任何其他版本被定义为如本领域内技术人员理解的那样接近，并且在一个非限制性实施例中，这些术语被定义为在10％以内，在另一实施例中在5％以内，在另一实施例中在1％以内，而在另一实施例中在0.5％以内。本文中使用的术语“耦合的”被定义为连接的，尽管不一定是直接连接的也不一定是机械连接的。以某种方式“配置”的设备或结构至少以该种方式进行配置，但也可以以未列出的方式进行配置。

将会理解，一些实施例可以包括一个或多个通用或专用处理器(或“处理设备”)，诸如微处理器、数字信号处理器、定制的处理器和现场可编程门阵列(FPGA)以及唯一存储的程序指令(包括软件和固件两者)，该唯一存储的程序指令控制一个或多个处理器连同某些非处理器电路实现本文所描述的方法和/或装置的一些、多数或全部功能。替代地，一些或全部功能可以由不具有存储程序指令的状态机来实现，或者在一种或多种专用集成电路(ASIC)中实现，其中，每一种功能或某些功能的某些组合被实现为定制逻辑。当然，也可以使用这两种方法的组合。

此外，实施例可以实现为计算机可读存储介质，该计算机可读存储介质具有存储在其上的计算机可读代码，用于对(例如，包括处理器的)计算机编程以执行如本文所描述和要求保护的方法。此类计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储设备、磁存储设备、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)以及闪存。此外，预期本领域普通技术人员虽然做出由例如，可用时间、当前技术和经济考虑促动的可能显著的努力以及许多设计选择，但在得到本文所公开的概念和原理指导时，将容易地能以最少的试验产生此类软件指令和程序以及IC。

本公开的摘要被提供以允许读者快速地明确本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。另外，在上述具体实施方式中，可以看出出于使本公开整体化的目的，各种特征在各种实施例中被编组到一起。这种公开方法不应被解释为反映要求保护的实施例与各项权利要求中明确记载的相比需要更多的特征的意图。相反，如以下权利要求所反映，发明主题在于少于单个公开的实施例的全部特征。因此，以下权利要求由此被并入具体实施方式中，其中各个权利要求作为单独要求保护的主题代表其自身。

Claims (23)

1.一种双模数据捕获系统，包括：

多个照相机，所述多个照相机被设置为查看捕获体积；

运动传感器，所述运动传感器被配置为响应于在所述捕获体积内的捕获位置处检测到对象而生成检测信号；

捕获控制器，所述捕获控制器连接到所述运动传感器，并且所述捕获控制器被配置为：

在碰撞检测模式下激活所述多个照相机的至少子集，使得照相机的所述子集捕获所述捕获体积的相应的图像序列；

响应于接收到所述检测信号，在尺寸标注模式下激活所述多个照相机，使得每一个照相机捕获所述捕获位置的图像同步集合的相应图像；

碰撞检测器，所述碰撞检测器连接到照相机的所述至少子集，并且所述碰撞检测器被配置为：

接收所述相应的图像序列；

确定来自所述多个照相机的所述至少子集的所述相应的图像序列是否指示所述捕获体积中的一个或多个对象的潜在碰撞；以及

响应于检测到所述潜在碰撞，生成警报；以及

点云生成器，所述点云生成器连接到所述多个照相机中的每一个，并且所述点云生成器被配置为从所述照相机接收所述图像同步集合并基于所述图像同步集合生成表示所述对象的点云，其中所述对象的尺寸基于所述点云来确定。

2.如权利要求1所述的双模数据捕获系统，其特征在于，所述捕获控制器进一步被配置为：在所述尺寸标注模式下激活所述照相机之后，将照相机的所述子集返回至所述碰撞检测模式。

3.如权利要求2所述的双模数据捕获系统，其特征在于，所述碰撞检测模式被激活第一时间段。

4.如权利要求3所述的双模数据捕获系统，其特征在于，所述尺寸标注模式被激活第二时间段，所述第二时间段比所述第一时间段短。

5.如权利要求1所述的双模数据捕获系统，其特征在于，所述捕获控制器进一步被配置为用于在所述尺寸标注模式下激活所述照相机，以：

生成快门命令并基本上同时向多个照相机中的每一个传送所述快门命令，所述快门命令使得每一个照相机捕获所述捕获体积的图像同步集合的相应图像。

6.如权利要求1所述的双模数据捕获系统，其特征在于，所述点云生成器被配置为从所述照相机接收所述图像同步集合，并且将所述图像同步集合存储到第一储存库中。

7.如权利要求6所述的双模数据捕获系统，其特征在于，所述碰撞检测器被配置为从照相机的所述子集接收所述相应的图像序列，并且将所述相应的图像序列存储到第二储存库中。

8.如权利要求1所述的双模数据捕获系统，进一步包括用于生成警报信号的输出设备；其中所述碰撞检测器被配置为通过向所述输出设备传送命令来生成所述警报。

9.如权利要求1所述的双模数据捕获系统，其特征在于，所述碰撞检测器被配置为通过以下方式来确定所述相应的图像序列是否指示潜在碰撞：

标识所述图像序列中的第一对象和第二对象；以及

确定与所述第一对象相对应的第一移动向量和与所述第二对象相对应的第二移动向量。

10.如权利要求1所述的双模数据捕获系统，其特征在于，所述碰撞检测器包括连接到照相机的所述子集的碰撞检测服务器；以及

其中所述点云生成器包括连接到所述多个照相机中的每一个的图像处理服务器。

11.如权利要求1所述的双模数据捕获系统，进一步包括服务器，所述服务器执行(i)碰撞检测应用以实现所述碰撞检测器和(ii)点云生成应用以实现所述点云生成器。

12.如权利要求1所述的双模数据捕获系统，其特征在于，所述捕获控制器被配置为通过向照相机的所述子集中的每一个传送命令以从单帧捕获模式切换到连续捕获模式，来在所述碰撞检测模式下激活所述照相机的所述子集。

13.一种用于双模数据捕获的方法，包括：

在连接到被设置为查看捕获体积的多个照相机的捕获控制器处，在碰撞检测模式下激活所述多个照相机的至少子集，使得照相机的所述子集捕获所述捕获体积的相应的图像序列；

在连接到照相机的所述至少子集的碰撞检测器处，接收所述相应的图像序列，并且确定来自所述多个照相机的所述至少子集的所述相应的图像序列是否指示所述捕获体积中的一个或多个对象的潜在碰撞；

响应于在所述碰撞检测器处检测到所述潜在碰撞，生成警报；

在连接到所述捕获控制器的运动传感器处，响应于在所述捕获体积内的捕获位置处检测到对象而生成检测信号；

在所述捕获控制器处，响应于接收到所述检测信号，在尺寸标注模式下激活所述多个照相机，使得每一个照相机捕获所述捕获位置的图像同步集合的相应的图像；以及

在连接到所述多个照相机中的每一个的点云生成器处，从所述照相机接收所述图像同步集合并基于所述图像同步集合生成表示所述对象的点云，其中所述对象的尺寸基于所述点云来确定。

14.如权利要求13所述的方法，进一步包括在所述捕获控制器处，在所述尺寸标注模式下激活所述照相机的所述至少子集之后，将所述照相机的所述至少子集返回至所述碰撞检测模式。

15.如权利要求14所述的方法，进一步包括激活所述碰撞检测模式第一时间段。

16.如权利要求15所述的方法，进一步包括激活所述尺寸标注模式第二时间段，所述第二时间段比所述第一时间段短。

17.如权利要求13所述的方法，其特征在于，在所述尺寸标注模式下激活所述照相机进一步包括：

生成快门命令并基本上同时向多个照相机中的每一个传送所述快门命令，所述快门命令使得每一个照相机捕获所述捕获体积的图像同步集合的相应的图像。

18.如权利要求13所述的方法，进一步包括在所述点云生成器处：从所述照相机接收所述图像同步集合，并且将所述图像同步集合存储到第一储存库中。

19.如权利要求18所述的方法，进一步包括在所述碰撞检测器处，从照相机的所述子集接收所述相应的图像序列，并且将所述相应的图像序列存储到第二储存库中。

20.如权利要求13所述的方法，其特征在于，生成所述警报包括从所述碰撞检测器向输出设备传送命令。

21.如权利要求13所述的方法，其特征在于，确定所述相应的图像序列是否指示潜在碰撞包括：

标识所述图像序列中的第一对象和第二对象；以及

确定与所述第一对象相对应的第一移动向量和与所述第二对象相对应的第二移动向量。

22.如权利要求13所述的方法，其特征在于，在所述碰撞检测模式下激活所述照相机的所述子集包括向照相机的所述子集中的每一个传送命令以从单帧捕获模式切换到连续捕获模式。

23.一种非瞬态计算机可读介质，存储有在双模数据捕获系统中能执行的多个计算机可读指令，所述指令包括：

在连接到被设置为查看捕获体积的多个照相机的捕获控制器处，在碰撞检测模式下激活所述多个照相机的至少子集，使得照相机的所述子集捕获所述捕获体积的相应的图像序列；

在连接到照相机的所述至少子集的碰撞检测器处，接收所述相应的图像序列，并且确定来自所述多个照相机的所述至少子集的所述相应的图像序列是否指示所述捕获体积中的一个或多个对象的潜在碰撞；

响应于在所述碰撞检测器处检测到所述潜在碰撞，生成警报；

在连接到所述捕获控制器的运动传感器处，响应于在所述捕获体积内的捕获位置处检测到对象而生成检测信号；

在所述捕获控制器处，响应于接收到所述检测信号，在尺寸标注模式下激活所述多个照相机，使得每一个照相机捕获所述捕获位置的图像同步集合的相应的图像；以及

在连接到所述多个照相机中的每一个的点云生成器处，从所述照相机接收所述图像同步集合并基于所述图像同步集合生成表示所述对象的点云，其中所述对象的尺寸基于所述点云来确定。

Images