CN113170089B - 用于恶劣环境的相机模块和多相机系统 - Google Patents

Abstract

一种用于在恶劣环境中成像的相机模块(10)，该相机模块包括：限定流体密封的内部空间的壳体(11)，该壳体布置成安装在平台上；相机(12)，布置成从该壳体向外朝向以捕获图像；数据处理器(14)；内部数据链路(16)，耦接在该相机与该数据处理器之间，以将图像数据从该相机传送到该数据处理器；以及外部数据链路(18‑20、28)，耦接到该相机或该数据处理器，并且布置成将该相机模块以通信方式耦接到不同于该相机的外部计算装置。

Description

用于恶劣环境的相机模块和多相机系统

背景技术

已知的多相机系统具有数据处理器，该数据处理器与每个相机通信以传送图像数据(视频或图像)以及执行处理任务。

如果多相机系统要产生高质量视频，则该数据处理器必须足够强大以传送并处理大空间和色彩分辨率、色彩深度且高帧率的高带宽图像数据。

本发明的发明人已经设计出了一种用于恶劣环境的改进的多相机系统，相对于已知系统，所述系统可以表现出一个或多个以下优点：

·可靠性提高；

·更加简单；

·成本降低；

·尺寸较小；和/或

·重量减轻。

发明内容

根据本发明的第一方面，提供了一种用于在恶劣环境中成像的相机模块，该相机模块包括：

限定密封的内部空间的壳体，该壳体布置成安装在平台上；

相机，布置成从壳体向外朝向以捕获图像；

数据处理器；

内部数据链路，耦接在相机与数据处理器之间，以将图像数据从相机传送到数据处理器；以及

外部数据链路，耦接到相机或数据处理器，并且布置成将相机模块以通信方式耦接到不同于该相机的外部计算装置。

因此，根据本发明实施例的相机模块设有经由内部数据链路直接耦接到相机的数据处理器，该内部数据链路可以是超高带宽连接。外部数据链路使得相机模块能够用作多相机系统的一部分，在多相机系统中，每个相机设置在相应壳体内并且直接耦接到相应壳体内的数据处理器。这使得能够在相机模块的相机与数据处理器之间进行快速数据传送，从而使得能够使用具有高分辨率、高色彩深度和高帧速率的相机。这些属性分别允许实现精细的细节、精确的颜色和精准的运动捕获，但是与具有各自耦接到公共数据处理器的位于相应壳体中的多个相机的概念系统相比，这些属性一起需要更高的带宽，因此需要使用在壳体之间延伸穿过恶劣环境的高带宽数据链路。本发明的发明人已经发现，此类用于恶劣环境的超高带宽连接不可靠、昂贵且/或难以制造。此外，与概念系统相比，根据本发明实施例的相机模块的相机和数据处理器对，能够以更低的处理功率实时地进行上述级别的图像处理；强大的数据处理器由于其功率要求和需要在不易散热的密封外壳中进行操作而不太理想，因此导致只能对传送的数据进行后处理(即，离线处理)而不是实时处理。

相机模块可以包括同步子系统，该同步子系统耦接到外部数据链路，并且布置成以比一个或多个相机的帧间时间更高的精度，将数据处理器或相机的系统时钟同步到一个或多个另外不同的相机模块的系统时钟。数据处理器可以包括同步子系统。

与外部数据链路的一个或所有信道的数据传送速率相比，内部数据链路可以具有相对较高的数据传送速率。

壳体可以形成有盖部，该盖部布置成可移除地耦接到壳体的主体以便以密封方式封闭穿过壳体的开口。密封件可以在相机模块的内部空间与外部之间限定流体(即，液体和/或气体)密封。替代地，壳体可以由诸如复合或聚合物材料等整块材料形成在部件周围，一旦部件位于壳体内，该材料便被固化。

内部数据链路可以具有合适的数据传送速率，以适合于将所捕获图像以允许平滑视频运动的速率，从相机传送到数据处理器，例如至少每秒20帧。数据传送速率可以(例如)是至少每秒1千兆比特。

相机可以包括相机处理器，并且数据处理器可以不同于该相机处理器。该相机处理器可以包括同步子系统。

数据处理器能够适合于计算复杂的图像处理和计算机视觉算法。例如，数据处理器可以包括多个处理核心，包括(但不要求)GPU核心和用于视频编解码器或AI操作的嵌入式处理，诸如NVidia Tegra(TM)片上系统(SoC)。

壳体可以是压力容器，其构造成承受其外部与内部之间的压力差，或者填充有压力补偿气体或流体；使得相机模块能够在恶劣的水下环境中连续使用，诸如在至少2米深的水或至少5米深的水中，或者在至少10米深的水中，并且在一些情况下在至少20米深的水中。在其他实施例中，壳体可以构造成使得相机模块能够在其他恶劣环境中连续使用，诸如在真空中。

外部数据链路可以包括第一外部数据信道，该第一外部数据信道耦接到数据处理器，并且布置成将该数据处理器耦接到外部数据处理装置。

外部数据链路可以包括第二外部数据信道，该第二外部数据信道耦接到相机，并且布置成将该相机耦接到外部相机装置，其中与第二外部数据信道相比，第一外部数据信道具有相对较高的数据传送速率。

外部数据链路可以包括第三外部数据信道，该第三外部数据信道耦接到数据处理器，以使得能够向外部计算机客户端进行数据读出或者从外部计算机客户端进行系统控制。

壳体可以包括一个或多个端口，每个端口布置成将外部数据链路的一个或多个信道从壳体内部传递到壳体外部，每个端口限定恶劣环境连接器。

恶劣环境连接器可以布置成使得外部线缆能够形成第二或第三数据链路的通信部分，同时在相机模块的内部空间与外部之间提供流体(即，液体和/或气体)密封。

内部数据链路可以包括第一有线连接，并且外部数据链路的一个或多个信道可以包括有线连接。与外部数据链路的有线连接相比，内部数据链路有线连接的轴向长度可以相对较短。这可以使得相机与数据处理器之间的数据传送速率相对较快。内部数据链路的轴向长度可以(例如)小于1米，在一些实施例中只有几厘米，并且不需要穿过压力容器，因此允许非常高的带宽。这样，内部数据链路可以完全包含在由壳体限定的压力容器内。

外部数据链路的一个或多个信道可以包括无线通信信道。

相机模块还可以包括位于壳体中的窗口，相机布置成经由该窗口捕获图像。窗口可以形成在壳体的一部分中，或者整个壳体可以由透明材料形成，该透明材料使得相机能够捕获适合于处理的图像。

根据本发明的另一方面，提供了一种用于在恶劣环境中成像的多相机系统，该多相机系统包括：

根据第一方面的第一相机模块；

根据第一方面的第二相机模块；以及

平台，第一相机模块和第二相机模块安装在该平台上，

其中第一相机模块和第二相机模块经由外部数据链路和可选的第三数据链路以通信方式耦接在一起。

由于每个相机具有用于处理主要数据的专用数据处理器，并经由超高带宽连接器耦接，从而实现高视频质量的快速数据传送速度，除了这个好处之外，根据本发明实施例的恶劣环境多相机系统还具有相机模块的壳体尺寸与相机之间的距离无关的优点。发明人已经发现，在恶劣的环境空间中在一对相机模块之间提供可靠的超高带宽链路可能很困难。因此，如果一对间隔开的高带宽相机要耦接到公共数据处理器，则壳体将必须足够大以容纳相机之间的间隔。通过提供具有经由超高带宽内部数据链路耦接的专用相机和数据处理器对的相机模块，在两个相机之间的横向距离相同的情况下，与足够大以容纳两个相机的单个壳体相比，所述壳体的壁可以做得更薄。通常，较大的壳体需要较厚的壁来维持刚性并抵抗外部高压。因此，较小的壳体可以需要较少的壁材料，从而得到更便宜且更轻的壳体。此外，根据本发明实施例的恶劣环境多相机系统的另一个好处是与单个大壳体相比，可以有更少的浪费或死空间。

发明人还已经发现，单个系统中的多个数据处理器可以使视频和图像处理有效分布。在视频或图像处理系统中，通常需要针对每个帧或每个图像执行许多操作，诸如滤波和对比度均衡。类似地，当计算机视觉系统执行诸如特征检测、矫正、几何失真消除等操作时，这些操作经常是针对每个帧或每个图像执行的。因此，每个数据处理器可以对由其各自的相机产生的帧或图像执行任务或处理，从而提高处理效率。当数据处理器在相机模块内部预处理帧或图像数据时，数据的重要特征可以用于计算，这减少了对外部大量原始数据的需求，从而不再需要外部数据链路为超高带宽。与单个壳体中的单个更强大数据处理器相比，两个独立壳体中的两个数据处理器在每个壳体中产生的热量可较少。因此，具有两个数据处理器的两个壳体能够实现更简单/更容易的冷却系统。

第一相机模块和第二相机模块的相机间隔地安装以进行立体/3D摄影测量，二者之间的距离为至少5cm。在其他实施例中，这些相机可以间隔开至少10cm，并且在一些情况下，间隔开至少15cm或以上。间距可以指这些相机的光轴之间的距离。

多相机系统还可以包括安装在平台上的根据第一方面的第三相机模块，其中第一相机模块或第二相机模块，和第三相机模块经由外部数据链路和可选的第三数据链路以通信方式耦接在一起。

平台可以包括遥控或自主移动平台，诸如水下远程操作的载具(ROV)、自主水下载具(AUV)、无人驾驶飞行器(UAV)、无人驾驶地面载具(UGV)、无人驾驶水下载具(UUV)或无人驾驶水面载具(USV)。

在一个示例中，平台可以包括海底遥控或自主载具，该载具包括推进系统、转向系统和命令控制器，该命令控制器布置成根据从相对于该载具为远程的控制站提供的命令信号，来控制推进系统和转向系统。

多相机系统还可以包括一个或多个光源，该一个或多个光源布置成照亮相机模块的相机的视场的至少若干部分。

附图说明

仅作为示例，现在将参考附图描述本发明的某些实施例，在附图中：

图1是根据本发明实施例的相机模块的透视图；

图2是图1的相机模块的系统图；

图3是根据本发明实施例的多相机系统的系统图，该系统由两个相机模块形成；以及

图4是根据本发明实施例的多相机系统的系统图，该系统由三个相机模块形成。

具体实施方式

通过非限制性概述，本发明的实施例涉及适合于能够执行实时(现场)图像处理的恶劣环境多相机系统的设计和架构的恶劣环境相机模块。每个相机模块的相机经由超高带宽链路直接耦接到其壳体内的单个数据处理器，以实现恶劣环境多相机系统，其比具有相同质量的相机和/或图像数据的已知系统更小且/或更简单。

图1示出了根据本发明实施例的恶劣环境相机模块，大体以10表示。相机模块10被布置成部署到恶劣环境中，诸如在超过两米的水下、海底或真空的太空中、在远程操作的载具(Remotely Operated Vehicle,ROV)、自主水下载具(Autonomous Underwater Vehicle,AUV)、机器人平台等上连续使用。

恶劣环境对相机模块提出了严格要求，诸如机械应力、辐射应力、化学反应和温度暴露。机械应力可以包括压力、冲击、振动和热膨胀系数(CTE)不匹配。辐射应力可以包括宇宙射线和来自电磁的磁性影响。诸如盐水、湿气、燃料和有毒气体等化学物质可以与此类相机模块发生反应。在恶劣环境中，还可能出现低于-40℃和/或高于125℃的温度。

在所示实施例中，相机模块10包括壳体11，壳体11限定具有内部空间的水密外壳。壳体11的一端包括透明窗口或镜头12a。相机12安装在该内部空间内，并且布置成通过窗口12a捕获外部环境的图像。可以通过移除壳体端盖11a来进入壳体11的内部空间，该壳体端盖11a经由o形环密封凸缘可移除地耦接到壳体11的主体。可选的密封件13设置在壳体端盖11a与壳体主体之间以阻止水进入。

该实施例的壳体11由不锈钢形成并且为圆柱形，以便在结构上抵抗高压，相机模块10在水下恶劣环境(诸如深水下环境和/或海底石油和天然气基础设施场所)中可能会经受高压。

在其他实施例中，壳体11的材料和/或形状可以依据部署环境而改变，例如铝、铜铍合金、钛、塑料、离聚物、PEKK、碳纤维或陶瓷，以便提供抗应力性、耐化学性和/或耐温性。优选的是，壳体11的材料和形状使得结构坚固且具有刚性。壳体11的形状可以是任何耐压形状，诸如棱柱或圆柱体。相机12可以形成壳体11的一部分，使得壳体11与相机12的至少一部分(例如，相机12的镜头)形成流体密封。其他端盖密封可以使用包括贯穿螺栓或螺纹管在内的方法形成。

壳体11在外部具有多个端口P1至P5，这些端口使得能够在位于内部空间的内部设备与位于壳体11外部的设备之间进行有线连接。在所示实施例中，存在五个端口P1至P5，但是在其他实施例中，可以存在更少或更多的端口，并且在一些情况下，没有端口。

壳体11可以布置成保护其内的设备免受在恶劣环境中可能经历的快速加速和减速。因此，在所示实施例中，内部结构布置成以安全的方式支撑内部设备；例如，壳体11的内表面可以设有肋状物或其他安装结构，设备的部件可以安装到该安装结构。内部空间可以设有缓冲元件，诸如苯乙烯聚合物保护元件，其可以贴合壳体的内表面和部件的外表面以支撑并保护它们。此外，内部结构可以设计有散热器和风扇以有效地将多余热量传送到壳体中并向外散发。

图2是图1的相机模块10的系统图，其示出了内部设备。相机模块10包括相机12、数据处理器14、超高带宽内部数据链路16和外部数据链路，在该实施例中，外部数据链路包括高带宽第一信道18、20、标准带宽第二信道22、24和第三信道28，所有这些信道都容纳在壳体11的内部空间内。

相机12布置成使得能够拍摄高质量图像/视频，这些图像/视频可以用于绘制相机模块10外部的环境。这些图像和/或视频可以用于识别对象并且可以用于导航。在该实施例中，相机12是专用相机，诸如布置成捕获高清晰度图像和/或视频的FLIR Grasshopper 3(TM)型相机。相机12具有内部处理器(未示出)以执行诸如设置相机参数、同步、文件管理、白平衡和基本色彩处理等任务。替代地，相机可以是能够以20帧/秒(FPS)或更高的帧率捕获高清晰度图像或视频(例如，1080P(1,920×1,080像素)、4K(3,840×2,160)、8K(8,192×4,320)或更高)的任何其他相机。

数据处理器14可以具有处理器(未示出)、网络接口(未示出)以及易失性存储器和非易失性存储器(未示出)。存储器可以存储图像、视频或元数据。数据处理器14不同于相机12的处理器(未示出)。

数据处理器14配置成实时处理从相机12提供给其的图像和/或视频。因此，数据处理器14足够强大以执行该功能。在该实施例中，数据处理器14配置成执行计算要求高的图像处理和计算机视觉算法。例如，数据处理器14可以对由相机12产生的帧和/或图像执行任务，诸如特征检测、计算特征描述符、匹配特征、校正图像、计算同一图像的多尺度版本或者压缩和存储。

对于实时应用，数据处理器14通常需要与相机12的帧同步。这导致了必须以规则的时间间隔进行处理。例如，对于30FPS相机，在需要处理下一个帧之前，数据处理器将只有33.3ms来处理所述帧。此外，在同一数据处理器上，较高质量的图像将需要比较低质量的图像更长的时间来进行处理。例如，对于30FPS相机，如果无法在33.3ms内完成处理，则将必须降低帧质量或FPS。因此，相机12的有用输出图像/视频质量受到数据处理器14的处理能力的限制。因此，数据处理器14具有足够的存储器来缓存多个帧，并且具有足够的能力来执行非平凡的图像处理操作。

鉴于以上描述，根据本发明实施例的相机模块布置成使得相机12经由超高带宽内部数据链路16与数据处理器14通信，用于将所捕获的图像或视频从相机12传送到数据处理器14。在所示的实施例中，内部数据链路16是带宽为每秒5千兆比特的USB 3，并且数据处理器包括四个ARM Cortex(TM)A57 64位核心和专用视频编码硬件。在其他实施例中，内部数据链路16可以是满足给定应用的最小带宽链路要求的任何其他高速缆线技术。

可以提供外部数据链路的高带宽第一信道18、20以允许数据处理器14与其他数据处理器(未示出)之间通信并共享数据。第一信道18、20分别终止于端口P1、P3处。第一信道18、20使得能够共享图像或视频帧以及其他经过处理的数据，这些数据的传送速度不需要与超高带宽内部数据链路16所提供的传送速度相同。在所示的实施例中，第一信道18、20是带宽为每秒100兆比特的双绞线。在其他实施例中，第一信道18、20可以是任何其他高速缆线技术。在一些实施例中，数据处理器14不布置成与其他相机模块的数据处理器同步。

相机12可以布置成经由外部数据链路的标准带宽第二信道22、24与其他相机(未示出)同步图像捕获。第二信道22、24分别终止于端口P2、P4处。在所示实施例中，第二信道22、24是带宽为30Hz的同轴电缆。第二信道22、24可以用于实时将其他相机(未示出)同步到相机12。因此，只需将第二信道22、24的带宽指定为承载简单但时间严格的硬件同步信号和定时元数据的交换，以确保同步帧的精确匹配。在其他实施例中，第二信道22、24可以是任何其他高速缆线技术。在一些实施例中，相机12不布置成与其他相机模块的相机同步。

来自数据处理器14的经过处理的数据可以经由外部数据链路的第三信道28输出，第三信道28与第五端口P5通信。传送电缆31可以耦接到第五端口P5以便将数据从数据处理器14传送到外部计算机客户端29。第三信道28可以是任何类型的带宽链路。外部计算机客户端29(例如，数据消费者)是在相机模块10的硬件外部的外部计算机。外部计算机客户端29可以执行额外处理，例如渲染3D数据的替代可视化或者计算导航数据。在其他实施例中，输出链路28可以是无线通信链路，或者允许由外部计算机客户端控制相机系统的双向链路。

在替代实施例中，信道对(例如，20、24)可以共享单个端口，并且在一些情况下，所有信道(例如，18、20、22、24和/或28)可以共享单个端口。

一些端口或全部端口P1至P5可以限定恶劣环境连接器，其布置成将相应链路连接到外部链路。恶劣环境连接器可以是干式或湿式配对连接器、橡胶模制连接器、玻璃增强连接器或金属壳连接器。这些连接器可以是一类键控连接器、插头和插座连接器，或者任何其他类型的具有或不具有锁定机构的连接器。在其他实施例中，这些链路穿过端口，使得相机模块通过连续缆线连接。

图3是根据本发明实施例的恶劣环境多相机系统300的图。多相机系统300包括以立体配置布置的一对相机模块10、30。

第一相机模块10与图1和2的相机模块10相同。第二相机模块30布置成在硬件上与图1和2的相机模块10相同，但在软件和/或固件上可以不同。在硬件上相同的相机模块(例如，10)可以更加灵活并且适应性更强；例如，任一相机模块都可以由备用相机模块替换。

第一相机模块10和第二相机模块30安装在平台(未示出)上，诸如刚性框架，该平台布置成可移除地耦接到ROV或者其他载具或组件。在一些实施例中，相机模块可以布置成直接安装在载具上。相机模块可以包括安装结构，诸如支架，该安装结构不形成内部腔室的一部分，该安装结构布置成便于安装。

第一相机模块10和第二相机模块30以已知的空间关系安装，使得其之间的横向距离d是已知的。在该实施例中，其之间的横向距离d为15cm。替代地，相机12、32可以彼此相距任意距离，只要相机12、32观察到重叠的观察区域即可。第一相机模块10和第二相机模块30的光轴可以以平行方式对准，但是这不是必须的。

相机模块10、30的软件和/或固件可以基于其相对于彼此的位置来在计算上进行优化。因此，在修改相机的相对位置之后，可以获得更精确的结果，而不需要修改系统的内部硬件或打开外壳。

相机模块10、30的软件和/或固件可以布置成使得系统可以很容易地配置成对在特定的应用上工作。例如，如果(相同的)相机具有不同的操作模式，则有可能改变配置以使得立体对中的一个相机以一个帧速率捕获图像，而另一个相机以更高的帧速率捕获图像，从而允许更高的时间分辨率，同时捕获立体帧对。

相机模块10、30的软件和/或固件可以布置成允许冗余；例如，如果相机模块的一个零件(诸如数据处理器)发生故障，则另一个相机模块可以接管发生故障的相机模块的处理工作。然而，在这种情况下，该系统的性能将不如完全正常运行的系统。

图3的立体配置可以用于立体摄影测量。当立体相机系统到感兴趣场景的工作距离增加时，可能希望增加相机间隔以保持体素分辨率(voxel resolution)。对于两个相机位于单个外壳中的系统，所需的间隔可能很容易使外壳的尺寸过大而很不方便，因此需要更厚的壁，因为圆柱体的体积取决于半径的平方。

由于相机12、32各自具有经由超高带宽连接器16、35耦接的专用数据处理器14、34，从而实现高视频质量的快速数据传送速度，除了这个好处之外，根据本发明实施例的恶劣环境多相机系统还具有另一个优点，即每个相机模块10、30的壳体尺寸与相机12、32之间的距离d无关。发明人已经发现，在一对相机模块之间的恶劣环境空间中提供超高带宽链路可能很困难。因此，如果一对间隔开的相机要耦接到公共的数据处理器，则壳体将必须足够大以容纳相机之间的间隔。通过提供具有经由超高带宽内部数据链路耦接的专用相机和数据处理器对的相机模块，在两个相机之间的横向距离d相同的情况下，与足够大以容纳两个相机的单个壳体相比，壳体壁可以做得更薄。通常，较大的壳体需要较厚的壁来保持刚性并抵抗外部高压。因此，较小的壳体可以需要较少的壁材料，从而得到更便宜且更轻的壳体。此外，根据实施例的恶劣环境多相机系统的另一个好处是，与单个大壳体相比，可以有更少的浪费或死空间。

在图3中，相同的相机模块10、30可以布置成主从配置，使得相机12和数据处理器14编程(经由软件和/或固件)为分别为主相机和主数据处理器而不需要物理改变。因此，数据处理器14或相机12布置成充当同步子系统，其布置成将数据处理器14或相机12的系统时钟与一个或多个另外不同的相机模块的系统时钟同步，优选地具有比该一个或多个相机的帧间时间更高的精度。主相机12可以生成硬件同步信号，该信号沿着连接相机12、32的标准带宽第二信道24传播。该硬件同步信号可以确保相机12、32快门同步。同步的相机快门确保两个相机12、32基本上同时开始捕获图像/帧，使得两个图像/帧中的任何差异都是由于相机位置引起的，而不是由于平台的移动或图像/帧的标的物的移动引起的。此外，硬件同步信号可以用于同步曝光定时差异。除了离线处理之外，同步的图像/帧还可以为现场处理带来更精确的立体摄影测量。例如，使用网络时间协议(NTP)，一个数据处理器可以在低于各个相机帧时间的容限内保持其他处理器同步。

从同步相机12、32快门捕获的图像和/或帧还可以包括描述相机12、32的内部时间戳的元数据，使得可以确认精确同步，并且可以忽略不匹配的图像和/或帧。因此，如果图像不按顺序地到达其目的地数据处理器(不一定是最近的处理器)，则这些图像可以被重新排序为正确的顺序。

在其他实施例中，后处理可以用于校正并使用来自非同步相机的图像/帧。非同步相机不需要标准带宽第二信道22、24、44。

数据处理器14、34还可以或可替代地布置成全局同步，使得其内部计时器(未示出)参考相同的基准时间。

发明人还已经发现，单个系统中的多个数据处理器14、34可以使视频和/或图像处理有效分布。在视频和/或图像处理系统中，通常需要对每个帧和/或每个图像执行许多操作，诸如滤波和对比度均衡。类似地，计算机视觉系统执行诸如特征检测、矫正、几何失真消除等操作，这些操作经常是针对每个帧和/或每个图像执行的。因此，每个数据处理器14、34可以对其各自的相机12、32所产生的帧和/或图像执行任务/处理(上文提到)，从而提高处理效率。与单个壳体中的单个更强大的数据处理器相比，两个独立壳体11、46中的两个数据处理器14、34在每个壳体中产生的热量可较少。因此，具有两个数据处理器14、34的两个壳体可能够实现更简单/更容易的冷却系统。

从数据处理器(例如，34)可以执行由主数据处理器14委派给其的任务，诸如匹配特征，或者压缩并存储来自立体视频或图像的相机12、32的视图。

所示实施例中的数据处理器14、34可以配置成协作地处理单个图像、计算经过矫正的视图、计算像素差异、渲染新颖的3D视图、生成3D点云、压缩立体视频和/或图像，或者进行由系统的设计提供的上述任务的任何混合。

来自数据处理器14、34的经过处理的数据还可以经由外部数据链路的第三信道28输出到外部计算机客户端29。每个数据处理器14、34可以连接到外部计算机客户端(例如，29、未示出的其他客户端)以执行额外处理或使用数据。

图4是根据本发明另一实施例的恶劣环境多相机系统400的图。该实施例的多相机系统400包括三个相机模块10、30、50，其以三目配置进行布置。该系统具有前述实施例的所有优点。实际上，多相机系统400可以与任何数目的相机模块一起工作。额外的相机模块可以通过外部数据链路信道(例如，20、24、40和44)连接到系统。

将前述实施例扩展到三目配置或具有更多相机的系统(未示出)仅需要不同的平台(未示出)和/或改变软件和/或固件配置，因为所有相机模块布置成在硬件上相同；即，相机模块50具有与相机12和32相同类型的相机52，并且相机模块50具有与数据处理器14和34相同类型的数据处理器。

平台(未示出)可以布置成将每个相机模块10、30、50以会聚、重叠或其他配置保持为与每个相邻相机模块相距恒定距离d。在其他实施例中，这些相机模块可以由平台布置成沿着长度(x-1)×d(其中x是系统中的相机模块的数目)的直线等距间隔开。在其他实施例中，相机模块可以由平台布置成在2D平面或3D平面中彼此相距不同的距离。在一些或所有这些实施例中，相机模块可以布置成使得在一些或所有相机的视场中可以有重叠(重叠的视场对于立体摄影测量来说是期望的)。

多相机系统400可以实现实况事件(例如，体育运动、音乐会、火箭发射等)的全方位视频、全景广角内容或多个角度，其中需要帧精确同步，诸如照片完成定时、多视图几何重构、视频编辑或证据图像收集。具有许多相机的多相机系统(诸如400)还能够实现全方位视频，如恶劣环境的自主载具的感知系统所需的，其中扩展的感知优于需要平台运动来捕获不同视图。

在任何实施例中，外部计算机客户端29可以执行额外处理，诸如对象检测、替代3D重构算法、去噪、视频增强等，并且可以生成可视化。瘦客户端59也可以连接到相机模块50以向外部计算机客户端29显示替代可视化。瘦客户端59是已经被优化成与基于服务器的计算环境建立远程连接的计算机。服务器(未示出)执行大部分处理，这可以包括启动软件程序、通用计算和/或存储数据。额外的客户端(未示出)可以连接到任何先前实施例以执行额外的计算、可视化、存档等。这些额外的客户端(未示出)、外部计算机客户端29和/或瘦客户端59可以位于不同的地理位置。

任何实施例的相机模块都可以使瘦客户端(例如，59)更容易可视化正在产生的数据，因为可视化所需的处理可以在系统中的任何空闲计算能力上或在客户端本身上执行。

任何实施例的相机模块的另一个好处是使硬件具有相同的相机模块(例如，10)从而使生产更便宜且更容易。此外，有故障的相机模块(例如，10)更方便更换：有故障的相机模块(例如，10)可以通过改变软件和/或固件配置来替换任何其他相机模块(例如，30)。此外，在需要不同系统配置的情况下，不必打开密封外壳来改变相机模块的配置。

应当注意，上述实施例说明而不是限制本发明，并且本领域的技术人员在不脱离由所附权利要求书限定的本发明的范围的前提下，将能够设计出许多替代实施例。

Claims (14)

1.一种用于在恶劣环境中成像的相机模块，所述相机模块包括：

限定流体密封的内部空间的壳体，所述壳体布置成安装在平台上；

相机，布置成从所述壳体向外朝向以捕获图像；

数据处理器；

内部数据链路，耦接在所述相机与所述数据处理器之间，以将图像数据从所述相机传送到所述数据处理器；以及

外部数据链路，耦接到所述相机或所述数据处理器，并且布置成将所述相机模块以通信方式耦接到不同于所述相机的外部计算装置；

其中所述相机模块包括同步子系统，所述同步子系统耦接到所述外部数据链路，并且布置成以比一个或多个相机的帧间时间更高的精度，将所述数据处理器或所述相机的系统时钟与另外不同的一个或多个所述相机模块的系统时钟同步。

2.根据权利要求1所述的相机模块，其中与所述外部数据链路的数据传送速率相比，所述内部数据链路具有相对较高的数据传送速率。

3.根据权利要求1所述的相机模块，其中所述相机包括相机处理器，并且所述数据处理器不同于所述相机处理器。

4.根据权利要求1所述的相机模块，其中所述数据处理器被适配成执行图像处理和计算机视觉算法。

5.根据权利要求1所述的相机模块，其中所述壳体包括压力容器，所述压力容器构造成使得所述模块能够承受在真空中和/或在水深超过两米的连续使用。

6.根据权利要求1所述的相机模块，其中所述外部数据链路包括：

第一外部数据信道，耦接到所述数据处理器，并且布置成将所述数据处理器耦接到外部数据处理装置；以及

第二外部数据信道，耦接到所述相机，并且布置成将所述相机耦接到外部相机装置，其中与所述第二外部数据信道的数据传送速率相比，所述第一外部数据信道具有相对较高的数据传送速率。

7.根据权利要求1所述的相机模块，其中所述外部数据链路包括第三外部数据信道，所述第三外部数据信道耦接到所述数据处理器，以使得能够向外部计算机客户端进行数据读出，或从外部计算机客户端进行系统控制。

8.根据权利要求1所述的相机模块，其中所述壳体包括一个或多个端口，所述一个或多个端口各自布置成，将所述外部数据链路的一个或多个信道，从所述壳体内部传递到所述壳体外部，每个所述端口限定恶劣环境连接器。

9.根据权利要求1所述的相机模块，还包括位于所述壳体中的窗口，所述相机布置成经由所述窗口捕获图像。

10.一种用于在恶劣环境中成像的多相机系统，所述多相机系统包括：

根据前述权利要求任一项的第一相机模块；

根据前述权利要求任一项的第二相机模块；以及

平台，所述第一相机模块和第二相机模块安装在所述平台上，

其中所述第一相机模块和第二相机模块经由所述外部数据链路以通信方式耦接在一起。

11.根据权利要求10所述的多相机系统，其中所述第一相机模块和第二相机模块的相机彼此间隔地、以形成重叠的视场的方式安装，以进行立体成像，所述第一相机模块和第二相机模块的相机之间具有至少5cm的距离。

12.根据权利要求10所述的多相机系统，还包括根据前述权利要求任一项的一个或多个额外相机模块，所述一个或多个额外相机模块被安装在所述平台上，其中所述第一相机模块或第二相机模块，与每个额外相机模块经由外部数据链路以通信方式耦接在一起。

13.根据权利要求10所述的多相机系统，还包括一个或多个光源，所述一个或多个光源布置成照亮所述相机模块的所述相机的视场的至少若干部分。

14.根据权利要求10所述的多相机系统，其中所述平台包括载具。