CN118140484A - 包括具有全局快门传感器的单色相机和彩色相机的相机系统 - Google Patents

Abstract

一种相机系统包括单色相机和彩色相机，单色相机具有全局快门以捕获场景的第一图像，彩色相机与单色相机分开安置且具有全局快门以捕获场景的第二图像。将第二图像与第一图像对准，并且将第二图像的色彩信息提供给第一图像，以获得表示场景的第三图像。

Description

包括具有全局快门传感器的单色相机和彩色相机的相机系统

技术领域

本发明基本上涉及相机系统。更确切地说，本发明涉及一种包括具有全局快门传感器的单色相机和具有全局快门传感器的彩色相机的相机系统，单色相机和彩色相机的图像被组合使用以产生具有最小视觉伪影的图像。

背景技术

卷帘(rolling)快门红绿蓝(RGB)相机有时用于收集环境的图像。在某些环境条件下(例如，在较低的光条件下)，积分时间的长度被限制以限制运动模糊，然而这可能导致产生噪声和曝光不足的图像。另一方面，卷帘快门RGB相机的积分时间不能太短，或者可能遇到来自人工照明的条带伪影(banding artifacts)(例如，由于交流电和/或改变占空比的调光器控制而引起的闪烁)。因此，RGB相机的操作可行的卷帘快门RGB相机的积分时间可以是窄的。

发明内容

本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中学习，或者可以通过示例实施例的实践来学习。

在示例实施例中，相机系统包括单色相机和彩色相机，单色相机具有全局快门，被配置为捕获场景的第一图像，彩色相机与单色相机分开设置并且具有全局快门，被配置为捕获场景的第二图像。相机系统进一步包括一个或多个处理器，其经配置以将第二图像对准到第一图像且将第二图像的色彩信息提供到第一图像以获得表示场景的第三图像。

在一些实施方式中，单色相机和彩色相机经同步以在基本上相同时间捕获第一图像和第二图像。

在一些实施方式中，当在其中安置单色相机和彩色相机的环境中出现峰值照明条件时捕获第一图像和第二图像中的每一者。

在一些实施方式中，单色相机和彩色相机经安置以面向相同方向且经安置以彼此相距小于阈值距离。例如，阈值距离是十厘米或更小。

在一些实施方式中，一个或多个处理器被配置为通过针对与第一图像的对应部分对准的第二图像的那些部分将第二图像的部分的色彩信息转移到第一图像的对应部分来将第二图像的色彩信息提供给第一图像。

在一些实施方式中，一个或多个处理器经配置以识别第一图像的未对准部分，对于未对准部分，第二图像的部分未对准到第一图像的对应部分，且将合成色彩信息应用于第一图像的未对准部分。

在一些实施方式中，彩色相机是红-绿-蓝(RGB)相机。

在一些实施方式中，彩色相机具有比单色相机低的分辨率。

在一些实施方式中，单色相机具有比彩色相机大的大小。

在一些实施方式中，第一图像包括亮度分量，且第三图像包括第一图像的亮度分量和基于第二图像的色度分量。

在一些实施方式中，相机系统包括用于将第二图像对准到第一图像的第一机器学习资源，以及用于合成第一图像的未对准部分的色彩信息并且将合成色彩信息应用于第一图像的未对准部分的第二机器学习资源，对于未对准部分，第二图像的部分未对准到第一图像的对应部分。

在示例实施例中，提供了一种用于相机系统的计算机实现的方法。该计算机实现的方法包括由具有全局快门的单色相机捕获场景的第一图像，由与单色相机分开设置并具有全局快门的彩色相机捕获场景的第二图像，将第二图像与第一图像对准，以及通过将第二图像的色彩信息提供给第一图像来获得表示场景的第三图像。

在一些实施方式中，第一图像包括具有亮度分量的单个通道，且第三图像包括至少三个通道，至少三个通道包括具有亮度分量的第一通道和包括基于第二图像的色度分量的多个通道。

在一些实施方式中，单色相机和彩色相机经同步以在基本上相同时间捕获第一图像和第二图像，且捕获第一图像和第二图像中的每一者发生在照明循环的峰值处。

在一些实施方式中，彩色相机和单色相机具有基本上相同的视场。

在一些实施方式中，彩色相机捕获第二图像的时间与单色相机捕获第一图像的时间之间的差小于单色相机的积分时间。

在一些实施方式中，将第二图像的色彩信息提供给第一图像包括：针对与第一图像的对应部分对准的第二图像的那些部分，将第二图像的部分的色彩信息转移到第一图像的对应部分。

在一些实施方式中，该方法包括识别第一图像的未对准部分，其中第二图像的部分未与第一图像的对应部分对准，通过机器学习资源合成第一图像的未对准部分的色彩信息，以及将合成色彩信息应用于第一图像的未对准部分。

在示例实施例中，提供了一种存储可由相机系统的一个或多个处理器执行的指令的非暂时性计算机可读介质。非暂时性计算机可读媒体存储可由相机系统的一个或多个处理器执行的指令。指令包括：用以致使具有全局快门的单色相机捕获场景的第一图像的指令，用以致使具有全局快门且与单色相机间隔开小于阈值距离的彩色相机捕获场景的第二图像的指令，第二图像具有比第一图像低的分辨率，用以将第二图像对准到第一图像的指令，以及用以通过将第二图像的色彩信息提供到第一图像而获得表示场景的第三图像的指令。

非暂时性计算机可读介质可以存储附加指令以执行如本文所述的相机系统和计算机实现的方法的其他方面和操作。

参考以下描述、附图和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图示出了本公开的示例，并且与说明书一起用于解释相关原理。

附图说明

在参考附图的说明书中阐述了针对本领域普通技术人员的示例实施例的详细讨论，在附图中：

图1是根据本公开的一个或多个示例的包括系统的框图的示例系统，该系统包括相机系统、服务器计算系统和一个或多个外部计算设备。

图2A到2B是根据本发明的一个或多个示例的相机系统的示例说明。

图3是根据本发明的一个或多个示例的相机系统的一个或多个方面的示例说明。

图4是根据本发明的一个或多个示例的相机系统的一个或多个方面的示例说明。

图5是根据本公开的一个或多个示例的示例非限制性计算机实现的方法的流程图。

具体实施方式

现在将参考本公开的实施例，其一个或多个示例在附图中示出。每个示例通过解释本公开的方式提供，并且不旨在限制本公开。事实上，对于本领域技术人员显而易见的是，在不脱离本公开的范围或精神的情况下，可以对本公开进行各种修改和变化。例如，作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，本公开旨在覆盖落入所附权利要求及其等同物的范围内的这些修改和变化。

本文使用的术语用于描述示例实施例，并且不旨在限制和/或约束本公开。单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。在本公开中，诸如“包括”、“具有”、“包括”等术语用于指定特征、数字、步骤、操作、元件、组件或其组合，但不排除存在或添加一个或多个特征、元件、步骤、操作、元件、组件或其组合。

应当理解，尽管本文可以使用术语第一、第二、第三等来描述各种元件，但是元件不受这些术语的限制。相反，这些术语用于将一个元件与另一个元件区分开。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且第二元件可以被称为第一元件。

术语“和/或”包括多个相关列出项目的组合或多个相关列出项目中的任何项目。例如，表达或短语“A和/或B”的范围包括项目“A”、项目“B”以及项目“A和B”的组合。

此外，表述或短语“A或B中的至少一个”的范围旨在包括以下所有：(1)A中的至少一个，(2)B中的至少一个，以及(3)A中的至少一个和B中的至少一个。同样地，表述或短语“A、B或C中的至少一个”的范围旨在包括以下所有：(1)A中的至少一个，(2)B中的至少一个，(3)C中的至少一个，(4)A中的至少一个和B中的至少一个，(5)A中的至少一个和C中的至少一个，(6)B中的至少一个和C中的至少一个，以及(7)A中的至少一个、B中的至少一个和C中的至少一个。

本公开的示例涉及一种相机系统，其可以在包括室内和室外空间的全多样性环境(例如，在地平面)中以及在自然光和人造光环境中生成或产生高性能图像。例如，由于交流电流、诸如发光二极管的灯的占空比、调光器电路的占空比等而闪烁的人造光可能导致由其他方法生成或产生的图像(诸如由卷帘快门相机生成的图像)中的条带。

根据本发明的示例，相机系统可包括单色相机和彩色相机，单色相机具有经配置以捕获场景的第一图像的全局快门，彩色相机与单色相机分开安置且具有经配置以捕获场景的第二图像的全局快门。相机系统可进一步包括一个或多个处理器，其经配置以将第一图像与第二图像对准且将第二图像的色彩信息提供到第一图像以获得表示场景的第三图像。

例如，全局快门通过将整个场景从传感器的一侧一次全部暴露于另一侧来操作。具有全局快门的相机可以具有较少的翘曲或失真。相比之下，卷帘快门通过使来自传感器一侧的像素接通并以类似扫描的方式扫过至传感器的另一侧来操作。具有全局快门的相机可能不会产生具有与具有卷帘快门的相机一样高的分辨率的图像。然而，具有卷帘快门的相机可能遭受包括空间失真和条带的运动伪影。

根据本发明的示例，相机系统包括具有全局快门的单色相机和具有全局快门的彩色相机(例如，多色相机，例如RGB相机)。因为单色相机和彩色相机利用全局快门，所以可以避免条带伪影，并且较短的积分时间可以使运动模糊受到限制。为了增加相机系统的灵敏度，单色相机利用单色传感器。例如，典型RGB相机中的滤色器阵列(CFA)将相机灵敏度降低约2.5倍。通过移除CFA并仅使用单色传感器捕获图像，可以增加相机的速度(例如，与典型的RGB相机相比增加2.5倍)，并且可以增加相机的线性分辨率(例如，与典型的RGB相机相比以像素为单位增加约1.5-2倍)。例如，在一些实施方式中，单色传感器可具有10到20兆像素的分辨率。此外，相机的相机灵敏度可以增加2至2.5倍。

通常，来自使用全局快门相机捕获的图像的像素具有比来自使用卷帘快门相机捕获的图像的像素更低的动态范围，因为全局快门像素更复杂并且具有更小的体积来收集和保持来自检测到的光子的电荷。例如，全局快门像素的动态范围(即，反映最大和最小可测量光强度之间的对比度的“阱容量”)可以比类似尺寸的卷帘快门像素小约1位。根据本公开的示例，为了增加相机系统的动态范围，单色相机包括具有增加的线性分辨率的单色传感器。相机系统可以被实现为在更宽范围的照明条件下捕获更广泛的环境(例如，室内和室外)。

通过使用辅助全局快门彩色相机来提供色彩。例如，彩色相机可为RGB相机。例如，彩色相机具有比单色相机低的分辨率。例如，彩色相机可具有单色相机的1/2到1/16分辨率(例如，以像素计数)。因为彩色相机经配置以具有较低分辨率，所以彩色相机不会显著增加相机系统的大小、成本或数据速率。例如，单色及彩色相机可包括具有宽(例如，大于120度)视场的f-theta(鱼眼)透镜。

在一些实施方式中，单色相机和彩色相机可具有相同视场。单色相机和彩色相机可经配置以面向相同方向以捕获相同场景。单色相机与彩色相机之间的静态视差可通过将单色相机和彩色相机定位在彼此的数厘米内(例如，3厘米到10厘米，例如小于5厘米)来最小化。

在一些实施方式中，计算过程(例如，由机器学习资源实现的机器学习算法)可以将低分辨率彩色(例如，RGB)图像与高分辨率单色图像对准。例如，对准过程可以包括将彩色图像转换为单色图像，并计算来自单色相机的单色图像与转换后的单色图像之间的对准和置信域。对准过程可以由相机系统执行或远程执行(例如，由服务器计算系统)。例如，可以使用已知的对准方法来执行对准过程。对准过程可以实时执行，或者可以作为后处理过程的一部分执行。

在一些实施方式中，对于对准成功的高分辨率单色图像的部分，计算过程(例如，由机器学习资源实现的机器学习算法)可以将色彩从低分辨率彩色(RGB)图像转移到高分辨率单色图像。例如，可以从与对准成功的高分辨率单色图像的部分相对应的低分辨率色彩(RGB)图像的部分转移(例如，内插)色彩。例如，转移或合并操作可以包括产生用于高分辨率单色图像(具有Y或亮度分量)的较低(例如，半分辨率)色度(例如，CbCr)通道。

在一些实施方式中，计算过程(例如，由机器学习资源实现的机器学习算法)可以合成(生成)高分辨率单色图像的对准失败(例如，由于遮挡或不良信噪比)的部分的色彩。当相对于对准的置信水平小于阈值水平时，可以认为对准失败。例如，可以通过参考单色图像的与未对准部分相邻的部分的色彩来合成(例如，生成)高分辨率单色图像的对准不成功的部分的色彩，或者可以使用机器学习资源来合成色彩，该机器学习资源使用已经被训练以合成色彩的神经网络来合成色彩。在一些实施方式中，单色图像的亮度分量保持不变。也就是说，仅合成彩色通道。例如，可以以彩色图像的分辨率的一半来合成彩色通道。

相机系统可以被配置为根据转移到高分辨率单色图像的对准成功的部分的色彩信息，并且根据在对准不成功的部分合成的色彩信息，基于单色图像和彩色图像(例如，基于单色图像的亮度分量和彩色图像的彩色分量)生成结果图像(例如，第三图像)。

在一些实施方式中，计算过程(例如，由诸如经训练的神经网络的机器学习资源实现的机器学习算法)可以端到端地优化整个过程，使得网络的输入是两个源图像(即，单色图像和彩色图像)，并且输出是合成的高分辨率RGB图像。在该实施方式中，不存在离散的对准和色彩转移操作，因为神经网络实现端到端的过程，其中对准在内部和隐式地执行。

因为单色相机和彩色相机都是全局快门相机，所以它们可以在时间上强烈同步(例如，单色相机和彩色相机可以各自同时捕获场景的图像)，以便避免运动视差，并且在对准的视场的情况下，对准可能仅在存在静态视差的情况下失败，如上所述，通过将单色相机和彩色相机定位在彼此的数厘米内，可以最小化静态视差。另外，彩色(例如，RGB)相机可以具有比单色相机稍大的视场，以确保单色图像中的更多边界像素具有彩色(例如，RGB)图像中的相关联像素。

本文公开的相机系统可以在可以容纳两个或更多个相机的任何电子装置中实现。例如，相机系统可以在智能电话、安全系统、监控系统、车辆等中实现。

彩色相机可捕获任何色彩空间中的图像。基于单色图像和彩色图像生成的图像可以由任何色彩空间表示。例如，色彩空间可以包括RGB(红色、绿色和蓝色加色原色(additive primaries))、YCbCr(亮度分量、蓝色差色度分量、红色差色度分量)、HSV(色调、饱和度、值)、YUV(亮度、蓝色投影、红色投影)、L*a*b*(亮度值、绿色-红色对立通道和黄色-蓝色对立通道)等。

本公开的示例方面提供了相机系统技术中的若干技术效果、益处和/或改进。例如，根据本文公开的示例，相机系统具有扩展的操作和能力，因为相机将在更多样的环境中操作。因此，不必具有单独的室内和室外相机。例如，当使用全局快门相机捕获(多个)底层图像时，姿势算法和三维重建算法具有增加的准确度和增加的质量。本文公开的相机系统可以用于在更宽范围的照明条件下映射更广泛的环境，使得可以在更多环境中收集图像并具有更大的操作包络。此外，可以使相机系统更小、更轻且更便携(例如，通过利用比单色相机更小的彩色相机)。

现在参考附图，图1示出了根据本公开的一个或多个示例的包括相机系统、服务器计算系统和一个或多个外部计算设备的系统的框图。在图1中，示例系统1000包括通过网络200彼此连接的相机系统100、服务器计算系统300和一个或多个外部计算设备400。适合于经由网络200通信的任何通信接口(诸如网络接口卡)可以由相机系统100、服务器计算系统300和一个或多个外部计算设备400适当地或期望地使用。

相机系统100可以包括例如可以容纳两个或更多个相机的任何电子装置。例如，相机系统可以在智能电话、安全系统、监控系统、车辆等中实现。服务器计算系统300可以包括例如以分布式方式彼此通信的服务器或服务器的组合(例如，web服务器、应用服务器等)。一个或多个外部计算设备400可以包括个人计算机、智能电话、膝上型计算机、平板计算机等。

根据本发明的一些实施方式，相机系统100可与服务器计算系统300通信以基于由单色相机182捕获的第一图像和由彩色相机184捕获的第二图像产生第三图像。例如，服务器计算系统300可以被配置为对准第一图像和第二图像和/或合成用于生成第三图像的色彩信息。

根据本公开的一些实施方式，相机系统100可与服务器计算系统300通信以执行成像应用330，成像应用可用于激活或控制单色相机182和/或彩色相机184。

根据本公开的一些实施方式，相机系统100可与一个或多个外部计算设备400通信以执行成像应用以激活或控制单色相机182和/或彩色相机184、对准第一和第二图像和/或合成用于产生第三图像的彩色信息。作为示例，一个或多个外部计算设备400可以包括家用电器，诸如家庭安全系统或车辆或智能电话。

例如，网络200可以包括任何类型的通信网络，诸如局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、个域网(PAN)、虚拟专用网(VPN)等。例如，本文描述的示例的元件之间的无线通信可以经由无线LAN、Wi-Fi、蓝牙、ZigBee、Wi-Fi直连(WFD)、超宽带(UWB)、红外数据协会(IrDA)、蓝牙低功耗(BLE)、近场通信(NFC)、射频(RF)信号等来执行。例如，本文描述的示例的元件之间的有线通信可以经由对电缆、同轴电缆、光纤电缆、以太网电缆等来执行。通过网络的通信可以使用各种各样的通信协议(例如，TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如，HTML、XML)和/或保护方案(例如，VPN、安全HTTP、SSL)。

相机系统100可以包括一个或多个处理器110、一个或多个存储器设备120、成像应用130、机器学习资源140、输入设备150、输出设备160、显示设备170和一个或多个传感器180。相机系统100的每个组件可以经由系统总线彼此可操作地连接。例如，系统总线可以是几种类型的总线结构中的任何一种，其可以进一步互连到存储器总线(具有或不具有存储器控制器)、外围总线和/或使用各种市售总线架构中的任何一种的本地总线。

服务器计算系统300可以包括一个或多个处理器310、一个或多个存储器设备320、成像应用330和一个或多个机器学习资源340。服务器计算系统300的每个特征可以经由系统总线彼此可操作地连接。例如，系统总线可以是几种类型的总线结构中的任何一种，其可以进一步互连到存储器总线(具有或不具有存储器控制器)、外围总线和/或使用各种市售总线架构中的任何一种的本地总线。

一个或多个外部计算设备400可以包括与服务器计算系统300类似的结构特征(例如，一个或多个处理器310、一个或多个存储器设备320、成像应用330和一个或多个机器学习资源340)。因此，为了简洁起见，将不再重复在一个或多个外部计算设备的上下文中对这些特征的描述。

例如，一个或多个处理器110、310可以是可以包括在相机系统100或服务器计算系统300中的任何合适的处理设备。例如，一个或多个处理器110、310可以包括处理器、处理器核、控制器和算术逻辑单元、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、图像处理器、微计算机、现场可编程阵列、可编程逻辑单元、专用集成电路(ASIC)、微处理器、微控制器等及其组合中的一个或多个，包括能够以定义的方式响应和执行指令的任何其他设备。一个或多个处理器110、310可以是单个处理器或可操作地连接(例如并行连接)的多个处理器。

一个或多个存储器设备120、320可以包括一个或多个非暂时性计算机可读存储介质，诸如只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)和闪存存储器、USB驱动器、易失性存储器设备(诸如随机存取存储器(RAM))、内部或外部硬盘驱动器(HDD)、软盘、蓝光盘或光学介质(诸如CD ROM盘和DVD)及其组合。然而，一个或多个存储器设备120、320的示例不限于以上描述，并且一个或多个存储器设备120、320可以由本领域技术人员将理解的其他各种设备和结构来实现。

例如，一个或多个存储器设备120可存储指令，指令在由一个或多个处理器110执行时执行成像应用130的一个或多个操作以：使具有全局快门的单色相机182捕获场景的第一图像，使具有全局快门且与单色相机182间隔开小于阈值距离的彩色相机184捕获场景的第二图像，第二图像具有比第一图像低的分辨率。将第二图像对准到第一图像，并且通过将第二图像的色彩信息提供到第一图像来获得表示场景的第三图像，如根据本公开的示例所描述。

例如，一个或多个存储器设备320可存储指令，指令在由一个或多个处理器310执行时执行成像应用330的一个或多个操作以：使具有全局快门的单色相机182捕获场景的第一图像，使具有全局快门且与单色相机182间隔开小于阈值距离的彩色相机184捕获场景的第二图像，第二图像具有比第一图像低的分辨率。将第二图像对准到第一图像，并且通过将第二图像的色彩信息提供到第一图像来获得表示场景的第三图像，如根据本公开的示例所描述。

一个或多个存储器设备120还可以包括可以由一个或多个处理器110检索、操纵、创建或存储的数据122和指令124。在一些示例中，可以访问这样的数据并将其用作输入以执行成像应用130的一个或多个操作以：使具有全局快门的单色相机182捕获场景的第一图像，使具有全局快门并与单色相机182间隔开小于阈值距离的彩色相机184捕获场景的第二图像，第二图像具有比第一图像更低的分辨率，将第二图像与第一图像对准。以及通过将第二图像的色彩信息提供给第一图像来获得表示场景的第三图像，如根据本公开的示例所描述的。

一个或多个存储器设备320还可以包括可以由一个或多个处理器310检索、操纵、创建或存储的数据322和指令324。在一些示例中，可以访问这样的数据并将其用作输入以执行成像应用330的一个或多个操作以：使具有全局快门的单色相机182捕获场景的第一图像，使具有全局快门且与单色相机182间隔开小于阈值距离的彩色相机184捕获场景的第二图像，第二图像具有比第一图像低的分辨率，将第二图像对准到第一图像，以及通过将第二图像的色彩信息提供给第一图像来获得表示场景的第三图像，如根据本公开的示例所描述的。

成像应用130和成像应用330可以包括用于捕获一个或多个图像的任何应用。例如，捕获的图像可以与安全应用、监视应用、导航应用、地理映射应用等相关联地使用。例如，可使用单色相机182及彩色相机184中的一个或多个捕获图像。从由单色相机182和彩色相机184捕获的图像获得的图像信息可用以产生另一图像，如根据本文中的公开的示例所描述。

在一些实施方式中，相机系统100可以包括一个或多个机器学习资源140。例如，一个或多个存储器设备120可以存储或包括一个或多个模型，该一个或多个模型包括图像对准器142和色彩合成器144。例如，图像对准器142和色彩合成器144可以是或可以以其他方式包括各种机器学习模型，诸如神经网络(例如，深度神经网络)或其他类型的机器学习模型，包括非线性模型和/或线性模型。神经网络可以包括前馈神经网络、递归神经网络(例如，长短期存储器递归神经网络)、卷积神经网络或其他形式的神经网络。一些示例机器学习模型可以利用诸如自我注意力的注意力机制。例如，一些示例机器学习模型可以包括多头自我注意模型(multi-headed self-attention models)(例如，变换器(transformer)模型)。

在一些实施方式中，到图像对准器142和色彩合成器144的输入可包括例如来自由单色相机182和彩色相机184捕获的图像的图像数据。图像对准器142和色彩合成器144可以处理图像数据以生成输出。作为示例，图像对准器142可处理来自由单色相机182和彩色相机184捕获的图像的图像数据以产生图像对准输出(例如，由单色相机182和彩色相机184捕获的图像之间的图像数据的对准或映射)，图像对准输出确定由彩色相机184捕获的图像的某些部分是否与由单色相机182捕获的图像的某些部分对准。作为另一示例，色彩合成器144可以处理图像数据以生成输出。作为示例，色彩合成器144可处理对应于由单色相机182捕获的图像的部分的图像数据，如由图像对准器142确定的，该部分未与由彩色相机184捕获的图像的部分对准。色彩合成器144可以通过合成未对准部分的色彩信息来处理与由单色相机182捕获的图像的未对准部分相对应的图像数据。

在一些实施方式中，服务器计算系统300包括一个或多个机器学习资源340，其包括图像对准器342和色彩合成器344。例如，来自由单色相机182和彩色相机184捕获的图像的图像数据的处理可由服务器计算系统300(例如，由图像对准器342和/或色彩合成器344)远程执行。图像对准器342和色彩合成器344的特征和操作可以分别对应于本文描述的图像对准器142和色彩合成器144的相同特征和操作。因此，为了简洁起见，将不再重复在服务器计算系统300的上下文中对图像对准器342和色彩合成器344的特征和操作的描述。

相机系统100可以包括被配置为接收来自用户的输入的输入设备150，并且可以包括例如键盘(例如，物理键盘、虚拟键盘等)、鼠标、操纵杆、按钮、开关、电子笔或触笔、手势识别传感器(例如，用于识别用户的手势，包括身体部位的移动)、输入声音设备或语音识别传感器(例如，用于接收语音命令的麦克风)、轨迹球、遥控器、便携式(例如，蜂窝或智能)电话、等等。例如，输入设备150还可以由具有触摸屏能力的触敏显示设备来实现。相机系统100的用户可以使用输入设备150来提供输入以执行成像应用130。输入设备150还可由相机系统100的用户使用以提供输入以使单色相机182和/或彩色相机184捕获场景的图像。例如，输入可以是语音输入、触摸输入、手势输入、经由鼠标或遥控器的点击等。

相机系统100包括被配置为向用户提供输出的输出设备160，并且可以包括例如音频设备(例如，一个或多个扬声器)、向用户提供触觉反馈的触觉设备(例如，振动设备166)、光源(例如，向用户提供视觉反馈的一个或多个光源，诸如LED)等中的一个或多个。

相机系统100包括显示设备170，其例如在用户界面(例如，图形用户界面)上呈现用户可查看的信息。例如，显示设备170可以是非触敏显示器。显示设备170可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AMOLED)、柔性显示器、3D显示器、等离子显示面板(PDP)、阴极射线管(CRT)显示器等。然而，本公开不限于这些示例，并且可以包括其他类型的显示设备。例如，显示设备170可经配置以提供图形用户接口，用户可通过图形用户接口选择关于成像应用130的各种选项(例如，用户可通过其定义用于控制单色相机182和/或彩色相机184以捕获场景的图像的条件的选项)。

相机系统100包括一个或多个传感器180。一个或多个传感器180可包括单色相机182和彩色相机184。例如，单色相机182和彩色相机184可在垂直或水平方向上彼此邻近地布置。参考图2A到2B，说明根据本发明的一个或多个示例的相机系统的示例说明。

例如，在图2A中，相机系统2100示出安置于彩色相机184上方的单色相机182，其中单色相机182与彩色相机184间隔开距离d1。距离d1可以对应于约3厘米至10厘米，例如小于5厘米。单色相机182和彩色相机184可沿着轴A1对准且面向相同方向。在一些实施方式中，单色相机182的大小可大于彩色相机184。在一些实施方式中，单色相机182可安置于彩色相机184下方。

例如，在图2B中，相机系统2200示出安置于彩色相机184左侧的单色相机182，其中单色相机182与彩色相机184间隔开距离d1。距离d1可以对应于约3厘米至10厘米，例如小于5厘米。单色相机182和彩色相机184可沿着轴A2对准且面向相同方向。在一些实施方式中，单色相机182可安置于彩色相机184的右侧。

相机系统100可以包括其他类型的传感器。例如，一个或多个传感器180可以包括其他传感器，诸如包括一个或多个加速度计和/或一个或多个陀螺仪的惯性测量单元。一个或多个加速度计可以用于捕获关于相机系统100的运动信息。另外或替代地，还可以使用一个或多个陀螺仪来捕获关于相机系统100的运动信息。一个或多个传感器180还可以包括其他传感器，诸如磁力计、GPS传感器等。

参考图3，说明根据本发明的一个或多个示例的相机系统的一个或多个方面。在图3中，相机系统3000包括一个或多个处理器110、单色相机182、彩色相机184、第一图像3100、第二图像3200和第三图像3300。

在示例实施例中，单色相机182经配置以捕获场景的第一图像3100，且彩色相机184经配置以捕获场景的第二图像3200。一个或多个处理器110被配置为接收第一图像3100和第二图像3200并且执行各种操作(诸如第二图像3200与第一图像3100的对准以及将第二图像3200的色彩信息提供给第一图像3100，下面更详细地解释)以基于第一图像3100和第二图像3200生成第三图像3300。

如上文所论述，单色相机182和彩色相机184中的每一个可包括全局快门且可彼此同步以同时或基本上同时(例如，在彼此的一毫秒内)捕获场景的图像。例如，单色相机182和彩色相机184可经同步以在周围环境中出现峰值照明条件时捕获第一图像3100和第二图像3200。例如，可以在环境中的照明周期的峰值处捕获第一图像3100和第二图像3200中的每一个。例如，可以通过相机系统100观察或监视环境并识别照明周期的定时(例如，通过确定诸如发光二极管的灯的占空比或调光器电路的占空比，或者确定交流电源的周期等)来确定峰值照明条件或照明周期的峰值。例如，彩色相机184捕获第二图像3200的时间与单色相机182捕获第一图像3100的时间之间的差可小于阈值时间。例如，阈值时间可对应于单色相机182的积分时间。积分时间对应于单色相机182捕捉(收集)并保持电荷期间的时间间隔。

彩色相机184可经配置以捕获任何色彩空间中的多色图像。例如，彩色相机184可包括滤色器阵列。例如，滤色器阵列可以是用于将RGB滤色器布置在光电传感器(例如，具有RGGB滤色器图案)的正方形网格(例如，2×2)上的拜耳滤色器阵列。彩色相机184可经配置以捕获其它色彩空间中的多色图像，包括YCbCr(亮度分量、蓝色差色度分量、红色差色度分量)、HSV(色调、饱和度、值)、YUV(亮度、蓝色投影、红色投影)、L*a*b*(亮度值、绿色-红色对立通道和黄色-蓝色对立通道)等。

如上文所论述，单色相机182的大小可在物理上大于彩色相机184，且可具有比彩色相机184更高的分辨率。例如，彩色相机184的分辨率可为单色相机182的分辨率的1/2到1/16。单色相机182和彩色相机184中的一个或多个可包括具有宽(例如，大于120度)视场的f-theta(鱼眼)镜头。单色相机182和彩色相机184可面向相同方向且彼此对准以减少或避免静态视差。单色相机182与彩色相机184之间的静态视差可通过将单色相机182和彩色相机184定位成彼此相距小于阈值距离而进一步最小化。例如，单色相机182和彩色相机184可位于彼此的数厘米内(例如，三厘米到十厘米，例如小于五厘米)。

参考图4，说明根据本发明的一个或多个示例的相机系统的一个或多个方面。在图4中，相机系统4000包括第一图像3100、第二图像3200、图像对准器142、色彩合成器144和第三图像3300以及转移色彩信息的操作4100。例如，一个或多个处理器110可经配置以利用或调用包括图像对准器142和色彩合成器144的一个或多个机器学习资源140来产生第三图像3300。尽管图4中未示出，但是在一些实施方式中，一个或多个处理器110可以被配置为利用或调用来自包括图像对准器342和色彩合成器344的服务器计算系统300的一个或多个机器学习资源340来生成第三图像3300。例如，图像对准器342和色彩合成器344可以相对于第一图像3100和第二图像3300分别执行与图像对准器142和色彩合成器144类似的操作。

例如，计算过程(例如，由图像对准器142实现的机器学习算法)可以将第二图像3200(其是相对低分辨率的彩色图像，诸如RGB图像)对准到第一图像3100(其是相对高分辨率的单色图像)。例如，图像对准器142可经配置以通过将第二图像3200转换为单色图像且计算第一图像3100(其为由单色相机182捕获的单色图像)与经转换单色图像之间的对准和置信度域来执行对准过程。例如，神经网络可由图像对准器142实施以找到第一图像3100与第二图像3200之间的对应像素且在第一图像3100与第二图像3200之间指派像素(即，映射像素)。如上所述，对准过程可以由相机系统100执行或远程执行(例如，由服务器计算系统300)。例如，图像对准器142可经配置以使用已知对准方法执行对准过程。例如，对准过程可以实时执行，或者可以作为后处理过程的一部分执行。

图像对准器142可经配置以确定第二图像3200的一些部分与第一图像3100的对应部分对准。对于这些对准部分，一个或多个处理器110和/或色彩合成器144可经配置以将色彩信息从第二图像3200(即，低分辨率色彩(RGB)图像)转移到第一图像(即，高分辨率单色图像)以用于第一图像的对准成功的部分。例如，可以从第二图像3200(即，低分辨率彩色(RGB)图像)的与第一图像3100(即，高分辨率单色图像)的对准成功的部分相对应的部分转移(例如，内插)色彩信息。例如，转移或合并操作可以包括为具有Y或亮度分量的第一图像3100(即，高分辨率单色图像)产生较低(例如，半分辨率)色度(例如，CbCr)通道。第一图像3100的Y或亮度分量可以保持其分辨率并且保持不变。

图像对准器142可经配置以确定第二图像3200的一些部分不与第一图像3100的对应部分对准。对于第一图像3100的未对准部分，一个或多个处理器110和/或色彩合成器144可以被配置为在对准不成功的情况下合成(生成)色彩信息。在一些实施方式中，计算过程(例如，由色彩合成器144实现的机器学习算法)可以合成(生成)第一图像3100(即，高分辨率单色图像)的对准失败(例如，由于遮挡或不良信噪比)的部分的色彩信息。当相对于由图像对准器142执行的对准的置信度水平小于阈值水平(例如，其中第一图像3100的像素未映射到第二图像3200的像素或相对于映射的不确定性水平大于阈值水平)时，对准可被视为失败。例如，可以通过参考神经网络的训练示例，或者通过参考第一图像3100的与未对准部分相邻的部分的色彩，为第一图像3100的对准不成功的部分合成(例如，生成)色彩。例如，由色彩合成器144实现的神经网络的训练数据可以通过以下获得：(1)捕获场景的第一测试图像和第二测试图像的相同RGB相机；(2)从第一测试图像合成灰度图像以模拟第一图像3100，并减小第二测试图像的尺寸以模拟第二图像3200；以及(3)执行机器学习算法以合成第一测试图像和第二测试图像之间的非对准部分的色彩信息，并将合成色彩信息与原始第一测试图像(其用作地面实况)进行比较，使得机器学习算法准确地输出合成色彩信息和/或使得输出的合成色彩信息的置信水平大于阈值水平。在一些实施方式中，第一图像3100的亮度分量保持不变并保持其分辨率。也就是说，仅合成彩色通道，并且彩色通道的分辨率可以减半。也就是说，可以以第二图像3200的分辨率的一半的分辨率合成彩色通道。

相机系统4000可以被配置为基于第一图像3100和第二图像3200(例如，基于第一图像3100的亮度分量和第二图像3200的色彩分量)，根据转移到第一图像3100的在操作4100处对准成功的部分的色彩信息，并且根据由色彩合成器144在对准不成功的部分针对第一图像3100的未对准部分合成的色彩信息，生成结果图像(例如，第三图像3300)。

在一些实施方式中，相机系统4000可配置有神经网络，神经网络已被训练以优化图4中所展示的整个过程，使得到网络的输入是第一图像3100和第二图像3200(即，单色图像和彩色图像)，且输出是第三图像3300(即，合成高分辨率RGB图像)。在该实施方式中，对准和色彩转移操作不是离散的操作，因为神经网络实现端到端的过程，其中对准在内部和隐式地执行。

参考图5，示出了根据本公开的一个或多个示例的示例非限制性计算机实现的方法的流程图。图5的流程图说明用于经由由具有全局快门(即，全局快门传感器)的单色相机182和具有全局快门(即，全局快门传感器)的彩色相机184捕获的图像产生图像的方法5000。

在5100处，该方法包括由具有全局快门的单色相机捕获场景的第一图像。例如，单色相机182可包括全局快门且可经配置以捕获场景的图像。例如，单色相机182可以安装在车辆上并且捕获环境的图像(例如，在夜间或白天期间以及在包括人工照明条件的各种照明条件下)。作为另一示例，单色相机182可以在安全系统中实现并且捕获环境的图像(例如，在夜间或白天期间以及在包括人工照明条件的各种照明条件下)。

在5200处，所述方法包括通过具有全局快门的彩色相机捕获场景的第二图像。例如，彩色相机184可包括全局快门且可经配置以捕获场景的图像。例如，彩色相机184可安装在车辆上且捕获环境的图像(例如，在夜间或白天期间且在包括人工照明条件的各种照明条件下)。作为另一示例，彩色相机184可实施于安全系统中且捕获环境的图像(例如，在夜间或白天期间且在包括人工照明条件的各种照明条件下)。彩色相机184可与单色相机182分开安置，然而彩色相机184可邻近于单色相机182安置且面向相同方向。例如，为了减少或防止由单色相机182和彩色相机184捕获的图像之间的静态视差，单色相机182和彩色相机184可位于彼此的数厘米内(例如，三厘米到十厘米，例如小于五厘米)。例如，单色相机182和彩色相机184可沿着至少一个轴彼此对准。例如，单色相机182和彩色相机184可沿着垂直轴(例如，图2A中的A1)或水平轴(例如，图2B中的A2)彼此对准。另外，单色相机182和彩色相机184可沿着第二轴(诸如沿着垂直于垂直轴和水平轴的深度轴)彼此对准。

在5300处，方法包括将第二图像对准到第一图像。例如，图像对准器142可实施计算过程。例如，图像对准器142可经配置以如关于图4所述的方式将第二图像3200(其为相对低分辨率彩色图像，例如RGB图像)对准到第一图像3100(其为相对高分辨率单色图像)。

在5400处，该方法包括通过向第一图像提供第二图像的色彩信息来获得表示场景的第三图像。例如，如关于图4所述，图像对准器142可经配置以确定第二图像3200的一些部分与第一图像3100的对应部分对准。对于这些对准部分，一个或多个处理器110和/或色彩合成器144可经配置以将色彩信息从第二图像3200(即，低分辨率色彩(RGB)图像)转移到第一图像(即，高分辨率单色图像)以用于第一图像的对准成功的部分。例如，如关于图4所述，图像对准器142可经配置以确定第二图像3200的一些部分不与第一图像3100的对应部分对准。对于第一图像3100的未对准部分，一个或多个处理器110和/或色彩合成器144可以被配置为合成(生成)第一图像3100的对准不成功的那些部分的色彩信息。第三图像3300可以表示场景并且对应于第一图像3100，该第一图像3100具有来自第一图像3100的Y或亮度分量(具有相同的分辨率并且未改变)以及根据本文描述的对准过程和/或色彩合成过程经由第二图像3200获得的两个或更多个色度(色彩)分量或通道。两个或更多个色度分量或通道也可以具有比第二图像3200的分辨率更低的分辨率。

上述示例实施例的各方面可以被记录在非暂时性计算机可读介质中，该非暂时性计算机可读介质包括用于实现由计算机体现的各种操作的程序指令。介质还可以单独地或与程序指令组合地包括数据文件、数据结构等。非暂时性计算机可读介质的示例包括磁介质，诸如硬盘、软盘和磁带；光学介质，诸如CD ROM盘、蓝光光盘和DVD；磁光介质，诸如光盘；以及专门配置为存储和执行程序指令的其他硬件设备，诸如半导体存储器、只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器、USB存储器等。程序指令的示例包括诸如由编译器产生的机器代码和包括可以由计算机使用解释器执行的更高级代码的文件。程序指令可以由一个或多个处理器执行。所描述的硬件设备可以被配置为充当一个或多个软件模块，以便执行上述实施例的操作，反之亦然。另外，非暂时性计算机可读存储介质可以分布在通过网络连接的计算机系统之间，并且计算机可读代码或程序指令可以以分散的方式存储和执行。另外，非暂时性计算机可读存储介质还可以体现在至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中。

流程图图示的每个框可以表示代码的单元、模块、段或部分，其包括用于实现指定的(多个)逻辑功能的一个或多个可执行指令。还应当注意，在一些替代实施方式中，框中提到的功能可以不按顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时(同时)执行，或者框有时可以以相反的顺序执行。

虽然已经关于各种示例实施例描述了本公开，但是每个示例是通过解释而不是限制本公开的方式提供的。在获得对前述内容的理解后，本领域技术人员可以容易地产生对这些实施例的改变、变化和等同物。因此，本公开不排除包括对本领域普通技术人员显而易见的对所公开的主题的这样的修改、变化和/或添加。例如，作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，本公开旨在涵盖这样的改变、变化和等同物。

Claims (20)

1.一种相机系统，包括：

单色相机，所述单色相机具有全局快门，经配置以捕获场景的第一图像；

彩色相机，所述彩色相机与所述单色相机分开安置且具有全局快门，经配置以捕获所述场景的第二图像；以及

一个或多个处理器，经配置以：

将所述第二图像对准到所述第一图像，以及

将所述第二图像的色彩信息提供给所述第一图像，以获得表示所述场景的第三图像。

2.根据权利要求1所述的相机系统，其中所述单色相机和所述彩色相机经同步以在基本上相同时间捕获所述第一图像和所述第二图像。

3.根据权利要求2所述的相机系统，其中当峰值照明条件出现在其中安置所述单色相机和所述彩色相机的环境中时捕获所述第一图像和所述第二图像中的每一者。

4.根据权利要求1所述的相机系统，其中所述单色相机和所述彩色相机被安置为面向相同方向且被安置为彼此相距小于阈值距离。

5.根据权利要求4所述的相机系统，其中，所述阈值距离是十厘米或更小。

6.根据权利要求1所述的相机系统，其中所述一个或多个处理器被配置为通过针对与所述第一图像的对应部分对准的所述第二图像的那些部分将所述第二图像的部分的色彩信息转移到所述第一图像的对应部分来将所述第二图像的色彩信息提供给所述第一图像。

7.根据权利要求6所述的相机系统，其中所述一个或多个处理器被配置为识别所述第一图像的未对准部分，并且将合成色彩信息应用于所述第一图像的所述未对准部分，其中，对于所述未对准部分，所述第二图像的部分未与所述第一图像的对应部分对准。

8.根据权利要求1所述的相机系统，其中所述彩色相机是红-绿-蓝RGB相机。

9.根据权利要求1所述的相机系统，其中所述彩色相机具有比所述单色相机低的分辨率。

10.根据权利要求1所述的相机系统，其中所述单色相机具有比所述彩色相机更大的大小。

11.根据权利要求1所述的相机系统，其中，

所述第一图像包括亮度分量，并且

所述第三图像包括所述第一图像的亮度分量和基于所述第二图像的色度分量。

12.根据权利要求1所述的相机系统，还包括：

第一机器学习资源，用于将所述第二图像对准到所述第一图像，以及第二机器学习资源，用于合成所述第一图像的未对准部分的色彩信息并且将合成色彩信息应用于所述第一图像的所述未对准部分，对于所述未对准部分，所述第二图像的部分未与所述第一图像的对应部分对准。

13.一种计算机实施的方法，包括：

由具有全局快门的单色相机捕获场景的第一图像；

由与所述单色相机分开安置且具有全局快门的彩色相机捕获所述场景的第二图像；

将所述第二图像对准到所述第一图像；以及

通过将所述第二图像的色彩信息提供给所述第一图像来获得表示所述场景的第三图像。

14.根据权利要求13所述的方法，其中

所述第一图像包括具有亮度分量的单个通道，且

所述第三图像包括至少三个通道，所述至少三个通道包括具有亮度分量的第一通道和包括基于所述第二图像的色度分量的多个通道。

15.根据权利要求13所述的方法，其中

所述单色相机和所述彩色相机经同步以在基本上相同时间捕获所述第一图像和所述第二图像，且

捕获所述第一图像和所述第二图像中的每一个发生在照明周期的峰值处。

16.根据权利要求15所述的方法，其中所述彩色相机和所述单色相机具有基本上相同的视场。

17.根据权利要求13所述的方法，其中所述彩色相机捕获所述第二图像的时间与所述单色相机捕获所述第一图像的时间之间的差小于所述单色相机的积分时间。

18.根据权利要求13所述的方法，其中，将所述第二图像的色彩信息提供给所述第一图像包括：针对与所述第一图像的对应部分对准的所述第二图像的那些部分，将所述第二图像的部分的色彩信息转移到所述第一图像的对应部分。

19.根据权利要求18所述的方法，还包括：

识别所述第一图像的未对准部分，对于所述未对准部分，所述第二图像的部分未对准到所述第一图像的对应部分；

由机器学习资源合成所述第一图像的所述未对准部分的色彩信息；以及

将合成色彩信息应用于所述第一图像的所述未对准部分。

20.一种非暂时性计算机可读介质，存储可由相机系统的一个或多个处理器执行的指令，所述指令包括：

用于使具有全局快门的单色相机捕获场景的第一图像的指令；

用于使彩色相机捕获所述场景的第二图像的指令，所述彩色相机具有全局快门且与所述单色相机间隔开小于阈值距离，所述第二图像具有比所述第一图像低的分辨率；

用于将所述第二图像对准到所述第一图像的指令；以及

用于通过将所述第二图像的色彩信息提供给所述第一图像来获得表示所述场景的第三图像的指令。