CN112801850A - 用于中间帧图像处理的装置和计算机实现的方法 - Google Patents

Abstract

本文所述的实施方案提供了一种多传感器环境中的中间帧图像处理模式，例如通过处理在多个图像传感器之间相同的中间帧图像尺寸的中间帧图像数据对象来改善图像处理吞吐量和反应时间。示例性装置包括多个图像传感器，每个图像传感器被配置为捕获全帧图像数据对象并输出中间帧图像数据对象。该装置还包括图像帧复用器，该图像帧复用器能够与多个图像传感器中的每个图像传感器进行通信，并且被配置为接收多个中间帧图像数据对象并且输出从多个中间帧图像数据对象中选定的中间帧图像数据对象。该装置还包括处理器，该处理器能够与图像帧复用器进行通信，并且被配置为接收选定的中间帧图像数据对象并且处理选定的中间帧图像数据对象。

Description

用于中间帧图像处理的装置和计算机实现的方法

技术领域

本公开的实施方案整体涉及图像处理，并且具体地讲，涉及用于在所有图像传感器中利用公共图像数据格式(例如，中间帧图像尺寸)在多传感器环境中进行图像处理的装置和计算机实现的方法。

背景技术

在包括两个或更多个图像传感器的常规成像装置中，由图像传感器输出的图像需要组合成一个输出以用于处理。类似地，信号需要在两个或更多个传感器之间同步以保持系统效率和功效。为了执行此类操作，常规成像装置传统上利用可编程逻辑设备，诸如复杂可编程逻辑设备(“CPLD”)或现场可编程门阵列(“FPGA”)。此类计算装置将系统延迟添加到一个或多个帧，并且增加设备的复杂性、成本和尺寸。此外，常规成像装置传统上利用图像传感器的动态切换。两个或更多个传感器之间的常规动态切换传统上需要操作系统和/或驱动器支持，并且传统上需要在两个或更多个传感器之间进行切换时重新初始化每个图像传感器，进一步降低系统的反应时间(snappiness)。申请人发现了在具有两个或更多个图像传感器的多传感器环境中进行常规图像处理的当前具体实施的问题。通过所施加的努力、智慧和创新，申请人已通过开发体现在本公开中的解决方案解决了许多这些认识到的问题，下文将详细描述这些解决方案。

发明内容

一般来讲，本文提供的本公开的实施方案包括用于中间帧图像处理的系统、方法、装置和计算机程序产品。本领域技术人员在审查下列附图和详细的描述后，其他系统、装置、方法、计算机可读介质和特征将是显而易见的或将变得显而易见。旨在使包括在本说明书内的所有此类附加系统、装置、方法、计算机可读介质和特征在本公开的范围内，并且受以下权利要求书的保护。

根据本公开的一个方面，中间帧图像处理装置包括第一图像传感器，该第一图像传感器被配置为基于第一全帧图像尺寸和中间帧图像尺寸来输出第一中间帧图像数据对象。示例性中间帧图像处理装置还包括第二图像传感器，该第二图像传感器被配置为基于第二全帧图像尺寸和中间帧图像尺寸来输出第二中间帧图像数据对象。示例性中间帧图像处理装置还包括图像帧复用器，该图像帧复用器与第一图像传感器和第二图像传感器进行数据通信，并且被配置为从第一图像传感器接收第一中间帧图像数据对象并从第二图像传感器接收第二中间帧图像数据对象。图像帧复用器被进一步配置为输出从第一中间帧图像数据对象或第二中间帧图像数据对象中选定的中间帧图像数据对象。示例性中间帧图像处理装置还包括能够与图像帧复用器进行通信的处理器，该处理器被配置为从图像帧复用器接收选定的中间帧图像数据对象并处理选定的中间帧图像数据对象。

除此之外或另选地，在该装置的至少一些示例性实施方案中，基于中间帧图像尺寸配置至少第一图像传感器，并且输出中间帧图像数据对象，第一图像传感器被配置为通过执行以下操作中的一者或多者来从第一全帧图像数据对象生成第一中间帧图像数据对象：(1)剪裁第一全帧图像数据对象，以在第一中间帧图像数据对象中包括：第一全帧图像数据对象的经剪裁的图像数据部分，基于第一全帧图像尺寸和中间帧图像尺寸来识别该经剪裁的图像数据部分，以及(2)基于图像数据填充来填充第一中间帧图像数据对象，基于第一全帧图像尺寸和中间帧图像尺寸来识别该图像数据填充，并且将第一中间帧图像数据对象传输到图像帧复用器。

除此之外或另选地，在该装置的至少一些示例性实施方案中，第一全帧图像尺寸与第二全帧图像尺寸相差至少一个或多个数据行和/或一个或多个数据列。

除此之外或另选地，在该装置的至少一些示例性实施方案中，第一全帧图像尺寸与第二全帧图像尺寸通过具有相同数量的数据行和相同数量的数据列而相等。

除此之外或另选地，在该装置的至少一些示例性实施方案中，处理器被配置为处理选定的中间帧图像数据对象以确定选定的中间帧图像数据对象中的有用数据丢失。除此之外或另选地，在该装置的一些示例性实施方案中，处理器被进一步配置为基于选定的中间帧图像数据对象来识别第一图像传感器或第二图像传感器中选定的图像传感器。除此之外或另选地，在该装置的一些实施方案中，处理器被进一步配置为将全帧请求信号传输到选定的图像传感器。除此之外或另选地，在该装置的一些实施方案中，处理器被进一步配置为从选定的图像传感器接收选定的全帧数据对象，该全帧图像数据对象包括比选定的中间帧图像数据更多的数据。除此之外或另选地，在该装置的一些实施方案中，处理器被进一步配置为处理选定的全帧图像数据对象。

除此之外或另选地，在该装置的至少一些示例性实施方案中，处理器被进一步配置为配置第一图像传感器和第二图像传感器中的至少一者，以使第一图像传感器基于中间帧图像尺寸输出第一中间帧图像数据对象，并且使第二图像传感器基于中间帧图像尺寸输出第二中间帧图像数据对象。除此之外或另选地，在该装置的至少一些示例性实施方案中，为了配置第一图像传感器和第二图像传感器中的至少一者，该装置被配置为：识别与第一图像传感器相关联的第一全帧图像尺寸和与第二图像传感器相关联的第二全帧图像尺寸；基于第一全帧图像尺寸和第二全帧图像尺寸来确定最大图像尺寸；基于第一全帧图像尺寸和第二全帧图像尺寸来确定最小图像尺寸；基于最大图像尺寸和最小图像尺寸来生成中间帧图像尺寸；以及基于中间帧图像尺寸来配置第一图像传感器和第二图像传感器中的至少一者。

除此之外或另选地，在该装置的至少一些示例性实施方案中，图像帧复用器被配置为从处理器接收帧选择信号，该帧选择信号指示要选择第一中间帧图像数据对象或第二中间帧图像数据对象中的哪一者。除此之外或另选地，在该装置的至少一些此类示例性实施方案中，处理器被进一步配置为使用随机帧选择算法或顺序帧选择算法生成帧选择信号；以及将帧选择信号传输到图像帧复用器。除此之外或另选地，在该装置的至少一些示例性实施方案中，处理器被进一步配置为通过处理所接收的选定的中间帧图像数据对象来生成帧选择信号；以及将帧选择信号传输到图像帧复用器。

根据本公开的又一方面，提供了用于中间帧图像处理的计算机实现的方法。在一个或多个实施方案中，计算机实现的方法经由如本文所述的计算硬件、电路等来实现。在该计算机实现的方法的至少一个示例性实施方案中，该示例性计算机实现的方法包括向图像帧复用器输出来自第一图像传感器的第一中间帧图像数据对象和来自第二图像传感器的第二中间帧图像数据对象，第一中间帧图像数据对象和第二中间帧图像数据对象与中间帧图像尺寸相关联。该计算机实现的方法还包括由图像帧复用器选择包括第一中间帧图像数据对象或第二中间帧图像数据对象的选定的中间帧图像数据对象。该计算机实现的方法还包括由处理器从图像帧复用器接收选定的中间帧图像数据对象。该计算机实现的方法还包括由处理器处理选定的中间帧图像数据对象。

除此之外或另选地，在该计算机实现的方法的至少一些示例性实施方案中，向图像帧复用器输出来自第一图像传感器的第一中间帧图像数据对象包括：由第一图像传感器捕获与第一全帧图像尺寸相关联的第一全帧图像数据对象；由第一图像传感器识别中间帧图像尺寸；由第一图像传感器基于第一全帧图像尺寸和中间帧图像尺寸来识别第一全帧图像数据对象的经剪裁的图像数据部分；由第一图像传感器基于第一全帧图像尺寸和中间帧图像尺寸来识别第一图像数据填充；由第一图像传感器基于第一全帧图像数据对象的经剪裁的图像数据部分和第一图像数据填充来生成第一中间帧图像数据对象；以及由第一图像传感器将第一中间帧图像数据对象传输到图像帧复用器。

除此之外或另选地，在该计算机实现的方法的至少一些示例性实施方案中，

除此之外或另选地，在该计算机实现的方法的至少一些示例性实施方案中，第一图像传感器与第一全帧图像尺寸相关联，并且第二图像传感器与第二全帧图像尺寸相关联，其中第一全帧图像尺寸与第二全帧图像尺寸相差至少一个或多个数据行和/或一个或多个数据列。

除此之外或另选地，在该计算机实现的方法的至少一些示例性实施方案中，第一图像传感器与第一全帧图像尺寸相关联，并且第二图像传感器与第二全帧图像尺寸相关联，其中第一全帧图像尺寸与第二全帧图像尺寸通过具有相同数量的数据行和相同数量的数据列而相等。

除此之外或另选地，在该计算机实现的方法的至少一些示例性实施方案中，由处理器处理选定的中间帧图像数据对象包括：由处理器处理选定的中间帧图像数据对象以确定选定的中间帧图像数据对象中的有用数据丢失，并且该计算机实现的方法还包括：由处理器基于选定的中间帧图像数据对象从第一图像传感器或第二图像传感器中识别选定的图像传感器；由处理器将全帧请求信号传输到选定的图像传感器；由处理器从选定的图像传感器接收选定的全帧数据对象，该全帧图像数据对象包括比选定的中间帧图像数据对象更多的数据；以及由处理器处理选定的全帧图像数据对象。

除此之外或另选地，在该计算机实现的方法的至少一些示例性实施方案中，计算机实现的方法还包括由处理器基于中间帧图像尺寸将第一图像传感器配置为输出第一中间帧图像数据对象。除此之外或另选地，在该计算机实现的方法的至少一些此类示例性实施方案中，基于中间帧图像尺寸将第一图像传感器配置为输出第一中间帧图像数据对象包括：由处理器识别至少与第一图像传感器相关联的第一全帧图像尺寸和与第二图像传感器相关联的第二全帧图像尺寸；由处理器基于第一全帧尺寸和第二全帧图像尺寸来确定最大图像尺寸；由处理器基于第一全帧图像尺寸和第二全帧图像尺寸来确定最小图像尺寸；由处理器基于最大图像尺寸和最小图像尺寸来生成中间帧图像尺寸；以及由处理器基于中间帧图像尺寸将第一图像传感器配置为输出第一中间帧图像数据对象。

除此之外或另选地，在该计算机实现的方法的至少一些示例性实施方案中，由图像帧复用器选择选定的中间帧图像数据对象包括：由图像帧复用器接收来自处理器的帧选择信号，该帧选择信号指示要选择多个中间帧图像数据对象中的哪个中间帧图像数据对象；以及由图像帧复用器基于帧选择信号从第一中间帧图像数据对象和第二中间帧图像数据对象中选择选定的中间帧图像数据对象。除此之外或另选地，在该计算机实现的方法的至少一些此类示例性实施方案中，计算机实现的方法还包括由处理器使用随机帧选择算法或顺序帧选择算法来生成帧选择信号；以及由处理器将帧选择信号传输到图像帧复用器。除此之外或另选地，在该计算机实现的方法的至少一些示例性实施方案中，计算机实现的方法还包括：由处理器通过处理所接收的选定的中间帧图像数据对象来生成帧选择信号；以及由处理器将帧选择信号传输到图像帧复用器。

根据本公开的又一方面，提供了用于中间帧图像处理的计算机程序产品。至少一个示例性计算机程序产品包括其上存储有计算机程序指令的非暂态计算机可读存储介质。利用至少一个处理器执行的计算机程序指令被配置用于执行所识别的计算机实现的方法中的一种或多种计算机实现的方法。

附图说明

因此，已经概括地描述了本公开的实施方案，现在将参考附图，这些附图未必按比例绘制，并且其中：

图1示出了根据本公开的至少一些示例性实施方案的中间帧图像处理装置；

图2示出了根据本公开的至少一些示例性实施方案的示例性中间帧图像处理装置的部件和对应的数据流；

图3示出了根据本公开的至少一些示例性实施方案的用于在双传感器环境中选择中间图像数据对象的图像帧复用器的功能的示例性可视化；

图4示出了根据本公开的至少一些示例性实施方案的多传感器环境中的示例性中间帧图像数据对象；

图5示出了根据本公开的至少一些示例性实施方案的包括用于中间帧图像处理的示例性操作的示例性流程图；

图6示出了根据本公开的至少一些示例性实施方案的示例性流程图，该示例性流程图包括用于中间帧图像处理的附加操作，具体地包括用于对应全帧图像数据对象处理的附加操作；

图7示出了根据本公开的至少一些示例性实施方案的示例性流程图，该示例性流程图包括用于中间帧图像处理的附加操作，具体地包括用于配置用于输出中间帧图像数据对象的一个或多个图像传感器的附加操作；

图8示出了根据本公开的至少一些示例性实施方案的示例性流程图，该示例性流程图包括用于中间帧图像数据对象生成例如将由图像传感器执行的操作；

图9示出了根据本公开的至少一些示例性实施方案的示例性流程图，该示例性流程图包括用于中间帧图像数据对象生成例如将由图像传感器执行的示例性具体实施的操作；以及

图10示出了根据本公开的至少一些示例性实施方案的示例性流程图，该示例性流程图包括用于中间帧图像数据对象生成例如将由图像传感器执行的附加操作，具体地包括用于填充和/或剪裁全帧图像数据对象以生成对应中间帧图像数据对象的附加操作。

具体实施方式

现在在下文中将参考附图更全面地描述本公开的实施方案，在附图中示出了本公开的一些但不是全部的实施方案。实际上，本公开的实施方案能够以许多不同的形式体现，并且不应该被解释为限于本文所阐述的实施方案，相反，提供了这些实施方案，使得本公开将满足适用的法律要求。在全篇内容中，类似的标号指代类似的元件。

概述

本公开的实施方案解决了常规成像装置的各种计算和成本低效问题。具体地讲，本公开的实施方案利用示例性中间帧方案来提供优于常规成像装置和对应常规方案的各种优点。就这一点而言，在一些示例中，本公开的实施方案改善了总体图像处理吞吐量(例如，用于处理所捕获的数据的帧频)和反应时间(例如，触发捕获与成功捕获和处理所捕获的图像的指示之间的时间，诸如在触发捕获与接收到成功解码条形码的指示之间的时间)。为了改善装置的反应时间，在本文所述的至少一些实施方案中，减少了用于在不同图像传感器之间进行切换的时间延迟。就这一点而言，本公开的一些实施方案实现了不同图像传感器信道之间的无缝切换。另外，本公开的一些实施方案不利用可编程逻辑设备，并且此类示例性实施方案实现可包括在较小尺寸装置中的较小形状因数。相似地，就这一点而言，一些此类示例性实施方案包括比可编程逻辑设备模块成本更低的部件，从而与常规装置相比，能够以改进的成本效率制造此类实施方案。

在一些示例中，中间帧方案在特定装置的所有图像传感器上利用特定中间帧图像格式。就这一点而言，中间帧图像格式体现中间帧图像尺寸，该中间帧图像尺寸限定中间帧图像数据对象内的行和列的特定数量(例如，“中间帧行计数”和“中间帧列计数”)。可基于相关联的多个图像传感器来确定中间帧尺寸。多个图像传感器中的每个图像传感器可与任何分辨率、像素架构和数据速率相关联。就这一点而言，每个图像传感器可被配置为捕获具有特定图像尺寸(例如，全帧图像尺寸)的全帧图像数据对象，并且随后从全帧图像数据对象生成中间帧图像数据对象以用于输出。因此，中间帧尺寸表示由多个图像传感器中的每个图像传感器输出的图像数据对象的相同图像尺寸。在一些实施方案中，基于中间帧图像尺寸专门配置图像传感器，该中间帧图像尺寸利用与多个图像传感器相关联的分辨率和带宽以使本文的优点最大化。

就这一点而言，本文所公开的示例性实施方案包括各自生成中间帧图像数据对象的多个图像传感器，每个图像传感器具有相同尺寸。中间帧图像数据对象各自与相同的中间帧图像尺寸相关联，而不管每个图像传感器的分辨率、像素架构和/或数据速率如何。这样，中间帧方案使用更小并且更节省成本的部件实现了在多个图像传感器之间的无缝切换。另外，在一些示例中，中间帧方案有利地改善了装置吞吐量和反应时间。

定义

在一些实施方案中，可以修改或进一步放大本文操作中的一些操作。此外，在一些实施方案中，还可包括附加的任选操作。可以任何顺序和任何组合执行对本文操作的修改、放大或添加。

本发明所属领域的技术人员在受益于前述描述和相关附图中呈现的教导之后，将想到本文所阐述的本公开的许多修改和其他实施方案。因此，应当理解，本发明不限于所公开的特定实施方案，并且修改和其他实施方案旨在被包括在所附权利要求的范围内。此外，尽管上述描述和相关附图在元件和/或功能的某些示例性组合的语境中描述了示例性实施方案，但应当理解，在不脱离所附权利要求书的范围的情况下，可由另选的实施方案提供元件和/或功能的不同组合。就这一点而言，例如，还可设想与本文明确描述的那些不同的元件和/或功能组合，如可在所附权利要求中的一些中所示的那样。尽管本文采用了特定术语，但它们仅以一般性和描述性意义使用，而不是出于限制的目的。

如本文所用，术语“数据对象”、“数据”、“内容”、“信息”和类似术语可互换使用以指代能够根据本发明的实施方案传输、接收和/或存储的数据。另外，数据对象可指由本文所述的实施方案捕获、生成或导出的值。因此，任何此类术语的使用不应被理解为限制本公开的实施方案的精神和范围。

术语“处理器”是指用于执行表示计算机实现的动作的一个或多个指令的计算硬件、固件和/或软件。在一些实施方案中，处理器包括用于存储用于操纵的指令和/或数据对象的一个或多个存储器部件。除此之外或另选地，在一些实施方案中，处理器被配置为与一个或多个存储器设备进行通信以用于检索指令和/或存储和检索数据对象以供操纵。处理器的非限制性示例包括专门配置的处理电路、微处理器、中央处理单元(“CPU”)、数字信号处理器(“DSP”)和/或它们的组合。

术语“图像帧复用器”是指用于在作为输入信号接收的各种图像数据对象之间进行选择的计算硬件、软件、固件和/或它们的组合，其中选定的图像数据对象由图像帧复用器输出。在一些实施方案中，图像帧复用器由被称为“帧选择信号”的控制信号控制，该控制信号指示要选择哪个输入数据对象以用于输出。在一些实施方案中，从相关联的处理器(例如，要向其输出选定的图像帧数据对象的处理器)接收帧选择信号。在其他实施方案中，图像帧复用器从被配置为接收所输出的图像数据对象的替代处理器的计算设备和/或计算硬件接收帧选择信号。在至少一些实施方案中，由将多条输入线连接到单条输出线的切换硬件来体现图像帧复用器，并且该图像帧复用器接收用于选择输入线中的一条输入线以用于经由输出线输出的信号。在一些实施方案中，图像帧复用器完全体现在用于控制从选定的图像传感器到处理器以用于处理的流的软件中。

术语“图像尺寸”是指表示图像数据对象的维度属性的数据值。在二维图像的情况下，图像尺寸表示由特定数量的列和行限定的图像数据对象的特定宽度高度分辨率。每个行-列对表示对应图像数据对象中的单独数据值。例如，“1920×1200”图像尺寸是指具有1920列数据和1200行数据的1920×1200分辨率。应当理解，在一些实施方案中，一个或多个图像尺寸与特定长径比相关联，两个图像尺寸的特定长径比可相同或不同。

术语“全帧图像数据对象”是指由图像传感器捕获的图像数据。全帧图像数据对象与“全帧图像尺寸”相关联，“全帧图像尺寸”是指全帧图像数据对象的图像尺寸。在一些实施方案中，图像传感器被配置为利用单个模式来捕获特定全帧图像尺寸的全帧图像数据对象。在其他实施方案中，图像传感器被配置为实现从多个模式中进行选择，每个模式与调节全帧图像尺寸相关联，使得由图像传感器捕获的全帧图像数据对象对于设定模式具有经调节的全帧图像尺寸。

术语“中间帧图像数据对象”是指基于所捕获的全帧图像数据对象和中间帧图像尺寸生成的图像数据对象。基于全帧图像数据对象的全帧图像尺寸与中间帧图像尺寸之间的差值，从全帧图像数据对象生成中间帧图像数据对象。在一些实施方案中，中间帧图像数据对象包括对应全帧图像数据对象的经剪裁的部分，以将行和/或列的数量从全帧图像尺寸和中间帧图像尺寸减少，并且/或者包括填充数据，以将行的数量从全帧图像尺寸增加到中间帧图像尺寸。

术语“图像传感器”是指用于捕获由对应全帧图像数据对象体现的图像数据的计算硬件。图像传感器被配置用于基于特定全帧图像尺寸(例如，与图像传感器相关联的像素计数)来捕获图像数据。另外，在一些实施方案中，术语“图像传感器”另外是指用于配置由图像传感器捕获和/或输出的数据的支持电路/硬件、固件和/或软件。例如，术语“图像传感器”可以另外指用于从所捕获的全帧图像数据对象生成中间帧图像数据对象以及/或者随后输出中间帧图像数据对象的支持电路。图像传感器的非限制性示例包括AR0234全局快门单色传感器(1920×1200有源像素阵列分辨率，3μm像素)和AR0144全局快门单色传感器(1280×800有源像素阵列分辨率，3μm像素)，两者均由总部设在亚利桑那州凤凰城(Phoenix，ArizonA)的ON

制造。当在本文中参考图像传感器使用时，术语“分辨率”是指对应图像传感器的有源像素阵列分辨率。当在此参考一个或多个图像数据对象使用时，术语“分辨率”是指由图像数据对象表示的数据行的数量和数据列的数量。应当理解，一个或多个图像数据对象的分辨率可取决于对应图像传感器的分辨率。

示例性装置和数据流

图1示出了根据本公开的至少一个示例性实施方案的示例性装置。具体地讲，图1示出了根据本公开的至少一个示例性实施方案的示例性中间帧成像装置，具体地为双传感器中间帧成像装置。如图所示，中间帧成像装置100包括图像帧复用器104和处理器106。另外，中间帧成像装置100包括多个图像传感器102A至102N(统称为“图像传感器102”)。应当理解，在各种实施方案中，中间帧成像装置100包括任何数量的图像传感器102。例如，在一些实施方案中，中间帧成像装置100包括用于捕获图像数据以用于处理的两个图像传感器(例如，图像传感器102A和图像传感器102B)。另选地，在其他实施方案中，中间帧成像装置100体现了具有三个图像传感器(例如，图像传感器102A、图像传感器102B和未示出的附加图像传感器)的三传感器成像装置。在其他实施方案中，中间帧成像装置100包括四个或更多个图像传感器。

图像传感器102中的每个图像传感器体现了被配置为从中间帧成像装置100的环境中捕获图像数据的计算设备。此外，图像传感器102中的每个图像传感器被配置为捕获特定分辨率/尺寸的图像数据。就这一点而言，图像传感器102中的每个图像传感器被配置为捕获具有对应全帧图像尺寸的全帧图像数据对象。应当理解，图像传感器102中的每个图像传感器可与光学部件(包括但不限于一个或多个透镜、窗口、反射部件、折射部件等)耦接，以实现捕获与特定场相关联的图像数据。此外，应当理解，可由被配置为使用任何已知方法捕获此类图像数据的计算硬件来体现图像传感器102中的每个图像传感器，这些方法包括但不限于电荷耦接设备(“CCD”)和互补金属氧化物半导体(“CMOS”)传感器设备、其等同物或它们的任何组合。

在一些实施方案中，图像传感器102中的每个图像传感器被配置为生成中间帧图像数据对象以用于输出。就这一点而言，在一些实施方案中，图像传感器102中的每个图像传感器被配置为存储、检索和/或以其他方式访问中间帧图像尺寸以用于生成中间帧图像数据对象。可由中间帧成像设备100的另一个部件(例如处理器106)或由外部计算硬件、软件和/或固件(未示出)配置图像传感器102中的每个图像传感器。在一些实施方案中，图像传感器102的子集被配置用于生成和/或输出中间帧图像数据对象，例如，其中图像传感器102A被配置用于输出特定全帧图像尺寸的全帧图像数据对象，并且其余图像传感器102被配置用于输出与全帧图像尺寸匹配的中间帧图像尺寸的中间帧图像数据对象。

在一些实施方案中，图像传感器102中的每个图像传感器被配置为捕获与各种不同全帧图像尺寸相关联的全帧图像数据对象。在其他实施方案中，一个或多个图像传感器被配置为捕获相同全帧图像尺寸的全帧图像数据对象。就这一点而言，图像传感器102中的每个图像传感器可与从特定环境(例如，近场和远场)的不同深度、相同场的不同部分或表示两个不同场的不同环境中捕获图像数据相关联。

在又一些其他实施方案中，每个图像传感器102被配置为捕获中间帧图像数据对象。就这一点而言，图像传感器可基于中间帧图像尺寸被配置为捕获特定感兴趣的区域，并且单独地或与附加数据行和/或附加数据列一起输出所捕获的数据，例如以图像填充数据的形式。就这一点而言，图像传感器102中的每个所配置的图像传感器被配置用于输出中间帧图像数据对象，而不需要用于操纵所捕获的图像数据的后处理步骤，例如使得不需要通过剪裁和/或填充所捕获的全帧图像数据对象进行操纵。

在一些实施方案中，图像传感器102中的一个或多个图像传感器被配置为实现对各种模式的激活，每种模式与捕获和/或输出不同图像数据对象相关联。在一些实施方案中，图像传感器102中的一个或多个图像传感器被配置用于实现对用于捕获不同全帧图像尺寸的全帧图像数据对象的不同模式的激活。除此之外或另选地，在一些实施方案中，图像传感器102中的一个或多个图像传感器被配置为实现各种输出模式之间的切换。例如，在一些实施方案中，图像传感器102中的一个或多个图像传感器被配置为实现对用于输出所捕获的全帧图像数据对象的第一模式的激活以及对用于基于所捕获的全帧图像数据对象输出中间帧图像数据对象的第二模式的激活。

图像帧复用器104体现了用于接收多个输入的计算硬件，并且基于控制信号，选择多个输入信道中的一个输入信道以用于输出。例如，在一些实施方案中，图像帧复用器104包括用于接收由图像传感器102输出的数据对象并随后输出从各种输入中选定的数据对象的电路。如图所示，图像帧复用器104被配置为接收由图像传感器102中的每个图像传感器输出的数据作为各种输入。在示例性情况下，图像帧复用器104从图像传感器102中的每个图像传感器接收中间帧图像数据对象，其中每个中间帧图像数据对象包括由图像传感器102中的对应图像传感器捕获的对应全帧图像数据对象的至少一部分。图像帧复用器104被配置用于基于从另一个计算设备、硬件等接收的帧选择信号来输出所接收的图像数据对象中的一个图像数据对象(例如，中间帧图像数据对象中的一者)。在至少一个示例性实施方案中，帧选择复用器被配置为从处理器106接收帧选择信号，如本文所述。

处理器106体现了被配置为执行各种专门编程的操作的计算硬件、计算设备或计算设备的组合。在一些实施方案中，由被配置用于执行本文所述的操作的处理电路来体现处理器106。在其他实施方案中，由微处理器来体现处理器106。在其他实施方案中，由CPU来体现处理器106。处理器106可包括存储表示本文所述的各种操作的指令的一个或多个存储器设备或以其他方式与该一个或多个存储器设备相关联，并且/或者用于存储和/或接收数据对象和/或用于一个或多个操作的其他数据值。处理器106可被配置为从图像帧复用器104接收数据(例如，所输出的图像帧数据对象)，以及/或者将数据(例如，帧选择信号)传输到图像帧复用器104。除此之外或另选地，在一些实施方案中，处理器106被配置为与图像传感器102中的一些或全部图像传感器进行通信，例如用于基于特定中间帧图像尺寸来设定一种或多种模式以及/或者将图像传感器102配置为生成并输出中间帧图像数据对象。

在一些实施方案中，在没有图像帧复用器104的情况下选择图像传感器102中的图像传感器。在一些此类实施方案中，例如，处理器106与图像传感器102中的每个图像传感器直接进行通信。就这一点而言，来自图像传感器102中的每个图像传感器的输出线连接在一起，并且在给定时间(例如，一帧的时间)仅激活图像传感器102中的一个图像传感器。当选择特定图像传感器时，可禁用图像传感器102中的其余图像传感器或以其他方式将这些图像传感器设置为高阻抗状态。这样，实施方案可从图像传感器102中的选定的传感器接收特定中间帧，而不利用图像帧复用器，诸如图像帧复用器104。在另一个实施方案中，多个图像传感器连接到处理器的多个输入端口，使得多个图像传感器可被实现用于图像捕获，但是仅从与选定的图像传感器相关联的单个输入端口中选择要在处理中使用的数据。例如，在一些此类实施方案中，来自图像传感器102A的输出线可直接连接到处理器106的第一端口，并且来自图像传感器102B的输出线可直接连接到处理器106的第二端口。图像传感器102A和102B可各自被配置用于捕获中间帧图像数据对象，并且通过各自相应的输出线将此类中间帧图像数据对象传输到处理器106。此外，在一些此类实施方案中，处理器106被配置为确定从图像传感器102A和图像传感器102B之间选定的图像传感器，并且经由对应于选定的图像传感器的适当输入端口接收选定的中间帧图像数据对象。然后，处理器106可处理所接收的中间帧图像数据对象。

图2示出了根据本公开的至少一些示例性实施方案的中间帧图像处理装置的部件和对应的数据流。如图所示，图2描绘了各种被配置的硬件部件(以实线示出)，包括被配置为生成、传输和/或接收各种数据对象(以虚线或“点线”示出)的图像传感器202A和图像传感器202B、图像帧复用器206和处理器212，其中各种数据对象包括中间帧图像数据对象204A、中间帧图像数据对象204B、选定的图像数据对象210和帧选择信号208。具体地讲，如图所示，图像传感器202A和202B能够与图像帧复用器206进行通信，例如使得每个图像传感器被配置为向图像帧复用器206提供中间帧(例如，中间帧图像数据对象204A和中间帧图像数据对象204B)作为输入。图像帧复用器206还能够与处理器212进行通信，例如使得图像帧复用器206被配置用于从处理器212接收帧选择信号208并输出来自各种输入的对应输出数据对象(例如，选定的图像数据对象210)。所示特定硬件部件202A、202B、206和212可各自体现特定成像装置(诸如中间帧成像装置100)的部件。就这一点而言，可由上文相对于图1所示和所述的中间帧成像装置100所述的计算硬件、电路、软件和/或固件来体现类似命名的部件。

图2示出了包括图像传感器202A和图像传感器202B的示例性双传感器环境。在一个此类示例性实施方案中，图像传感器202A体现2.45兆像素(“MP”)传感器，并且图像传感器202B体现1.0MP传感器。在示例性情况下，在体现近远成像引擎的装置中利用双传感器环境，例如，其中图像传感器102A用于捕获近场的宽图像以用作近场图像传感器，并且图像传感器202B用于捕获远场的窄图像以用作远场图像传感器。在示例性情况下，图像传感器202A和图像传感器202B可以各自捕获与不同全帧图像尺寸相关联的全帧图像数据对象。在一些此类实施方案中，全帧图像尺寸各自匹配特定的设计长径比。在其他实施方案中，全帧图像尺寸各自与不同的长径比相关联。

图像传感器202A和图像传感器202B各自被配置用于从所捕获的全帧图像数据对象生成并输出中间帧图像数据对象。具体地讲，如图所示，图像传感器202A被配置用于输出中间帧图像数据对象204A，并且图像传感器202B被配置用于输出中间帧图像数据对象204B。所生成的中间帧图像数据对象各自与在图像传感器202A和202B之间相同的特定中间帧图像尺寸相关联。就这一点而言，图像传感器202A和图像传感器202B各自已先前例如由处理器212和/或外部计算硬件基于中间帧图像尺寸来配置，以用于输出中间帧图像数据对象。

如图所示，图像传感器202A被配置为捕获与由(R1，C1)表示的第一全帧图像尺寸相关联的第一全帧图像数据对象，其中R1表示第一捕获的全帧图像数据对象中的行数量(称为“全帧行计数”)，并且C1表示第一捕获的全帧图像数据对象中的列数量(称为“全帧列计数”)。图像传感器202B被配置为捕获与由(R2，C2)表示的第二全帧图像尺寸相关联的第二全帧图像数据对象，其中R2表示第二捕获的全帧图像数据对象的全帧行计数，并且C2表示第二捕获的全帧图像数据对象的全帧列计数。就这一点而言，特定图像尺寸各自表示分辨率P，其中P＝R*C。就这一点而言，继续上述示例性情况，第一全帧图像尺寸表示第一分辨率P1，其中P1＝R1*C1，并且第二全帧图像尺寸表示第二分辨率P2，其中P2＝R2*C2。此外，在图像传感器202A体现2.45MP传感器并且图像传感器202B体现1.0MP传感器的情况下，应当理解，第一全帧图像尺寸表示第一分辨率，第一分辨率大于由第二全帧图像尺寸表示的第二分辨率，使得P1＞P2。在一些此类示例性情况下，第一全帧图像尺寸和第二全帧图像尺寸满足属性R1＞＝R2并且C1＞＝C2，其中P1＞＝P2指示较高分辨率。

此外，如图所示，图像传感器202A和图像传感器202B各自生成具有相同中间帧图像尺寸的中间帧图像数据对象，该相同中间帧图像尺寸表示落在由第一全帧图像尺寸限定的第一分辨率和由第二全帧图像尺寸限定的第二分辨率之间的分辨率。就这一点而言，中间帧图像尺寸可表示从较大的全帧图像尺寸减少行和/或列的数量并且从较小的全帧图像尺寸增加行和/或列的数量的尺寸。返回到上述示例性情况，其中R1＞＝R2并且C1＞＝C2，并且例如在图像传感器202A具有更高分辨率的情况下(例如，(R1，C1)表示比(R2，C2)更高的图像分辨率)，中间帧图像尺寸可由(Rm，Cm)表示，其中Rm表示要包括在中间帧图像数据对象中的行数，并且Cm表示要包括在中间帧图像数据对象中的列数。就这一点而言，中间帧图像数据对象表示第三中间帧图像分辨率Pm，其中Pm＝Rm*Cm。另外，中间帧图像尺寸表示落在由第一全帧图像尺寸表示的分辨率和由第二全帧图像尺寸表示的分辨率之间的第三分辨率。就这一点而言，可以定义由(Rm，Cm)表示的中间帧图像尺寸，以便满足关系R1＞＝Rm＞R2并且C1＞Cm＞＝C2，并且P1＞Pm＞P2。中间帧图像尺寸的非限制性示例包括(R1，C1)和(R2，C2)。就这一点而言，应当理解，上述确定的公式仅仅是示例。在一些实施方案中，中间帧图像尺寸仅受每个传感器填充图像数据对象中的行数量和/或列数量的能力的限制。

在其他实施方案中，应当理解，中间帧图像尺寸体现了用于在多个图像传感器上标准化输出的任何图像尺寸。例如，在一些实施方案中，中间帧图像尺寸体现了所有图像传感器上的最大图像尺寸(例如，其中Rm等于任何全帧图像尺寸的最大行数量，并且Cm等于任何全帧图像尺寸的最大行数量)。在其他实施方案中，中间帧图像尺寸体现了所有图像传感器上的最小图像尺寸(例如，其中Rm等于任何全帧图像尺寸的最小行数量，并且Cm等于任何全帧图像尺寸的最小行数量)。在其他实施方案中，最小帧图像尺寸体现了最大图像尺寸和最小图像尺寸之间的任何分辨率。在一些此类实施方案中，可由系统的一个或多个部件(例如，由处理器)确定或经由用户配置来选择选定的中间帧图像尺寸，使得所确定或选定的中间帧图像尺寸用于特定硬件限制和/或特定图像处理任务。

图像传感器可基于期望的中间帧图像尺寸被配置为输出中间帧图像数据对象。就这一点而言，基于各种图像传感器和处理器，中间帧图像尺寸被设计成利用各种部件的分辨率和带宽。此外，还可基于要经由这些部件来实现的特定图像处理任务来设计中间帧图像尺寸。就这一点而言，随着中间帧图像尺寸增大，可包括更多的全帧图像数据对象以用于更大的图像传感器，作为图像数据对象的传输速度降低的交换(例如，更低的帧频)。类似地，在至少一些示例中，随着中间帧图像尺寸减小，可以包括更少的全帧图像数据对象，作为图像数据对象的传输速度增加的交换(例如，更高的帧频)。

在示例性情况下，中间帧图像尺寸可表示较大全帧图像数据对象内的特定感兴趣的区域(例如，由图像传感器202A捕获的全帧图像数据对象内的感兴趣的区域)，以及增加较小全帧图像数据对象中的行和/或列的数量所需的任何填充(例如，填充由图像传感器202B捕获的全帧图像数据对象)。在一个特定示例性情况下，Rm＝R2并且Cm＝C1，使得中间帧图像尺寸由(R2，C1)表示，其中图像传感器202A以(R1，C1)捕获全帧图像数据对象，并且图像传感器202B以(R2，C2)捕获全帧图像数据对象，其中R1＞R2并且C1＞C2。就这一点而言，可通过剪裁由图像传感器202A捕获的全帧图像数据对象并且包括数据的相关部分(例如，感兴趣区域内的数据的行和/或列)来生成中间帧图像数据对象204A，使得R1-Rm行被剪裁(例如，从所捕获的全帧图像数据对象的顶部和底部中的每一者剪裁(R1-Rm)/2)。此外，就这一点而言，可通过将全帧图像数据对象包括在中间帧图像数据对象204B中并填充其余数据列(例如，填充其余Cm-C2数据列，其中(Cm-C2)/2数据列填充在中间帧图像数据对象的左侧和右侧中的每一者上)来生成中间帧图像数据对象204B。应当理解，此类剪裁可用于通过剪裁数据的一个或多个行和/或列来识别和/或以其他方式提取表示感兴趣区域的全帧图像数据对象的特定部分。类似地，应当理解，可以包括此类填充以填充中间帧图像数据对象的任何数量的行和/或列。

通过减少全帧图像数据对象与中间帧图像数据对象204A之间的行和/或列的数量(例如，通过剪裁全帧图像数据对象的特定部分以包括在中间帧图像数据对象204A中)，可以在不牺牲装置可用性的情况下用更高的帧频来分析中间帧图像数据对象204A。此外，通过增加行和/或列的数量以使中间帧图像尺寸标准化，实现了以标准化方式输出用于分析的图像数据对象，而无需额外的后处理硬件来进一步配置和/或标准化图像数据对象格式。此类示例性优点实现了以高性价比方式改善图像数据对象分析吞吐量和功效。

在基于期望的中间帧图像尺寸配置图像传感器202A和202B之后，图像传感器202A和图像传感器202B各自基于中间帧图像尺寸来生成对应中间帧图像数据对象。例如，如图所示，图像传感器202A可以从所捕获的全帧图像数据对象生成中间帧图像数据对象204A，中间帧图像数据对象204A具有由(Rm，Cm)表示的中间帧图像尺寸。类似地，图像传感器202B可以从第二捕获的全帧图像数据对象生成中间帧图像数据对象204B，中间帧图像数据对象204B也具有由(Rm，Cm)表示的中间帧图像尺寸。

如图所示，图像帧复用器206被配置为接收各种输入信道。具体地讲，图像传感器202A输出中间帧图像数据对象204A，并且图像传感器202B输出中间帧图像数据对象204B，其中图像帧复用器206接收每个中间帧图像数据对象。经由不同的输入信道接收中间帧图像数据对象中的每个中间帧图像数据对象，使得输入信道中的任一者可被选择用于由图像帧复用器206输出。图像帧复用器206被配置用于输出输入信道中的一个输入信道(例如，中间帧图像数据对象204A或中间帧图像数据对象204B)。图像帧复用器206接收用于控制用于输出的输入信道的帧选择信号208。例如，如图所示，图像帧复用器206基于帧选择信号208输出选定的图像数据对象210。选定的图像数据对象210体现了经由输入信道接收的数据对象中的一个数据对象(例如，中间帧图像数据对象204A或204B中的一者)，具体地讲，体现了经由由帧选择信号208表示的选定的输入信道接收的数据对象。就这一点而言，如图所示，选定的图像数据对象210体现了中间帧图像数据对象204A或中间帧图像数据对象204B。

如图所示，处理器212将帧选择信号208传输到图像帧复用器206。处理器212可生成用于传输到图像帧复用器206的帧选择信号208。处理器212使用确定的和/或预先确定的帧选择算法来生成帧选择信号208。在一些实施方案中，处理器212被配置为利用随机帧选择算法，使得对于每个循环，所生成的帧选择信号208在输入信道之间进行随机选择(例如，如图所示，在中间帧图像数据对象204A和中间帧图像数据对象204B之间随机选择)。另选地，在其他实施方案中，处理器212被配置为利用顺序帧选择算法，使得对于每个循环，所生成的帧选择信号208基于定义的顺序在输入信道之间进行选择(例如，如图所示，每个循环在中间帧图像数据对象204A和中间帧图像数据对象204B之间进行切换)。应当理解，随机帧选择算法可易于扩展以从任何数量的输入信道中进行选择(例如，在X个不同信道中的X个所接收的中间帧图像数据对象之间进行随机选择，其中X是数字)。类似地，应当理解，顺序帧选择算法可易于扩展以从任何数量的输入信道中进行选择(例如，在循环回到开始或在每次结束时反转方向之前，顺序地从X个所接收的中间帧图像数据对象中进行选择，其中X是数字)。

在其他实施方案中，处理器212处理一个或多个所接收的数据对象以生成帧选择信号208。例如，在一些实施方案中，为了生成帧选择信号208，处理器212处理从图像帧复用器206接收的所接收的选定的图像数据对象210。处理器212可处理选定的图像数据对象210以确定是否继续利用帧选择信号208的相同值，或者改变该值以选择不同的输入信道。例如，在一些实施方案中，处理器212处理选定的图像数据对象210以确定该数据对象是否包括足以执行特定图像处理任务的图像数据。在一些此类实施方案中，在处理器212例如通过成功处理图像数据并成功完成对应图像处理任务的至少一次迭代或操作来确定选定的图像数据对象210包括足够数据的情况下，帧选择信号208可保持不变，使得经由相同的输入信道接收后续选定的图像数据对象，因为此类图像数据对象足以用于任务。另选地，在一些此类实施方案中，在处理器212确定选定的图像数据对象210不包括足够数据的情况下，可改变帧选择信号208以选择不同的输入信道。在一些实施方案中，基于此类确定，基于随机帧选择算法或顺序帧选择算法生成所改变的值，如上所述。另选地，在一些其他实施方案中，基于选定的图像数据对象210生成帧选择信号208的所改变的值，例如以基于对选定的图像数据对象210的分析来预测将对图像处理任务执行最优的输入信道。应当理解，此类预测分析可利用预测算法、机器学习模型或其他图像处理算法。例如，在至少一个实施方案中，处理器被配置为处理选定的图像数据对象210以确定选定的图像数据对象210不包括用于完成对应的图像处理任务的充足信息，以及识别与预测为包括充足信息的不同图像传感器(例如，较大全帧的图像传感器或较小全帧图像尺寸的图像传感器)相关联的中间帧图像数据对象。除此之外或另选地，在一些实施方案中，即使当处理器成功完成图像处理任务时，处理器也被进一步配置，应当理解，用于基于处理选定的图像数据对象210来生成帧选择信号208的任何此类算法可扩展到生成用于从与任何数量的图像传感器相关联的任何数量的输入信道中进行选择的图像选择信号。

除此之外或另选地，为了生成帧选择信号208，在一些实施方案中，处理器212被配置用于执行期望的图像处理任务。例如，如图所示，处理器212被配置为从图像帧复用器206接收选定的图像数据对象210以用于与一个或多个图像处理任务相关联的处理。在示例性情况下，处理器212被配置为使用一个或多个体积测量算法(例如，用于确定对象的体积尺寸)、视觉标记检测算法(例如，用于条形码扫描和/或解码)、对象检测算法等来处理选定的图像数据对象210。除此之外或另选地，在一些实施方案中，处理器212被配置为基于处理选定的图像数据对象210的结果来执行一个或多个动作，并且/或者在完成时将处理的结果和/或选定的图像数据对象210传输到一个或多个其他部件(例如，显示器或其他处理硬件，未示出)。

具有输出和选择的中间帧图像数据对象的示例

因此，已经描述了本公开的示例性实施方案的示例性装置、部件和数据流，现在将描述中间帧图像数据对象生成和输出的可视化。应当理解，所述可视化包括可由上文相对于图1和/或图2所述的装置和部件生成和/或输出的多个非限制性示例中间帧图像数据对象。

图3示出了根据本公开的至少一些示例性实施方案的用于在双传感器环境中选择中间图像数据对象的图像帧复用器的功能的示例性可视化。就这一点而言，示例性可视化提供了上文相对于图2所述的中间帧图像数据对象选择过程的示例性可视化。应当理解，图3所示的具体图像尺寸和变量值仅仅是示例性的，并不限制本文所述实施方案的范围和精神。

因此，图3示出了第一全帧图像数据对象302和第二全帧图像数据对象304。具体地讲，第一全帧图像数据对象302具有由全帧列计数302A和全帧行计数302B表示的全帧图像尺寸。就这一点而言，如图所示，第一全帧图像数据对象302具有1920×1200分辨率，其中全帧列计数302A等于1920，全帧行计数302B等于1200。类似地，第二全帧图像数据对象304具有由全帧列计数304A和全帧行计数304B表示的全帧图像尺寸。就这一点而言，如图所示，第二全帧图像数据对象304具有1280×800分辨率，其中全帧列计数304A等于1280，全帧行计数304B等于1200。应当理解，第一图像传感器(未示出)可被配置为捕获第一全帧图像数据对象302，并且第二图像传感器(未示出)可被配置为捕获第二全帧图像数据对象304。

被配置为捕获第一全帧图像数据对象302和第二全帧图像数据对象304的图像传感器可各自基于特定的中间帧图像尺寸来配置。具体地讲，可基于两个图像传感器之间相同的中间帧图像尺寸来配置每个图像传感器，该中间帧图像尺寸由中间帧列计数310A和中间帧行计数310B表示。就这一点而言，中间帧图像尺寸具有1920×800分辨率，其中中间帧列计数310A等于1920(等于第一全帧图像数据对象302的全帧列计数302A)，并且中间帧行计数310B等于800(等于第二全帧图像数据对象304的全帧行计数304B)。因此，中间帧图像尺寸表示第一全帧图像数据对象302的1920x1200分辨率与第二全帧图像数据对象304的1280x800分辨率之间的分辨率。

如图所示，中间帧图像尺寸可用于生成第一中间帧图像数据对象306和第二中间帧图像数据对象308。具体地讲，被配置为捕获第一全帧图像数据对象302的图像传感器(未示出)可基于中间帧图像尺寸被配置为生成并输出第一中间帧图像数据对象306。就这一点而言，可以通过根据需要剪裁和/或填充第一全帧图像数据对象302以匹配全帧图像尺寸来生成第一中间帧图像数据对象306。如图所示，第一全帧图像数据对象302包括比可包括在中间帧图像尺寸中的行更多的行，因此可剪裁第一全帧图像数据对象302的特定部分以包括在第一中间帧图像数据对象306中。具体地讲，如图所示，第一全帧图像数据对象302包括的行数量比中间帧行计数310B允许的行数量多400行，并且因此可以从第一全帧图像数据对象302的顶部和底部剪裁200行(由虚线或“点线”指示)以识别用于包括在对应第一中间帧图像数据对象306中的数据的部分。如图所示，没有剪裁或填充列，因为列计数302A和310A匹配。因此，在剪裁第一全帧图像数据对象302之后，由所识别的数据部分体现的感兴趣区域来体现第一中间帧图像数据对象306。

类似地，被配置为捕获第二全帧图像数据对象304的图像传感器(未示出)可基于中间帧图像尺寸被配置为生成并输出第二中间帧图像数据对象308。就这一点而言，可以通过根据需要剪裁和/或填充第二全帧图像数据对象304以匹配全帧图像尺寸来生成第二中间帧图像数据对象308。如图所示，全帧图像数据对象包括比包括在中间帧图像尺寸中的列更少的列，因此附加的列填充必须包括在第二中间帧图像数据对象308中。具体地讲，第二全帧图像数据对象304包括的列比中间帧列计数310A要求的少640列。因此，可识别640列填充以包括在第二中间帧图像数据对象308中，具体地讲，具有位于图像数据左侧的320列填充数据和位于图像数据右侧的320列填充数据。如图所示，没有剪裁或填充行，因为行计数304B和310B匹配。因此，由具有足够列填充数据的第二全帧图像数据对象304来体现第二中间帧图像数据对象308。

如图所示，第一中间帧图像数据对象306和第二中间帧图像数据对象308中的每一者各自输出到图像帧复用器206。具体地讲，在分配了信道值0的第一输入信道中将第一中间帧图像数据对象306输出(例如，通过未示出的第一图像传感器)到图像帧复用器206。类似地，在分配了信道值1的第二输入信道中将第二中间帧图像数据对象308输出(例如，通过未示出的第二图像传感器)到图像帧复用器206。

图像帧复用器206被配置为例如从处理器(未示出)接收帧选择信号208。帧选择信号208体现了输入信道中的一个输入信道的值，使得帧选择信号208表示被选择用于由图像帧复用器206输出的输入信道。如图所示，帧选择信号208表示值0，指示由值0表示的输入信道被选择用于由图像帧复用器206输出。因此，图像帧复用器206输出经由由信道0表示的第一输入信道接收的数据对象。因此，可改变帧选择信号208以选择是输出第一中间帧图像数据对象306还是输出第二中间帧图像数据对象308，而无需激活和/或去激活任何对应的图像传感器。

应当理解，在一些实施方案中，可分析选定的中间帧图像数据对象以确定数据所源自的信道和/或图像传感器。例如，在将选定的中间帧图像数据对象输出到处理器的实施方案中，处理器可基于填充数据的量来识别选定的中间帧图像数据对象所源自的图像传感器。例如，如图所示，可以处理第一中间帧图像数据对象306，以基于不存在填充数据来确定第一中间帧图像数据对象306源自第一图像传感器。类似地，如果第二中间帧图像数据对象308被选择用于输出，则处理器可识别第二中间帧图像数据对象308内的填充数据以确定该数据对象源自第二图像传感器。在一些此类实施方案中，处理器可存储和/或以其他方式访问与每个图像传感器相关联的信息(例如，与每个图像传感器相关联的全帧图像尺寸)以进行此类确定。应当理解，此类处理可用于识别源自多个图像传感器中的任一个图像传感器的中间帧图像数据对象，例如如下文相对于图4所述。

图4示出了多个全帧图像数据对象和对应中间帧图像数据对象，每个对应中间帧图像数据对象与中间帧图像数据对象之间相同的特定中间帧图像尺寸相关联。就这一点而言，图4可以与多传感器环境相关联，使得所示全帧图像数据对象中的每个全帧图像数据对象由不同的图像传感器捕获，该图像传感器被配置为生成对应中间帧图像数据对象以用于输出到图像帧复用器。应当理解，全帧图像数据对象和对应的中间帧图像数据对象的数量以及所示的图像尺寸仅仅是示例性的。

图4描绘了多个全帧图像数据对象402A至402D，每个全帧图像数据对象具有不同的分辨率。全帧图像数据对象402A至402D各自与多个中间帧图像数据对象404A至404D的对应中间帧图像数据对象相关联。中间帧图像数据对象404A至404D中的每个中间帧图像数据对象与相同的中间帧图像尺寸相关联。具体地讲，中间帧图像尺寸为1920×1050分辨率，具有1920的中间帧列计数和1050的中间帧行计数。就这一点而言，可通过从对应全帧图像数据对象剪裁数据和/或对对应全帧图像数据对象填充数据来生成中间帧图像数据对象404A至404D中的每个中间帧图像数据对象。

例如，图4示出了第一全帧图像数据对象402A和对应第一中间帧图像数据对象404A。第一全帧图像数据对象402A具有第一全帧图像尺寸，由1920的第一全帧列计数和1200的第一全帧行计数表示。因此，第一全帧图像数据对象与匹配中间帧列计数的全帧列计数相关联，使得在该方向上不需要填充或剪裁。第一全帧图像数据对象402A与超过中间帧行计数的全帧行计数相关联(1200与1050相比)。因此，第一中间帧图像数据对象404A包括经剪裁的图像数据部分406A，其中经剪裁的图像数据部分406A包括剪裁多个数据行(由如图所示由虚线或“点线”剪裁的区域指示)之后第一全帧图像数据对象402A的数据部分。具体地讲，经剪裁的图像数据部分406A包括具有从第一全帧图像数据对象402A的顶部和底部中的每一者剪裁75行的第一全帧图像数据对象402A的数据(例如，使得总剪裁的行等于两行计数之间的差值150)。

此外，例如，图4示出了第二全帧图像数据对象402B和对应第二中间帧图像数据对象404B。第二全帧图像数据对象402B具有第二全帧图像尺寸，由1680的第二全帧列计数和1050的第二全帧行计数表示。因此，第二全帧图像数据对象402B与匹配中间帧行计数的全帧行计数相关联，使得在该方向上不需要行填充或剪裁。第二全帧图像数据对象402B与少于中间帧列计数的全帧列计数相关联(1680与1920相比)。因此，第二中间帧图像数据对象404B包括第二全帧图像数据对象402B以及附加列的必要图像数据填充406B。具体地讲，第二中间帧图像数据对象404B包括第二全帧图像数据对象402B以及第二全帧图像数据对象402B的左侧和右侧中的每一者上的120列填充数据的图像数据填充406B(例如，使得总图像数据填充406B等于两列计数之间的差值240)。

此外，例如，图4示出了第三全帧图像数据对象402C和对应第三中间帧图像数据对象404C。第三全帧图像数据对象402C具有第三全帧图像尺寸，由1440的第三全帧列计数和900的第三全帧行计数表示。第三全帧图像数据对象402C与少于中间帧列计数的全帧列计数相关联(1440与1920相比)。另外，第三全帧图像数据对象402C与少于中间帧行计数的全帧行计数相关联(900与1050相比)。因此，第三中间帧图像数据对象404C包括第三全帧图像数据对象402C以及附加列和行的必要图像数据填充406C。具体地讲，第三中间帧图像数据对象404C包括第三全帧图像数据对象402C以及第三全帧图像数据对象402C的左侧和右侧中的每一者上的240列填充数据(例如，使得图像数据填充406C的总填充列等于两列计数之间的差值480)和第三全帧图像数据对象402C的顶部和底部中的每一者上的150行填充数据(例如，使得图像数据填充406C的总填充行等于两行计数之间的差值300)的图像数据填充406C。

此外，例如，图4示出了第四全帧图像数据对象402D和对应第四中间帧图像数据对象404D。第四全帧图像数据对象402D具有第四全帧图像尺寸，由1280的第四全帧列计数和800的第四全帧行计数表示。第四全帧图像数据对象402D与少于中间帧列计数的全帧列计数相关联(1280与1920相比)。另外，第四全帧图像数据对象402D与少于中间帧行计数的全帧行计数相关联(800与1200相比)。因此，第四中间帧图像数据对象404D包括第四全帧图像数据对象402D以及附加列和行的必要图像数据填充406D。具体地讲，第四中间帧图像数据对象404D包括第四全帧图像数据对象402D以及第四全帧图像数据对象402D的左侧和右侧中的每一者上的320列填充数据(例如，使得图像数据填充406D的总填充列等于两列计数之间的差值640)和第四全帧图像数据对象402D的顶部和底部中的每一者上的200行填充数据(例如，使得图像数据填充406D的总填充行等于两行计数之间的差值400)的图像数据填充406D。

中间帧图像数据对象404A至404D中的每个中间帧图像数据对象可以由对应图像传感器输出到用于选择的图像帧复用器。类似地，应当理解，可处理中间帧图像数据对象404A至404D中的每个每个中间帧图像数据对象以识别中间帧图像数据对象所源自的图像传感器。例如，通过确定特定中间帧图像数据对象中的填充行和填充列的数量，处理器可以从已知分辨率集合中确定原始图像的分辨率，每个分辨率与特定图像传感器相关联。就这一点而言，中间帧图像数据对象可用于生成新的帧选择信号，或者用于直接从对应图像传感器请求数据(例如，当处理器确定中间帧图像数据对象由于例如裁剪而丢失重要数据时，从传感器请求全帧图像数据对象)。

应当理解，在其他实施方案中，中间帧图像数据对象可以与不同的中间帧图像尺寸相关联。例如，在一些实施方案中，中间帧图像尺寸可以表示所有全帧图像尺寸的行和列的最大数量(例如，如图所示的1920×1200)，使得可以通过在每个方向上填充每个较小的全帧图像数据对象来生成每个中间帧图像数据对象。此外，在其他实施方案中，中间帧图像尺寸可以表示全帧图像尺寸的行和列的最小数量(例如，如图所示的1280×800)，使得可以通过剪裁每个较小全帧图像数据对象的特定区域来生成每个中间帧图像数据对象。

用于中间帧图像处理的示例性过程

已经根据本公开的示例性实施方案描述了具有对应中间帧图像数据对象的各种示例性装置、部件、数据流和各种示例性全帧图像数据对象，示出了利用中间帧图像数据对象进行图像处理的示例性过程(称为“中间帧图像处理”)。就这一点而言，应当理解，本文所述的过程可经由本文所述的装置和/或特定部件被实现为计算机实现的过程。除此之外或另选地，应当理解，所述过程可包括一个或多个任选的操作(以虚线或“点线”示出)。在一些实施方案中，在所述过程内不执行任何任选操作、一些任选操作或全部任选操作。

图5示出了根据本公开的至少一些示例性实施方案的包括用于中间帧图像处理的示例性操作的示例性流程图。示例性操作体现了过程(或“方法”)500。在一些实施方案中，应当理解，示例性操作体现了将由装置(例如，上文相对于图1所述的中间帧成像装置100)和/或由一个或多个硬件部件(例如，上文相对于图2所述的那些硬件部件)执行的计算机实现的过程。

在任选框502处，过程500包括由处理器基于中间帧图像尺寸来配置多个图像传感器中的至少一个图像传感器。就这一点而言，处理器可基于中间帧图像尺寸将该至少一个图像传感器配置用于生成并输出中间帧图像数据对象。在一些实施方案中，在任选框502处，配置所有多个图像传感器。在其他实施方案中，仅配置多个图像传感器的子集，例如，其中一个或多个图像传感器捕获与匹配中间帧图像尺寸的全帧图像尺寸相关联的全帧图像数据对象。在一些实施方案中，利用下文相对于图7所述的过程来配置多个图像传感器。在其他实施方案中，利用除处理器之外的计算硬件(例如外部计算硬件)来配置多个图像传感器中的至少一个(或全部)图像传感器。

在框504处，过程500包括将多个中间帧图像数据对象从多个图像传感器输出到图像帧复用器。多个中间帧图像数据对象中的每个中间帧图像数据对象与中间帧图像尺寸相关联，使得多个图像传感器中的每个图像传感器生成中间帧图像尺寸的中间帧图像数据对象，而不管由每个图像传感器捕获的全帧图像数据对象的全帧图像尺寸如何。在一些实施方案中，每个图像传感器将对应中间帧图像数据对象输出到图像帧复用器的不同输入信道。应当理解，在至少一些实施方案中，由在任选框502处配置的相同多个图像传感器来体现多个图像传感器。在一些实施方案中，框504包括将多个图像传感器中的每个图像传感器设定为特定模式，以使多个图像传感器输出中间帧图像数据对象。在一些实施方案中，处理器被配置为直接连接多个图像传感器以配置感兴趣的传感器区域。除此之外或另选地，在一些实施方案中，处理器和/或每个图像传感器被配置为捕获全帧图像数据对象，并且随后基于一个或多个软件具体实施剪裁和/或填充图像数据。

在框506处，过程500包括由图像帧复用器从多个中间帧图像数据对象中选择选定的中间帧图像数据对象。在一些此类实施方案中，图像帧复用器接收用于选择特定输入信道的帧选择信号，每个输入信道与所接收的中间帧图像数据对象中的一者相关联。就这一点而言，图像帧复用器被配置为基于帧选择信号来选择输入信道，识别与选定的输入信道相关联的中间帧图像数据对象，并且输出所识别的中间帧图像数据对象。例如，图像帧复用器可以从处理器接收帧选择信号，以用于通过切换以仅使单个输入信道能够连接到输出信道来基于帧选择信号从多个中间帧图像数据对象中选择选定的中间帧图像数据对象。通过选择选定的中间帧图像数据对象，图像帧复用器被配置为经由输出信道输出选定的中间帧图像数据对象。在其他实施方案中，图像帧复用器从控制器硬件接收帧选择信号，该控制器硬件被配置为生成帧选择信号并且/或者以其他方式将帧选择信号传输到图像帧复用器。在一些实施方案中，与图像帧复用器相关联的控制器硬件能够与处理器进行通信，以接收更新信号和/或确定帧选择信号的值和/或确定何时更新帧选择信号。在其他实施方案中，与图像帧复用器相关联的控制器硬件独立于处理器。

在框508处，过程500包括由处理器从图像帧复用器接收选定的中间帧图像数据对象。就这一点而言，处理器可被连接以接收通过图像帧复用器的输出信道输出的数据对象。应当理解，就这一点而言，图像帧复用器可通过多种已知通信方法(包括通过硬连线连接、另选的有线连接和/或无线连接)中的任一种通信方法将选定的中间帧图像数据对象传输到处理器。

在框510处，过程500包括由处理器处理选定的中间帧图像数据对象。在一些此类实施方案中，处理器被配置为利用多种图像处理算法中的任一种图像处理算法来处理选定的中间帧图像数据对象。处理器可出于多种目的中的任一种目的来处理选定的中间帧图像数据对象。例如，在一些实施方案中，处理器可处理用于特定图像处理任务的选定的中间帧图像数据对象。除此之外或另选地，在一些实施方案中，处理器可处理选定的中间帧图像数据对象以确定选定的中间帧图像数据对象中是否有重要数据丢失(例如，由于剪裁)，以便确定是否请求全帧图像数据对象。除此之外或另选地，在一些实施方案中，处理器可处理选定的中间帧图像数据对象以用于更新帧选择信号。应当理解，可利用任何数量的计算机实现的算法来执行每个处理任务。

在任选框512处，过程500包括由处理器更新控制图像帧复用器的帧选择信号。处理器可基于一个或多个帧选择算法来生成所更新的帧选择信号。例如，在一些实施方案中，处理器被配置用于利用随机帧选择算法或顺序帧选择算法来更新帧选择信号。除此之外或另选地，在一些实施方案中，处理器被配置用于基于处理选定的中间帧图像数据对象的结果来更新帧选择信号。例如，在一些实施方案中，处理器处理选定的中间帧图像数据对象，以确定其中的数据是否足以用于图像处理任务，以及/或者是否预测与不同输入信道相关联的另一个图像传感器提供更有用的图像。就这一点而言，基于此类分析，处理器可更新帧选择信号以反映预测接收更有用数据的输入信道。在其他实施方案中，处理器被配置为更新与图像帧复用器相关联的控制器硬件，以使控制器硬件更新帧选择信号。

图6示出了根据本公开的至少一些示例性实施方案的示例性流程图，该示例性流程图包括用于中间帧图像处理的示例性附加操作，具体地包括用于请求和处理与选定的中间帧图像数据对象相关联的选定的全帧图像数据对象的附加操作。示例性操作体现了过程(或“方法”)600。在一些实施方案中，应当理解，示例性操作体现了将由装置(例如，上文相对于图1所述的中间帧成像装置100)和/或由一个或多个硬件部件(例如，上文相对于图2所述的那些硬件部件)执行的计算机实现的过程。

在至少一些实施方案中，过程600发生在过程500的一个或多个框之后。就这一点而言，过程600可在框510或任选框512之后开始，如相对于图5所述。在至少一些实施方案中，过程600作为在框510处处理中间帧图像数据对象的结果而发生以进行一个或多个确定。例如，在一些实施方案中，过程600响应于由处理器处理选定的中间帧图像数据对象而发生，以确定选定的中间帧图像数据对象中的有用的数据丢失(例如，已经剪裁所需和/或有助于有效或高效完成图像处理任务的数据)。

在框602处，过程600包括由处理器从多个图像传感器中识别选定的图像传感器。处理器至少基于选定的中间帧图像数据对象来识别选定的图像传感器。例如，在一些实施方案中，处理器基于选定的中间帧图像数据对象内的填充数据和/或图像数据来识别选定的图像传感器，其中此类数据用于将选定的中间帧图像数据对象链接到与选定的图像传感器相关联的分辨率。在一些实施方案中，处理器被配置为存储和/或以其他方式访问与多个图像传感器中的每个图像传感器相关联的分辨率数据、配置数据和/或其他信息，以用于基于选定的中间帧图像数据对象识别选定的图像传感器。在一些实施方案中，处理器被配置为与多个图像传感器中的每个图像传感器直接进行通信以接收分辨率数据、配置数据等，以用于与选定的中间帧图像数据对象进行比较。在一些其他实施方案中，处理器被配置为与数据存储装置(例如，存储器设备)进行通信以检索此类数据。

在框604处，过程600包括由处理器向选定的图像传感器传输全帧请求信号。全帧请求信号包括专门配置的信息，该信息指示从选定的图像传感器接收与选定的中间帧图像数据对象相关联的全帧图像数据对象或随后捕获的全帧图像数据对象的请求。在一些实施方案中，处理器直接传输全帧请求信号(例如，通过选定的图像传感器和处理器之间的一个或多个有线连接)。在其他实施方案中，处理器通过一个或多个中间部件间接传输全帧请求信号。

在一些实施方案中，全帧请求信号被配置为使得选定的图像传感器从缓冲器、临时存储装置或永久存储装置传输全帧请求信号。在其他实施方案中，全帧请求信号被配置为使得选定的图像传感器传输随后捕获的全帧图像数据对象。除此之外或另选地，在一些实施方案中，全帧请求信号使得选定的图像传感器改变便于传输全帧图像数据对象的一种或多种模式。例如，在一些实施方案中，全帧请求信号使得选定的图像传感器将输出模式改变为使得输出所捕获的全帧图像数据对象而不是输出对应中间帧图像数据对象的模式。此类模式可持续到接收到后续信号，持续有限的时间量或持续多次捕获为止。

在一些实施方案中，全帧请求信号使得重新配置选定的图像传感器以输出全帧图像数据对象而不是中间帧图像数据对象。例如，就这一点而言，全帧请求信号可基于全帧图像尺寸对选定的图像传感器重新格式化。在一些实施方案中，使得选定的图像传感器在重新配置选定的图像传感器之后捕获全帧图像数据对象。

在框606处，过程600包括由处理器从选定的图像传感器接收选定的全帧数据对象。应当理解，全帧图像数据对象包括选定的中间帧图像数据对象的更多数据。就这一点而言，在至少一个示例性情况下，当生成选定的中间帧图像帧数据对象时，全帧图像数据对象包括先前剪裁的图像数据。在其他实施方案中，全帧图像数据对象包括由选定的图像传感器捕获的新的全帧图像数据。因此，选定的全帧图像数据对象可以包括可用于由处理器执行的图像处理任务的数据，其中有用的数据先前被剪裁掉。就这一点而言，在中间帧图像数据对象不足以成功(或有效)完成图像处理任务的情况下，可以接收和处理对应选定的全帧图像以用于此类目的。在一些情况下，如果正发出的全帧请求信号的数量超过特定阈值，则可能需要增加中间帧图像尺寸以最佳地完成图像处理任务。在一些此类实施方案中，处理器可自动执行此类中间帧图像尺寸重新配置，或者操作者可执行此类中间帧图像尺寸重新配置。

在一些实施方案中，处理器经由图像帧复用器接收选定的全帧图像数据对象。例如，在一些实施方案中，在传输全帧请求信号时(例如，在框604处)，处理器将图像帧复用器配置为继续从与选定的图像传感器相关联的输入信道输出，使得该图像帧复用器在帧捕获的持续时间内继续从与选定的图像传感器相关联的输入信道输出数据。就这一点而言，图像帧复用器继续从选定的图像传感器输出全帧图像数据对象，直到选定的全帧图像数据对象由处理器接收和/或处理。

在框608处，过程600包括由处理器处理选定的全帧图像数据对象。这样做时，处理器能够基于所有捕获的数据来执行图像处理任务，使得先前剪裁的数据被恢复并且可用于分析。就这一点而言，处理选定的全帧图像数据对象可以实现成功完成图像处理任务，或者提高此类结果的准确性。通过最小化选定的全帧图像数据对象被请求的次数(并且因此，在实际情况下，依赖于中间帧图像数据对象)，本公开的实施方案可以保持改善的平均吞吐量，同时实现在原本将导致错误或效率和/或功效降低的情况下访问全帧图像数据对象。

图7示出了根据本公开的至少一些示例性实施方案的示例性流程图，该示例性流程图包括用于中间帧图像处理的示例性附加操作，具体地包括用于基于中间帧图像尺寸配置一个或多个图像传感器的示例性附加操作。示例性操作体现了过程(或“方法”)700。在一些实施方案中，应当理解，示例性操作体现了将由装置(例如，上文相对于图1所述的中间帧成像装置100)和/或由一个或多个硬件部件(例如，上文相对于图2所述的那些硬件部件)执行的计算机实现的过程。

在至少一些实施方案中，过程700发生在过程500的一个或多个框之后或代替过程500的一个或多个框。就这一点而言，过程700可代替上文相对于图5所述的任选框502而发生。在完成过程700或其中的操作的子集时，流程可以继续进行到另一个过程的一个或多个其他操作。例如，如图所示，流程可返回到过程500的框504，如上文相对于图5所述。

在框702处，过程700包括由处理器识别与多个图像传感器相关联的多个全帧图像尺寸。在一些实施方案中，处理器可与多个图像传感器中的每个图像传感器直接进行通信。在一些此类实施方案中，处理器可从多个图像传感器中的每个图像传感器请求表示全帧图像尺寸的分辨率数据。除此之外或另选地，在一些实施方案中，处理器被配置为通过从对应图像传感器接收全帧图像数据对象，直接或间接地通过一个或多个其他部件(例如，图像帧复用器)以及从每个全帧图像数据对象确定全帧图像尺寸，来识别多个图像传感器中的每个图像传感器的全帧图像尺寸。在其他实施方案中，处理器从临时或永久数据存储装置(例如，由一个或多个存储器设备来体现)访问多个全帧图像尺寸。

在框704处，过程700包括由处理器基于多个全帧图像尺寸来确定最大图像尺寸。类似地，在框706处，过程700包括由处理器基于多个全帧图像尺寸来确定最小图像尺寸。在一些实施方案中，处理器被配置用于基于多个全帧图像尺寸中的各种全帧图像尺寸之间的比较来确定最大图像尺寸和/或最小图像尺寸。应当理解，用于确定多个图像尺寸中的最大和/或最小图像尺寸的任何已知算法可用于从多个全帧图像尺寸中确定最小图像尺寸和/或最大图像尺寸。

在框708处，过程700包括由处理器基于最大图像尺寸和最小图像尺寸来生成中间帧图像尺寸。在一些实施方案中，中间帧图像尺寸被生成为落在最大图像尺寸和最小图像尺寸之间，并且基于期望的吞吐量和/或图像处理任务。就这一点而言，例如，可基于最大图像尺寸的全帧行计数来生成中间帧行计数，并且可基于最小图像尺寸的全帧列计数来生成中间帧列计数(或相反)，其中中间帧行计数和中间帧列计数形成中间帧图像尺寸。在其他实施方案中，基于多个全帧图像尺寸(例如，最大图像尺寸和最小图像尺寸之间的全帧图像尺寸)中的一个或多个中间图像尺寸的行计数和/或列计数来选择中间帧图像尺寸。

在其他实施方案中，任何图像传感器的最大全帧图像尺寸被用作中间帧图像尺寸。在一些此类实施方案中，多个图像传感器中的每个其他图像传感器可被配置为填充所捕获的图像数据对象以扩展所捕获的图像数据对象，从而匹配中间帧图像尺寸。在其他实施方案中，任何图像传感器的最小全帧图像尺寸被用作中间帧图像尺寸。在一些此类实施方案中，多个图像传感器中的每个其他图像传感器可被配置为剪裁所捕获的图像数据的相关部分以在一个或多个方向上匹配中间帧图像尺寸。

在框710处，过程700包括由处理器基于中间帧图像尺寸将多个图像传感器中的至少一个图像传感器配置为输出中间帧图像数据对象。在一些实施方案中，处理器将中间帧图像尺寸传输到多个图像传感器中的至少一个图像传感器中的每个图像传感器，并且/或者传输指示所接收的数据应用于设定一种或多种模式以及/或者存储以用于生成未来中间帧图像数据对象的配置信号。例如，在一些实施方案中，每个图像传感器被配置为响应于接收到中间帧图像尺寸，激活与输出中间帧图像数据对象相关联的特定输出模式。除此之外或另选地，接收中间帧图像尺寸的每个图像传感器存储中间帧图像尺寸以用于后续中间帧图像数据对象生成。

图8示出了根据本公开的至少一些示例性实施方案的示例性流程图，该示例性流程图包括用于中间帧图像处理的示例性附加操作，具体地包括用于生成并输出中间帧图像数据对象的示例性附加操作。示例性操作体现了过程(或“方法”)800。在一些实施方案中，应当理解，示例性操作体现了将由装置(例如，上文相对于图1所述的中间帧成像装置100)执行的计算机实现的过程。例如，在一些实施方案中，由中间帧成像装置的图像传感器和/或对应支持电路执行相对于图8所示的操作。应当理解，多个图像传感器中的每个图像传感器可被配置为独立于其他图像传感器来执行过程900。应当理解，可由任何数量的图像传感器独立地重复过程900。

在框802处，过程800包括基于所接收的中间帧图像尺寸来配置图像传感器。就这一点而言，在一些实施方案中，图像传感器基于中间帧图像尺寸被配置为捕获中间帧图像数据对象。在一些实施方案中，图像传感器被配置为在捕获中间帧图像数据对象时执行一个或多个图像数据操纵操作(例如，剪裁和/或填充)。

在框804处，过程800包括基于所接收的中间帧图像尺寸和全帧图像尺寸来捕获中间帧图像数据对象。全帧图像尺寸可与图像传感器相关联，例如，其中图像传感器被配置为捕获全帧图像尺寸的全帧图像数据对象。就这一点而言，为了捕获中间帧图像数据对象，图像传感器可裁剪和/或填充由图像传感器捕获的数据。例如，可基于全帧图像尺寸和所配置的中间帧图像尺寸之间的差值来捕获中间帧图像数据对象，使得从所捕获的数据剪裁足够的数据并且/或者将足够的数据填充到所捕获的数据。在一些此类实施方案中，如下文相对于图10所述来执行所捕获的数据的裁剪和/或填充。

在框806处，过程800包括将中间帧图像数据对象传输到图像帧复用器。在一些此类实施方案中，例如，图像传感器被配置为具有连接(例如，有线连接)到图像帧复用器的输入信道的输出信道。就这一点而言，图像传感器可通过此类连接传输中间帧图像数据对象，使得中间帧图像复用器通过与传感器相关联的限定的输入信道接收中间帧图像数据对象。多个图像传感器可各自利用各种输入信道将其生成的中间帧图像数据对象传输到图像帧复用器，可由如本文所述的图像帧复用器从这些输入信道中进行选择。

图9示出了根据本公开的至少一些示例性实施方案的示例性流程图，该示例性流程图包括用于中间帧图像处理的示例性附加操作，具体地包括用于生成并输出中间帧图像数据对象的特定具体实施。示例性操作体现了过程(或“方法”)900。在一些实施方案中，应当理解，示例性操作体现了将由装置(例如，上文相对于图1所述的中间帧成像装置100)执行的计算机实现的过程。例如，在一些实施方案中，由中间帧成像装置的图像传感器和/或对应支持电路执行相对于图9所示的操作。应当理解，多个图像传感器中的每个图像传感器可被配置为独立于其他图像传感器来执行过程900。应当理解，可由任何数量的图像传感器独立地重复过程900。

在框902处，过程900包括捕获与全帧图像尺寸相关联的全帧图像数据对象。应当理解，图像传感器可被配置为使用多种已知方法中的任一种方法来捕获全帧图像数据对象。此外，就这一点而言，应当理解，图像传感器可基于图像传感器(例如，CCD、CMOS等)的具体实施使用不同的方法来捕获全帧图像数据对象。在具有多个图像传感器的一些实施方案中，可使用任何数量的图像传感器类型(例如，所有相同的图像传感器类型、所有不同的图像传感器类型，或特定图像传感器类型的一些图像传感器和一些其他图像传感器类型)。

在框904处，过程900包括识别中间帧图像尺寸。就这一点而言，图像传感器可能先前已被配置为具有中间帧图像尺寸。例如，可已如上文相对于图7所述配置图像传感器。就这一点而言，图像传感器和/或对应支持电路可从能够与此类部件进行通信的数据存储装置识别中间帧图像尺寸。

在框906处，过程900包括基于全帧图像尺寸和中间帧图像尺寸来识别全帧图像数据对象的经剪裁的图像数据部分。经剪裁的图像数据部分表示匹配或小于中间帧图像尺寸的全帧图像尺寸内的特定感兴趣的区域。在一些实施方案中，通过从全帧图像数据对象剪裁至少一个数据行以及/或者从全帧图像数据对象剪裁至少一个数据列来识别全帧图像数据对象的经剪裁的图像数据部分。应当理解，如果全帧图像数据对象的全帧图像尺寸在列数和行数两者上均小于中间帧图像尺寸，则经剪裁的图像数据部分可体现整个全帧图像数据对象。在本文相对于图9所述的操作中提供了用于基于全帧图像尺寸和中间帧图像尺寸来识别全帧图像数据对象的经剪裁的图像数据部分的示例性过程。

在框908处，过程900包括基于全帧图像尺寸和中间帧图像尺寸来识别图像数据填充。图像数据填充包括要填充有填充数据的行数和/或列数。就这一点而言，图像填充数据可用于拟合全帧图像尺寸和中间帧图像尺寸之间的差值。在本文相对于图9所述的操作中提供了用于基于全帧图像尺寸和中间帧图像尺寸来识别图像数据填充的示例性过程。

在框910处，过程900包括基于全帧图像数据对象的经剪裁的图像数据部分和图像数据填充来生成中间帧图像数据对象。在一些此类实施方案中，中间帧图像数据对象被生成为包括在中间帧图像数据对象内居中的经剪裁的图像数据部分，其中图像数据填充均匀分布在经剪裁的图像数据部分周围。就这一点而言，任何图像数据填充都可以在中间帧图像数据对象的各个边之间均匀划分(例如，行图像数据填充的一半在中间帧图像数据对象顶部，行图像数据填充的一半在中间帧图像数据对象下方，列图像数据填充的一半在中间帧图像数据对象左侧，以及列图像数据填充的一半在中间帧图像数据对象右侧)。在一些实施方案中，例如，在经剪裁的图像数据部分包括匹配中间帧图像尺寸的行和列的数量的情况下，由经剪裁的图像数据部分来体现中间帧图像数据对象。

在框912处，过程900包括将中间帧图像数据对象传输到图像帧复用器。在一些此类实施方案中，例如，图像传感器被配置为具有连接(例如，有线连接)到图像帧复用器的输入信道的输出信道。就这一点而言，图像传感器可通过此类连接传输中间帧图像数据对象，使得中间帧图像复用器通过与传感器相关联的限定的输入信道接收中间帧图像数据对象。多个图像传感器可各自利用各种输入信道将其生成的中间帧图像数据对象传输到图像帧复用器，可由如本文所述的图像帧复用器从这些输入信道中进行选择。

图10示出了根据本公开的至少一些示例性实施方案的示例性流程图，该示例性流程图包括用于中间帧图像处理的示例性附加操作，具体地包括用于识别特定全帧图像数据对象的经剪裁的图像数据部分和/或图像数据填充的示例性附加操作。示例性操作体现了过程(或“方法”)1000。在一些实施方案中，应当理解，示例性操作体现了将由装置(例如，上文相对于图1所述的中间帧成像装置100)执行的计算机实现的过程。例如，在一些实施方案中，由中间帧成像装置的图像传感器和/或对应支持电路执行相对于图10所示的操作。应当理解，多个图像传感器中的每个图像传感器可被配置为独立于其他图像传感器来执行过程1000。还应当理解，可由任何数量的图像传感器独立地重复过程1000。

在至少一些实施方案中，过程1000发生在过程1000的一个或多个框之后或代替过程1000的一个或多个框。就这一点而言，过程1000可代替上文相对于图9所述的框906和908而发生。在完成过程1000或其中的操作的子集时，流程可以继续进行到另一个过程的一个或多个其他操作。例如，如图所示，流程可返回到过程1000的框910，如上文相对于图9所述。

在框1002处，过程1000包括基于中间帧行计数和全帧行计数之间的差值和/或中间帧列计数和全帧列计数之间的差值来识别全帧图像数据对象的经剪裁的图像数据部分。就这一点而言，可通过剪裁出全帧图像尺寸和中间帧图像尺寸之间的行和/或列的差值来从全帧图像数据对象中识别经剪裁的图像数据部分。应当理解，在一些示例中，仅从全帧图像数据对象剪裁数据行的数量，并且在其他情况下，仅从全帧图像数据对象剪裁数据列的数量，而在另外其他情况下，从全帧图像数据对象剪裁数据行的数量和数据列的数量两者。

当剪裁全帧图像数据对象时，可以从全帧图像数据对象的边均匀剪裁行计数和/或列计数之间的差值。就这一点而言，可从全帧图像数据对象的顶部和全帧图像数据对象的底部均匀地剪裁中间帧行计数和全帧行计数之间的差值，使得从每个边剪裁该差值的一半。在行差值为200的特定非限制性示例中，可从全帧图像数据对象的顶部剪裁100个数据行，并且可从全帧图像数据对象的底部剪裁100个数据行。类似地，可从全帧图像数据对象的左侧和全帧图像数据对象的右侧均匀地剪裁中间帧列计数和全帧列计数之间的差值，使得从每个边剪裁该差值的一半。在列差值为240的特定非限制性示例中，可从全帧图像数据对象的左侧剪裁120个数据列，并且可从全帧图像数据对象的右侧剪裁120个数据列。在剪裁数据行之后，其余数据行表示全帧图像数据对象的经剪裁的图像数据部分。

在其他具体实施中，可基于特定感兴趣的区域来使用其他剪裁方法。在一些实施方案中，可基于要完成的图像处理任务从各个边剪裁一定百分比的数据。例如，在第一非限制性示例中，可从全帧图像数据对象的顶部剪裁100％的数据行，其中图像处理任务可能需要所捕获的全帧图像数据对象的底部。另选地，在另一个非限制性示例中，可从全帧图像数据对象的左侧剪裁75％，并且可从右侧剪裁25％，其中图像处理任务可能在全帧图像数据对象的中间到中间偏右部分中包括有用的数据。

在全帧行计数不大于中间帧行计数并且全帧列计数不大于中间帧列计数的情况下，应当理解，不需要剪裁所捕获的数据。就这一点而言，在两个方向上(例如，在行和列中)，全帧图像尺寸等于或小于中间帧图像尺寸。因此，经剪裁的图像数据部分包括没有剪裁的所捕获的数据，并且因此表示要包括在所生成的中间帧图像数据对象中的完整帧图像数据对象的整体。

在一些实施方案中，过程1000包括关于是否应剪裁所捕获的数据的一个或多个确定步骤。例如，在至少一些实施方案中，过程1000包括确定全帧行计数是否大于中间帧行计数，以及/或者全帧列计数是否大于中间帧列计数。就这一点而言，由图像传感器捕获的全帧数据对象与表示全帧行计数(指示全帧图像数据对象中的数据行的数量)和全帧列计数(指示全帧图像数据对象中的数据列的数量)的全帧图像尺寸相关联。类似地，中间帧图像尺寸表示中间帧行计数和中间帧列计数，中间帧行计数指示要包括在对应中间帧图像数据对象中的数据行的数量，中间帧列计数指示要包括在对应中间帧图像数据对象中的数据列的数量。因此，可将全帧行计数与中间帧行计数进行比较，以确定全帧行计数是大于中间帧行计数，还是等于或小于中间帧行计数。类似地，可将全帧列计数与中间帧列计数进行比较，以确定全帧列计数是否大于中间帧列计数。在一些实施方案中，提供了用于执行此类比较的图像传感器和/或支持硬件。过程1000可继续基于该比较来识别经剪裁的图像数据部分。例如，在全帧行计数大于中间帧行计数、全帧列计数大于中间帧列计数或两者同时存在的情况下，过程1000包括基于中间帧行计数和全帧行计数之间的差值和/或中间帧列计数和全帧列计数之间的差值来识别全帧图像数据对象的经剪裁的图像数据部分。在全帧行计数不大于中间帧行计数并且全帧列计数不大于中间帧列计数的情况下，过程1000包括识别包括全帧图像数据对象整体的经剪裁的图像数据部分。

在框1004处，过程1000包括基于中间帧行计数和全帧行计数之间的差值和/或中间帧列计数和全帧列计数之间的差值来识别图像数据填充。就这一点而言，可以识别中间帧行计数和全帧行计数之间的差值(例如，Rp＝Rm-Rf，其中Rp是图像数据填充行计数，Rm是中间帧行计数，并且Rf是全帧行计数)以用作第一方向上的填充(例如，中间帧图像数据对象的顶部和/或底部上的竖直填充)。类似地，就这一点而言，可以识别中间帧列计数与全帧列计数之间的差值(例如，Cp＝Cm-Cf，其中Cp是图像数据填充列计数，Cm是中间帧列计数，并且Cf是全帧列计数)用作第二方向上的填充(例如，中间帧图像数据对象的左侧和/或右侧上的水平填充)。就这一点而言，图像数据填充可以体现图像数据填充列计数和图像数据填充行计数的组合(例如，(Cp，Rp))。

应当理解，可以基于中间帧图像数据对象的每个边的特定分布来识别填充。例如，在一些实施方案中，图像数据填充包括表示对应中间帧图像数据对象的每个边的填充的各种值。就这一点而言，图像数据填充可以由(Cp_左侧，Rp_顶部，Cp_右侧，Rp_底部)或能够确定要包括在每个边上的数据填充的任何其他结构或非结构格式来表示。在一些实施方案中，用于相对边的数据填充是均匀分布的(例如，Cp_左侧＝Cp_右侧＝(Cp/2)，并且/或者Rp_顶部＝Rp_底部＝(Rp/2))。另选地，在一些实施方案中，基于图像处理任务，使用不同的分配百分比(例如，Rp_顶部＝0.75*Rp并且Rp_底部＝0.25*Rp)来分配数据填充。

应当理解，在全帧行计数不小于中间帧行计数并且全帧列计数不小于中间帧列计数的情况下，过程1000可包括识别不包括填充的图像数据填充。就这一点而言，在两个方向上(例如，在行和列中)，全帧图像尺寸等于或大于中间帧图像尺寸，因此不需要填充。在一些此类实施方案中，图像数据填充可被设定为空值或不可读的值。在其他实施方案中，图像数据填充可以被设定为包括所有填充值为0值的情况(例如，(Cp_左侧，Cp_右侧，Rp_顶部，Rp_底部)的任何组合都为(0，0，0，0)或(Cp，Rp)直接为(0，0))。因此，图像数据填充将不提供填充，并且所生成的中间帧图像数据对象可仅包括在先前框中识别的经剪裁的图像数据部分。

在一些实施方案中，过程1000包括关于是否应填充所捕获的数据的一个或多个确定步骤。例如，在至少一些实施方案中，过程1000包括确定全帧行计数是否小于中间帧行计数，以及/或者全帧列计数是否小于中间帧列计数。如上所述，可将全帧列计数与中间帧列计数进行比较，以确定全帧列计数是否小于中间帧列计数。在一些实施方案中，利用先前执行的比较的结果来避免行计数和列计数之间的重复比较。在其他实施方案中，提供了用于执行此类比较的图像传感器和/或支持硬件。

在框1002和1004之后，例如在返回到如上文相对于图9所述的框910时，可利用所识别的经剪裁的图像数据部分和图像数据填充来生成对应于所捕获的全帧图像数据对象的中间帧图像数据对象。就这一点而言，可由经剪裁的图像数据部分(例如，其中图像数据填充不包括填充数据)来体现中间帧图像数据对象。另选地，在一些实施方案中，可由经剪裁的图像数据部分来体现中间帧图像数据对象，经剪裁的图像数据部分具有基于图像数据填充的相关填充数据。在特定示例性情况下，在全帧图像尺寸在两个方向上匹配中间帧图像尺寸的情况下，应当理解，中间帧图像数据对象可包括与全帧图像数据对象(其也匹配全帧图像数据对象的所识别的经剪裁的图像数据部分)相同的数据，因为既不需要剪裁也不需要填充。

结论

尽管上文已描述了示例性装置和过程，本文所述的主题和功能操作的具体实施可在其他类型的数字电子电路中或在计算机软件、固件或硬件(包括本说明书中所公开的结构及其结构等同物)的其他类型中或在它们中的一者或多者的组合中实现。

行本文所述的过程和逻辑流的操作可由执行一个或多个计算机程序的一个或多个可编程处理器执行，该一个或多个可编程处理器通过对输入信息/数据进行操作并生成输出来执行动作，或者可由对应处理电路来执行。以举例的方式，适用于执行计算机程序的处理器包括通用微处理器和专用微处理器两者以及任何种类的数字计算机的任何一个或多个处理器。一般来讲，处理器可被专门配置为执行某些指令，或从可访问存储器设备接收指令和信息/数据。

尽管本说明书包含许多特定的具体实施细节，但这些细节不应解释为对任何公开或可要求保护内容的范围的限制，而应解释为对特定公开的特定实施方案而言是特定的特征的描述。本文在单独实施方案的上下文中描述的某些特征也可以在单个实施方案中组合实现。相反，在单独实施方案的上下文中描述的各种特征也可以分别在多个实施方案中或以任何合适的子组合来实现。此外，尽管特征可能在上面被描述为以某些组合形式起作用并且甚至最初是这样要求保护的，但在一些情况下，可以从组合中除去来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变型。

类似地，尽管在附图中以特定顺序描绘了操作，但这不应理解为要求以所示的特定次序或以顺序次序执行此类操作，或者执行所有的所示操作以达到期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方案中的各种系统部件的分离不应被理解为在所有实施方案中要求这种分离，并且应当理解，所描述的程序部件和系统通常可以在单个软件产品中集成在一起或分组成多个软件产品。

因此，已经描述了本主题的特定实施方案。其他实施方案在以下权利要求书的范围内。在一些情况下，权利要求书中所述的动作可以不同的顺序执行，并且仍然实现期望的结果。此外，附图中描绘的过程不一定需要所示的特定次序或顺序次序来实现期望的结果。在某些具体实施中，多任务和并行处理可能是有利的。

Claims (10)

1.一种用于中间帧图像处理的计算机实现的方法，所述计算机实现的方法包括：

向图像帧复用器输出来自第一图像传感器的第一中间帧图像数据对象和来自第二图像传感器的第二中间帧图像数据对象，所述第一中间帧图像数据对象和所述第二中间帧图像数据对象与中间帧图像尺寸相关联；

由所述图像帧复用器选择包括所述第一中间帧图像数据对象或所述第二中间帧图像数据对象的选定的中间帧图像数据对象；

由处理器从所述图像帧复用器接收所述选定的中间帧图像数据对象；以及

由所述处理器处理所述选定的中间帧图像数据对象。

2.根据权利要求1所述的计算机实现的方法，其中向所述图像帧复用器输出来自所述第一图像传感器的所述第一中间帧图像数据对象包括：

由所述第一图像传感器捕获与第一全帧图像尺寸相关联的第一全帧图像数据对象；

由所述第一图像传感器识别所述中间帧图像尺寸；

由所述第一图像传感器基于所述第一全帧图像尺寸和所述中间帧图像尺寸来识别所述第一全帧图像数据对象的经剪裁的图像数据部分；

由所述第一图像传感器基于所述第一全帧图像尺寸和所述中间帧图像尺寸来识别第一图像数据填充；

由所述第一图像传感器基于所述第一全帧图像数据对象的所述经剪裁的图像数据部分和所述第一图像数据填充来生成所述第一中间帧图像数据对象；以及

由所述第一图像传感器将所述第一中间帧图像数据对象传输到所述图像帧复用器。

3.根据权利要求1至2中任一项所述的计算机实现的方法，其中由所述处理器处理所述选定的中间帧图像数据对象包括由所述处理器处理所述选定的中间帧图像数据对象以确定所述选定的中间帧图像数据对象中的有用数据丢失，所述计算机实现的方法还包括：

由所述处理器基于所述选定的中间帧图像数据对象从所述第一图像传感器或所述第二图像传感器中识别选定的图像传感器；

由所述处理器将全帧请求信号传输到所述选定的图像传感器；

由所述处理器从所述选定的图像传感器接收选定的全帧图像数据对象，所述选定的全帧图像数据对象包括比所述选定的中间帧图像数据对象更多的数据；以及

由所述处理器处理所述选定的全帧图像数据对象。

4.根据权利要求1至3所述的计算机实现的方法，所述计算机实现的方法还包括：

由所述处理器基于所述中间帧图像尺寸将所述第一图像传感器配置为输出所述第一中间帧图像数据对象。

5.根据权利要求4所述的计算机实现的方法，其中基于所述中间帧图像尺寸将所述第一图像传感器配置为输出所述第一中间帧图像数据对象包括：

由所述处理器识别至少与所述第一图像传感器相关联的第一全帧图像尺寸和与所述第二图像传感器相关联的第二全帧图像尺寸；

由所述处理器基于所述第一全帧尺寸和所述第二全帧图像尺寸来确定最大图像尺寸；

由所述处理器基于所述第一全帧图像尺寸和所述第二全帧图像尺寸来确定最小图像尺寸；

由所述处理器基于所述最大图像尺寸和所述最小图像尺寸来生成所述中间帧图像尺寸；以及

由所述处理器基于所述中间帧图像尺寸将所述第一图像传感器配置为输出所述第一中间帧图像数据对象。

6.根据权利要求1至5中任一项所述的计算机实现的方法，其中由所述图像帧复用器选择所述选定的中间帧图像数据对象包括：

由所述图像帧复用器接收来自所述处理器的帧选择信号，所述帧选择信号指示要选择多个中间帧图像数据对象中的哪个中间帧图像数据对象；以及

由所述图像帧复用器基于所述帧选择信号从所述第一中间帧图像数据对象和所述第二中间帧图像数据对象中选择所述选定的中间帧图像数据对象。

7.根据权利要求6所述的计算机实现的方法，所述计算机实现的方法还包括：

由所述处理器使用随机帧选择算法或顺序帧选择算法来生成所述帧选择信号；以及

由所述处理器将所述帧选择信号传输到所述图像帧复用器。

8.根据权利要求6所述的计算机实现的方法，所述计算机实现的方法还包括：

由所述处理器通过处理所接收的选定的中间帧图像数据对象来生成所述帧选择信号；以及

由所述处理器将所述帧选择信号传输到所述图像帧复用器。

9.一种装置，所述装置包括至少一个处理器和至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器使得所述装置执行根据权利要求1至8所述的方法中的任一者。

10.一种计算机程序产品，所述计算机程序产品包括其中存储有计算机可读程序指令的至少一个非暂态计算机可读介质，所述计算机可读程序指令包括指令，所述指令在被装置执行时被配置为使得所述装置至少执行根据权利要求1至8所述的方法中的任一者。

Images