CN107409176B - 用于图像同步化的设备和方法 - Google Patents

Abstract

本文描述了用于图像同步化的技术。本技术可以包括一种具有逻辑的设备，所述逻辑至少部分地包括用以实施模块的硬件逻辑。所述模块可以包括第一同步脉冲模块，用以在第一同步脉冲偏移周期之后向第一成像传感器发出第一同步脉冲。所述模块还可以包括第二同步脉冲模块，用以在第二同步脉冲偏移周期之后向第二成像传感器并行于第一同步脉冲发出第二同步脉冲。

Description

用于图像同步化的设备和方法

相关申请的交叉引用

本申请要求2015年3月2日提交的美国专利申请No. 14/635,614的权益，该申请通过引用结合于本文。

技术领域

本公开一般涉及多相机系统中的图像数据的同步化技术。更具体地说，本公开描述了从多个相机接收的图像捕获的同步化。

背景技术

计算设备越来越多地包括一个或多个相机或者其他类型的图像捕获设备，以使得用户能够捕获图像。例如，许多智能电话和平板计算设备包括可操作为在各种情景中捕获图像的相机。一些系统可以包括配置为在共同帧周期内捕获图像数据的多个相机。图像数据的同步化可能在将来自不同相机的多个图像数据组合到共同帧周期时是重要的。

附图说明

图1是具有同步化应用以在计算设备处同步化图像的计算设备的框图；

图2是图示了在计算设备处执行的使用同步脉冲的同步化的框图；

图3图示了针对用于多相机系统的图像捕获同步化的时间线；

图4图示了针对使用参差调谐（staggering）的用于多相机系统的图像捕获同步化的时间线；

图5是图示了用于当图像捕获基本上是同时的但传感器处理周期差异导致帧在不同时间到达同步化单元时在多相机系统中生成同步化的示例性方法的框图；以及

图6是描绘配置成校准图像捕获设备的计算机可读介质的示例的框图。

具体实施方式

本文公开的主题涉及用于对在多相机系统中从多个相机捕获的图像数据进行同步化的技术。多相机系统中的相机可以包括异构配置。例如，系统中的第一相机可以包括八百万像素（MP）图像传感器，而系统中的第二相机可以包括具有更少或更多像素的图像传感器。系统中每个传感器的特性（诸如像素数、长宽比、消隐周期、时钟设置等）可能影响每个图像传感器的帧周期。不同的帧周期在将来自各个图像传感器的每个图像捕获同步化到共同帧周期方面引入了误差。

例如，如果一个相机具有10 毫秒（ms）的帧周期，并且另一个相机具有10.001 ms的周期，则所述相机将针对第一帧具有一个同步化，并且针对第5000帧（5000×（10.001ms-10ms）=5ms）具有相反的同步化。在另外5000帧之后，该同步化将返回到初始的同步化，但是一个相机将落后一整帧。精确地匹配周期意味着每帧将具有与每个其他帧相同的同步化。仅仅具有共同帧周期可能并不确保相机将具有期望的同步化，或者同步化将在每次打开相机时都是相同的。

本文讨论的技术包括用以控制同步化的机制来产生期望的同步化。如下文将更详细讨论的，可以向包括异构图像传感器的多个相机提供同步脉冲，以便将得到的图像捕获同步到共同帧周期。在一些情况下，可以选择具有一定量的有意偏斜或偏移的同步化，以使得能够实现比组合图像的共同帧速率实际上更高的视频捕获速度。

异构配置可以包括具有异构图像传感器的两个或更多个相机，或者具有相似或相同图像传感器但是用不同配置（诸如不同积分时间）实施的两个或更多个相机。本文所提及的异构图像传感器包括具有一个或多个不同特性（诸如分辨率、像素数、长宽比等等）的图像传感器。

图1是具有同步化应用以在计算设备处同步化图像的计算设备的框图。计算设备100可以包括处理器102、包括非临时性计算机可读介质的储存设备104以及存储器设备106。计算设备100可以包括显示驱动器108，其被配置成操作显示设备110以在图形用户界面（GUI）处渲染图像。计算设备100还可以包括多相机系统112。多相机系统112可以包括多个图像传感器114。在一些情况中，图像传感器114中的至少两个可以关于彼此是异构图像传感器。图像传感器114提供了用以控制帧采集的机制，诸如同步脉冲。帧采集在同步脉冲之后的确定性延迟（本文中称为捕获延迟）之后开始。捕获延迟可以是传感器配置（诸如积分周期）的函数，只要其对于给定配置是确定性的。曝光时间（本文中称为积分周期）可以对于用在异构多相机系统中的每种类型的图像传感器是特定的。图像传感器114可以是全局快门（同时捕获整个图像）或者可以是电子滚动快门（按顺序捕获图像的行）。在电子滚动快门的情况下，图像捕获被定义为单个时间点，诸如针对第一行的曝光时间的结束。

计算设备100包括被配置成对由图像传感器114中的一个或多个所捕获的图像进行同步化的同步化单元116的模块。同步化单元116可以是配置成执行（在下文更详细讨论的）模块的操作的处理单元（诸如现场可编辑门阵列（FPGA）或任何其他电子逻辑、微处理器等）。

如图1中图示的，模块包括一个或多个同步脉冲模块118、时间戳模块120、参差调谐模块122以及聚合模块124。模块118、120、122和124可以是逻辑性的，至少部分地包括硬件逻辑。在一些示例中，模块118、120、122和124可以是储存在储存介质上的被配置成由处理设备（诸如处理器102）执行的指令。在另外其他示例中，模块118、120、122和124可以是硬件、软件和固件的任意组合。模块118、120、122和124可以被配置成独立地、并行地、分布式地或者作为更广泛过程的部分进行操作。模块118、120、122和124可以被看作单独的模块或者母模块的子模块。还可以包括附加的模块。在任何情况下，模块118、120、122和124被配置成与多相机系统112一起执行与图像同步化有关的操作。

同步脉冲模块118可以被看作单独的模块或者母同步脉冲模块的子模块。在任何情况下，同步脉冲模块118可以被配置成以可配置顺序发出同步脉冲，该同步脉冲对于每种类型的异构图像传感器114是特定的。与每个传感器并行地而不是以菊链式（daisy-chained）或级联式（cascaded）的方式来提供同步脉冲。更具体地说，同步脉冲模块118（作为整体或单独地）可以将同步脉冲传送到图像传感器114中的每个，而不首先使相同同步脉冲路由经过另一个图像传感器。然而，同步脉冲不需要被同时发出。如下文更详细讨论的，从一个或多个同步脉冲模块118提供给图像传感器114的并行同步脉冲可以定时发出，以相对于图像传感器114中的每个图像传感器补偿不同的捕获延迟，以便将得到的图像捕获同步化到共同帧周期。

时间戳模块120可以被配置成在图像捕获到达处理单元（诸如同步化单元116）时对所述图像捕获加时间戳。在一些情况下，任何给定图像传感器114的特定架构可能导致图像被捕获的时间与在同步化单元116处接收图像时的时间之间的时间差异。在这些情景中，时间戳模块120可以被配置成调整时间戳来在具有共同帧周期的帧起始（SOF）数据包的到达上的任何差异方面进行补偿。

参差调谐模块122可以被配置成在向图像传感器114中的任意一个图像传感器发出给定同步脉冲方面引入附加的延迟。延迟的引入可以对于关于共同帧周期捕获更高速度的视频是有用的。引入的延迟可能比共同帧周期更短。例如，如果三个图像处理器在共同帧周期的三分之一间隔处接收同步脉冲，那么由每个得到的图像捕获的重叠导致的有效帧速率可以是共同帧速率的三倍。

聚合模块124可以被配置成将来自图像传感器114的多个图像捕获进行组合。该组合可以提供多个视点并且可以对于多个可能的应用（包括深度估计、三维重构、重聚焦、高动态范围成像等等）是有用的。流传输图像的聚合可以基于由时间戳模块120提供的时间戳，使得所采集的来自每个相机的对应帧可以被可靠地识别。可以通过数据接口（诸如通用串行总线（USB）、外围组件快速互联（PCIe）、移动行业处理器接口（MIPI）等等）向图像处理单元（诸如处理器102、图形处理单元（未示出）或其他任何合适的用于处理的装置）提供这些经聚合的数据流。

在实施例中，计算设备100包括网络接口控制器126部件，其被配置成经由网络130将计算设备100连接到远程计算设备128。在一些情景中，网络接口控制器126是配置成通信地与系统总线132耦合的扩展卡。在其他情景中，网络接口控制器126可以与计算设备（诸如计算设备100）的主板集成。在实施例中，同步化单元116的一个或多个功能可以被实施和/或储存在远程计算设备（诸如远程计算设备128之一）上。例如，所捕获的图像可以被发送给远程计算设备130（诸如具有与模块118、120、122和124相似的同步化单元116的模块的服务器）。进一步，在一些情况下，可以经由网络132将得到的经聚合的和加时间戳的图像数据提供给远程计算设备128以用于进一步图像处理。

计算设备110（如本文所提及的）可以是移动计算设备，其中诸如处理设备、储存设备和显示设备之类的部件被布置在单个外壳内。例如，计算设备100可以是平板计算机、智能电话、手持式视频游戏系统、蜂窝电话、一体式平板计算设备或具有一体式功能的任何其他计算设备，其中计算设备的外壳容纳了显示器以及诸如储存部件和处理部件之类的部件。

处理器102可以是主处理器，其被适配为执行所储存的指令。处理器102可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。可以将处理器102实现为复杂指令集计算机（CISC）或精简指令集计算机（RISC）处理器、x86指令集兼容处理器、多核或任何其他微处理器或中央处理单元（CPU）。

存储器设备106可以包括随机存取存储器（RAM）（例如，静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、零电容RAM、硅-氧-氮-氧-硅 SONOS、嵌入式DRAM、扩展数据输出RAM、双数据速率（DDR）RAM、电阻式随机存取存储器（RRAM）、参数随机存取存储器（PRAM）等）、只读存储器（ROM）（例如，掩模ROM、可编程只读存储器（PROM）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）等）、闪存或任何其他合适的存储器系统。主处理器102可以通过系统总线132（例如，外围组件互联（PCI）、工业标准体系结构（ISA）、超传输®、网络用户总线（Nubus）、USB、PCLe、MIPI等）与包括存储器106和储存设备104在内的部件连接。

图1的框图不意图指示计算设备100将包括图1中所示的所有部件。进一步，计算设备100可以取决于具体实现方式的细节而包括未在图1中示出的任何数目的附加部件。

图2 是图示了在计算设备处执行的使用同步脉冲的同步化的框图。在图2中，图1的成像传感器114被分成成像传感器202、成像传感器204和成像传感器206。预料到任何数目的附加成像传感器。图1的同步脉冲模块118在图2中被图示为同步脉冲模块208、同步脉冲模块210以及同步脉冲模块212。为了容易理解，同步脉冲模块208、210和212被图示为单独的模块。然而，如关于图1以上所讨论的，同步脉冲模块208、210和212可以是单独的模块或者被组合成被配置成执行同步脉冲模块208、210和212的操作的单个同步脉冲模块。

如图2中图示的，同步化模块（诸如图1的同步化模块116）可以使用并行链接向异构成像传感器阵列中的每个成像传感器发出同步脉冲。同步脉冲模块208、210、212的操作可以包括在消隐周期之后发出同步脉冲（如在214、216、218处所指示的），以将每个成像传感器202、204和206的每个积分周期的结束彼此同步化。如关于图3以下更详细讨论的，脉冲偏移是一个时间段，其被配置成通过补偿捕获延迟上的差异来将图像捕获同步化到共同帧周期。在一些情况下，图像捕获可以与其他任何图像捕获同步化至大约10毫秒的精确度。一旦捕获延迟和传感器处理周期结束，成像传感器202、204和206中的每个可以往回向同步化单元116提供SOF数据包，如在220、222和224处所指示的。

如上文讨论的，用以从成像传感器202、204和206中的每个接收SOF数据包的时间段可以取决于任何给定的成像传感器的特性（诸如架构）。因此，时间戳模块120可以被配置成调整与给定的帧周期相关联的用于多个图像的时间戳，以补偿延迟上的任何差异。一旦已经调整了时间戳，聚合模块124可以被配置成将与给定帧周期相关联的图像或者在视频情况下的图像进行组合。

图3图示了针对用于多相机系统的图像捕获同步化的时间线。第一时间线302可以与第一成像传感器（诸如图2的成像传感器202）相关联。第二时间线304可以与第二成像传感器（诸如图2的成像传感器204）相关联。在306处指示同步化请求，同时在308处指示图像捕获。在310处在第一成像传感器上发出同步脉冲之前，出现同步脉冲偏移周期，如在312处指示的。一旦在310处发出同步脉冲，就在314处出现捕获延迟，以及在308处结束图像捕获。

针对第二时间线，捕获延迟318可以比第一成像传感器的捕获延迟314更短。因此，与第二时间线304相关联的同步脉冲偏移周期316可以比第一时间线302的同步脉冲偏移周期更长。换言之，同步脉冲偏移周期312和316可以被配置成确保捕获延迟周期314和318在图像捕获时间结束（如由虚线308所指示的）。使用可配置的同步脉冲偏移周期的技术对于对来自多个成像传感器的图像捕获进行同步化是有用的。作为另一种措辞方式，当第一同步脉冲偏移周期312加上第一成像传感器的捕获延迟周期314近似等于第二同步脉冲偏移周期316加上第二成像传感器的捕获延迟周期318时，来自第一和第二成像传感器的图像捕获被同步化。在实施例中，近似相等可以是在与传感器上的时钟精确度相关联的范围内。

进一步，如上文讨论的，延迟可以出现在图像捕获和从成像传感器往回提供给同步化单元116的SOF数据包之间。如图3中在320和322处所指示的，这是传感器处理周期。延迟324中的差异可以在得到的时间戳中被补偿，如上文讨论的。

图4图示了针对使用参差调谐的用于多相机系统的图像捕获同步化的时间线。在一些情况下，如上文关于图1和图2讨论的，可以引入延迟以捕获更高速度视频。延迟可以是附加于由同步脉冲偏移周期（诸如图3的同步脉冲偏移周期312和316）引入的延迟或者除了该延迟之外的延迟。

在图4中，第一时间线（诸如图3的第一时间线302）可以与第一成像传感器（诸如图2的成像传感器202）相关联。在该时间线中，四个附加的时间线代表四个附加的成像传感器的经参差调谐的图像捕获，包括时间线402、404、406和408。如所图示的，除了同步脉冲偏移周期316和捕获延迟318，时间线402引入附加的延迟410。同样地，时间线404、406和408也越来越多地引入更大的延迟（如分别由412、414和416所指示的）。在这个情景下，场景实际上具有五个捕获，并且有效帧速率可以是原本将出现的帧速率的5倍。后续帧可以继续与每个都分别与成像传感器相关联的经参差调谐的时间线402、404、406和408重叠。这个经参差调谐的帧速率可以在从多重视角捕获高速度视频方面是有用的。

图5是图示了用于当图像捕获基本上是同时的但传感器处理周期差异导致帧在不同时间到达同步化单元116时在多相机系统中生成同步化的示例性方法的框图。在图5中，图示了一种用于包括两个成像传感器的多相机系统的方法。然而，附加的传感器可以按同样方式被添加到该方法。

针对第一成像传感器，在方框502处开始第一同步脉冲偏移周期。在504处，一旦开始了第一脉冲偏移周期，就发出第一同步脉冲。

针对第二成像传感器，在方框506处开始第二同步脉冲偏移周期。在方框508处，在第二同步脉冲偏移周期之后发出第二同步脉冲。在504处发出第一同步脉冲以及在506处发出第二同步脉冲506将在相关联的成像传感器中的每个处触发捕获延迟周期。在方框510和512处，发生图像捕获。在本文描述的技术中，在502和506处开始的同步脉冲偏移周期可以被配置为使得在510和512处结束的捕获延迟周期在相对于彼此的指定时间范围之内发生。例如，指定范围可以在彼此的10毫秒内。

在方框514处，从第一成像传感器传输第一SOF，以及在516处，从第二成像传感器传输第二SOF。在518处，在处理单元（诸如图1和图2的同步化单元116）处接收第一SOF。类似的，可以如方框520处所指示的在同步化单元116处接收第二SOF。

如上文关于图1和图3所讨论的，方框510和方框518之间的时间段可以取决于每个成像传感器的特性（诸如给定的传感器架构）而不同于512和520之间的时间段。因此，在方框522处，将第一SOF接收时间与第二SOF接收时间进行比较。在方框524处，做出关于第一SOF接收时间和第二SOF接收时间之间是否存在时间差的确定。如果没有，则组合具有共同时间戳的图像数据，如在526处所指示的。如果在524处确定存在时间差，则在方框528处调整时间戳以补偿该时间差，以及在方框526处组合具有共同时间戳的图像数据。一旦组合了图像数据，就在530处传输经组合的图像数据以用于进一步图像处理。

图5中图示的方法还可以包括如上文关于图4讨论的对图像进行参差调谐。参差调谐可以在发出同步脉冲之前通过修改同步脉冲延迟来实施。延迟可以是比用于多个成像传感器的共同帧周期更小的周期。在实施图像参差调谐的情景中，图5图示的方法的其余部分适用，除了在524处的时间差检查将基于参差调谐而不是无时间差来寻找预期时间差以外。

图6是描绘了配置成校准图像捕获设备的计算机可读介质的示例的框图。计算机可读介质600可以由处理器600通过计算机总线604访问。在一些示例中，计算机可读介质600可以是非临时性计算机可读介质。在一些示例中，计算机可读介质可以是储存介质，但是不包括载波、信号等等。此外，计算机可读介质600可以包括计算机可执行指令以命令处理器602执行当前方法的步骤。

本文讨论的各种软件部件可以被储存在有形的、非临时性的、计算机可读介质600上，如图6中所指示的。例如，同步化应用606可以被配置成在第一消隐周期之后向第一成像传感器发出第一同步脉冲，并且在第二消隐周期之后向第二成像传感器并行于第一同步脉冲发出第二同步脉冲，其中第一消隐周期和第二消隐周期在共同帧周期内发生。

示例可以包括诸如根据本文描述的实施例和示例的如下各项的主题：方法；用于执行方法的动作的装置；包括指令的至少一个机器可读介质，所述指令在被机器执行时使所述机器执行方法的动作；或者用于投射虚拟图像的装置或系统。

示例1是一种用于图像同步化的设备，包括逻辑，其至少部分地包括用以实施模块的硬件逻辑，所述模块包括：第一同步脉冲模块，用以在第一同步脉冲偏移周期之后向第一成像传感器发出第一同步脉冲，以及第二同步脉冲模块，用以在第二同步脉冲偏移周期之后向第二成像传感器并行于第一同步脉冲发出第二同步脉冲。

示例2包括示例1的设备。在此示例中，第一和第二同步脉冲偏移周期中的每个的持续时间基于每个成像传感器的独有的捕获延迟周期。

示例3包括示例1-2的任意组合的设备。在该示例中，当第一同步脉冲偏移周期加上第一成像传感器的捕获延迟周期近似等于第二同步脉冲偏移周期加上第二成像传感器的捕获延迟周期时，来自第一和第二成像传感器的图像捕获被同步化。

示例4包括示例1-3的任意组合的设备。成像传感器可以包括异构配置，并且其中独有的捕获延迟周期基于异构成像传感器配置的特性。

示例5包括示例1-4的任意组合的设备。异构特性可以至少包括每个成像传感器相对于彼此的异构分辨率。

示例6包括示例1-5的任意组合的设备。该示例包括时间戳模块，其被配置成当在所述设备处从每个成像传感器接收到与共同帧周期相关联的多个图像数据时对所述多个图像数据加时间戳。

示例7包括示例1-6的任意组合的设备。时间戳模块被进一步配置成调整时间戳来补偿与在所述设备处从至少一个成像传感器接收图像数据相关联的延迟。

示例8包括示例1-7的任意组合的设备。该示例包括参差调谐模块，其被配置成在发出第二同步脉冲偏移周期之前引入附加的同步脉冲延迟。附加的同步脉冲延迟可以包括比共同帧周期更小的周期。

示例9包括示例1-8的任意组合的设备。该示例包括聚合模块，其被配置成将从第一成像传感器接收的图像数据与从第二成像传感器接收的经参差调谐的图像数据重叠，以增加每帧的图像数据捕获率。

示例10包括示例1-9的任意组合的设备。向第一和第二成像传感器中的每个的通用输入输出（GPIO）引脚发出第一和第二同步脉冲。

示例11是一种用于图像同步化的方法。无线充电设备可以包括在第一同步脉冲偏移周期之后向第一成像传感器发出第一同步脉冲，以及在第二同步脉冲偏移周期之后向第二成像传感器并行于第一同步脉冲发出第二同步脉冲。

示例12包括示例11的方法。在此示例中，第一和第二同步偏移周期中的每个的持续时间基于每个成像传感器的独有的捕获延迟周期。

示例13包括示例11-12的任意组合的方法。该示例包括确定同步化。在该示例中，当第一同步脉冲偏移周期加上第一成像传感器的捕获延迟周期近似等于第二同步脉冲时间加上第二成像传感器的捕获延迟周期时，来自第一和第二成像传感器的图像捕获被同步化。

示例14包括示例11-13的任意组合的方法。成像传感器是异构的，并且其中独有的捕获延迟周期基于每个成像传感器的异构特性。

示例15包括示例11-14的任意组合的方法。异构特性可以至少包括每个成像传感器相对于彼此的异构分辨率。

示例16包括示例11-15的任意组合的方法。该示例包括当在所述设备处从每个成像传感器接收到与共同帧周期相关联的多个图像数据时对所述多个图像数据加时间戳。

示例17包括示例11-16的任意组合的方法。该示例包括调整时间戳以补偿与在所述设备处从至少一个成像传感器接收图像数据相关联的延迟。

示例18包括示例11-17的任意组合的方法。该示例包括在发出第二同步脉冲偏移周期之前通过引入附加的同步脉冲延迟来对图像捕获进行参差调谐。附加的同步脉冲延迟可以包括比共同帧周期更小的周期。

示例19包括示例11-18的任意组合的方法。该示例包括将从第一成像传感器接收的图像数据与从第二成像传感器接收的经参差调谐的图像数据重叠，以增加每帧的图像数据捕获率。

示例20包括示例11-19的任意组合的方法。向第一和第二成像传感器中的每个的通用输入输出（GPIO）引脚发出第一和第二同步脉冲。

示例21是一种包括代码的计算机可读介质，所述代码在被执行时使处理设备：在第一同步脉冲偏移周期之后向第一成像传感器发出第一同步脉冲，以及在第二同步脉冲偏移周期之后向第二成像传感器并行于第一同步脉冲发出第二同步脉冲。

示例22包括示例21的计算机可读介质。在该示例中，第一和第二同步脉冲偏移周期中的每个的持续时间基于每个成像传感器的独有的捕获延迟周期。

示例23包括示例21-22的任意组合的计算机可读介质。在该示例中，当第一同步脉冲偏移时间加上第一成像传感器的捕获延迟周期近似等于第二同步脉冲偏移时间加上第二成像传感器的捕获延迟周期时，来自第一和第二成像传感器的图像捕获被同步化。

示例24包括示例21-23的任意组合的计算机可读介质。成像传感器是异构的，并且其中独有的捕获延迟周期基于每个成像传感器的异构特性。

示例25包括示例21-24的任意组合的计算机可读介质。异构特性可以至少包括每个成像传感器相对于彼此的异构分辨率。

示例26包括示例21-25的任意组合的计算机可读介质。该示例包括代码，所述代码在被执行时使所述处理设备：当从每个成像传感器接收到与共同帧周期相关联的多个图像数据时对所述多个图像数据加时间戳。

示例27包括示例21-26的任意组合的计算机可读介质。该示例包括代码，所述代码在被执行时使所述处理设备：调整时间戳以补偿与在所述设备处从至少一个成像传感器接收图像数据相关联的延迟。

示例28包括示例21-27的任意组合的计算机可读介质。该示例包括代码，所述代码在被执行时使所述处理设备：在发出第二同步脉冲偏移周期之前引入附加的同步脉冲延迟。附加的同步脉冲延迟可以包括比共同帧周期更小的周期。

示例29包括示例21-28的任意组合的计算机可读介质。该示例包括代码，所述代码在被执行时使所述处理设备：将从第一成像传感器接收的图像数据与从第二成像传感器接收的经参差调谐的图像数据重叠，以增加每帧的图像数据捕获率。

示例30包括示例21-29的任意组合的计算机可读介质。向第一和第二成像传感器中的每个的通用输入输出（GPIO）引脚发出第一和第二同步脉冲。

示例31是一种用于图像同步化的方法。无线充电设备可以包括在第一同步脉冲偏移周期之后向用于图像感测的第一装置发出第一同步脉冲，以及在第二同步脉冲偏移周期之后向用于图像感测的第二装置并行于第一同步脉冲发出第二同步脉冲。

示例32包括示例31的方法。在该示例中，第一和第二同步偏移周期中的每个的持续时间基于每个用于图像感测的装置的独有的捕获延迟周期。

示例33包括示例31-32的任意组合的方法。该示例包括确定同步化。在该示例中，当第一同步脉冲偏移周期加上用于图像感测的第一装置的捕获延迟周期近似等于第二同步脉冲时间加上用于图像感测的第二装置的捕获延迟周期时，来自用于图像感测的第一和第二装置的图像捕获被同步化。

示例34包括示例31-33的任意组合的方法。用于图像感测的装置是异构的，并且其中独有的捕获延迟周期基于每个用于图像感测的装置的异构特性。

示例35包括示例31-34的任意组合的方法。异构特性可以至少包括每个用于图像感测的装置相对于彼此的异构分辨率。

示例36包括示例31-35的任意组合的方法。该示例包括当在所述设备处从每个用于图像感测的装置接收与共同帧周期相关联的多个图像数据时对所述多个图像数据加时间戳。

示例37包括示例31-36的任意组合的方法。该示例包括调整时间戳以补偿与在所述设备处从至少一个用于图像感测的装置接收图像数据相关联的延迟。

示例38包括示例31-37的任意组合的方法。该示例包括在发出第二同步脉冲偏移周期之前通过引入附加的同步脉冲延迟来对图像捕获进行参差调谐。附加的同步脉冲延迟可以包括比共同帧周期更小的周期。

示例39包括示例31-38的任意组合的方法。该示例包括将从用于图像感测的第一装置接收的图像数据与从用于图像感测的第二装置接收的经参差调谐的图像数据重叠，以增加每帧的图像数据捕获率。

示例40包括示例31-39的任意组合的方法。向用于图像感测的第一和第二装置中的通用输入输出（GPIO）引脚发出第一和第二同步脉冲。

示例41是一种用于图像同步化的设备，包括逻辑，其至少部分地包括用以实施模块的硬件逻辑，所述模块包括：第一同步脉冲模块，用以在第一同步脉冲偏移周期之后向用于图像感测的第一装置发出第一同步脉冲，以及第二同步脉冲模块，用以在第二同步脉冲偏移周期之后向用于图像感测的第二装置并行于第一同步脉冲发出第二同步脉冲。

示例42包括示例41的设备。在该示例中，第一和第二同步脉冲偏移周期中的每个的持续时间基于每个用于图像感测的装置的独有的捕获延迟周期。

示例43包括示例41-42的任意组合的设备。在该示例中，当第一同步脉冲偏移周期加上用于图像感测的第一装置的捕获延迟周期近似等于第二同步脉冲偏移周期加上用于图像感测的第二装置的捕获延迟周期时，来自用于图像感测的第一和第二装置的图像捕获被同步化。

示例44包括示例41-43的任意组合的设备。用于图像感测的装置可以包括异构配置，并且其中独有的捕获延迟周期基于用于图像感测的异构装置配置的特性。

示例45包括示例41-44的任意组合的设备。该示例包括时间戳模块，其被配置成当在所述设备处从每个用于图像感测的装置接收与共同帧周期相关联的多个图像数据时对所述多个图像数据加时间戳。

示例46包括示例41-45的任意组合的设备。时间戳模块被进一步配置成调整时间戳以补偿与在所述设备处从至少一个用于图像感测的装置接收图像数据相关联的延迟。

示例47包括示例41-46的任意组合的设备。该示例包括参差调谐模块，其被配置成在发出第二同步脉冲偏移周期之前引入附加的同步脉冲延迟。附加的同步脉冲延迟可以包括比共同帧周期更小的周期。

示例48包括示例41-47的任意组合的设备。该示例包括聚合模块，其被配置成将从用于图像感测的第一装置接收的图像数据与从用于图像感测的第二装置接收的经参差调谐的图像数据重叠，以增加每帧的图像数据捕获率。

示例49包括示例41-48的任意组合的设备。向用于图像感测的第一和第二装置中的每个的通用输入输出（GPIO）引脚发出第一和第二同步脉冲。

示例50是包括机器可读指令的机器可读储存装置，所述指令在被执行时要实施如任意前述权利要求中所述的方法或实现如任意前述权利要求中所述的设备。

实施例是实现方式或示例。说明书中对“实施例”、“一个实施例”、“一些实施例”、“各种实施例”或“其他实施例”的引用意指结合实施例所描述的特定特征、结构或特性被包括在本技术的至少一些实施例中，但不一定是所有实施例中。“实施例”、“一个实施例”或“一些实施例”的各种出现不一定都是指代同样的实施例。

本文描述和说明的所有部件、特征、结构、特性等并不都需要被包括在特定的一个或多个实施例中。例如，如果说明书陈述了部件、特征、结构或特性“可能”、“可以”、“能够”或“可”被包括，则该特定部件、特征、结构或特性不必需被包括。如果说明书或权利要求书涉及“一个”或“一”元件，则这并不意指仅存在一个该元件。如果说明书或权利要求书涉及“附加的”元件，则这并不排除存在多于一个的附加元件。

要注意的是，尽管已经参照特定的实现方式描述了一些实施例，但是根据一些实施例，其他实现方式是可能的。附加地，附图中图示的和/或本文描述的电路元件或其他特征的布置和/或顺序不需要以所图示和描述的特定方式来布置。根据一些实施例，许多其他布置是可能的。

在图中所示的每个系统中，在一些情况下，元件可以均具有相同的附图标记或不同的附图标记来表明所表示的元件可以是不同的和/或相似的。然而，元件可以是足够灵活的以具有不同实现方式，并且与本文所示出的或描述的一些或所有系统一起工作。图中所示的各种元件可以是相同的或不同的。哪一个被指代为第一元件以及哪一个被称为第二元件是任意的。

要理解的是，前文提到的示例中的细节可以被用于一个或多个实施例中的任何地方。例如，上文描述的计算设备的所有可选特征也可以关于本文描述的方法或计算机可读介质中的任一而被实施。此外，尽管已经在本文使用流程图和/或状态图来描述实施例，但该技术不限于本文中那些示图或对应的描述。例如，流程不需要移动经过每个图示出的框或状态或者以与本文所图示和描述的完全相同的顺序进行移动。

本技术不限于本文列出的特定细节。实际上，受益于本公开的本领域技术人员将认识到的是，可以在本技术的范围内做出来自于上述描述和附图的许多其他变化。因此，包括对其的任何修改的所附权利要求限定了本技术的范围。

Claims (17)

1.一种用于图像同步化的设备，包括逻辑，其至少部分地包括用以实施模块的硬件逻辑，所述模块包括：

第一同步脉冲模块，用以在第一同步脉冲偏移周期之后向第一成像传感器发出第一同步脉冲；以及

第二同步脉冲模块，用以在第二同步脉冲偏移周期之后向第二成像传感器并行于第一同步脉冲发出第二同步脉冲，

参差调谐模块，其被配置成在发出所述第二同步脉冲偏移周期之前引入附加的同步脉冲延迟，其中所述附加的同步脉冲延迟包括比共同帧周期更小的周期，

聚合模块，其被配置成将从所述第一成像传感器接收的图像数据和从第二成像传感器接收的经参差调谐的图像数据重叠，以增加每帧的图像数据捕获率，以及

时间戳模块，用以：

对从所述第一成像传感器接收到的第一图像数据和从所述第二成像传感器接收到的第二图像数据加时间戳；

将第一帧起始（SQF）接收时间与第二SQF接收时间进行比较；以及

响应于第一SQF接收时间和第二SQF接收时间之间的差异，调整所述第二图像数据的时间戳，其中将所述第一图像数据与所述第二图像数据进行组合，以及其中所述第一和第二图像数据的组合具有共同时间戳。

2.根据权利要求1所述的设备，其中第一和第二同步脉冲偏移周期中的每个的持续时间基于每个成像传感器的独有的捕获延迟周期。

3.根据权利要求2所述的设备，其中当所述第一同步脉冲偏移周期加上所述第一成像传感器的捕获延迟周期在与所述第一成像传感器上的时钟精确度相关联的范围内近似等于所述第二同步脉冲偏移周期加上所述第二成像传感器的捕获延迟周期时，来自所述第一和第二成像传感器的图像捕获被同步化。

4.根据权利要求2或3所述的设备，其中所述成像传感器包括异构配置，并且其中所述独有的捕获延迟周期基于所述异构成像传感器配置的特性。

5.根据权利要求4所述的设备，其中所述异构特性至少包括每个成像传感器相对于彼此的异构分辨率。

6.根据权利要求1-3中的任一项所述的设备，其中所述时间戳模块被配置成当在所述设备处从每个成像传感器接收到与共同帧周期相关联的多个图像数据时对所述多个图像数据加时间戳。

7.根据权利要求6所述的设备，其中所述时间戳模块被进一步配置成调整所述时间戳以补偿与在所述设备处从至少一个成像传感器接收图像数据相关联的延迟。

8.根据权利要求1-3中的任一项所述的设备，其中向所述第一和第二成像传感器中的每个的通用输入输出（GPIO）引脚发出所述第一和第二同步脉冲。

9.一种用于图像同步化的方法，包括：

在第一同步脉冲偏移周期之后向第一成像传感器发出第一同步脉冲；

在第二同步脉冲偏移周期之后向第二成像传感器并行于第一同步脉冲发出第二同步脉冲；

在发出所述第二同步脉冲偏移周期之前通过引入附加的同步脉冲延迟来对图像捕获进行参差调谐，其中所述附加的同步脉冲延迟包括比共同帧周期更小的周期；

将从所述第一成像传感器接收的图像数据与从所述第二成像传感器接收的经参差调谐的图像数据重叠，以增加每帧的图像数据捕获率；

对从所述第一成像传感器接收到的第一图像数据和从所述第二成像传感器接收到的第二图像数据加时间戳；

将第一帧起始（SQF）接收时间与第二SQF接收时间进行比较；以及

响应于第一SQF接收时间和第二SQF接收时间之间的差异，调整所述第二图像数据的时间戳，其中将所述第一图像数据与所述第二图像数据进行组合，以及其中所述第一和第二图像数据的组合具有共同时间戳。

10.根据权利要求9所述的方法，其中所述第一和第二同步偏移周期中的每个的持续时间基于每个成像传感器的独有的捕获延迟周期。

11.根据权利要求10所述的方法，进一步包括确定同步化，其中当所述第一同步脉冲偏移周期加上所述第一成像传感器的捕获延迟周期在与所述第一成像传感器上的时钟精确度相关联的范围内近似等于第二同步脉冲偏移周期加上所述第二成像传感器的捕获延迟周期时，来自所述第一和第二成像传感器的图像捕获被同步化。

12.根据权利要求10或11所述的方法，其中所述成像传感器是异构的，并且其中所述独有的捕获延迟周期基于每个成像传感器的异构特性。

13.根据权利要求12所述的方法，其中所述异构特性至少包括每个成像传感器相对于彼此的异构分辨率。

14.根据权利要求9-11中的任一项所述的方法，进一步包括当在所述设备处从每个成像传感器接收到与共同帧周期相关联的多个图像数据时对所述多个图像数据加时间戳。

15.根据权利要求14所述的方法，进一步包括调整时间戳以补偿与在所述设备处从至少一个成像传感器接收图像数据相关联的延迟。

16.根据权利要求9-11中的任一项所述的方法，其中向第一和第二图像传感器中的每个的通用输入输出（GPIO）引脚发出所述第一和第二同步脉冲。

17.一种计算机可读介质，其上存储有计算机可执行指令，其中所述计算机可执行指令在被执行时使处理设备实施如权利要求9至16中的任一项所述的方法。

Images