CN103109492B

CN103109492B - 运动引发的时间同步

Info

Publication number: CN103109492B
Application number: CN201180045782.5A
Authority: CN
Inventors: M·X·龚; H·W·豪泽克
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2010-09-23
Filing date: 2011-09-23
Publication date: 2016-11-16
Anticipated expiration: 2031-09-23
Also published as: TWI537747B; US20120075439A1; CN103109492A; DE112011103205T5; WO2012040629A3; TW201224779A; WO2012040629A2; JP2013541891A; US9077912B2; JP5646063B2

Abstract

同步设备的系统和方法可包括检测第一移动设备的移动并且响应于两个移动设备的移动而相对于第二移动设备进行时间同步过程。可以在移动设备处在没有网络基础设施支持的情况下进行时间同步。

Description

运动引发的时间同步

技术领域

实施例大体上涉及进行时间同步。特别地，实施例涉及运动触发的时间同步。

背景技术

来自多个数字拍摄装置的图像可在一起编译来产生更高质量的图片（例如，经由超分辨率）、来跨两个独立拍摄装置捕获立体图像对、或者来从用若干拍摄装置同时拍摄的图片产生3D（三维）模型。时间同步可以用于确保在重建给定场景时来自相同时间实例的图像数据取自每个拍摄装置（特别地，如果捕获的场景包括移动对象）。然而，实际上，不同的拍摄装置典型地不共享相同的时间参考并且每个拍摄装置具有独立并且自由运行的振荡器。因此，来自不同拍摄装置的时间戳在组合图片时可能没有用，除非基于网络的时间参考可用。

附图说明

本发明的实施例的各种优势将通过阅读下列说明书和附上的权利要求并且通过参考下列图而对本领域内技术人员变得明显，在图中：

图1是根据一实施例的时间同步环境的示例的框图；

图2是根据一实施例的示例时间同步过程的图；

图3是根据一实施例的进行时间同步的方法的示例的流程图；

图4是根据一实施例的拍摄装置的示例的框图；以及

图5是根据一实施例的图像重建的示例的图。

具体实施方式

实施例可提供一种装置，其包括：传感器，用于检测第一移动设备的移动；以及同步模块，用于响应于该第一移动设备的移动来相对于第二移动设备进行时间同步。可在第一移动设备处在没有网络基础设施支持的情况下进行时间同步。

实施例还可包括一种系统，其具有：传感器，用于检测第一移动设备的移动；以及同步模块，用于响应于该第一移动设备的移动来进行时间同步。可在第一移动设备处在没有网络基础设施支持的情况下进行时间同步。该系统还可包括图像捕获模块，用于捕获图像并且基于时间同步对该图像施加时间戳。

其他实施例可以包括一种具有指令集的计算机可读存储介质，如果该指令集由处理器执行，则使第一移动设备检测该第一移动设备的移动，并且响应于该第一移动设备的移动来相对于第二移动设备进行时间同步。可在第一移动设备处在没有网络基础设施支持的情况下进行时间同步。

图1示出环境10，其中多个移动设备12（12a-12c）在不访问网络（例如，接入点、基站、蜂窝网络基础设施）16或没有其他方式的公共时间参考的情况下进行对等的（peer-to-peer）时间同步14（例如，使用对等无线接口）。移动设备12可包括拍摄装置、移动互联网设备（MID）、个人数字助理（PDA）、无线智能电话、媒体播放机、笔记本电脑、电子书阅读器或其任何组合，或是它们的一部分，其中知晓个体设备12的内部时钟18、20、22之间的偏移可是有利的。例如，在图像（静止或视频）捕获应用的情况下，时钟偏移可以用于重建由移动设备12捕获的时间相关场景。

在图示的示例中，每个移动设备12包括传感器24、26、28来检测移动设备12的三维移动。例如，移动设备12b的传感器26可包括加速计，其中移动设备12a的传感器24可以包括陀螺仪或其他运动感测部件。检测的移动可以与设备12的用户摇动设备、将两个或更多设备12互相轻敲等关联，以便触发时间同步14。每个移动设备12可包括同步模块30，用于响应于检测移动来相对于一个或多个其他设备进行时间同步14。如已经指出的，可以在移动设备12处在没有网络基础设施支持的情况下进行时间同步14。由时间同步14产生的时钟偏移可在本地存储于每个移动设备12处作为偏移数据32、34、36。

现在转向图2，示出时序图38，其中第一移动设备（“设备1”）响应于该第一移动设备的移动来相对于第二移动设备（“设备2”）进行时间同步过程。在图示的示例中，该第一移动设备广播时间同步请求40，其由第二移动设备接收。该时间同步请求40可以包括出发时间（“ToD”）戳以及多个其他参数。下文的表I提供时间同步请求40的帧格式的一个示例。

帧类型可识别该帧是否是同步请求、对同步请求的答复等，并且在图示的示例中传送器地址可以指示第一移动设备的地址。该地址可以是全体唯一MAC（媒体接入控制）地址，其中第一移动设备可在传送同步请求40之前等待随机或伪随机延迟期期满以最小化来自多个设备的请求之间冲突的风险。另外，接收器地址可以是广播地址，该广播地址被区域中的其他设备监测。如果在区域中存在多个传送设备，则对话令牌可用于在来自不同设备的时间同步请求帧之间进行区分。可以在传输帧时施加ToD戳（例如，在随机延迟期期满后），并且用户友好名称可以是用户定义的第一移动设备的标识符/串（例如，Mike的拍摄装置）。用户友好名称可使用户能够更容易地确定是否接受来自其他设备的时间同步请求。

当接收到时间同步请求40时，第二移动设备可确定时间同步请求40的到达时间（ToA）并且基于请求帧中的传送器地址和/或对话令牌来识别时间同步请求40的来源。如果第二移动设备已经检测到例如摇动和/或碰撞等本地移动，则可以产生对时间同步请求40的答复42并且在随机延迟期期满后传送该答复42。如已经指出的，可引入随机延迟期使得接收相同时间同步请求40的设备未同时答复，从而避免引起冲突。因此可基于均匀分布（例如，[0，max_delay]）来选择随机延迟。

时间同步答复42可以是单播帧，其识别请求40的ToA以及时间同步答复42的ToD。下文的表II提供时间同步答复42的帧格式的一个示例。

为了进一步滤除无意的时间同步答复42传送，在第一移动设备处检测到的移动的签名可以编码到同步请求40内，其中第二移动设备可将接收到的移动签名与本地产生的签名（其对应于在第二移动设备处检测到的移动）比较。同步答复42的传送可以局限于这样的实例，其中两个签名在定义的确定度内匹配（例如，满足预定关系）。

当图示的第一移动设备接收同步答复42时，它可确定答复42的ToA并且计算两个设备的时钟偏移。计算可以进行如下，

例如，如果第一移动设备的本地时钟读数为1:30 pm并且第一移动设备的本地时钟与第二移动设备的时钟之间的偏移是+2分钟，则第一移动设备可以确定第二移动设备的时钟是1:32 pm。通过使用这样的方法，一个设备可以同时与多个设备同步而不使用网络的主时钟。此外，因为时间同步过程是分布式的，所以该过程可以比每个设备复制其他设备的时钟值更快并且更高效。此外，因为现代的时钟可以具有相对高的精确度，所以两个设备可不必时常重新同步。例如，具有10 ppm的时钟精确度的两个设备之间的漂移将是每50秒至多1ms。因此，为了维持1ms精确度，这两个设备可以每50秒重新同步。

图3示出用一个或多个其他移动设备使本地移动设备同步的方法44。该方法44可在可执行软件中实现为存储在例如随机存取存储器（RAM）、只读存储器（ROM）、可编程ROM（PROM）、固件、闪速存储器等存储器的机器或计算机可读介质中的逻辑/模块指令集，可使用例如专用集成电路（ASIC）、互补型金属氧化物半导体（CMOS）或晶体管-晶体管逻辑（TTL）技术或其任何组合等电路技术在固定功能性的硬件中实现。例如，用于实施在方法44中示出的操作的计算机程序代码可用一个或多个编程语言的任何组合编写，包括例如Java、Smalltalk、C++等面向对象的编程语言和例如“C”编程语言或相似的编程语言等常规的程序化编程语言。

处理框46提供经由设备的用户接口接收用户输入。该用户输入（其可通过小的和/或简单的触摸屏、按钮、麦克风等被键入）可以用于在框48使移动设备处于移动确定模式。从而，移动设备可以能够确定用户何时已经启用时间同步而没有连续监测移动设备的移动。如果在框50检测到移动（例如，在阈值范围内的摇动、碰撞、轻敲等），则可在框52做出关于是否已经从另一个移动设备接收时间同步请求的确定。如已经指出的，时间同步请求帧可以包括例如其他移动设备的地址、广播地址、对话令牌、ToD戳、其他移动设备的用户友好名称（其可经由本地移动设备的用户接口输出）、对应于其他移动设备的移动的移动签名等信息。

如果已经接收时间同步请求，则图示的框54基于请求帧中的例如传送器地址和/或对话令牌等信息来识别请求的来源（例如，其他移动设备）。框54还可以确认在两个设备的移动签名之间存在匹配。此外，其他移动设备的用户友好名称可连同接受或拒绝同步请求（例如，“接受来自Mike的拍摄装置的同步请求？”）的选项一起呈现给本地移动设备的用户。

框56可以提供在框58传送答复之前施加随机延迟期。如已经指出的，答复帧可包括例如其他移动设备的地址、本地移动设备的地址、对话令牌、ToA戳、ToD戳、本地移动设备的用户友好名称（其可以经由其他移动设备的用户接口输出）和对应于本地移动设备的移动的移动签名等信息。从而，传送的答复可以使其他移动设备能够计算这两个移动设备之间的时钟偏移并且将偏移数据存储在其内部存储器中。

图示的方法44还提供确定本地移动设备处的时钟偏移。从而，如果未在框52接收时间同步请求，则框59提供等待随机延迟期期满，其中可以在框60传送时间同步请求。如已经论述的，时间同步请求帧可以包括例如本地移动设备的地址、广播地址、对话令牌、ToD戳、本地移动设备的用户友好名称（其可以经由其他移动设备的用户接口输出）、对应于本地移动设备的移动的移动签名等信息。

如果在框62出现超时之前检测到对请求的答复，则图示的框64确认两个移动设备的移动签名匹配，并且基于该答复确定时钟偏移。如已经指出的，时钟偏移确认可牵涉使用上文的等式（1）的计算。可对多个移动设备定期重复方法44并且可定期重复方法44以使所述的设备重新同步。

如果在框62确定在已经出现超时之后没有接收到答复，则可以在框61做出关于是否已经到达重试极限的确定。如果是，则图示的方法44返回框50处的移动确定。否则，如已经描述的，在设备等待随机期之后，可在框60重新传送时间同步请求。

图4示出移动设备的一个示例，其中拍摄装置66包括图像捕获模块67和处理器68，该处理器68可包括一个或多个处理器核（未示出），其中每个核可功能齐全地具有指令取出单元、指令解码器、一级（L1）缓存、执行单元等，并且可以执行操作系统（OS）、设备驱动器和各种其他软件应用。处理器68还可执行时间同步逻辑，该时间同步逻辑使拍摄装置66能够响应于拍摄装置66的移动（例如，摇动、碰撞、轻敲）而相对于本地时钟76和一个或多个其他移动设备（例如，拍摄装置）的时钟进行时间同步。

在一个示例中，拍摄装置66的用户可以经由相对简单的用户接口（UI）74使拍摄装置处于移动确定模式，其中该移动确定模式使例如加速计或陀螺仪等运动传感器78检测三维移动并且产生该移动的签名。无线收发器80可用于将印上时间戳的同步请求/答复传送到其他移动设备并且从其他移动设备接收印上时间戳的同步请求/答复，其中这些请求/答复支持时钟偏移的确定。时钟偏移可在本地存储于拍摄装置66的随机存取存储器（RAM）70、可编程ROM（PROM）72、固件、闪速存储器等中。还可从拍摄装置66的RAM 70、PROM 72等检索时间同步逻辑以供处理器68执行，时间同步逻辑还可在处理器68或其他微控制器或其任何组合的固定功能性硬件中实现。

图5示出具有随时间变化的内容的场景82。在图示的示例中，场景82的第一图像（静止或视频）84由第一拍摄装置捕获，并且场景82的第二图像86由第二拍摄装置捕获。如果拍摄装置包括例如拍摄装置66（图4）的时间同步逻辑等时间同步逻辑，则考虑两个拍摄装置之间的时钟偏移的时间戳（TS）88、90可以施加到图像84、86使得可重建时间相关场景。例如，第一图像84的时间戳88还可识别与第二图像86关联的拍摄装置以及它相对于与第一图像84关联的拍摄装置的时钟偏移。相似的方法可以用于第二图像84的时间戳90。时间同步逻辑还可用于产生超分辨率图像、3D模型等。

事实上，一旦两个拍摄装置已经响应于撞到一起（或相似的移动）而被时间同步，第一拍摄装置可以发送无线消息到第二拍摄装置，从而指示第二拍摄装置在未来的时刻T拍摄图片。第二拍摄装置可以用确认在时刻T拍摄图片的计划的无线消息进行响应。当在时刻T拍摄图片时，两个拍摄装置都可无线交换图像使得它们每个可以创建3D构造。

本文描述的实施例可适用于与所有类型的半导体集成电路（“IC”）芯片一起使用。这些IC芯片的示例包括但不限于处理器、控制器、芯片组部件、可编程逻辑阵列（PLA）、存储器芯片、网络芯片等。另外，在一些图中，信号导线用线表示。一些线可以更粗来指示更多的组成信号路径，具有数字标签来指示组成信号路径的数量，和/或在一个或多个端处具有箭头来指示主要的信息流方向。然而，这不应以限制性的方式解释。相反，这样的附加细节可连同一个或多个示范性实施例一起使用以便于更容易地理解电路。任何表示的信号线，无论是否具有额外的信息，实际上可包括可在多个方向上行进并且可用任何适合类型的信号方案（例如用差分对、光纤线和/或单端线实现的数字或模拟线）实现的一个或多个信号。

可已经给出示例尺寸/模型/值/范围，尽管本发明的实施例不限于此。当制造技术（例如光刻）随时间成熟时，预期可以制造更小尺寸的设备。另外，为了简化说明和论述，并且为了不掩盖本发明的实施例的某些方面，众所周知的到IC芯片和其他部件的电力/接地连接可或可不在图内示出。此外，可采用框图形式示出布置以便避免掩盖本发明的实施例，并且还鉴于关于这样的框图布置的实现的细节高度取决于实现实施例所在的平台（即，这样的细节应该完全在本领域内技术人员的眼界内）这一事实。在阐述具体细节（例如，电路）以便描述本发明的示例实施例的地方，对本领域内技术人员应该是明显的是：可以在没有这些具体细节或具有这些具体细节的变化形式的情况下实践本发明的实施例。从而描述被视为说明性的而非限制性的。

术语“耦合”可在本文中用于指所述的部件之间的任何类型的关系（直接或间接的），并可应用于电、机械、流体、光、电磁、机电或其他连接。另外，除非另外指出，否则术语“第一”、“第二”等在本文中仅用于便于论述，并且不具有特定时间或时间顺序的意义。

本领域内技术人员将从前面的描述意识到本发明的实施例的广泛的技术可以用多种形式实现。因此，尽管本发明的实施例已经连同其特定示例描述，但本发明的实施例的真正范围不应这样受限制，这是因为当研究图、说明书和下面的权利要求时其他修改将对熟练的从业者变得明显。

Claims

1.一种系统包括：

传感器，用于检测第一移动设备的移动；

同步模块，用于响应于所述第一移动设备的移动来相对于第二移动设备进行时间同步，其中所述时间同步在所述第一移动设备处在没有网络基础设施支持的情况下进行；并且其中当所述移动被检测时时间同步请求以及对所述请求的答复中的一个或两者都在延迟期期满之后被传送；以及

图像捕获模块，用于捕获图像并且基于所述时间同步对所述图像施加时间戳。

2.如权利要求1所述的系统，其中所述同步模块

在延迟期期满后传送时间同步请求，

从所述第二移动设备接收对所述时间同步请求的答复，以及

基于所述答复确定所述第一移动设备与所述第二移动设备之间的时钟偏移。

3.如权利要求2所述的系统，其中所述时间同步请求至少部分包括对应于所述第一移动设备的移动的移动签名。

4.如权利要求1所述的系统，其中所述同步模块

从所述第二移动设备接收时间同步请求，以及

在延迟期期满后传送对所述时间同步请求的答复。

5.如权利要求4所述的系统，其中对所述时间同步请求的答复至少部分包括对应于所述第一移动设备的移动的第一移动签名，所述时间同步请求包括对应于所述第二移动设备的移动的第二移动签名，并且如果所述第一移动签名与所述第二移动签名匹配则所述同步传送所述答复。

6.如权利要求1所述的系统，还包括用户接口，用于接收用户输入，所述同步模块用于响应于所述用户输入使所述第一移动设备处于移动确定模式。

7.一种装置包括：

同步模块，用于响应于检测的第一移动设备的移动而相对于第二移动设备进行时间同步，其中所述时间同步在所述第一移动设备处在没有网络基础设施支持的情况下进行；并且其中当所述移动被检测时时间同步请求以及对所述请求的答复中的一个或两者都在延迟期期满之后被传送。

8.如权利要求7所述的装置，其中所述同步模块

在随机延迟期期满后传送时间同步请求，

从所述第二移动设备接收对所述时间同步请求的答复，以及

9.如权利要求8所述的装置，其中所述时间同步请求至少部分包括对应于所述第一移动设备的移动的移动签名。

10.如权利要求7所述的装置，其中所述同步模块

从所述第二移动设备接收时间同步请求，以及

在延迟期期满后传送对所述时间同步请求的答复。

11.如权利要求10所述的装置，其中对所述时间同步请求的答复至少部分包括对应于所述第一移动设备的移动的第一移动签名。

12.如权利要求11所述的装置，其中所述时间同步请求包括对应于所述第二移动设备的移动的第二移动签名，并且如果所述第一移动签名与所述第二移动签名匹配则所述同步模块传送所述答复。

13.如权利要求7所述的装置，还包括用户接口，用于接收用户输入，所述同步模块用于响应于所述用户输入使所述第一移动设备处于移动确定模式。