CN106030335A - 使用微功率脉冲雷达确定移动显示位置和取向 - Google Patents

Abstract

实施例一般针对使用微功率脉冲雷达确定移动显示位置和取向。装置的实施例包括呈现图像的显示器；生成雷达信号脉冲并且基于所接收到的返回信号生成距离数据的雷达部件；发射雷达信号脉冲并且接收返回信号的雷达天线；以及处理信号和数据的处理器，处理器用于：处理返回信号以确定显示关于环境中的真实对象的位置和取向并且确定用户的优势点的位置，并且生成增强图像，包括再现虚拟对象并且将虚拟对象叠加在包括一个或多个真实对象的图像上，虚拟图像的再现至少部分地基于所确定的显示的位置和取向以及所确定的用户的优势点。

Description

使用微功率脉冲雷达确定移动显示位置和取向

技术领域

本文所描述的实施例一般涉及电子设备的领域，并且更特别地，涉及使用微功率脉冲雷达确定移动显示位置和取向。

背景技术

在移动电子设备的操作中，可能存在对于设备的位置和取向的精确确定的需要。在示例中，增强现实图像可以组合包含实际对象的环境的图像与虚拟对象的图像，具有提供无缝地合并这样的图像成分（image component）的组合图像的意图。

然而，常规系统由于针对这样的元素的关于用于描绘增强图像的显示的经计算位置的不精确性而常常在合并虚拟和真实图像方面有困难。所述经计算位置的不精确性由用于描绘增强图像的显示的位置和取向的测量的不足精确性引起。因此，虚拟图像常常未被良好地锚定（anchor）到环境，从而使这样的图像常常在环境中“游动”而不是自然地存在或在环境中移动。

另外，合并真实和虚拟对象要求遮断（occlusion）的精确描绘，其中虚拟对象被部分地隐藏在真实对象后面。如果位置和取向未精确地呈现，则真实对象与虚拟对象之间的边界将是不精确的，这可能在增强现实图像中创建间隙而不是虚拟与实际对象之间的自然外观描绘。

附图说明

这里描述的实施例通过示例的方式并且不是通过限制的方式在附图的各图中被图示，其中相似的参考数字指的是类似的元件。

图1图示了使用微功率脉冲雷达提供位置和取向的确定的电子设备的实施例；

图2图示了根据实施例的包括使用微功率脉冲雷达确定位置和取向的装置的元件的框图；

图3图示了根据实施例的微功率脉冲雷达部件或系统；

图4A图示了根据实施例的通过移动设备生成增强现实图像；

图4B图示了根据实施例的环境的经调节相机视图；

图4C图示了根据实施例的用于在增强现实图像中使用的虚拟对象视图的再现（rendering）；

图4D图示了根据实施例的用于增强现实图像的虚拟信息视图；

图4E图示了根据实施例的用于增强现实图像的生成的合成堆叠；

图4F图示了根据实施例的用于增强现实图像的生成的虚拟对象；

图4G图示了根据实施例的结果得到的经合成增强现实视图；

图5图示了根据实施例的虚拟对象在增强现实图像中的放置；

图6是图示了用于使用微功率脉冲雷达确定设备位置和取向的过程的实施例的流程图；以及

图7是提供使用微功率脉冲雷达确定装置位置和取向的电子装置或系统的实施例的图解。

具体实施方式

本文所描述的实施例一般针对使用微功率脉冲雷达确定移动显示位置和取向。

出于本描述的目的：

“移动设备”意指平板计算机、2合1或可拆分计算机、智能电话、手持计算机、移动互联网设备或包括处理和图像呈现能力的其它移动电子设备。

“微功率脉冲雷达”或“MIR”意指产生短电磁脉冲的较低功率雷达系统。MIR部件或系统一般在短脉冲中使用大无线电频谱（大于500MHz）产生超宽带（UWB）信号，并且此类部件或系统可以被称为超宽带微功率脉冲雷达或“UMIR”。如本文所使用的，雷达系统一般被称为MIR系统或部件，其包括UMIR。

“罩盖”或“外壳”意指可以围封设备的内部部件的电子设备的外部部分。

诸如移动设备之类的电子设备可以在增强现实（AR）操作中被使用。增强现实系统再现在视觉上叠加在真实世界上的虚拟对象。为了使试图模拟实际、物理对象的增强现实系统对观看者而言看起来自然，要求系统以对象对用户而言看起来表现为真实、物理对象的这样的方式来再现虚拟对象。除其它因素之外，虚拟对象需要看起来稳固地锚定到环境，并且这样的对象必须以与真实对象相同的方式被遮断，如果存在真实环境的遮断部分的话。

增强现实操作已经由之前的常规系统以变化的成功程度进行了尝试。然而，就常规系统而言的常见问题在于，由于感测显示相对于环境的位置的误差以及关于用户的主视眼（或优势点）相对于显示的位置的误差，经再现的虚拟对象倾向于“游动”或看起来劣质地锚定到真实环境。另外，附加问题在于，环境的遮断特征难以标识和表征，并且因而常规系统常常劣质地表示虚拟对象的遮断。

常规增强现实系统已经采用视频的数字处理来对对象位置进行寻址。然而，就这样的系统而言的问题在于，系统仅提供视见平截头体的2D投影，其中视见平截头体是从特定视点（诸如由观看者通过显示观看的区域）观看到的三维空间。关于场景中的实际深度的信息在2D投影中丢失，并且还原投影在计算上是昂贵的。此外，通常不可能直接确定视频场景中的绝对距离或深度而不求助于场景中的参考对象，并且这样的参考对象的使用使例如用于增强现实的自含式（self-contained）移动设备的目的挫败。

在一些实施例中，一种装置、系统和过程提供通过借助于雷达元件（诸如微功率脉冲雷达元件）主动询问真实环境以精确地确定显示相对于周围环境的位置和取向并且精确地确定显示相对于用户的视点的位置和取向来解决“游动”和遮断问题的增强现实操作。

图1图示了提供使用微功率脉冲雷达确定位置和取向的电子设备的实施例。在一些实施例中，设备通过利用超宽带微功率脉冲雷达以构造移动显示的视见平截头体内的环境的深度图并且生成和更新查看矩阵以关于设备精确地放置用户的视见平截头体来进行操作。位置数据的生成包括以下的确定：

（a）移动显示的平面相对于环境的位置和取向，以及

（b）用户的视点相对于显示的位置。

如图1中所提供的顶视图中所图示的，移动设备110被用于增强现实应用。在一些实施例中，设备110包括成像元件120，包括但不限于后置相机，以捕获真实环境的图像，其中真实环境包括设备的相机视见平截头体160内的实际对象175，其中图1还图示了用户视见平截头体162。在一些实施例中，移动设备110在显示屏125上生成和向用户150提供增强现实图像，其中增强现实包括虚拟图像170的添加。

然而，增强现实图像在其环境中将看起来不是自然的，除非虚拟对象适当地扎根到环境并且看起来被相比于虚拟图像更靠近用户的实际对象（诸如对象175）适当地遮断。如图1中所图示的，来自相机视点182的实际对象剪影射线可能不指示实际对象175对虚拟对象170的遮断，但是来自用户视点182的实际对象剪影射线证明，从用户的视点来看，存在虚拟对象170的部分的遮断。

在一些实施例中，移动设备包括多个雷达天线，天线包括多个面向后方的MIR天线130-132以用于在确定诸如对象175之类的实际对象的位置和距离中使用，并且还可以包括多个面向前方的MIR天线134-136以用于在确定用户150的优势点的位置中使用。在一些实施例中，天线用于发射和接收超微功率脉冲雷达信号脉冲。MIR在非常小的时间步长中提供确定对象位置方面的超常精确性，并且因而是执行这些功能的有用且强大的技术。

通常，3D再现程序使用3D变换矩阵来在虚拟世界内对虚拟模型进行取向，并且在虚拟世界内定位虚拟相机。在增强现实应用中，视见平截头体160必须精确地对应于用户的视点150和真实世界中的移动显示的位置和取向。虽然在图1中以二维描绘，但是视见平截头体就角锥体形状的顶点处的用户的视点150而言具有近似四边角锥体的形状的形状。图1还图示了针对相机视见平截头体和用户平截头体的原点的不同点。在一些实施例中，视点之间的差异可以通过预处理相机图像以使其看起来已从用户的视点捕获来校正。在一些实施例中，为了适应离轴（即不在显示的笔直前方）来看显示125的用户150，相机视见平截头体160可以比用户视见平截头体更宽，使得相机视频的预处理将能够选择相机视见平截头体的合适子集以匹配用户的视见平截头体。在一些实施例中，描述这样的视见平截头体的查看矩阵基于环境中的关键特征的位置的感测而被连续计算。在一些实施例中，查看矩阵然后作为移动平台操作系统的服务被提供给希望以看起来良好地锚定到真实环境的方式再现虚拟对象的应用。

为了处置其中虚拟对象被增强现实中的真实对象至少部分隐藏的遮断，3D（三维）成像程序通常包括使用Z或深度缓冲器。在一些实施例中，设备的MIR部件被用于更新深度图以提供当前且精确的深度信息。在一些实施例中，由MIR收集的深度图可以用于预初始化3D程序的Z缓冲器，因而提供用于由真实对象遮断虚拟对象的合理信息。占用比虚拟对象的深度更靠近观察者的深度的真实世界中的对象将防止虚拟对象的被遮断部分再现，从而进一步增强虚拟对象占据真实世界的错觉，如通过移动显示所观看到的。具体地，要求经预初始化的深度是从用户的眼点通过显示的每一个像素到环境中的最近真实对象的距离，其与从显示平面到对象的正交距离相对。

MIR技术提供询问环境并且确定绝对距离和角度的直接手段，其提供确定显示在环境中的取向和位置的出众手段。一般而言，MIR部件以3D再现帧速率许多倍的速度运行，并且因而MIR系统提供的查看矩阵和深度图总是新鲜的并且锁定到用户和显示的位置。

另外，MIR系统一般不遭受周围照明条件的变化，如从场景被动收集光的视频那样。MIR所使用的雷达能量对人类观察者是不可见的，因此其可以在不干扰AR环境的用户体验的情况下被使用。这就视频而言一般是不可能的，其通常使用对人类观察者可见的光谱。

图2图示了根据实施例的包括使用微功率脉冲雷达确定位置和取向的装置的元件的框图。在一些实施例中，诸如移动设备210之类的装置包括微功率脉冲雷达系统，其包括一个或多个MIR模块或子系统230，其中移动设备还包括多个MIR天线，其在图2中被图示为移动设备210的罩盖212的每一个角落处的天线，天线是设备的罩盖212的第一角落处的天线220、第二角落处的天线222、第三角落处的天线224和第四角落处的天线226。在一些实施例中，发射和接收天线可以是同一个。虽然为了图示的简易性而在图2中示出仅第一组雷达天线的连接，但是在一些实施例中移动设备包括在第一方向上追踪对象位置的第一组雷达天线，诸如所图示的天线220,222,224和226，以及追踪移动设备的用户的优势点（移动设备的用户的主视眼）的位置的第二组雷达天线，诸如另外一组天线221,223,225和227。在一些实施例中，移动设备可以请求和接收关于用户的哪只眼睛是用户的主视眼的信息，诸如在用户对移动设备的个性化的初始阶段中从用户接收这样的信息或当用户首次利用增强现实应用时请求这样的信息。

在一些实施例中，MIR系统230生成对象位置数据240和提供给处理单元232的用户位置数据242。在一些实施例中，处理单元232还再现虚拟图像，其可以包括某个虚拟对象数据244的使用，其中数据可以被存储在存储器234中。在一些实施例中，处理单元232生成经合并的图像数据246，包括利用经更新的查看矩阵和深度图，其中向显示236提供经合并的数据以便为用户提供增强现实图像。参见例如图6中图示的和以下描述的过程。

图3图示了根据实施例的微功率脉冲雷达部件或系统。在一些实施例中，用于增强现实操作的MIR系统300包括噪声源302以向脉冲重复发生器304提供噪声数据以使信号脉冲之间的时间量变化。出于允许多个MIR雷达同时在相同空间中操作的目的而提供噪声源。脉冲之间的可变时间，连同极低的占空比（相比于脉冲重复率的脉冲宽度）使得来自一个MIR雷达的脉冲将被接收并且针对从在相同空间中操作的第二MIR雷达发送的脉冲被误认是极其不可能的。因此，MIR雷达单元具有以下合期望的特征：它们不彼此干扰，甚至在多个单元同时在相同空间中操作时，诸如例如多个MIR单元同时在移动设备的实施例中操作。脉冲重复发生器向脉冲发生器和延迟器（delay）310提供脉冲信号，延迟器包括范围控件312。

脉冲发生器306生成脉冲以用于经由发送/接收器天线308的发射。发送天线320产生经发射的信号330，其在撞击对象时被反射为返回信号332。返回信号在接收天线332（其可以是与发送天线320相同的单元）处接收。将所接收到的信号提供给脉冲接收器316，其还从如由范围门314控制的延迟器310接收经延迟的脉冲。延迟时间被扫描（sweep）以在不同时间以及因而距天线的不同距离处利用脉冲接收器316取样本，从而导致与对象距离相关的脉冲记录。脉冲接收器316向处理器318提供结果得到的信号以处理所接收到的信号以生成对象位置数据和用户位置数据中的一个或二者。在一些实施例中，处理器基于用户在图像生成中的视点利用对象位置数据和虚拟对象数据以用于增强现实显示。在再现虚拟对象期间，z缓冲器使虚拟对象的合适部分被遮断并且因而不被生成，这在阿尔法（alpha）合成操作之前发生，其合并相机和虚拟图像数据。阿尔法合成操作不需要知道z缓冲器。然而，所生成的图像由于其在3D再现过程期间的精确配准而与实际环境正确地匹配上。

如所结构化的，MIR系统300可以在尺寸方面非常小并且消耗少的功率，并且因而可以在具有有限空间和功率容量的移动设备中被利用。所生成的MIR脉冲相比于重复率而言非常短，即便所述重复率是几兆赫兹。出于此原因，许多MIR系统可以在相同空间中同时操作，其中由于MIR系统中的噪声生成，来自一个MIR的脉冲不与来自另一个的脉冲时间相关。因此，具有图3中所图示的架构的MIR系统300具有对外来信号的大免疫性，该外来信号包括来自于相同空间中操作的多个MIR部件的脉冲。此性质允许若干MIR部件在移动设备中一齐操作，同时操作，而没有明显干扰。还要指出的是，MIR技术使用极低功率水平，并且因而到从设备输出的信号的人类暴露一般是典型蜂窝电话所采用的RF功率的一小部分。

在一些实施例中，诸如平板计算机之类的移动设备包括散布图案中的多个已安装MIR天线，诸如安装在移动设备罩盖的每一个角落处的天线。在此示例中，四个天线可以面向用户（从设备的前面）并且四个天线可以背对用户（从用户的后面）。从每一个这样的天线，记录针对被反射的脉冲信号的飞行时间是可能的。雷达脉冲的每一个离散飞行时间表示具有发射它的特定MIR处的中心的球体表面。在此示例中，通过组合来自每一个角落天线的测量结果，获得在每一个天线处通过飞行时间确定的半径的四个球体的交集（intersection）。特定距离处并且从面向相同方向（朝向或背对用户）的任何三个天线出发的对象将具有在由对象占用的空间中的点处相交的三个球体中的返回（return）。因此，通过检查合适半径球体中的返回并且通过使用应用于这些测量结果的公知的三角学算法，从用户的眼点到环境中的对象的径向距离可以被计算和用于初始化z缓冲器。

在一些实施例中，通过作出对象以进行测量的速率看起来相对于平板计算机静止的假定，并且通过舍弃不保持在彼此的静态空间关系中的环境中的对象或特征（或换言之，通过舍弃移动的对象），因而精确地确定平板计算机相对于MIR阵列采样的环境的位置和取向是可能的。

图4A图示了根据实施例的通过移动设备生成增强现实图像。在图4中，移动设备410（诸如平板计算机）被用于自然设置中的增强现实。如所图示的，虚拟图像420（恐龙）被叠加在观看屏幕425中的真实环境上。

为了对观看者真实地描画图4中的诸如恐龙图像420之类的虚拟对象，必要的是，虚拟对象的位置看起来没有相对于环境不自然地移动，诸如在此示例中，相对于地面不自然地移动。尽管恐龙虚拟图像自身可能看起来在场景中移动，但是只要脚部与地面接触，恐龙的脚部就不应当看起来相对于地面移动。此外，虚拟对象的部分（恐龙图像420的尾巴）被真实对象（树）部分遮断。为了提供真实且自然的增强现实图像，必要的是，树和尾巴的交集相对于用户的视点精确对准使得被遮断的虚拟对象的部分看起来在其中树开始的准确位置（有时称为剪影边缘）处消失。

虚拟对象的位置取决于查看矩阵中的数值，其继而取决于视见平截头体的形状和取向。在一些实施例中，使用具有在虚拟世界中准确地定位由用户的视点（更具体地，用户的主视眼）和平板电脑的显示区域的边缘限定的视见平截头体内的每一个地方叠加在真实世界上的虚拟对象的值的MIR数据来产生查看矩阵。

图4B到4G图示了根据实施例的图像的生成和叠加以创建图4A中所提供的增强现实图像：

图4B图示了根据实施例的环境的经调节的相机视图，其示出诸如环境的所图示的树之类的真实对象410。在一些实施例中，经调节的相机视图通过捕获实际环境并且调节环境的视图使得视图匹配用户的主视眼的视图而生成。这可以被视为相机视见平截头体160的调节以匹配当前用户视见平截头体162，如图1中所图示的。

图4C图示了根据实施例的用于在增强现实图像中使用的虚拟对象视图的再现。在一些实施例中，虚拟图像420基于当前位置信息而被再现以用于增强现实成像，其中图像的再现排除将被真实对象遮断的图像部分。在此示例中，基于如由MIR确定的实际对象的距离和图像的虚拟距离，不再现虚拟图像的一部分。在一些实施例中，未被再现的部分位于来自用户视点的所确定的实际对象剪影处，诸如由图1中所图示的来自用户的视点180的实际对象剪影射线限定的。

图4D图示了根据实施例的用于增强现实图像的虚拟信息视图。在一些实施例中，3D图像的再现还包括提供关于包含在图4C的虚拟视图中的一个或多个虚拟对象的信息的信息视图430的再现。在一些实施例中，虚拟视图可以仅在图4C中图示的虚拟对象420完全或大部分在用户的视见平截头体内时出现。对于信息视图430而言，以与虚拟对象420相同的方式锚定到环境可能是不必要的，并且因此信息视图430可以相对于视图中的实际对象游动，并且可以例如被再现在增强图像中的任何实际对象前方使得图像不被实际对象遮断。

图4E图示了根据实施例的用于增强现实图像的生成的合成堆叠。如图4E中所图示的，用于针对用户450的主视眼的视图的增强现实图像的生成的合成堆叠包括提供包含真实对象410（如图4B中所示）的经调节的相机视频的第一层，其被叠覆有包含虚拟3D恐龙虚拟对象420（如图4C中所示）的第二层，第二层被叠覆有包含信息视图虚拟对象430的第三层。

图4F图示了根据实施例的用于增强现实图像的生成的虚拟对象。如所示，组合图像包括叠覆有信息视图430的虚拟图像420。

图4G图示了根据实施例的结果得到的合成增强现实视图。如所示，经调节的视频相机视图的真实对象410被叠覆有虚拟图像420和信息视图430。利用真实环境的经调节的相机视图，再现虚拟图像420以准确地匹配真实对象410的剪影边界，并且再现虚拟图像420以将虚拟图像420绑定到环境，使得虚拟图像看起来没有在真实环境中游动。

图5图示了根据实施例的虚拟对象在增强现实图像中的放置。在一些实施例中，移动设备利用多个MIR元件520（其可以包括各个MIR子系统）来发射雷达信号530并且接收返回信号532。如图5中所图示的，从移动设备用户的优势点550（移动设备用户的主视眼），视见平截头体560来自虚拟对象570（恐龙图像）的透视后方和右方。从捕获图5的相机的优势点，如果虚拟对象570实际上存在于真实世界中，将看到尾巴的被遮断部分，但是从移动设备用户的视图，虚拟对象570的这样的部分被真实对象575（树）遮断。

在一些实施例中，借助于面向用户的多个天线（图5示例中的四个天线）（在图中朝向移动设备用户移动的波前），可以精确地确定用户的主视眼550的位置。位置550是图5中图示的视见平截头体560的顶点。在一些实施例中，在知晓顶点并且知晓移动设备相对于环境的准确位置和取向的情况下（借助于四个天线和远离用户移动的波前获得），生成限定与如在时间瞬间由移动设备用户看到的物理世界对准的虚拟世界中的视见平截头体560的查看矩阵，其中使查看矩阵可用于绘制恐龙虚拟对象570的3D再现程序。

在一些实施例中，为了遮断虚拟对象的合适部分（在此示例中，尾巴），使用已经利用深度图预初始化的深度图来再现环境中的虚拟对象。在一些实施例中，深度图的初始化可以由MIR部件捕获，其中视频光栅中的每一个点的深度由MIR测量，或者使用3D相机部件来测量。

图6是图示了用于使用微功率脉冲雷达确定设备位置和取向的过程的实施例的流程图。在一些实施例中，当电子设备的操作被启用600并且设备进入增强现实应用602时，电子设备的MIR系统可以被启用604（如果MIR部件或子系统当前没有被启用的话）并且可以初始化图像深度图和查看矩阵（其中这样的初始化可以是基于MIR操作、视频相机操作或其它类似操作）。在一些实施例中，增强现实应用可以包括针对用户的主视眼的标识的请求，如果此信息先前未被接收的话。

在一些实施例中，处理可以包括雷达数据过程610和3D图像生成过程620两者。在一些实施例中，雷达数据过程610可以包括从电子设备612的多个雷达天线发射雷达信号，其中这样的发射包括朝向真实环境发射信号以用于确定显示的位置和取向和朝向用户发射信号以用于确定用户的优势点两者。在一些实施例中，在MIR天线614处接收返回信号，返回信号提供来自环境中的实际对象和来自用户的反射。在一些实施例中，过程还包括确定显示位置数据和用户位置数据616并且更新深度图和查看矩阵618，其限定环境中的对象的深度并且提供针对移动设备关于环境中的实际对象的精确位置和取向以及用户关于移动设备的位置。在一些实施例中，可以存储所生成的数据，如位置数据632所指示的，以用于在增强现实图像的生成中使用。在一些实施例中，雷达数据过程610快速操作，并且因而当前位置数据630在被需要用于图像生成时可用。

在一些实施例中，3D图像生成过程620可以包括虚拟图像对象的再现622，其可以包括从存储器632获得位置数据630和某个虚拟图像数据。在一些实施例中，过程还包括获得数字相机视频数据634并且处理视频数据以叠加相机数据和用户的主视眼点624以生成针对用户的视点调节的相机视频。在一些实施例中，过程包括通过虚拟图像与经调节的相机视图的分层生成合并图像数据626，其中合并图像数据利用图像深度图和查看矩阵以精确地定位虚拟图像并且提供虚拟图像的精确遮断，从而导致根据用户的当前视见平截头体的虚拟图像在合并图像数据中的自然放置。在一些实施例中，过程包括基于合并图像数据628显示增强现实图像。

在一些实施例中，如果不存在从增强现实应用的退出，雷达数据过程610和3D图像生成过程620继续。如果存在从增强现实应用640的退出，则一个或多个MIR系统可以被禁用642（如果适当的话）并且过程结束644。

图7是提供使用微功率脉冲雷达确定显示位置和取向的电子装置或系统的实施例的图示。在此图示中，未示出与本描述没有密切关系的某些标准且公知的部件。示出为分离元件的元件可以组合，包括例如在单个芯片上组合多个元件的SoC（片上系统）。装置或系统可以包括但不限于移动设备，诸如平板计算机。

根据一些实施例，装置或系统700（在本文中一般被称为装置）包括罩盖710。在一些实施例中，装置还包括多个雷达天线，包括第一雷达天线720、第二雷达天线722、第三雷达天线724和第四雷达天线726以用于视频图像的发射和接收。虽然为了图示的简易性而仅示出用于第一组天线的连接，但是在一些实施例中移动设备包括在第一方向上追踪对象位置的第一组天线，诸如所图示的天线720,722,724和726，以及在第二方向上追踪移动设备的用户的优势点（移动设备的用户的主视眼）的位置的第二组天线，诸如另外一组天线721,723,725和727。在一些实施例中，雷达天线可以在空间上散布以允许每一个脉冲信号的计时的分离，诸如例如装置700的每一个角落中的天线位置。在一些实施例中，每一个天线在装置中的不同位置中。在一些实施例中，天线720,722,724,726发射和接收雷达数据多个MIR部件或子系统730。在一些实施例中，天线指向环境以用于确定装置700关于环境中的对象的位置和取向。在一些实施例中，存在在相反方向上（朝向装置的用户）指引的另外一组天线721,723,725,727以确定用户的优势点关于装置700的位置。

在一些实施例中，装置700包括互连740或其它通信装置以用于发射数据，MIR部件730与互连740耦合。为了简单而将互连740图示为单个互连，但是互连740可以表示多个不同互连或总线，并且到这样的互连的部件连接可以变化。图7中所示的互连740是表示任何一个或多个分离物理总线、点对点连接或通过合适桥接器、适配器或控制器连接的两者的抽象。

在一些实施例中，装置700可以包括处理装置，诸如一个或多个处理器742，其耦合到互连740以用于处理信息。处理器742可以包括一个或多个物理处理器和一个或多个逻辑处理器。在一些实施例中，处理器可以包括一个或多个通用处理器或专用处理器。在一些实施例中，处理器742操作成处理雷达信号数据以生成描述装置关于环境中的真实对象的位置和取向、装置700的用户的优势点或两者的数据。

在一些实施例中，装置包括一个或多个图像捕获元件764，诸如相机，其可以包括环境图像的捕获以用于生成增强现实图像。在一些实施例中，图像捕获元件包括3D相机，其中3D相机可以在用于装置700的位置数据的初始化中被利用。

在一些实施例中，装置700还包括随机存取存储器（RAM）或作为用于存储信息和要由处理器742执行的指令的主存储器744的其它动态存储设备或元件。装置700可以包括一个或多个非易失性存储器元件746，包括例如闪速存储器，以用于某些元件的存储。装置700还可以包括只读存储器（ROM）748或其它静态存储设备以用于存储静态信息和用于处理器742的指令，以及数据储存器750，诸如固态驱动器，以用于数据的存储。在一些实施例中，装置700的存储器可以包括涉及位置数据的确定的数据的存储，诸如用户的哪只眼睛是主视眼，以及用于增强现实图像的呈现的图像数据的生成。

在一些实施例中，装置700包括耦合到互连740的一个或多个发射器或接收器752。在一些实施例中，装置700可以包括一个或多个天线756以用于数据经由无线通信的发射和接收，其中天线可以包括双极和单极天线，以及用于数据经由有线通信的发射和接收的一个或多个端口754。

在一些实施例中，装置700包括用于数据输入的一个或多个输入设备758，包括硬和软按钮、操纵杆、鼠标或其它定点设备、语音命令系统或手势识别系统。

在一些实施例中，装置700包括输出显示760，其中显示760可以包括液晶显示（LCD）或任何其它显示技术，以用于向用户显示信息或内容。在一些环境中，显示760可以包括还用作输入设备758的至少一部分的触摸屏。在一些实施例中，输出显示760可以在增强现实图像的显示中被利用。

装置700还可以包括电池或其它功率源762，其可以包括太阳能电池、燃料电池、带电电容器、近场感应耦合或其它系统或设备以用于提供或生成装置700中的功率。由功率源762提供的功率可以如所要求的那样被分配到装置700的元件。

在上面的描述中，出于解释的目的，阐述大量特定细节以便提供对所述实施例的透彻理解。然而，对本领域技术人员将显而易见的是，实施例可以在没有这些特定细节中的一些的情况下被实施。在其它实例中，以框图形式示出公知的结构和设备。在所图示的部件之间可以存在中间结构。本文所描述或图示的部件可以具有未被图示或描述的另外的输入或输出。

各种实施例可以包括各种过程。这些过程可以由硬件部件执行或者可以以计算机程序或机器可执行指令来被具体实施，其可以被用来使编程有指令的通用或专用处理器或逻辑电路执行过程。替换地，过程可以由硬件和软件的组合执行。

可以将不同实施例的各部分提供为计算机程序产品，其可以包括具有存储在其上的计算机程序指令的计算机可读介质，所述计算机程序指令可以用于对计算机（或其它电子设备）进行编程以供一个或多个处理器执行以执行根据某些实施例的过程。计算机可读介质可以包括，但不限于，磁盘、光盘、致密盘只读存储器（CD-ROM）和磁光盘、只读存储器（ROM）、随机存取存储器（RAM）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、磁卡或光卡、闪速存储器或者适于存储电子指令的其它类型的计算机可读介质。此外，实施例还可以作为计算机程序产品被下载，其中程序可以从远程计算机被传递到请求计算机。

许多方法以其最基本的形式被描述，但是在不脱离于本实施例的基本范围的情况下过程可以被添加到任何方法或从任何方法中被删除并且信息可以被添加到任何所描述的消息或从任何所描述的消息中减去。对本领域技术人员将显而易见的是，可以进行许多另外的修改和改编。特定实施例并非为了限制概念而是为了说明它而被提供。实施例的范围并非由上文提供的特定示例而是仅由下面的权利要求确定。

如果说到元件“A”耦合到元件“B”或与元件“B”耦合，则元件A可以直接耦合到元件B或者通过例如元件C间接被耦合。当说明书或权利要求声明部件、特征、结构、过程或特性A“导致”部件、特征、结构、过程或特性B，这意味着“A”是“B”的至少部分原因，但是还可以存在有助于导致“B”的至少一个其它的部件、特征、结构、过程或特性。如果说明书指示部件、特征、结构、过程或特性“可以”、“可能”或“能够”被包括，则那个特定的部件、特征、结构、过程或特性不要求被包括。如果说明书或权利要求提到“一”或“一个”元件，这并不意味着存在所描述的元件的仅一个。

实施例是实施方式或示例。在说明书中对“实施例”、“一个实施例”、“一些实施例”或“其它实施例”的引用意味着结合实施例描述的特定特征、结构或特性被包括在至少一些实施例中，但是不一定在所有实施例中。“实施例”、“一个实施例”或“一些实施例”的不同出现不一定都是指相同的实施例。应当认识到的是，在示例性实施例的前面描述中，出于精简公开并且帮助理解各种新颖方面中的一个或多个的目的，不同特征有时一起被分组在单个实施例、图形或其描述中。然而，此公开方法并不被解释为反映所要求保护的实施例要求比每个权利要求中明确记载的更多的特征的意图。更确切地说，如下面的权利要求所反映的，新颖方面在于少于单个前面所公开的实施例的所有特征。因此，在此将权利要求明确并入到本描述中，其中每个权利要求独立作为单独的实施例。

在一些实施例中，装置的实施例包括呈现图像的显示；生成雷达信号脉冲并且基于所接收到的返回信号生成距离数据的雷达部件；发射雷达信号脉冲并且接收返回信号的雷达天线；以及处理信号和数据的处理器，其中处理器用于：处理由雷达天线接收的返回信号以确定显示关于环境中的真实对象的位置和取向并且确定装置的用户的优势点的位置，并且生成增强图像，包括再现虚拟对象并且将虚拟对象叠加在包括一个或多个真实对象的图像上，虚拟图像的再现至少部分地基于所确定的显示的位置和取向以及所确定的装置的用户的优势点。

在一些实施例中，雷达部件是微功率脉冲雷达（MIR）部件。

在一些实施例中，雷达天线包括在第一方向上发射雷达信号脉冲的第一组雷达天线和在第二方向上发射雷达信号脉冲的第二组雷达天线。

在一些实施例中，处理返回信号包括更新提供真实对象的距离的深度图。

在一些实施例中，处理返回信号包括更新查看矩阵，查看矩阵限定装置的用户的视见平截头体。

在一些实施例中，再现虚拟图像排除被第一真实对象遮断的虚拟图像的一部分，遮断是基于深度图和查看矩阵。

在一些实施例中，处理器预处理环境的图像以看起来已从用户的优势点被捕获。

在一些实施例中，装置是移动设备。在一些实施例中，每一个雷达天线在移动设备中的不同位置中。

在一些实施例中，用户的优势点是用户的主视眼。

在一些实施例中，一种方法包括：利用相机捕获环境的图像；从移动设备中的雷达天线发射雷达信号脉冲；在雷达天线处接收返回信号；处理在雷达天线处接收的返回信号以确定显示关于环境中的真实对象的位置和取向以及移动设备的用户的优势点的位置；再现3D（三维）虚拟对象，其中虚拟对象的再现至少部分地基于所确定的显示的位置和取向以及所确定的用户的优势点的位置；以及通过在环境的图像上叠加虚拟对象来生成增强现实图像。

在一些实施例中，雷达信号脉冲使用微功率脉冲雷达（MIR）系统发射。

在一些实施例中，发射雷达信号脉冲包括：从移动设备中的第一组雷达天线朝向环境发射雷达信号脉冲；从移动设备中的第二组雷达天线朝向移动设备的用户发射雷达信号脉冲；以及在第一组和第二组雷达天线处接收返回信号。

在一些实施例中，方法还包括预处理环境的图像以看起来已从用户的优势点被捕获。

在一些实施例中，处理在雷达天线处接收的返回信号包括更新提供环境中的对象的距离的深度图。

在一些实施例中，处理在雷达天线处接收的返回信号包括更新查看矩阵，查看矩阵限定移动设备的用户的视见平截头体。

在一些实施例中，一种移动设备包括：呈现图像的触摸屏显示器；捕获环境的图像的相机；生成雷达信号脉冲并且基于所接收到的返回信号生成距离数据的微功率脉冲雷达（MIR）系统，MIR系统包括发射和接收雷达信号脉冲的雷达天线；以及处理信号和数据的处理器，其中处理器用于：处理由雷达天线接收的返回信号以确定显示关于环境中的真实对象的位置和取向，并且确定移动设备的用户的优势点的位置，并且生成增强图像，包括再现一个或多个虚拟对象并且在环境的图像上叠加一个或多个虚拟对象，一个或多个虚拟图像的再现至少部分地基于所确定的显示的位置和取向以及移动设备的用户的优势点。

在一些实施例中，处理返回信号包括更新提供真实对象的距离的深度图。

在一些实施例中，处理返回信号包括更新查看矩阵，查看矩阵限定移动设备的用户的视见平截头体。

在一些实施例中，再现第一虚拟图像排除被第一真实对象遮断的第一虚拟图像的一部分，遮断是基于深度图和查看矩阵。

在一些实施例中，雷达天线包括在第一方向上发射雷达信号脉冲的第一组雷达天线和在第二方向上发射雷达信号脉冲的第二组雷达天线。

在一些实施例中，MIR系统是超宽带微功率脉冲雷达（UMIR）系统。

在一些实施例中，MIR系统包括多个MIR子系统。

在一些实施例中，一种具有存储在其上的表示指令序列的数据的非暂时性计算机可读存储介质，所述指令序列在由处理器执行时，使处理器执行包括以下的操作：捕获环境的图像；从雷达天线发射微功率脉冲雷达信号脉冲；在雷达天线处接收返回信号；处理返回信号以确定移动设备的显示屏关于环境中的真实对象的位置和取向并且确定移动设备的用户的主视眼的位置；再现虚拟对象，其中虚拟对象的再现至少部分地基于所确定的显示的位置和取向以及所确定的用户的主视眼的位置；以及通过在环境的图像上叠加虚拟对象来生成增强现实图像。

在一些实施例中，处理在雷达天线处接收的返回信号包括更新提供环境中的对象的距离的深度图。

在一些实施例中，处理在雷达天线处接收的返回信号包括更新查看矩阵，查看矩阵限定移动设备的用户的视见平截头体。

在一些实施例中，指令还包括使处理器执行包括以下的操作的指令：调节环境的图像以匹配用户的主视眼的视图。

在一些实施例中，指令还包括使处理器执行包括以下的操作的指令：在显示屏上显示增强图像。

在一些实施例中，指令还包括使处理器执行包括以下的操作的指令：请求用户的主视眼的标识。

在一些实施例中，一种装置包括用于捕获环境的图像的装置；用于从多个雷达天线发射微功率脉冲雷达信号脉冲的装置；用于在多个雷达天线处接收返回信号的装置；用于处理返回信号以确定移动设备的显示屏关于环境中的真实对象的位置和取向并且确定移动设备的用户的主视眼的位置的装置；用于再现虚拟对象的装置，其中虚拟对象的再现至少部分地基于所确定的显示的位置和取向以及所确定的用户的主视眼的位置；以及用于通过在环境的图像上叠加虚拟对象来生成增强现实图像的装置。

在一些实施例中，用于处理在多个雷达天线处接收的返回信号的装置包括用于更新提供环境中的对象的距离的深度图的装置。

在一些实施例中，用于处理在多个雷达天线处接收的返回信号的装置包括用于更新查看矩阵的装置，查看矩阵限定移动设备的用户的视见平截头体。

在一些实施例中，装置还包括用于调节环境的图像以匹配用户的主视眼的视图的装置。

在一些实施例中，装置还包括用于在显示屏上显示增强图像的装置。

Claims (25)

1.一种装置，包括：

呈现图像的显示器；

生成多个雷达信号脉冲并且基于所接收到的返回信号生成距离数据的雷达部件；

发射多个雷达信号脉冲并且接收返回信号的多个雷达天线；以及

处理信号和数据的处理器，其中处理器用于：

处理由多个雷达天线接收的返回信号以确定显示关于环境中的真实对象的位置和取向并且确定装置的用户的优势点的位置，并且

生成增强图像，包括再现虚拟对象并且将虚拟对象叠加在包括一个或多个真实对象的图像上，虚拟图像的再现至少部分地基于所确定的显示的位置和取向以及所确定的装置的用户的优势点。

2.权利要求1的装置，其中雷达部件是微功率脉冲雷达（MIR）部件。

3.权利要求1的装置，其中多个雷达天线包括在第一方向上发射雷达信号脉冲的第一多个雷达天线和在第二方向上发射雷达信号脉冲的第二多个雷达天线。

4.权利要求1的装置，其中处理返回信号包括更新提供真实对象的距离的深度图。

5.权利要求4的装置，其中处理返回信号包括更新查看矩阵，查看矩阵限定装置的用户的视见平截头体。

6.权利要求5的装置，其中再现虚拟图像排除被第一真实对象遮断的虚拟图像的一部分，所述遮断是基于深度图和查看矩阵。

7.权利要求1的装置，其中处理器预处理环境的图像以看起来已从用户的优势点被捕获。

8.权利要求1的装置，其中装置是移动设备。

9.权利要求7的装置，其中多个雷达天线中的每一个在移动设备中的不同位置中。

10.一种方法，包括：

利用相机捕获环境的图像；

从移动设备中的多个雷达天线发射雷达信号脉冲；

在多个雷达天线处接收返回信号；

处理在多个雷达天线处接收的返回信号以确定显示关于环境中的真实对象的位置和取向以及移动设备的用户的优势点的位置；

再现3D（三维）虚拟对象，其中虚拟对象的再现至少部分地基于所确定的显示的位置和取向以及所确定的用户的优势点的位置；以及

通过在环境的图像上叠加虚拟对象来生成增强现实图像。

11.权利要求10的方法，其中雷达信号脉冲使用微功率脉冲雷达（MIR）系统来发射。

12.权利要求10的方法，其中发射雷达信号脉冲包括：

从移动设备中的第一多个雷达天线朝向环境发射雷达信号脉冲；

从移动设备中的第二多个雷达天线朝向移动设备的用户发射雷达信号脉冲；以及

在第一多个和第二多个雷达天线处接收返回信号。

13.权利要求10的方法，还包括预处理环境的图像以看起来已从用户的优势点被捕获。

14.权利要求10的方法，其中处理在多个雷达天线处接收的返回信号包括更新提供环境中的对象的距离的深度图。

15.权利要求14的方法，其中处理在多个雷达天线处接收的返回信号包括更新查看矩阵，查看矩阵限定移动设备的用户的视见平截头体。

16.一种移动设备，包括：

呈现图像的触摸屏显示器；

捕获环境的图像的相机；

生成多个雷达信号脉冲并且基于所接收到的返回信号生成距离数据的微功率脉冲雷达（MIR）系统，MIR系统包括发射和接收雷达信号脉冲的多个雷达天线；以及

处理信号和数据的处理器，其中处理器用于：

处理由多个雷达天线接收的返回信号以确定显示关于环境中的真实对象的位置和取向，并且确定移动设备的用户的优势点的位置，并且

生成增强图像，包括再现一个或多个虚拟对象并且在环境的图像上叠加一个或多个虚拟对象，一个或多个虚拟图像的再现至少部分地基于所确定的显示的位置和取向以及移动设备的用户的优势点。

17.权利要求16的移动设备，其中处理返回信号包括更新提供真实对象的距离的深度图。

18.权利要求17的移动设备，其中处理返回信号包括更新查看矩阵，查看矩阵限定移动设备的用户的视见平截头体。

19.权利要求16的移动设备，其中再现第一虚拟图像排除被第一真实对象遮断的第一虚拟图像的一部分，所述遮断是基于深度图和查看矩阵。

20.权利要求16的移动设备，其中多个雷达天线包括在第一方向上发射雷达信号脉冲的第一多个雷达天线和在第二方向上发射雷达信号脉冲的第二多个雷达天线。

21.一种具有存储在其上的表示指令序列的数据的非暂时性计算机可读存储介质，所述指令序列在由处理器执行时使处理器执行包括以下的操作：

捕获环境的图像；

从多个雷达天线发射微功率脉冲雷达信号脉冲；

在多个雷达天线处接收返回信号；

处理返回信号以确定移动设备的显示屏关于环境中的真实对象的位置和取向并且确定移动设备的用户的主视眼的位置；

再现虚拟对象，其中虚拟对象的再现至少部分地基于所确定的显示的位置和取向以及所确定的用户的主视眼的位置；以及

通过在环境的图像上叠加虚拟对象来生成增强现实图像。

22.权利要求21的介质，其中处理在多个雷达天线处接收的返回信号包括更新提供环境中的对象的距离的深度图。

23.权利要求22的介质，其中处理在多个雷达天线处接收的返回信号包括更新查看矩阵，查看矩阵限定移动设备的用户的视见平截头体。

24.权利要求21的介质，还包括当由处理器执行时使处理器执行包括以下的操作的指令：

调节环境的图像以匹配用户的主视眼的视图。

25.权利要求21的介质，还包括当由处理器执行时使处理器执行包括以下的操作的指令：

在显示屏上显示增强图像。