CN104081434A - 经配置以基于运动传感器数据计算3d模型的移动装置 - Google Patents

Abstract

一种特定方法包含基于从至少一个运动传感器接收到的数据确定移动装置从第一位置到第二位置的移动。所述方法还包含基于对应于从所述移动装置的所述第一位置看的物体的第一视图的所述物体的第一图像、对应于从所述移动装置的所述第二位置看的所述物体的第二视图的所述物体的第二图像和所述移动装置的移动而计算所述物体的三维3D模型。

Description

经配置以基于运动传感器数据计算3D模型的移动装置

相关申请案的交叉参考

本申请案要求2012年1月26日申请的第61/591,196号美国临时专利申请案和2012年11月9日申请的第13/673,681号美国非临时专利申请案的益处，上述申请案的揭示内容以全文引用的方式并入本文中。

技术领域

本发明总地来说涉及产生物体的三维(3D)模型。

背景技术

技术的进步已产生更小且更强大的计算装置。举例来说，当前存在多种便携式个人计算装置，包含无线计算装置，例如较小、轻重量且易于由用户携带的便携式无线电话、个人数字助理(PDA)和寻呼装置。更具体来说，便携式无线电话(例如，蜂窝式电话和因特网协议(IP)电话)可经由无线网络传递语音和数据包。而且，所述无线电话可处理可执行指令，包含可用以接入因特网的软件应用程序，例如，网络浏览器应用程序。因此，这些无线电话可包含相当大的计算能力，并且可能能够对三维(3D)物体进行图形处理。

可以基于物体的多视图图像(例如，一个或多个相机从不同角度和/或位置拍摄的物体的多个视图)产生物体的三维(3D)模型。3D模型可以向无线装置的用户提供有用的并且引起兴趣的信息，并且可以改善整体用户体验。3D重建可以用于安全、监控和机器人技术。此外，3D重建可以用于形成建筑物的模型以便产生虚拟旅行或用于导航目的。另外，可以(例如，在博物馆中)重建和保存可能已经遭到破坏的物体。

发明内容

揭示无线装置的多视图处理中的运动正规化物体重建的系统和方法。所揭示的实施例利用一个或多个运动传感器提供的无线装置的运动信息减少配合一种或多种3D重建技术产生三维(3D)模型(例如，3D结构)的复杂度。

根据特定实例，配合运动传感器数据使用基于特征点的重建技术(例如，光束调节技术)计算3D模型。根据一些方法，光束调节是以下表达式的“最大似然解”

其中Pⁱ是所述相机的第i个投影矩阵(即，通过所述相机拍摄并且投影到第i个图像上的所述物体的特征点的表示)，其中X_j是所述物体的第j个特征点，其中是所述第j个特征点在第i个图像中的坐标，并且其中d(·)表示距离函数，如下文进一步解释。物体的特征点包含物体的可能对于产生物体的3D模型至关重要的部分(例如，物体中的拐角、物体中的曲线、物体的边缘等)。举例来说，特征点可包含杯子的把手、杯子的图形图案的拐角、杯子的包含文本的部分和杯子的底座。

根据光束调节技术的至少一种用法，估计初始(例如，i＝1)和随后(例如，i＝2，3，...，n)投影矩阵Pⁱ，其估计相机从初始位置到相机的随后位置的位置和定向。估计物体的特征点X_j，并且还估计所述特征点在相机捕获到的物体的多个图像中的坐标光束调节解可能会导致大的并且计算密集的问题，因为有待估计的参数有很多。因而，光束调节解可能在计算方面要求很高，而且可能对处理器资源造成负担。

根据本发明的至少一个实施例，通过使用运动传感器数据来确定Pⁱ⁺¹(或Pⁱ⁺¹的估计)，可以减小光束调节技术的复杂度。举例来说，可以根据以下表达式减小光束调节复杂度：

其条件是Pⁱ⁺¹＝[R_i|T_i]Pⁱ，其中R_i和T_i分别是旋转和平移矩阵，并且[R_i|T_i]是基于无线装置的一个或多个传感器作出的测量的与无线装置相关联的相对姿势矩阵。因而，至少一个第i+1个投影矩阵可以从一个或多个运动传感器提供的无线装置的运动信息导出，并且不需要经由光束调节技术迭代地估计，从而使得总复杂度减小。

根据另一特定实例，使用运动传感器测量值导出相机位置信息以产生基于轮廓的3D物体(例如，使用视觉外壳技术产生的3D物体)。通过使用运动传感器测量值，可以通过移动装置(例如，不与“固定”或预定位置相关联的装置)实际上产生基于轮廓的3D模型。

在特定实施例中，一种方法包含在移动装置在第一位置时在移动装置的相机处捕获物体的第一图像，并且在移动装置在第二位置时捕获物体的第二图像。所述方法包含基于移动装置的至少一个运动传感器输出的数据确定移动装置从第一位置到第二位置的移动。所述方法还包含基于所述第一图像、所述第二图像和所述移动装置的所述所确定的移动而计算所述物体的三维(3D)模型。

在特定实施例中，一种设备包含经配置以在第一位置时捕获物体的第一图像和在第二位置时捕获物体的第二图像的相机。所述设备包含至少一个运动传感器、一个处理器和一个存储可通过处理器执行的指令的存储器。所述指令可执行以基于所述至少一个运动传感器输出的数据确定相机从第一位置到第二位置的移动，并且基于第一图像、第二图像和相机的所确定的移动计算物体的三维(3D)模型。

在特定实施例中，一种方法包含基于从至少一个运动传感器接收到的数据确定移动装置从第一位置到第二位置的移动。所述方法还包含基于对应于从所述移动装置的所述第一位置看的物体的第一视图的所述物体的第一图像、进一步基于对应于从所述移动装置的所述第二位置看的所述物体的第二视图的所述物体的第二图像和进一步基于所述移动装置的移动而计算物体的三维(3D)模型。

在特定实施例中，一种设备包含用于基于从至少一个用于感测运动的装置接收到的数据确定移动装置从第一位置到第二位置的移动的装置。所述设备还包含用于基于对应于从所述移动装置的所述第一位置看的物体的第一视图的所述物体的第一图像、进一步基于对应于从所述移动装置的所述第二位置看的所述物体的第二视图的所述物体的第二图像和进一步基于所述移动装置的移动而计算物体的三维3D模型的装置。

在特定实施例中，一种计算机可读非暂时性媒体包含在由处理器执行时致使所述处理器基于从至少一个运动传感器接收到的数据确定移动装置从第一位置到第二位置的移动的指令。所述指令进一步可执行以基于对应于从所述移动装置的所述第一位置看的物体的第一视图的所述物体的第一图像、进一步基于对应于从所述移动装置的所述第二位置看的所述物体的第二视图的所述物体的第二图像和进一步基于所述移动装置的移动而计算物体的三维(3D)模型。

在检视整个申请案后，将明白本发明的其它方面、优点和特征，申请案包含以下部分：附图说明、具体实施方式和权利要求书。

附图说明

图1是包含经配置以基于运动传感器数据计算3D模型的移动装置的系统的特定实施例的图；

图2是图1的移动装置的特定说明性实施例的图；

图3是图1的移动装置的另一特定说明性实施例的图；

图4是图1的移动装置的另一特定说明性实施例的图；

图5是说明基于运动传感器数据计算3D模型的方法的特定实施例的流程图；

图6是说明基于运动传感器数据计算3D模型的方法的另一特定实施例的流程图；

图7是说明基于运动传感器数据根据基于特征点的重建技术(例如，光束调节技术)计算3D模型的方法的特定实施例的流程图；

图8是说明基于运动传感器数据根据基于轮廓的重建技术(例如，视觉外壳技术)计算3D模型的方法的特定实施例的流程图；

图9是说明基于运动传感器数据根据基于轮廓的重建技术(例如，视觉外壳技术)计算3D模型的方法的另一特定实施例的流程图；

图10是图1的移动装置的另一特定说明性实施例的图，其中所述移动装置经配置以基于运动传感器数据根据基于特征点的重建技术(例如，光束调节技术)计算3D模型；以及

图11是图1的移动装置的另一特定说明性实施例的图，其中所述移动装置经配置以基于运动传感器数据根据基于轮廓的重建技术(例如，视觉外壳技术)计算3D模型。

具体实施方式

参看图1，揭示系统的特定实施例的图，并且将其总体上标示为100。系统100包含移动装置102，所述移动装置包含相机108，其经配置以捕获例如物体130等一个或多个物体的一个或多个图像(例如，第一图像120和第二图像122)。移动装置102进一步包含一个或多个运动传感器104、一个或多个存储装置106和一个3D建模器110。3D建模器110可以使用硬件、使用存储在计算机可读有形媒体处的处理器可执行指令或其组合实施，如下文中进一步描述。所述一个或多个运动传感器104可包含一个或多个电力、机械、机电或其它传感器，例如陀螺仪、加速计、其它运动传感器装置或其组合。

物体130可包含一个或多个特征点，例如物体130的顶点、物体130的底座、物体130的把手、物体130上的文本或图形、物体130的曲线、物体130的一个或多个其它相异的部分，或其任何组合。虽然图1展示当移动装置102处在两个位置时相机108捕获的物体130的两个图像120、122，但是应注意，相机108可以捕获物体130的对应于移动装置102的多个位置的多个图像。

相机108可经配置以在移动装置102的多个位置(例如，在相对于坐标系或相对于初始位置的不同角度和/或旋转处)捕获物体130的图像。举例来说，相机108可以在移动装置102(和相机108)在第一位置(例如，物体130的第一视图140)时捕获物体130的第一图像120，并且相机108可以在移动装置102(和相机108)在第二位置(例如，物体130的第二视图150)时捕获物体130的第二图像122。在至少一个实施例中，对应于第一视图140和第二视图150的图像数据可以存储在一个或多个存储装置106处。

所述一个或多个运动传感器104可经配置以产生运动指示移动装置102的位置(例如，移动装置102相对于移动装置102的初始位置或相对于坐标系的旋转和/或平移)的运动传感器数据。举例来说，所述一个或多个运动传感器104可经配置以与相机108捕获第一图像120并行地产生运动传感器数据112。作为另一实例，所述一个或多个运动传感器104可经配置以与相机108捕获第二图像122并行地产生运动传感器数据114。在至少一个实施例中，移动装置102使用3D建模器110使用运动传感器数据112、114并且进一步使用与图像120、122有关的图像数据产生物体130的3D模型116，如下文中进一步描述。

在操作期间，移动装置102可以基于相机108的第一视图140经由相机108捕获物体130的第一图像120。移动装置102可以移动到第二位置(例如，由于移动装置102的用户的移动)，并且可以基于相机108的第二视图150经由相机108捕获物体130的第二图像122。移动装置102的一个或多个运动传感器104可以输出对应于移动装置102的运动信息的运动传感器数据112、114、所述运动信息使得能够确定移动装置102从第一位置到第二位置的移动。运动传感器数据112、114可以指示移动装置102的旋转和平移运动。

为了说明，当移动装置102在第一位置时，3D建模器110可以接收对应于第一图像120的数据，并且可以进一步接收一个或多个运动传感器104输出的运动传感器数据112。类似地，当移动装置102在第二位置时，3D建模器110可以接收对应于第二图像122的数据，并且可以进一步接收一个或多个运动传感器104输出的运动传感器数据114。运动传感器数据114可以指示移动装置102从第一位置到第二位置的移动信息。举例来说，运动传感器数据114可包含与移动装置102从第一位置到第二位置的旋转和平移相关联的移动装置102的旋转和平移矩阵。作为另一实例，运动传感器数据112、114可以提供使得能够产生移动装置102的旋转和平移矩阵的信息。运动传感器数据112、114可包含或指示从一个或多个运动传感器104获得的“相机姿势”矩阵，如下文中进一步描述。

出于说明的目的，提供3D建模器110使用运动传感器数据112、114和对应于图像120、122的数据产生物体130的3D模型116的非限制性实例操作。在特定实例中，3D建模器110经配置以通过基于一个或多个运动传感器104提供的运动传感器数据114计算光束调节表达式而产生3D模型116。根据此类实施例并且如下文中进一步描述，3D建模器110可以基于计算而输出物体130的3D特征点。输出3D特征点对应于物体130的3D模型。在特定实施例中，计算光束调节表达式可包含基于第一估计再投影图像点、第二估计再投影图像点和一个或多个运动传感器104输出的数据的函数确定物体130的特征点。举例来说，计算光束调节表达式可包含基于第一位置的第一估计(即，P¹)和物体130的一个或多个特征点(X_j)的乘积(即，计算P¹X_j)而确定物体130的第一估计再投影图像点。计算光束调节表达式还可包含基于第二位置的第二估计(即，P²)与物体130的一个或多个特征点(X_j)的乘积(即，计算P²X_j)而确定物体的第二估计再投影图像点。计算光束调节表达式还可包含确定第一估计再投影图像点与物体130在第一图像120中的坐标之间的第一欧几里得距离的平方(即，计算)和确定第二估计再投影图像点与物体130在第二图像122中的坐标之间的第二欧几里得距离的平方(即，计算)。计算光束调节表达式可包含修改3D模型116的估计以使第一欧几里得距离的平方和第二欧几里得距离的平方的总和减小或“最小化”(即，使“最小化”)。还可修改第一位置的第一估计P¹以进一步减小平方和。但是，第二位置的第二估计P²受到限制，使得Pⁱ⁺¹＝βPⁱ，其中β指示相机姿势信息，例如旋转矩阵R和/或变换矩阵T。举例来说，在至少一个实施例中，β＝[R_i|T_i]。通过限制P²...Pⁿ，可以明显减小产生特征点的复杂度。应注意，虽然配合前述实例展示了欧几里得距离函数，但是也可以利用其它距离函数。举例来说，d(·)可以表示例如几何距离或测量图像中的投影特征坐标与测量特征坐标之间的距离或差值的任何其它度量的距离函数。

可以根据多种技术确定相机姿势信息。为了说明，假设在相机108捕获的N个图像(例如，第一图像120和第二图像122)中“匹配”(例如，识别)一个或多个特征点X_j中的至少一个。所匹配的特征点可以指示为mⁱ，其中在(i＝1，...N)的情况下mⁱ＝[xⁱ，yⁱ，1]^T。所匹配的特征点mⁱ与空间位置M＝[X Y Z 1]^T相关联。因此，对于比例因子μⁱ，在i＝1，...，N≥2的情况下，μⁱ[xⁱ，yⁱ，1]^T＝PⁱM，其中Pⁱ＝Kⁱ[Rⁱ|Tⁱ]是第i个相机投影矩阵，并且Kⁱ是移动装置102的第i个相机的上部三角形校准矩阵(例如，3x3上部三角形校准矩阵)，其中i＝1，...，N(例如，对于相机108的多相机实施例，为了说明清楚起见，图1中省略了这个多相机实施例)。上部三角形校准矩阵Kⁱ对于用相同相机捕获的图像可以是相同的(例如，当使用相机108捕获N个图像中的每一个时，例如对于移动装置102的单个相机实施例)。[Rⁱ|Tⁱ]可以是与第i个相机相关联的相对姿势矩阵。因此，

AM＝0其中 $A=\left[\begin{array}{c}{p}_1^1-x^1{p}_3^1\\ p_2^1-y^1{p}_3^1\\ p_1^2-x^2{p}_3^2\\ p_2^2-y^2{p}_3^2\\ \·\\ \·\\ \·\\ p_1^N-x^N{p}_3^N\\ p_1^N-y^N{p}_3^N\end{array}\right]$

这里，p_j ⁱ是第i个相机的投影矩阵的第j行，并且AM＝0可以是有三个未知数(X，Y，Z)的一组2N个齐次方程式。因为所有相机投影矩阵可以是已知的，并且N可以等于或大于2，所以所述方程式可以具有最小平方解，这可以使得代数再投影误差“最小化”。

应了解，根据前述描述的光束调节技术可以利用相机姿势数据(例如，运动传感器数据112、114)使得能够对3D模型116进行简化并且计算上高效的确定。常规方法(例如，不利用运动传感器信息的光束调节计算)可以接受计算密集型“最小平方解”，例如通过获得非线性解以便使几何误差“最小化”：

$\underset{x,p^i}{\min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[{(x^i-\frac{p_1^{i}M}{p_3^{i}M})}^2+{(y^i-\frac{p_2^{i}M}{p_3^{i}M})}^2].$

图2描绘移动装置102的特定说明性实施例。图2的移动装置102包含一个或多个运动传感器104、一个或多个存储装置106、相机108和3D建模器110。

在图2的特定实施例中，一个或多个存储装置106存储有待被3D建模器110用来产生3D模型116的3D重建数据202。3D重建数据202可包含运动传感器数据112、114，并且可以进一步包含分别对应于图1的第一图像120和图1的第二图像122的第一图像数据220和第二图像数据222。3D模型116可以显示在移动装置102的显示器(图2中未图示)上。

根据特定说明性实施例，图2的图像数据220、222对应于图片序列，每一图片是响应于用户输入单独捕获的(例如，用户“手动”捕获的并且不是视频序列的一部分的“静态”或“快照”图片)。在至少一个实施例中，图2的实例可以配合移动装置102的应用程序使用，这个应用程序使得用户能够基于用户使用相机108捕获的静态图片产生例如3D模型116等3D模型。根据额外实施例并且如下文进一步论述，图像数据220、222可以对应于视频帧序列的视频帧(例如，“自动”周期性捕获的循序静态图像)。

图3描绘参看图1描述的移动装置102的另一特定说明性实施例。图3的移动装置102包含一个或多个运动传感器104、一个或多个存储装置106、相机108、3D建模器110和显示器320。图3的3D建模器110包含同步器308。图3的一个或多个存储装置106包含运动传感器数据缓冲器306和视频帧缓冲器304。任选地，图3的移动装置102可包含主存储器310。

在操作中，相机108可以捕获视频帧序列302。视频帧缓冲器304可以响应于相机108，并且经配置以存储视频帧序列302的一个或多个视频帧。举例来说，在图3的实例中，图像数据220、222对应于视频帧序列302的视频帧。运动传感器数据缓冲器306可以响应于一个或多个运动传感器104。运动传感器数据缓冲器306可以存储运动传感器数据112、114。

同步器308可以相对于来自运动传感器数据缓冲器306的数据同步来自视频帧缓冲器304的数据。举例来说，同步器308可以同步第一运动传感器数据112与第一图像数据220，并且可以进一步同步第二运动传感器数据114与第二图像数据222。根据至少第一技术，同步器308通过比较时戳而相对于来自运动传感器数据缓冲器306的数据同步来自视频帧缓冲器304的数据，例如通过将与运动传感器数据112、114相关联的时戳跟与图像数据220、222相关联的时戳比较。根据至少第二技术，同步器308从运动传感器数据缓冲器306并且从视频帧缓冲器304周期性地存取数据。根据至少第三技术，同步器308响应于移动装置102的移动(例如，响应于一个或多个运动传感器104)，并且响应于检测到的运动从运动传感器数据缓冲器306并且从视频帧缓冲器304拉动数据。其它技术可以利用第一技术、第二技术和第三技术中的一个或多个的组合。任选地，视频帧缓冲器304输出的数据可以作为包含视频帧序列302的视频文件312存储在主存储器310处。

将了解，通过从“临时”存储装置(例如，图3的视频帧缓冲器304和运动传感器数据缓冲器306)而不是主存储器310拉动数据，3D建模器110可以“在运行中”操作。举例来说，与捕获视频帧序列302并行地或几乎并行地，3D建模器110可以产生3D模型116，并且移动装置102可以在显示器320上显示3D模型116。如本文所使用，“在运行中”、“并行地”和“几乎并行地”指的是用户可以感知到是同时的看到所捕获的物体与产生物体的3D模型之间的关系。

因此，配合图3所说明的实例可以对应于3D模型116的“在运行中”的产生。举例来说，当用户围绕着物体(例如图1的物体130)移动所述移动装置102时，3D建模器110可以“自动”再现3D模型116，这与用户的移动并行地在显示器320上显示。根据额外实施例，并且如下文进一步论述，一个或多个实施例可以基于运动传感器数据和视频帧序列非并行地产生3D模型。

图4描绘参看图1描述的移动装置102的另一特定说明性实施例。图4的移动装置102包含一个或多个运动传感器104、一个或多个存储装置106、相机108、3D建模器110、视频帧缓冲器304和显示器320。

在操作中，一个或多个运动传感器104可以产生运动传感器数据112、114，其可以存储在一个或多个存储装置106处。相机108可以捕获视频帧序列302，其可以暂时存储在视频帧缓冲器304处，并且显示在显示器320处，例如配合与视频帧序列302相关联的“预览”特征而显示。举例来说，可以在将视频帧序列302存储在一个或多个存储装置106处(例如，作为图像数据220、222)之前和/或在3D建模器110产生3D模型116之前在显示器320处显示视频帧序列302。

因此，在图4的特定实施例中，3D建模器110可以根据“后处理”技术产生3D模型116。举例来说，因为3D模型116可能不是与相机108捕获视频帧序列302并行地产生和显示，所以显示器320可以改为展示相机108捕获的图像的“预览”。此外，显示器320可以显示用户指令以便进行相机定位(例如，相对于所观看的物体握持相机的角度和/或位置)。此后，可以由3D建模器110通过存取一个或多个存储装置106(其可以是“主存储器”，例如配合图3描述的主存储器310)产生3D模型116。

参看图5，揭示说明基于运动传感器数据计算3D模型的方法的特定实施例的图，并且将其总体上标示为500。方法500包含在502处在移动装置在第一位置时在移动装置的相机处捕获物体的第一图像，并且在504处在移动装置在第二位置时捕获物体的第二图像。举例来说，相机108可以在移动装置102在第一位置时捕获物体130的第一图像120，并且相机108可以在移动装置102在第二位置时捕获物体130的第二图像122。第一图像120可以对应于相机108在第一位置时捕获的物体130的第一视图140，并且第二图像122可以对应于相机108在第二位置时捕获的物体130的第二视图150。

方法500进一步包含在506处基于移动装置的至少一个运动传感器输出的数据确定移动装置从第一位置到第二位置的移动。举例来说，一个或多个运动传感器104可以输出对应于移动装置102的运动信息的运动传感器数据112、114。在特定实施例中，运动信息可包含将移动装置102从第一位置旋转和平移到第二位置。为了说明，一个或多个运动传感器可以提供移动装置102的对应于第一位置的第一旋转和/或平移矩阵以及移动装置102的对应于第二位置的第二旋转和/或平移矩阵。在至少一个实施例中，将移动装置的第一位置用作“参考”位置，并且第二位置因此指示移动装置的位置变化。根据其它实施例，将另一位置(例如，先前位置，或与预定坐标系相关联的位置)用作“参考”位置，并且第一位置和第二位置两者各自指示移动装置的一个位置变化。

方法500还包含在508处基于第一图像、第二图像和移动装置的所确定的移动而计算物体的3D模型。举例来说，根据基于特征点的重建技术并且如至少参看图1所描述，3D建模器110可以基于第一图像120和第二图像122计算物体130的特征点。在特定实施例中，3D建模器110可经配置以基于一个或多个运动传感器104提供的运动传感器数据114、第一图像120和第二图像122计算光束调节表达式根据其它实施例并且如下文中进一步描述，可以根据基于轮廓的技术(例如，视觉外壳技术)计算3D模型。

参看图6，揭示说明基于运动传感器数据计算三维(3D)模型的方法的另一特定实施例的图，并且将其总体上标示为600。方法600包含在602处基于从至少一个运动传感器接收到的数据确定移动装置从第一位置到第二位置的移动。所述数据、所述至少一个运动传感器和所述移动装置可以分别对应于运动传感器数据112、114、一个或多个运动传感器104和移动装置102。

方法600进一步包含在604处基于对应于从移动装置的第一位置看的物体的第一视图的物体的第一图像、进一步基于对应于从移动装置的第二位置看的物体的第二视图的物体的第二图像和进一步基于移动装置的移动计算物体的3D模型。举例来说，相机108可以在移动装置102在第一位置时捕获物体130的第一图像120，并且相机108可以在移动装置102在第二位置时捕获物体130的第二图像122。第一图像120可以对应于相机108在第一位置时捕获的物体130的第一视图140，并且第二图像122可以对应于相机108在第二位置时捕获的物体130的第二视图150。

参看图7，描绘说明基于运动传感器数据根据基于特征点的重建技术(例如，光束调节技术)计算3D模型的方法的特定实施例的流程图，并且将其总体上标示为700。方法700包含在702处使用移动装置(例如，移动装置102)的相机(例如，相机108)捕获物体(例如，物体130)的图像(例如，图像120、122)。

在704处，方法700包含使用一个或多个运动传感器(例如，一个或多个运动传感器104)确定运动传感器数据(例如，运动传感器数据112、114)。在706处，匹配图像的一个或多个特征点，并且在708处，确定一个或多个匹配的特征中的每一个的3D位置。可以使用任何合适的技术(例如上文至少参看图1描述的光束调节技术)执行确定一个或多个特征点和一个或多个匹配特征点中的每一个的3D位置。

在710处，使用一个或多个匹配特征(例如，根据光束调节技术)产生物体的3D模型。在至少一个实施例中，如至少参看图10进一步描述，使用移动装置102的处理器执行图7的方法700。

参看图8，描绘说明基于运动传感器数据根据基于轮廓的重建技术(例如，视觉外壳技术)计算3D模型的方法的特定实施例的流程图，并且将其总体上标示为800。方法800包含在802处使用移动装置(例如，移动装置102)的相机(例如，相机108)捕获物体(例如，物体130)的图像(例如，图像120、122)。

在804处，使用移动装置的一个或多个运动传感器(例如，一个或多个运动传感器104)确定运动传感器数据(例如，运动传感器数据112、114)。在806处在图像中的每一个中产生物体的轮廓。方法800进一步包含在808处产生物体的基于轮廓的模型，和在810处基于所述基于轮廓的模型产生3D模型。参看图9描述基于轮廓的重建技术的特定实例。

参看图9，描绘说明基于运动传感器数据根据基于轮廓的重建技术(例如，视觉外壳技术)计算3D模型的方法的另一特定实施例的流程图，并且将其总体上标示为900。方法900包含在902处通过移动装置(例如，移动装置102)扫描第一视图的每一像素，并且基于视图方向投影光线R。在904处，将光线R投影到一个或多个参考图像，并且找到区间I，使得区间I与图像中的每一个的轮廓相交。

在906处，经由至少一个传感器(例如，经由一个或多个运动传感器104)确定指示移动装置的位置变化(例如，从第一位置到第二位置)的运动传感器数据(例如，运动传感器数据112、114)。在至少一个实施例中，在902处使用在906处确定的运动传感器数据将光线R投影到一个或多个参考图像。方法900进一步包含在908处使用已知相机投影Pⁱ作为3D区间L将区间I投影回到3D空间中。可以从运动传感器数据导出已知相机投影Pⁱ。方法900进一步包含在910处从重叠L选择最内(例如，最短)的交点Q，其中Q是具有对应于有待构造的3D模型的表面点的端点的最后3D区间。响应于交叉点Q的数目小于阈值N，在914处添加另一光线或视图。响应于Q的数目满足阈值N，使用交点Q产生3D模型(例如，3D模型116)。如至少参看图11进一步描述，可以使用移动装置102的处理器执行图8的方法800、图9的方法900或其组合。

图10是移动装置102的另一特定说明性实施例的图，其中所述移动装置102经配置以基于运动传感器数据根据基于特征点的重建技术(例如，光束调节技术)计算3D模型。图10的移动装置102包含耦合到存储器1032并且耦合到一个或多个运动传感器104的处理器，例如处理器1010。一个或多个运动传感器104还可耦合到存储器1032。

存储器1032可以是存储数据(例如，移动装置102的运动数据)、指令或其组合的计算机可读非暂时媒体。在特定实施例中，存储器1032可包含指令1054，所述指令可以通过处理器1010执行以致使处理器1010执行移动装置102的一个或多个功能。举例来说，指令1054可包含用户应用程序、操作系统或其它可执行指令或其组合。指令1054可以通过处理器1010执行以致使处理器1010执行本文所述的一个或多个操作，例如基于一个或多个运动传感器104确定的运动传感器数据(例如，运动传感器数据112、114)确定移动装置102的移动。在至少一个实施例中，存储器1032是“主存储器”，例如参看图3描述的主存储器310。或者或另外，存储器1032可包含一个或多个存储装置106、运动传感器数据缓冲器306、视频帧缓冲器304或其组合。

处理器1010可包含3D建模器110。举例来说，3D建模器110可以是处理器1010的硬件组件、可通过处理器1010执行的一组指令(例如，存储在存储器1032处的指令)或其组合。在图10的特定实施例中，3D建模器110包含特征点产生器1092，其可以配合基于特征点的重建技术确定物体的所捕获的图像(例如，图1的第一图像120和第二图像122)的特征点1094。3D建模器110可以基于特征点1094产生3D模型116。

图10说明耦合到相机控制器1090的相机108，所述相机控制器可以提供图像120、122和/或有待通过3D建模器110处理的视频数据。相机控制器1090可以耦合到处理器1010并且耦合到显示器控制器1026。相机108可以是摄像机、无摄像功能的相机、单相机、多相机(例如，立体相机)或其组合。

图10还展示显示器控制器1026，其可以耦合到处理器1010和显示器320。编码器/解码器(编解码器)1034(例如，音频和/或语音编解码器)可以耦合到处理器1010。扬声器1036和麦克风1038可以耦合到编解码器1034。图10还指示无线控制器1040可以耦合到处理器1010并且耦合到收发器1050，所述收发器耦合到无线天线1042。在特定实施例中，处理器1010、一个或多个运动传感器104、相机控制器1090、显示器控制器1026、存储器1032、编解码器1034、无线控制器1040和收发器1050包含在封装中系统或芯片上系统装置1022中。

在一特定实施例中，输入装置1030和电源1044耦合到芯片上系统装置1022。此外，在特定实施例中，并且如图10中所说明，显示器320、相机108、输入装置1030、扬声器1036、麦克风1038、无线天线1042和电源1044在芯片上系统装置1022外部。但是，显示器320、输入装置1030、扬声器1036、麦克风1038、无线天线1042和电源1044中的每一个可耦合到芯片上系统装置1022的一组件，例如接口或控制器。虽然一个或多个运动传感器104被说明为包含在芯片上系统装置1022中，但在其它实施例中，一个或多个运动传感器104可以在芯片上系统装置1022外部，并且耦合到芯片上系统装置1022。

图11是移动装置102的另一特定说明性实施例的图，其中所述移动装置102经配置以基于运动传感器数据根据基于轮廓的重建技术(例如，视觉外壳技术)计算3D模型。可以总体上参看图10的移动装置102描述图11的移动装置102的某些组件和特征，例如处理器1010、一个或多个运动传感器104、相机控制器1090、显示器控制器1026、存储器1032、指令1054、编解码器1034、无线控制器1040、收发器1050、封装中系统或芯片上系统装置1022、无线天线1042、输入装置1030、显示器320、相机108、扬声器1036、麦克风1038和电源1044。但是，图11的3D建模器110包含轮廓产生器1192，用以例如配合视觉外壳技术产生轮廓1194。3D建模器110可以使用轮廓1194产生3D模型116。

虽然为了便于说明起见配合移动装置(例如，移动装置102)描述了本发明，但是应了解可以使用其它装置实施本文所述的功能性。举例来说，图10和11的处理器1010和存储器1032可以集成到多媒体播放器、娱乐单元、导航装置、个人数字助理(PDA)、固定位置数据单元或计算机(例如，平板计算机、膝上型计算机、桌上型计算机等)、媒体装置、另一经配置而以无线方式传送数据的装置或其组合中。此外，虽然为了便于说明起见已经分别描述了多种技术(例如，重建技术，例如基于特征点和基于轮廓的重建技术)，但是一种或多种此类技术(或其要素)可以组合。

配合所描述的实施例，揭示一种设备，其包含用于基于从至少一个用于感测运动的装置接收到的数据确定移动装置从第一位置到第二位置的移动的装置。举例来说，所述用于确定的装置可包含图1-4、10和11的3D建模器110、图10和11的处理器1010、经配置以确定移动装置的移动的一个或多个其它装置或其任何组合。用于感测运动的装置可包含一个或多个运动传感器104。

所述设备进一步包含用于基于对应于从移动装置的第一位置看的物体的第一视图的物体的第一图像、进一步基于对应于从移动装置的第二位置看的物体的第二视图的物体的第二图像和进一步基于移动装置的移动计算物体的三维(3D)模型的装置。举例来说，所述用于计算3D模型的装置可包含图1-4、10和11的3D建模器110、图10和11的处理器1010、经配置以计算3D模型的一个或多个其它装置或其任何组合。

所属领域的技术人员将进一步了解，结合本文所揭示的实施例所描述的各种说明性逻辑块、配置、模块、电路和算法步骤可实施为电子硬件、存储在计算机可读有形媒体处的处理器可执行指令或两者的组合。上文已大体在功能性方面描述了各种说明性组件、块、配置、模块、电路和步骤。所述功能性是实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述功能性，但所述实施决策不应被解释为导致偏离本发明的范围。

可直接以硬件、以由处理器执行的软件模块或以上述两者的组合实施结合本文所揭示的实施例而描述的方法或算法的步骤。软件模块可驻留在随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸磁盘、压缩光盘只读存储器(CD-ROM)或此项技术中已知的任何其它形式的非暂时性存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息并将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻留在专用集成电路(ASIC)中。ASIC可以驻留在计算装置或用户终端(例如，移动电话或PDA)中。在替代方案中，处理器和存储媒体可作为离散组件驻留在计算装置或用户终端中。

提供对所揭示实施例的先前描述以使得所属领域的技术人员能够制造或使用所揭示的实施例。对于所属领域的技术人员来说，对这些实施例的各种修改将为显而易见的，且可在不偏离本发明的范围的情况下将本文中所定义的原理应用于其它实施例。因此，并不希望本发明限于本文中揭示的实施例，而是应被赋予与由所附权利要求书定义的原理和新颖特征相一致的最广泛范围。

Claims (25)

1.一种方法，其包括：

在移动装置处在第一位置时在所述移动装置的相机处捕获物体的第一图像；

在所述移动装置处在第二位置时捕获所述物体的第二图像；

基于所述移动装置的至少一个运动传感器输出的数据确定所述移动装置从所述第一位置到所述第二位置的移动；以及

基于所述第一图像、所述第二图像和所述移动装置的所述所确定的移动而计算所述物体的三维3D模型。

2.根据权利要求1所述的方法，其中所述第一图像和所述第二图像是与所存储的视频文件相关联的视频帧，并且进一步包括周期性地存取所述所存储的视频文件以存取所述视频帧。

3.根据权利要求1所述的方法，其中所述第一图像和所述第二图像是与视频帧序列相关联的视频帧，并且进一步包括在将所述视频帧序列存储为视频文件之前存取所述视频帧。

4.根据权利要求1所述的方法，其中所述第一图像和所述第二图像是快照图像。

5.根据权利要求1所述的方法，其中计算所述物体的所述3D模型进一步是基于所述物体的一个或多个轮廓。

6.根据权利要求1所述的方法，其中所述至少一个运动传感器输出的所述数据包含与所述移动装置相关联的旋转运动、与所述移动装置相关联的平移运动或其组合。

7.根据权利要求1所述的方法，其中所述移动装置的所述所确定的移动包含所述移动装置的旋转、所述移动装置的平移或其组合。

8.根据权利要求1所述的方法，其中计算所述物体的所述3D模型进一步包括基于第一估计再投影图像点、第二估计再投影图像点和所述至少一个运动传感器输出的所述数据的函数确定所述物体的特征点。

9.根据权利要求1所述的方法，其中计算所述物体的所述三维模型进一步包括：

基于所述第一位置的第一估计与所述物体的一个或多个特征点的乘积确定所述物体的第一估计再投影图像点；

基于所述第二位置的第二估计与所述物体的所述一个或多个特征点的乘积确定所述物体的第二估计再投影图像点；

确定所述第一估计再投影图像点与所述物体在所述第一图像中的坐标之间的第一欧几里得距离的平方；

确定所述第二估计再投影图像点与所述物体在所述第二图像中的坐标之间的第二欧几里得距离的平方；以及

修改所述3D模型的估计以使所述第一欧几里得距离的所述平方与所述第二欧几里得距离的所述平方的总和最小化，

其中基于所述第一位置的所述第一估计和所述至少一个运动传感器输出的所述数据产生所述第二位置的所述第二估计。

10.根据权利要求9所述的方法，其中根据光束调节技术执行修改所述3D模型的所述估计以确定下式的最大似然解：

$\underset{P^i,X_j}{\min }\underset{i,j}{\mathrm{\Σ}}d{(P^i{X}_j,x_j^i)}^2,$

其中d与距离运算相关联，

其中Pⁱ是所述相机的投影矩阵，

其中X_j是所述物体的第j个特征点，并且

其中是所述第j个特征点在第i个图像中的坐标。

11.一种设备，其包括：

相机，其经配置以在第一位置时捕获物体的第一图像并且在第二位置时捕获所述物体的第二图像；

至少一个运动传感器；

处理器；以及

存储器，其存储可由所述处理器执行以进行以下操作的指令：

基于所述至少一个运动传感器输出的数据确定所述相机从所述第一位置到所述第二位置的移动；以及

基于所述第一图像、所述第二图像和所述相机的所述所确定的移动而计算所述物体的三维3D模型。

12.根据权利要求11所述的设备，其中所述处理器集成到移动装置、所述相机、多媒体播放器、娱乐单元、导航装置、个人数字助理PDA、便携式计算机或其任何组合中。

13.根据权利要求11所述的设备，其中所述至少一个运动传感器输出的所述数据包含与所述相机相关联的旋转信息、与所述相机相关联的平移信息或其组合。

14.根据权利要求11所述的设备，其中所述相机的所述所确定的移动包含所述相机的旋转、所述相机的平移或其组合。

15.根据权利要求11所述的设备，其中所述指令进一步可由所述处理器执行以基于第一估计再投影图像点、第二估计再投影图像点和所述至少一个运动传感器输出的所述数据的函数确定所述物体的特征点。

16.根据权利要求11所述的设备，其中所述指令进一步可由所述处理器执行以进行以下操作：

基于所述第一位置的第一估计与所述物体的一个或多个特征点的乘积确定所述物体的第一估计再投影图像点；

基于所述第二位置的第二估计与所述物体的所述一个或多个特征点的乘积确定所述物体的第二估计再投影图像点；

确定所述第一估计再投影图像点与所述物体在所述第一图像中的坐标之间的第一欧几里得距离的平方；

确定所述第二估计再投影图像点与所述物体在所述第二图像中的坐标之间的第二欧几里得距离的平方；以及

修改所述3D模型的估计以使所述第一欧几里得距离的所述平方与所述第二欧几里得距离的所述平方的总和最小化，

其中基于所述第一位置的所述第一估计和所述至少一个运动传感器输出的所述数据产生所述第二位置的所述第二估计。

17.根据权利要求16所述的设备，其中根据光束调节技术执行修改所述3D模型的所述估计以确定下式的最大似然解：

$\underset{P^i,X_j}{\min }\underset{i,j}{\mathrm{\Σ}}d{(P^i{X}_j,x_j^i)}^2,$

其中d与距离运算相关联，

其中Pⁱ是所述相机的投影矩阵，

其中X_j是所述物体的第j个特征点，并且

其中是所述第j个特征点在第i个图像中的坐标。

18.一种方法，其包括：

基于从至少一个运动传感器接收到的数据确定移动装置从第一位置到第二位置的移动；以及

基于对应于从所述移动装置的所述第一位置看的物体的第一视图的所述物体的第一图像、进一步基于对应于从所述移动装置的所述第二位置看的所述物体的第二视图的所述物体的第二图像和进一步基于所述移动装置的所述移动而计算所述物体的三维3D模型。

19.一种设备，其包括：

用于基于从至少一个用于感测运动的装置接收到的数据确定移动装置从第一位置到第二位置的移动的装置；以及

用于基于对应于从所述移动装置的所述第一位置看的物体的第一视图的所述物体的第一图像、进一步基于对应于从所述移动装置的所述第二位置看的所述物体的第二视图的所述物体的第二图像和进一步基于所述移动装置的所述移动而计算所述物体的三维3D模型的装置。

20.根据权利要求19所述的设备，其进一步包括用于捕获所述第一图像并且用于捕获所述第二图像的装置。

21.根据权利要求19所述的设备，其进一步包括用于基于第一估计再投影图像点、第二估计再投影图像点和从所述至少一个用于感测运动的装置接收到的所述数据确定所述物体的特征点的装置。

22.一种计算机可读非暂时性媒体，其包括在由处理器执行时致使所述处理器进行以下操作的指令：

基于从至少一个运动传感器接收到的数据确定移动装置从第一位置到第二位置的移动；以及

基于对应于从所述移动装置的所述第一位置看的物体的第一视图的所述物体的第一图像、进一步基于对应于从所述移动装置的所述第二位置看的所述物体的第二视图的所述物体的第二图像和进一步基于所述移动装置的所述移动而计算所述物体的三维3D模型。

23.根据权利要求22所述的非暂时性计算机可读媒体，其中所述数据包含与所述移动装置相关联的旋转信息、与所述移动装置相关联的平移信息或其组合。

24.根据权利要求22所述的非暂时性计算机可读媒体，其进一步包括可通过所述处理器执行以基于第一估计再投影图像点、第二估计再投影图像点和所述数据的函数确定所述物体的特征点的指令。

25.根据权利要求22所述的非暂时性计算机可读媒体，其进一步包括可由所述处理器执行以产生与所述物体相关联的一个或多个轮廓的指令，其中所述物体的所述3D模型进一步是基于所述一个或多个轮廓。