CN102192727A - 移动手持设备和方法 - Google Patents

Abstract

本发明公开了一种移动手持设备，包括：显示单元，用于显示实时图像数据；摄像单元，用于拍摄二维图像数据；测距单元，用于测量移动手持设备与拍摄对象之间的三维轮廓距离数据；MEMS加速度计，用于记录移动手持设备在多个方向上的运动轨迹数据；处理单元，用于从摄像单元、三维测距单元和MEMS加速度计接收相应的数据，对接收的数据进行处理，并在显示单元上实时显示处理后的数据；以及存储单元，用于存储与处理单元的操作有关的数据。本发明还公开了一种利用移动手持设备拍摄三维环境的方法。

Description

移动手持设备和方法

技术领域

本发明涉及一种便携式设备，具体涉及一种具有三维激光扫描功能的移动手持设备和方法。

背景技术

Leica测距仪仅能够利用TOF(激光飞行时间)技术测量单个点的距离。Riegl三维扫描仪的体积很大，因而不能够集成到移动手持设备中。现有技术中存在一种车载移动三维扫描仪，但是不能进行全方位带抖动补偿的三维扫描，并且缺乏在线更新辅助扫描功能。

随着MEMS技术的发展，Fraunhofer IPMS于2009年开发出以超便携蜂窝电话为目标市场的MEMS扫描模块。利用该模块，能够使用移动设备来实现三维扫描。但如果没有三脚架，由于扫描时间长达若干秒，便携式手持扫描仪无法在远距离进行精确的三维扫描。因此，需要一种对扫描期间手持抖动进行补偿的技术。

MEMS加速度计能够检测终端微小的倾斜角和加速度，因而可以解决上述问题。苹果(Apple)公司已经在其产品iPhone中使用了MEMS加速度计，并用其实现手机屏幕的自动旋转，例如：横向宽屏浏览视频和网页，纵向竖屏打电话发短信。该功能现已成为各种触摸屏智能手机的必选特性。

现代社会更需要一种具有精确的三维扫描能力的移动手持设备，能够用于快速简单的地面三维建模。其可能的应用例如：具有本地三维环境扫描能力的在线更新的Google Earth SketchUp、民用建筑的快速核查、数字图像的三维增强、交通事故现场快速的三维建模、使用三维环境检测并与在线三维地图进行比较的车辆导航系统，等等。

然而，现有的解决方案或体积过大，或过于昂贵，以至于无法集成到移动手持设备中。简单的单点测距仪也无法解决该问题，因为单束激光需要旋转MEMS棱镜才能获得每秒数千个点距离数据，这既增加了体积也限制了速度；而Fraunhofer扫描模块则采取阵列方式读取距离数据，解决了以上问题。

但是，激光三维扫描阵列模块也存在缺点，由于扫描时间相对较长(若干秒)，手持设备的随机微小抖动会严重影响远距离物体的三维建模精度。

发明内容

因此，为了解决上述问题，本发明提出了一种移动手持设备和相应的方法。

根据本发明的一个方面，提供了一种移动手持设备，包括：显示单元，用于显示实时图像数据；摄像单元，用于拍摄二维图像数据；测距单元，用于测量移动手持设备与拍摄对象之间三维轮廓距离数据；MEMS加速度计，用于记录移动手持设备在多个方向上的运动轨迹数据；处理单元，用于从摄像单元、测距单元和MEMS加速度计接收相应的数据，对接收的数据进行处理，并在显示单元上实时显示处理后的数据；以及存储单元，用于存储与处理单元的操作有关的数据。

优选地，处理单元根据来自MEMS加速度计的运动轨迹数据对测距单元的距离测量进行补偿。

优选地，所述多个方向包括俯仰、倾斜、前、后、左、右、上、下方向。

优选地，摄像单元的焦点可以由移动手持设备自动选取或由移动手持设备的用户手动选取。例如，通过具有触摸功能的显示单元来选取焦点。

优选地，测距单元由MEMS激光器和MEMS接收阵列组成。

优选地，移动手持设备还包括定位单元，用于提供移动手持设备的地点信息和方向信息。

优选地，移动手持设备还包括通信单元，用于将拍摄结果传输到特定的地理信息系统或者从该地理信息系统下载与拍摄背景有关的三维环境数据。

优选地，移动手持设备包括：移动电话、个人数字助理或车载GPS设备。

根据本发明的另一方面，提供了一种利用移动手持设备拍摄三维环境的方法，包括：选取拍摄的焦点；测量移动手持设备与拍摄对象之间三维轮廓距离数据；进行拍摄并记录移动手持设备在多个方向上的运动轨迹数据；对拍摄的数据和测量的距离数据进行处理，并实时显示处理后的数据。

优选地，该方法还包括根据运动轨迹数据对测量的距离数据进行补偿。

优选地，所述多个方向包括俯仰、倾斜、前、后、左、右、上、下方向。

优选地，拍摄的焦点可以由移动手持设备自动选取或由移动手持设备的用户手动选取。

优选地，该方法还包括提供移动手持设备的地点信息和方向信息。

优选地，该方法还包括将拍摄结果传输到特定的地理信息系统，或者从该地理信息系统下载与拍摄背景有关的三维环境数据。

在本发明的一个优选实施例中，使用内置MEMS距离扫描模块进行三维距离测量，并使用MEMS加速度计进行手的抖动的检测和调整以及自动关联。如果需要，还可以将移动GPS与电子罗盘功能相结合，以提供快速的三维模型生成。用户可以缓慢地移动其移动手持设备，以相对高的三维精度来扫描大的范围。这对于建筑物和周围环境的三维扫描来说非常有效。然后，用户可以存储或处理所得数据以提供网络上的地理服务，如Google Earth SketchUp。对于汽车业来说，本发明的设备可以安装在车辆前部，并能够在可视范围较小的夜间快速扫描道路情况。而对于保险公司，本发明的设备使得交通小事故的快速三维建模与理赔成为可能。

附图说明

通过下文结合附图的详细描述，本发明的上述和其他特征将会变得更加明显，其中：

图1A示出了根据本发明一个实施例的移动手持设备的示意性侧视图；

图1B示出了根据本发明一个实施例的移动手持设备的示意性后视图；

图2示出了根据本发明一个实施例的移动手持设备的功能框图；

图3示出了根据本发明一个实施例的三维激光扫描方法的流程图；

图4示出了根据本发明的抖动补偿的示意图；

图5A至5D示出了根据本发明的移动手持设备的一个示例应用的场景图；以及

图6示出了移动手持设备可能在多个方向上发生移动的示意图。

具体实施方式

下面，通过结合附图对本发明的具体实施例的描述，本发明的原理和实现将会变得明显。应当注意的是，本发明不应局限于下文所述的具体实施例。另外需要说明，为了简便起见，附图中没有示出与本发明直接相关的公知组件。

图1A示出了根据本发明一个实施例的移动手持设备100的示意性侧视图。图1B示出了该移动手持设备的示意性后视图。具体地，移动手持设备100包括MEMS加速度计101、MEMS激光器102、MEMS接收阵列103、CMOS摄像机104(由于角度关系，图1A中未示出该元件而在图1B中示出)和屏幕107。

在实际操作中，当CMOS摄像机104开启时，首先可以由CMOS摄像机104自动选取焦点或者由用户手动地选取焦点(例如采用具有触摸功能的屏幕107)。当焦点确定后，MEMS激光器102发出激光束106来探测焦点处的目标105，MEMS接收阵列103接收反射的激光束以确定移动手持设备100相对于焦点的距离(相当于测距仪)。在CMOS摄像机104进行三维拍摄的同时，MEMS加速度计101可以记录移动手持设备在多个方向上的运动轨迹数据。具体地，例如参考图6所示，移动手持设备可能发生转动(在俯仰、倾斜方向)和平移(在前、后、左、右、上、下方向)。由于三维拍摄的时间较长，因此MEMS加速度计101会记录若干秒的运动轨迹数据。这些运动轨迹数据和上文所述的与焦点的距离将用作对手的抖动的补偿的基本参数。下文结合附图2来详细描述示例移动手持设备中的各个组件以及相应的功能。

图2示出了根据本发明一个实施例的移动手持设备200的功能框图。从图2可以看出，移动手持设备200包括摄像单元202、测距单元204、MEMS加速度计206、处理单元208、存储单元210和显示单元212。可选地，当移动手持设备200是无线电话时，移动手持设备200还可以包括AGPS定位单元214和通信单元216。

摄像单元202用于拍摄二维图像数据。例如，该摄像单元202包括现有技术中存在的多种摄像机，例如是图1中示出的CMOS摄像机。在开始拍摄时，摄像单元202首先会确定焦点或兴趣点，例如自动地确定或由用户手动地确定。

测距单元204用于测量移动手持设备200与拍摄对象之间三维轮廓距离数据。例如，该测距单元可以由图1中示出的、MEMS激光器102和MEMS接收阵列103组成。

在摄像单元202进行拍摄的同时，MEMS加速度计206记录移动手持设备200在多个方向上的运动轨迹数据。由于拍摄的时间较长，因此MEMS加速度计206会记录若干秒的运动轨迹数据。

处理单元208从摄像单元202、测距单元204和MEMS加速度计206接收相应的数据，根据焦点颜色和轮廓来确定拍摄焦点对象的二维边界，并将该边界内部作为三维精细拍摄范围，以指示摄像单元202对该范围进行精细拍摄。

在进行精细拍摄的同时，处理单元208根据MEMS加速度计206记录的轨迹数据和测距单元204测得的距离来计算针对手的抖动的补偿。这是因为普通的图像稳定系统只考虑图像在二维方向上的抖动并且由于曝光时间短无需长时间记录设备的运动轨迹。而三维图像系统除了必须计算焦点以及与焦点的距离外，还必须长时间记录设备的运动轨迹，并实时根据该距离对三维轮廓进行校正，从而使通过缓慢平移设备而拍摄目标三维全景成为可能。

下面通过一个具体的例子来说明本发明中的补偿功能。图4示出了根据本发明的补偿的示意图。如图4所示，M是测距单元204(例如MEMS激光器102和MEMS接收阵列103)测得的从移动手持设备到焦点的距离点阵。在本示例中，根据从MEMS加速度计206记录的轨迹数据导出的三维倾角θ来计算补偿后的距离点阵N，从而进一步根据焦点位置F重新建立以焦点为中心的三维模型。具体地，通过计算MEMS接收阵列103上各点处的光束的返回时间来计算移动手持设备的原始三维轮廓数据，根据在返回时间内MEMS加速度计记录的随机微小抖动的三维轨迹数据得出的倾角θ来计算补偿后的优化三维轮廓数据。另外，N是M与θ进行矩阵矢量乘法后得到的结果。由于MEMS接收阵列103会按照激光扫描间隔连续得到目标的三维距离数据，MEMS加速度计206必须持续记录移动手持设备在拍摄时间内的运动轨迹，并把该轨迹按时间序列与接收到的激光反射信号强度和时间进行拟合，得出最终的修正阵列距离结果。

在进行补偿后，可将实时更新的三维数据以叠加轮廓线的方式显示在显示单元212上。该显示单元212可以是本领域中的多种显示器，例如LCD或OLED显示器。此外，该显示器可以具有触摸功能。

此外，用户可以通过摄像单元202或具有触摸功能的显示单元212手动改变焦点的位置，从而改变精细拍摄范围。在此之后，可以重新拍摄更新后的三维数据，如上文所述。

对于非选定的精细拍摄范围或目标对象，可以采用低分辨率形式拍摄背景的三维轮廓数据，并统一拟合到优化的目标对象三维模型中。

存储单元210可以存储拍摄的数据，以供后续使用。该存储单元可以是非易失性存储器，例如闪速存储器(FLASH)。

此外，用户可以缓慢平移该移动手持设备200，根据来自MEMS加速度计206的运动补偿数据和先前拍摄的累积结果，拟合二维和三维全景信息。

可选地，该移动手持设备200包括具有电子罗盘功能的AGPS定位单元214。该定位单元214能够给出精确的拍摄地点和方向信息，有助于绘制精确的三维地图或三维地理模型，其适用于当用户需要拍摄较大场景中的对象时(例如几十米到几百米的范围)。另外，该移动手持设备200还可以包括通信单元216。利用该通信单元216，移动手持设备200可以将拍摄结果传输到特定的地理信息系统(例如Google Earth)，或者从该地理信息系统下载拍摄背景的历史三维环境数据，从而节省了大量的现场拍摄扫描工作。该下载过程可以和摄像单元202的拍摄过程同时进行。

下面结合附图5A至5D，以车祸快速理赔的场景为例，对具有AGPS定位单元214和通信单元216的移动手持设备(例如无线电话)的一个示例应用进行描述。

假定两辆汽车发生了碰撞。这时，处理人员(例如保险公司的工作人员)使用本发明的移动手持设备来拍摄事故现场。首先，根据移动手持设备中的AGPS定位单元214的定位数据ρ和电子罗盘测得的朝向α来粗略测量焦点F(发生碰撞的部位)的位置，如图5A所示。可选地，可以按照上文结合附图4所描述的那样，对测得的焦点F的位置应用补偿，以获得精确的焦点位置。

之后，处理人员可以拿着移动手持设备终端缓慢移动，如图5B所示。可以根据AGPS定位单元214、MEMS加速度计206和联合判断出该移动不是随机的轻微抖动，也可以使用电子罗盘和手机与基站间的信号强度作为辅助判别依据。例如，MEMS加速度计206持续指向某个方向或电子罗盘的朝向发生变化，等等。之后，根据结合附图5A所描述的重新计算焦点的位置，并以焦点为中心叠加拟合其新的侧面三维距离与二维颜色信息，综合计算出更新的三维模型。移动手持设备会根据二维图像边框信息自动更新焦点，并在显示单元212上会实时显示更新焦点和二维/三维模型结果，用户也可以采用触摸屏幕方式手动重新选取焦点。其中，三维模型T＝N+N’(矢量比较加法，用于补充侧面的三维信息)。

如图5C所示，通过使用通信单元216，移动手持设备可以结合网络在线地理数据系统辅助更新三维模型的远处信息，也可以使用远处多种标志性建筑物距离信息和在线地理系统持续校对焦点F的实际地理坐标。

另外，根据二维摄像头返回二维图像颜色信息判断焦点部位平滑与跃变区域，平滑区域三维测距仪可以自动降低分辨率，大跃变区域三维测距仪可以自动增加分辨率并开启辅助抖动补偿装置如2以便更加精确测量三维模型信息，如图5D中所示。

需要说明的是，上文描述的本发明的补偿运算会消耗较多电力。因此，对于电力不充足的移动手持设备，或者在对测距单元204测得的距离不需要太精确的较大平滑场景下(例如参考上文结合附图5A-5D所描述的)，可以自动地或手动地(例如通过具有触摸功能的显示单元212)关闭处理单元208的补偿功能。

图3示出了根据本发明一个实施例的三维地面激光扫描方法300的流程图。该方法由例如参考图1和图2描述的本发明的移动手持设备来执行。

方法在步骤302处开始。然后，在步骤304，摄像单元自动地选取焦点或者用户手动地选取焦点。

在步骤306，测量移动手持设备与拍摄对象之间三维轮廓距离数据，作为补偿过程的基本参数。在步骤308进行拍摄，并记录移动手持设备在多个方向上的运动轨迹数据(参考图6所示)。这个步骤的持续时间大约为几秒至几十秒。

然后，在步骤310，根据对焦点颜色与轮廓确定拍摄焦点对象的二维边界，该二维边界内部作为三维精细拍摄范围。在扫描精细拍摄对象时，可以根据移动手持设备的运动轨迹与测量点和拍摄点的距离来进行补偿。具体的补偿过程例如可以参见上文结合图4的描述，此处不再赘述。

在步骤312，将实时更新的三维数据以叠加轮廓线的方式显示在移动手持设备的显示器上。接下来，在步骤314，判断是否需要改变焦点。如果是，那么用户可以通过例如移动手持设备的触摸屏或模式选项来改变焦点以及精细拍摄范围，并重复执行步骤306至312。

如果不需要改变焦点，则方法进行至步骤316。在步骤316处，缓慢平移移动手持设备，根据运动补偿数据和前期拍摄的结果综合计算目标物体的二维与三维全景信息。该信息可以在移动手持设备的显示器上显示，也可以存储在存储单元中，以供后续使用(例如传输到地理信息系统)。最后，方法在步骤318处结束。

本发明将二维信息、三维信息、速度信息、位置信息和时间信息关联到一起，并对所有这些数据一同进行处理，产生了最终的三维地面环境，由此实现了三维的实时地面环境扫描。在本发明中，MEMS加速度计用于补偿手的抖动，并作为图像稳定器而工作。优选地，移动手持设备还可以包括具有电子罗盘功能的AGPS。AGPS可以指示用户的位置，该用户位置可以用于多个三维扫描图像的关联。

通过使用本发明的具有三维激光扫描功能的移动手持设备，用户可以容易地获得三维形状信息，并对地理信息系统的数据进行更新。基于更加详细的三维道路情况图和实时的便携式三维扫描，车辆的无人驾驶将会成为现实。

本发明使用MEMS加速度计来测量手的抖动并进行补偿。此外，本发明可以利用快速的CPU、大容量存储器和廉价的ASIC执行与AGPS定位、电子罗盘、二维成像、三维距离点阵等的附加关联，以产生更为详细的三维地图。如果将本发明与Web 2.0技术一同应用，则用户可以绘制他/她自己的三维地图，甚至是虚拟世界。

可以理解的是，本发明的移动手持设备可以包括多种设备，例如但不限于：无线电话、个人数字助理(PDA)、车载GPS设备，等等。

尽管以上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将会理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行各种修改、替换和改变。因此，本发明不应由上述实施例来限定，而应由所附权利要求及其等价物来限定。

Claims (16)

1.一种移动手持设备，包括：

显示单元，用于显示实时图像数据；

摄像单元，用于拍摄二维图像数据；

测距单元，用于测量移动手持设备与拍摄对象之间三维轮廓距离数据；

MEMS加速度计，用于记录移动手持设备在多个方向上的运动轨迹数据；

处理单元，用于从摄像单元、测距单元和MEMS加速度计接收相应的数据，对接收的数据进行处理，并在显示单元上实时显示处理后的数据；以及

存储单元，用于存储与处理单元的操作有关的数据。

2.如权利要求1所述的移动手持设备，其中，所述处理单元根据来自MEMS加速度计的运动轨迹数据对测距单元的距离测量进行补偿。

3.如权利要求1或2所述的移动手持设备，其中，所述多个方向包括俯仰、倾斜、前、后、左、右、上、下方向。

4.如权利要求1或2所述的移动手持设备，其中，摄像单元的焦点可以由移动手持设备自动选取或由移动手持设备的用户手动选取。

5.如权利要求1或2所述的移动手持设备，其中，所述显示单元具有触摸功能。

6.如权利要求1或2所述的移动手持设备，其中，所述测距单元由MEMS激光器和MEMS接收阵列组成。

7.如权利要求1或2所述的移动手持设备，还包括：

定位单元，用于提供移动手持设备的地点信息和方向信息。

8.如权利要求7所述的移动手持设备，还包括：

通信单元，用于将拍摄结果传输到特定的地理信息系统或者从该地理信息系统下载与拍摄背景有关的三维环境数据。

9.如权利要求1或2所述的移动手持设备，其中，所述移动手持设备包括：移动电话、个人数字助理或车载GPS设备。

10.一种利用移动手持设备拍摄三维环境的方法，包括：

选取拍摄的焦点；

测量移动手持设备与拍摄对象之间三维轮廓距离数据；

进行拍摄并记录移动手持设备在多个方向上的运动轨迹数据；

对拍摄的数据和测量的距离数据进行处理，并实时显示处理后的数据。

11.如权利要求10所述的方法，还包括：根据运动轨迹数据对测量的距离数据进行补偿。

12.如权利要求10或11所述的方法，其中，所述多个方向包括俯仰、倾斜、前、后、左、右、上、下方向。

13.如权利要求10或11所述的方法，其中，拍摄的焦点可以由移动手持设备自动选取或由移动手持设备的用户手动选取。

14.如权利要求10或11所述的方法，还包括：提供移动手持设备的地点信息和方向信息。

15.如权利要求10或11所述的方法，还包括：将拍摄结果传输到特定的地理信息系统，或者从该地理信息系统下载与拍摄背景有关的三维环境数据。

16.如权利要求10或11所述的方法，其中，所述移动手持设备包括：移动电话、个人数字助理或车载GPS设备。

Images