CN103869593B - 三维成像装置、系统及方法 - Google Patents

Abstract

本发明提供一种三维成像方法，包括有如下步骤：获取一摄像模组的两个摄像单元所摄取到的图像；根据预设的基点光斑判断准则，从投射光斑图案影像中识别出基点光斑对应的基点光斑影像，并以该基点光斑影像为基准及预设的量测光斑确定准则确定各量测光斑影像，标识各量测光斑影像，确定同一量测光斑在不同图像的量测光斑影像的关联；根据该每一图像基点光斑影像及各量测光斑影像计算出基点光斑的探测距离及各量测光斑的探测距离根据基点光斑的探测距离及各量测光斑的探测距离建构一三维图像。本发明还提供三维成像装置及三维成像系统，可快速、精准的建构出三维图像。

Description

三维成像装置、系统及方法

技术领域

本发明涉及一种三维成像装置、系统及方法，尤其为一种激光光斑结合摄像的三维成像装置、系统及方法。

背景技术

目前三维成像技术广泛应用于各种电子装置，例如三维摄影、体感游戏控制、体感遥控控制或是精密工业制造等。

一般的三维成像技术为利用两个不同摄影角度的摄像单元同时各自摄取一张图像，并将这两张图像合并成三维图像。而在这种技术，如何确定摄像单元a所获得图像与摄像单元b所获得图像中所有的相同点是一个难题。因此基本上需人工进行相同点关联。

另外一种方法是，利用TOF(飞行时间法，Time-of-flight)技术的三维摄像，其所需的设备非常的昂贵，而且距离差距很小时时间差也很小，因此很难做到很精准，经常需要调整，另外当多个激光点同时投射时，同样存在进行不同图像中相同点关联也是个难题。

另外一种方法是，以色列Primesense公司所采用的一种光编码(light coding)技术。当发明人认为该光编码技术存在有诸多不足，例如：(1)要存储光斑在不同距离时图像，当光斑数量很多时，距离需求很精细时，要存储很多的图像；(2)当光斑数量很多时，要保证任意光斑在任何不同距离的投射影像都不同，这需要很大很大的难度。

发明内容

根据上述三维成像技术的不足，有必要提出一种三维成像装置、系统及方法能够快速、精准的建构出三维图像，而且成本较为低廉；进一步，可以根据所建构出三维图像进行进一步处理，产生相应的控制。

该三维成像装置包括有至少一摄像模块及激光发射模块，该激光发射模块用于投射出激光束，该激光束在障碍物上会形成有光斑，该摄像模块包括有两个摄像单元，每一摄像单元用于摄取一图像，所述每一图像中包括有光斑的光斑影像；该激光发射模块包括一激光源及扩散片，该激光源所发出的激光束经过该扩展片后形成特定图案的光斑图案，该光斑图案在障碍物上会形成有投射光斑图案，该投射光斑图案包括有投射基点光斑及多个投射量测光斑；该三维成像装置还包括有：一图像获取模块，用于控制该摄像模块及激光发射模块的开启，获取每一摄像单元所摄取的图像；一光斑确定模块，用于根据预设的基点光斑判断准则，从投射光斑图案影像中识别出基点光斑对应的基点光斑影像，并以该基点光斑影像为基准及预设的量测光斑确定准则确定各量测光斑影像，标识各量测光斑影像，确定同一量测光斑在不同图像的量测光斑影像的关联；一距离确定模块，用于根据该每一图像基点光斑影像及各量测光斑影像计算出基点光斑的探测距离及各量测光斑的探测距离；一三维图像成像模块，用于根据基点光斑的探测距离及各量测光斑的探测距离建构一三维图像。

该三维成像系统包括有：一图像获取模块，用于获取一摄像模组的两个摄像单元所摄取到的图像，所述每一图像中包括有光斑的光斑影像；一光斑确定模块，用于根据预设的基点光斑判断准则，从投射光斑图案影像中识别出基点光斑对应的基点光斑影像，并以该基点光斑影像为基准及预设的量测光斑确定准则确定各量测光斑影像，标识各量测光斑影像，确定同一量测光斑在不同图像的量测光斑影像的关联；一距离确定模块，用于根据该每一图像基点光斑影像及各量测光斑影像计算出基点光斑的探测距离及各量测光斑的探测距离；一三维图像成像模块，用于根据基点光斑的探测距离及各量测光斑的探测距离建构一三维图像。

该三维成像方法，包括有如下步骤：获取一摄像模组的两个摄像单元所摄取到的图像；根据预设的基点光斑判断准则，从投射光斑图案影像中识别出基点光斑对应的基点光斑影像，并以该基点光斑影像为基准及预设的量测光斑确定准则确定各量测光斑影像，标识各量测光斑影像，确定同一量测光斑在不同图像的量测光斑影像的关联；根据该每一图像基点光斑影像及各量测光斑影像计算出基点光斑的探测距离及各量测光斑的探测距离根据基点光斑的探测距离及各量测光斑的探测距离建构一三维图像。

附图说明

图1为本发明三维成像装置较佳实施方式结构示意图；

图2为本发明激光发射模块的结构示意图；

图3a、3b、3c为本发明光斑图案的示意图；

图4为本发明三维成像装置的光学探测组件的第二实施方式结构示意图；

图5为本发明三维成像系统的较佳实施方式的功能模块图；

图6为摄像单元20A所获得的图像示意图；

图7为本发明三维成像方法的较佳实施方式的流程图。

具体实施方式

申请人首先需要说明的是在本发明的附图及具体实施方式中都只示出及详细描述与本发明技术创新点及相关联的结构、模块、功能及作业流程，而为了构成一完整的三维成像装置、三维成像系统及方法所需的习知结构、模块、功能并不示出或描述，然而也必须需要说明的是在本发明的附图及具体实施方式中所示出或详细描述的结构、模块、功能并非全部为本发明的必要技术特征。在本发明中三维成像装置可以是三维摄像机、机器人、游戏机等所有具有三维成像、三维探测功能的电子装置或三维成像、三维探测功能的电子装置的附件。

请参阅图1所示为本发明三维成像装置较佳实施方式结构示意图。该三维成像装置1包括有一光学探测组件100，该光学探测组件100包括有至少一组摄像模块20及激光发射模块10。该激光发射模块10用于投射出激光束，该激光束投射到前面的障碍物上会形成有光斑，该摄像模块20包括有两个摄像单元20A、20B，每一摄像单元20A、20B用于摄取图像，在每一摄像单元20A、20B所摄取的图像中包括有形成于障碍物上的光斑的影像(简称为光斑影像)。

请一并参考图2所示，该激光发射模块10包括一激光源110及扩散片120，该激光源110所发出的激光束经过该扩展片120后形成特定图案的光斑图案，该光斑图案在投射于障碍物时，会障碍物上形成有光斑图案(该投射于障碍物所形成的光斑图案简称为投射光斑图案)。由于障碍物的形状不同，激光发射模块10发出的激光束会形成不同的投射光斑图案，而且一般情况下投射光斑图案与该光斑图案是不相同的。该光斑图案中包括有基点光斑及多个量测光斑，相应的该投射光斑图案包括有投射基点光斑及多个投射量测光斑。该激光源110可以是由一个或多个激光光源点组成。

请一并参考图3所示，该光斑图案为棋盘状(如图3a)，或是等高线状，该等高线可以是圆形(如图3b)或是等边三角形(如图3c)。

在图3a的棋盘状的光斑图案中具有一基点光斑130a及多个量测光斑，该基点光斑130a为特定形状如X形状。该量测光斑为垂直线交叉点，该基点光斑130a与量测光斑之间有光线连线，该光线连线可以是实线亦可以是虚线。

在图3b或图3c所示的等高线状光斑图案中，基点光斑130b、130c可以为包围面积最小的等高线，或是特定形状(如X形状)的光斑。该量测光斑为另一特定形状(如圆点形状)的光斑，该基点光斑与量测光斑之间有光线连线(圆周线或直线)，该光线连线可以是实线亦可以是虚线。

三维成像装置1还包括有一处理单元30。该处理单元30根据每一摄像单元20A、20B所摄取的图像建构出三维图像。在不同实施方式该处理单元30可以是单一的集成处理芯片或是由多个集成处理芯片组成的集成芯片组。

较佳的，该三维成像装置1还包括有一移动模块40，该处理单元30控制该移动模块40的移动。该移动模块40可以是马达及滚轮(图未示)或是导轨及牵引装置(图未示)。

较佳的，该三维成像装置1还包括有一机械手50，该处理单元30控制该机械手50去夹取物体。该光学探测组件100设置在该机械手50上。

在另一实施方式中，该三维成像装置1并没有包括移动模块30及机械手40，而是包括有一通讯单元(如USB通讯接口或蓝牙等无线通讯单元)，该三维成像装置1通过该通讯单元与其他电子装置进行通讯，该处理单元30通过通讯单元发送信息(所建构出三维图像或控制指令)给与该三维成像装置1相连接的其他电子装置通讯。亦即，在另一实施方式中，该三维成像装置1是其他电子的附件，例如体感游戏控制附件或是电视体感遥控附件等。

请参阅图4所示为本发明三维成像装置的光学探测组件的第二实施方式的结构示意图。在光学探测组件100的第一实施方式中，该光学探测组件100只包括有一组摄像模块及激光发射模块10。而在光学探测组件100的第二实施方式中两组摄像模块及激光发射模块10。其中第一摄像模块为远距摄像模块，其包括有摄像单元20A、20B，对应的该第一激光发射模块10a为远距激光模块；第二摄像模块为近距摄像模块，其包括有摄像单元200a、200b，第二激光发射模块10b为近距激光模块。所述远距摄像模块及远距激光模块是为当障碍物较远时，利用远距摄像模块及远距激光模块摄取的图像，本发明更能精准的建构出三维图像。所述近距摄像模块及近距激光模块是为当障碍物较近时，利用近距摄像模块及近距激光模块摄取的图像，本发明更能精准的建构出三维图像。

请参阅图5所示为本发明三维成像系统的较佳实施方式的功能模块图。该三维成像系统为可程序化计算机系统，较佳的该三维成像系统的计算机程序运行于该三维成像装置1的处理单元30中，形成该三维成像系统的功能模块，亦可理解该三维成像装置包括有该三维成像系统的功能模块。该三维成像系统200包括有一图像获取模块310、一光斑确定模块320、一距离确定模块330及一三维图像成像模块340。

该图像获取模块310，用于控制该摄像模块及激光发射模块的开启，获取该三维成像装置1上一摄像模组20的两个摄像单元同一时刻所摄取到的图像，所述每一摄像单元所摄取到的图像中包括有基点光斑及多个量测光斑的光斑影像。

该光斑确定模块320用于根据预设的基点光斑判断准则，从投射光斑图案影像中识别出基点光斑对应的基点光斑影像，并以该基点光斑影像为基准及预设的量测光斑确定准则确定各量测光斑影像，标识各量测光斑影像，确定同一量测光斑在不同图像的量测光斑影像的关联。如图3所描述，该预设的基点光斑判断准则可以是判断投射光斑图案影像中特定形状的光斑，或是包围面积最小或周长最小的等高线。该量测光斑确定准则为该量测光斑为垂直线交叉点(图3A)及顺着连线查找。或是，该量测光斑确定准则为该量测光斑为另一特定形状光斑及顺着圆周线查找(图3B、3C)。

请参阅图6所示，为摄像单元20A所获得的图像示意图。光斑确定模块320首先确定该图像中的基点光斑影像150(例如X形状的光斑)，将该基点光斑影像标识为A(0，0)。然后向左顺着光线连线查找一垂直线交叉点光斑151，将该垂直线交叉点151确定为量测光斑影像，并标识为A(1，0)；并继续向左顺着光线连线查找另一垂直线交叉点152，将该垂直线交叉点151确定为量测光斑影像，并标识为A(2，0)，同理一直找到最后一个垂直线交叉点光斑，将该垂直线交叉点153确定为量测光斑影像，并标识为A(n，0)。然后返回基点光斑影像，向右顺着光线连线查找一垂直线交叉点光斑154，将该垂直线交叉点154确定为量测光斑影像，并标识为A(-1，0)；同理，向右找到同一光线连线上的其他量测光斑影像，并标识为A(-2，0)、A(-3，0)、……A(-n，0)。接着，返回到基点光斑影像，顺着一光线连线向上查找到一垂直线交叉点光斑155，将该垂直线交叉点155确定为量测光斑影像，并标识为A(0，1)；以A(0，1)开始向左查找垂直线交叉点，获得量测光斑影像A(1，1)、A(2，1)、……A(n，1)，接着A(0，1)开始向左查找垂直线交叉点，获得量测光斑影像A(-1，1)、A(-2，1)、……A(-n，1)。这样，可确定该图像中所有的量测光斑影像，并对每一量测光斑影像进行了标识。

同理，对于摄像单元20B所获得的图像，也可以确定该图像中所有的量测光斑影像，并对这些量测光斑影像标识为B(1，0)、B(2，0)、……B(n，0)：B(-1，0)、B(-2，0)、……B(-n，0)；B(1，1)、B(2，1)、……B(n，1)；B(-1，1)、B(-2，1)、……B(-n，1)等。接着光斑确定模块320将A(0，1)与B(0，1)认定为同一量测光斑在不同摄像单元所摄像的影像，A(0，2)与B(0，2)认定为同一量测光斑在不同摄像单元所摄像的影像；……，A(x，y)与B(x，y)认定为同一量测光斑在不同摄像单元所摄像的影像；借此完成确定同一量测光斑在不同图像的量测光斑影像的关联。

可以理解，在其他实施方式量测光斑与基点光斑、量测光斑之间并无光线连线，查找量测光斑可以沿着某一方向的直线或近乎直线进行遍历查找。

同理，在等高线形状的可以以等高线由里及外顺着顺时针或逆时针遍历查找量测光斑并标识。

该距离确定模块330用于根据该每一图像基点光斑影像及各量测光斑影像计算出基点光斑的探测距离及各量测光斑的探测距离。该三维图像成像模块340用于根据基点光斑的探测距离及各量测光斑的探测距离建构一三维图像。本发明中所述的计算出基点光斑与该三维成像装置1的探测距离的具体处理过程请参照本申请人于2009年9月30日申请并于2013年4月10日获得专利授权的发明专利200910190545.2。

进一步三维成像系统200还包括有：一物体建构模块350，用于对该建构所得的三维图像进行识别，确定该三维图像所包含的物体。一目标物体确定模块360，用于根据预存储的目标物体图像与该物体建构模块所确定的各物体进行比较，确定三维图像中的目标物体；一操作控制模块370，用于判断该目标物体的参数，产生相应的控制指令。该目标物体参数包括一切可以描述该物体的一种或多种特征，例如形状、大小、目标物体与该基点光斑的相对方位及距离等。

在三维成像装置1的较佳实施方式中，该三维成像装置1包括有移动模组，该操作控制模块370是为判断该目标物体与该基点光斑的相对方位及距离，产生相应的指令控制该移动模组40移动。进一步，操作控制模块370还用于实时记录移动模组40移动的移动距离，根据该探测距离及移动距离计算移动后距离，并当移动后距离达到预定范围时，控制该摄像模块20及激光发射模块10重新开启，重新确定探测距离。

在三维成像装置的较佳实施方式中，该三维成像装置1还包括有一机械手50，该操作控制模块是为判断该目标物体与该基点光斑的相对方位及距离，产生相应的指令控制该机械手。

在三维成像装置的另一实施方式中，该三维成像装置1包括有一通讯单元(图未示)，该操作控制模块370还用于将控制指令通过通讯单元发送给与该三维成像装置1相连接的其他电子装置通讯。该通讯单元可以是USB等数据接口或是GPRS、3G、蓝牙、Wifi等无线通讯模组。

在另一实施方式中，该图像获取模块310持续控制该摄像模块20及激光发射模块10的开启，该操作控制模块370判断目标物体的参数是为根据连续的至少两个时刻的图像判断该目标物体的运动参数，产生相应的控制指令。例如，该目标物体为人体，该操作控制模块370根据连续的至少两个时刻的图像判断出该人体的右手向前远动，则产生右手向前远动所相应的控制指令。通过人体的运动参数，该操作控制模块370可产生相应的控制指令控制人体模拟图像再现相应的运动，以达到体感游戏控制的作用。或是，该操作控制模块370通过探测到人体的运动，产生相应的控制指令控制执行向前播放、向后播放、选择等体感遥控操作。

需要说明的，该三维成像系统200可运行在不含有光学探测组件的电子装置(如三维成像装置、体感控制游戏机、电视)上，由电子装置的处理单元所执行。相应的该三维成像系统200可以不具有控制摄像模块20及激光发射模块10开启的功能。

在另一实施方式中，该图像获取模块310持续控制该摄像模块20及激光发射模块10的开启，该操作控制模块370判断目标物体的参数是为根据连续的至少两个时刻的图像判断该目标物体的运动参数，产生相应的控制指令。例如，该目标物体为人体，该操作控制模块370根据连续的至少两个时刻的图像判断出该人体的右手向前远动，则产生右手向前远动所相应的控制指令。通过人体的运动参数，该操作控制模块370可产生相应的控制指令控制人体模拟图像再现相应的运动，以达到体感游戏控制的作用。或是，该操作控制模块370通过探测到人体的运动，产生相应的控制指令控制执行向前播放、向后播放、选择等体感遥控操作。

请参阅图7所示为本发明三维成像方法的较佳实施方式的流程图。该三维成像方法运用于前面所述的三维成像装置1上，由前面所述的三维成像系统200执行。该三维成像方法包括有如下步骤：获取该三维成像装置上一摄像模组的两个摄像单元所摄取到的图像(步骤S610)；根据预设的基点光斑判断准则，从每一图像中的投射光斑图案影像中识别出基点光斑影像(步骤S620)；以该基点光斑影像为基准及预设的量测光斑确定准则确定各量测光斑影像(步骤S630)；标识各量测光斑影像，确定同一量测光斑在不同图像的量测光斑影像的关联(步骤S640)；根据该每一图像基点光斑影像及各量测光斑影像计算出基点光斑的探测距离及各量测光斑的探测距离(步骤S650)；根据基点光斑的探测距离及各量测光斑的探测距离建构一三维图像(步骤S660)。对该三维图像进行识别，确定该三维图像所包含的物体(步骤S670)；根据预存储的目标物体图像与该物体建构模块所确定的各物体进行比较，确定三维图像中的目标物体(步骤S680)；判断该目标物体的参数，产生相应控制指令(步骤S690)。

在上述的流程中，判断该目标物体的参数，产生相应控制指令的步骤具体为：判断该目标物体与该基点光斑的相对方位及距离，产生相应的指令控制该三维成像装置移动。

进一步，该三维成像方法还包括步骤：实时记录移动距离，根据该探测距离及移动距离计算移动后距离，并当移动后距离达到预定范围时，控制该摄像模块及激光发射模块重新开启，重新确定探测距离。

进一步，判断该目标物体参数，产生相应控制指令的步骤具体为：根据连续的至少两个时刻的图像判断该目标物体的运动参数，产生相应的控制指令。

对应三维成像装置1包括有一通讯单元的实施方式中，判断该目标物体的参数，产生相应控制指令的步骤还包括子步骤：将控制指令通过该三维成像装置的通讯单元发送给与该三维成像装置相连接的其他电子装置通讯。

Claims (10)

1.一种三维成像装置，其包括有至少一摄像模块及激光发射模块，该激光发射模块用于投射出激光束，该激光束在障碍物上会形成有光斑，该摄像模块包括有两个摄像单元，每一摄像单元用于摄取一图像，所述每一摄像单元所摄取的图像中包括有光斑的光斑影像；其特征在于：

该激光发射模块包括一激光源及扩散片，该激光源所发出的激光束经过该扩散片后形成特定图案的光斑图案，该光斑图案在障碍物上会形成有投射光斑图案，该投射光斑图案包括有基点光斑及多个量测光斑；

该三维成像装置还包括有：

一图像获取模块，用于控制该摄像模块及激光发射模块的开启，获取每一摄像单元所摄取的图像；

一光斑确定模块，用于根据预设的基点光斑判断准则，从投射光斑图案影像中识别出基点光斑对应的基点光斑影像，并以该基点光斑影像为基准及预设的量测光斑确定准则确定各量测光斑影像，标识各量测光斑影像，确定同一量测光斑在不同图像的量测光斑影像的关联；

一距离确定模块，用于根据该每一摄像单元所摄取的图像的基点光斑影像及各量测光斑影像计算出基点光斑的探测距离及各量测光斑的探测距离；

一三维图像成像模块，用于根据基点光斑的探测距离及各量测光斑的探测距离建构一三维图像。

2.如权利要求1所述的三维成像装置，其特征在于，该三维成像装置还包括有物体建构模块，用于对该建构所得的三维图像进行识别，确定该三维图像所包含的物体。

3.如权利要求2所述的三维成像装置，其特征在于，该三维成像装置还包括有一目标物体确定模块，用于根据预存储的目标物体图像与该物体建构模块所确定的各物体进行比较，确定三维图像中的目标物体；一操作控制模块，用于判断该目标物体的参数，产生相应的控制指令。

4.如权利要求3所述的三维成像装置，其特征在于，该图像获取模块持续控制该摄像模块及激光发射模块的开启，该操作控制模块判断目标物体的参数是根据连续的至少两个时刻所识别出目标物体判断该目标物体的运动参数，产生相应的控制指令。

5.一种三维成像系统，其包括有一图像获取模块，用于获取一摄像模组的两个摄像单元所摄取到的图像，每一所述摄像单元所摄取到的图像中包括有光斑的光斑影像；其特征在于，该三维成像系统还包括：

一光斑确定模块，用于根据预设的基点光斑判断准则，从投射光斑图案影像中识别出基点光斑对应的基点光斑影像，并以该基点光斑影像为基准及预设的量测光斑确定准则确定各量测光斑影像，标识各量测光斑影像，确定同一量测光斑在不同图像的量测光斑影像的关联；

一距离确定模块，用于根据该每一摄像单元所摄取的图像的基点光斑影像及各量测光斑影像计算出基点光斑的探测距离及各量测光斑的探测距离；

一三维图像成像模块，用于根据基点光斑的探测距离及各量测光斑的探测距离建构一三维图像。

6.如权利要求5所述的三维成像系统，其特征在于，该三维成像系统还包括有一物体建构模块，用于对该建构所得的三维图像进行识别，确定该三维图像所包含的物体。

7.如权利要求6所述的三维成像系统，其特征在于，该三维成像系统还包括有一目标物体确定模块，用于根据预存储的目标物体图像与该物体建构模块所确定的各物体进行比较，确定三维图像中的目标物体；一操作控制模块，用于判断该目标物体的参数，产生相应的控制指令。

8.一种三维成像方法，其包括有如下步骤：

获取一摄像模组的两个摄像单元所摄取到的图像；

根据预设的基点光斑判断准则，从投射光斑图案影像中识别出基点光斑对应的基点光斑影像，并以该基点光斑影像为基准及预设的量测光斑确定准则确定各量测光斑影像，标识各量测光斑影像，确定同一量测光斑在不同图像的量测光斑影像的关联；

根据每一该摄像单元所摄取到的图像的基点光斑影像及各量测光斑影像计算出基点光斑的探测距离及各量测光斑的探测距离；

根据基点光斑的探测距离及各量测光斑的探测距离建构一三维图像。

9.如权利要求8所述的三维成像方法，其特征在于，该三维成像系统还包括步骤：对该建构所得的三维图像进行识别，确定该三维图像所包含的物体。

10.如权利要求9所述的三维成像方法，其特征在于，该三维成像方法还包括步骤：根据预存储的目标物体图像与该“对该建构所得的三维图像进行识别，确定该三维图像所包含的物体”步骤所确定的各物体进行比较，确定三维图像中的目标物体；判断该目标物体的参数，产生相应控制指令。