CN106502379B - 一种交互方法及交互系统、相对深度的获取方法 - Google Patents

Abstract

本发明公开了一种交互方法及交互系统、相对深度的获取方法，该交互方法包括：采集目标空间中包含交互对象的激光图像；计算激光图像与参考激光图像的相对深度；其中，参考激光图像是预先采集的目标空间不含交互对象的激光图像；利用激光图像与参考激光图像的相对深度，从激光图像中提取交互对象的图像部分；对交互对象的图像部分进行识别，并根据识别结果生成相应的控制指令。通过上述方式，本发明能够避免通过计算直接深度带来的繁琐计算步骤，提高了深度获取和交互的速度。

Description

一种交互方法及交互系统、相对深度的获取方法

技术领域

本发明涉及三维交互技术领域，特别是涉及一种交互方法及交互系统、相对深度的获取方法。

背景技术

人机交互(Human-Computer Interaction,简写HCI)是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程。

由于二维图像仅能反映人(交互对象)的颜色、纹理等信息，因而利用三维深度图像实现人机交互是普遍被采取的一种方式，比如利用人体的深度图像进行手势及动作的识别实现体感交互等。

一般而言，体感交互需要获取目标空间深度图像以获得目标空间的深度信息。深度图像获取可以通过深度相机，目前常用的有结构光深度相机以及TOF(Time of Flight)相机等等；无论是哪种相机都无法直接获取被测目标的深度，而是需要经过对相机采集图像的进一步计算来获取目标深度值，这些计算步骤繁琐而耗时，导致目前的体感交互有较大的延时，无法达到实时的体验效果。

发明内容

本发明主要解决的技术问题是提供一种交互方法及交互系统、相对深度的获取方法，能够避免通过计算直接深度带来的繁琐计算步骤，提高了深度获取和交互的速度。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于相对深度图像的交互方法，该方法包括：采集目标空间中包含交互对象的激光图像；计算激光图像与参考激光图像的相对深度；其中，参考激光图像是预先采集的目标空间不含交互对象的激光图像；利用激光图像与参考激光图像的相对深度，从激光图像中提取交互对象的图像部分；对交互对象的图像部分进行识别，并根据识别结果生成相应的控制指令。

其中，计算激光图像与参考激光图像的相对深度，包括：计算激光图像与参考激光图像每个像素的偏移值；利用偏移值计算得到激光图像与参考激光图像的相对深度。

其中，计算激光图像与参考激光图像每个像素的偏移值，包括：利用数字图像相关算法计算得到激光图像与参考激光图像每个像素的偏移值。

其中，采集目标空间中交互对象的激光图像，包括：利用激光投影模组向包含交互对象的目标空间投影激光图案；利用激光相机采集目标空间中交互对象的激光图像。

其中，利用偏移值计算得到激光图像与参考激光图像的相对深度，包括：将每个像素的偏移值作为激光图像与参考激光图像的对应像素的相对深度；或采用以下公式计算得到激光图像与参考激光图像的相对深度：其中，ΔZ为激光图像与参考激光图像的相对深度，Δ为偏移值，B为激光投影模组和激光相机之间的距离，f为激光相机的镜头的焦距，Z₀为目标空间的深度值。

其中，激光投影模组为红外投影模组，红外投影模组投影的图案为红外散斑图案，激光相机为红外相机。

其中，利用激光图像与参考激光图像的相对深度提取交互对象的图像，包括：利用激光图像与参考激光图像的相对深度，提取深度值大于设定深度值的像素所组合形成的图像部分作为交互对象的图像部分。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种相对深度的获取方法，该方法包括：采集第一目标的第一激光图像以及第二目标的第二激光图像；计算第一激光图像与第二激光图像的偏移值；利用偏移值计算得到第一激光图像与第二激光图像的相对深度。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种交互系统该系统包括：激光投影模组，用于向目标空间投影激光；激光相机，用于采集目标空间中包含交互对象的激光图像；处理器，用于计算激光图像与参考激光图像的相对深度；其中，参考激光图像是预先采集的目标空间不含交互对象的激光图像；处理器还用于利用激光图像与参考激光图像的相对深度，从激光图像中提取交互对象的图像部分；以及处理器还用于对交互对象的图像部分进行识别，并根据识别结果生成相应的控制指令。

其中，激光投影模组为红外投影模组，红外投影模组投影的图案为红外散斑图案，激光相机为红外相机。

本发明的有益效果是：区别于现有技术的情况，本发明的基于相对深度图像的交互方法包括：采集目标空间中包含交互对象的激光图像；计算激光图像与参考激光图像的相对深度；利用激光图像与参考激光图像的相对深度，从激光图像中提取交互对象的图像部分；对交互对象的图像部分进行识别，并根据识别结果生成相应的控制指令。通过上述方式，能够通过计算相对深度信息得到交互对象的图像，避免了得到直接深度带来的繁琐计算，提高了深度获取和交互的速度。

附图说明

图1是本发明基于相对深度图像的交互方法一实施方式的流程示意图；

图2是本发明基于相对深度图像的交互方法一实施方式中S11一实施例的流程示意图；

图3是本发明基于相对深度图像的交互方法一实施方式中S12一实施例的流程示意图；

图4是本发明基于相对深度图像的交互方法一实施方式中参考激光图像和采集的激光图像的对比示意图；

图5是本发明相对深度的获取方法一实施方式的流程示意图；

图6是本发明交互系统一实施方式的结构示意图。

具体实施方式

参阅图1，图1是本发明基于相对深度图像的交互方法一实施方式的流程示意图，该方法包括：

S11：采集目标空间中包含交互对象的激光图像。

其中，目标空间可以是一任意形状和大小的空间，或者说是能够被采集激光图像的设备覆盖的空间区域；交互对象一般是可运动以产生交互信息的对象，例如人体，当然，也可以是机器人、机械操作手臂等其他能够实现交互的对象。

其中，激光图像是包含交互对象的目标空间在激光投影下呈现的激光图像，一般是采用专用的激光相机进行采集。例如，该激光可以是红外激光、紫外激光等。

可选的，如图2所示，在一实施方式中，S11可以具体包括：

S111：利用激光投影模组向包含交互对象的目标空间投影激光图案。

可选的，激光投影模组为红外投影模组，红外投影模组投影的图案为红外散斑图案。其中，该散斑图案可以是不规则的散斑图案。

S112：利用激光相机采集目标空间中交互对象的激光图像。

可选的，在激光投影模组是红外投影模组的情况下，激光相机为红外相机。

可以理解的，其中的激光投影模组和激光相机是相互配合的，其投影或采集的激光种类应当相同。

另外，在其他实施方式中，S11中采集的激光图像还可以是连续采集的激光图像序列。由于本实施方式主要用于获取交互对象的移动指令，因此激光相机可以连续采集目标空间中包含交互对象的激光图像；换句话说，即录制视频。

S12：计算激光图像与参考激光图像的相对深度。

其中，参考激光图像是预先采集的目标空间不含交互对象的激光图像。

具体地，在目标空间中没有交互对象时，向目标空间投影激光，并通过激光相机采集目标空间的激光图像，以作为参考激光图像。可选的，为了提高后面步骤计算的精度，可以对目标空间采集多个激光图像，将测量精度较高的一幅作为参考激光图像。

其中，采集参考图像的步骤可以是预先完成的，即只要是目标空间不变，或者目标空间与采集设备之间的距离和方向角度不变，该采集参考图像的步骤则可以只执行一次，并将参考图像存储于设备中。若目标空间在每次交互中都是变化的，则采集参考图像的步骤可以在S11之前，并每次执行本实施方式时均需要执行一次。

可选的，如图3所示，在一实施方式中，S12可以具体包括：

S121：计算激光图像与参考激光图像每个像素的偏移值。

可选的，S121可以具体是：

利用数字图像相关算法计算得到激光图像与参考激光图像每个像素的偏移值。

具体地，下面对计算偏移值做简单的介绍：

首先确定每个像素的位移映射函数，一般而言该函数需要考虑激光图像和参考激光图像两幅图中待测对象上各点的平移以及变形。在本实施例中，由于两幅图中的图案仅仅是由于待测对象深度变化导致位置变化，并没有发生较大的变形，因此可以将该函数简化成仅考虑平移的情形，即：X＝x+Δ。这里X及x分别为待测对象的一个点在激光图像以及参考激光图像中的像素坐标，Δ为待求的偏移值。

其次，确定相应的搜索算法。一般采用的是牛顿迭代法，但是该算法涉及大量的根号及除法运算，算法的编写以及执行效率都不高。本实施例是采用的是基于迭代最小二乘法的搜索算法。由于仅考虑沿X方向平移的情形，因此仅需要进行一维的搜索算法就可以了，这样可以较大幅度提升算法的效率。

最后结合位移映射函数以及迭代最小二乘法就可以对偏移值Δ进行求解。

S122：利用偏移值计算得到激光图像与参考激光图像的相对深度。

可选的，在一种实施方式中，可以直接将每个像素的偏移值作为激光图像与参考激光图像的对应像素的相对深度。可以理解的，由于我们的目的仅仅是要得到交互对象的图像，获取深度值紧紧是一个手段，因此，即使偏移值与深度值不相等，也可以用偏移值来代替深度值并进行后续的计算。

可选的，在另一种实施方式中，可以采用以下公式计算得到激光图像与参考激光图像的相对深度：

其中，ΔZ为激光图像与参考激光图像的相对深度，Δ为偏移值，B为激光投影模组和激光相机之间的距离，f为激光相机的镜头的焦距，Z₀为目标空间的深度值。

S13：利用激光图像与参考激光图像的相对深度，从激光图像中提取交互对象的图像部分。

其中，因为交互对象和目标空间的深度是不一样的，并且参考激光图像只包括目标空间，而采集的激光图像则包含了目标空间和交互对象，因此，可以根据采集的激光图像和参考激光图像的相对深度，来得到交互对象的图像。

如图4所示，其中，图(a)表示参考激光图像，图(b)表示采集的激光图像，其中的阴影部分为交互对象。可以理解的，从理论上来说，采集的激光图像中的非交互对象部分与参考激光图像的相对深度值应当为0，但是由于图像采集的误差，可以设置一个阈值，则S13可以具体包括：

利用激光图像与参考激光图像的相对深度，提取深度值大于设定深度值的像素所组合形成的图像部分作为交互对象的图像部分。

可以理解的，我们将两幅图中每个像素的深度进行比较以获得相对深度值，例如，可以是采集的激光图像每个像素的深度值与参考激光图像每个像素的深度值的差值，将该深度差值大于设定深度值的像素提取出来，以组合形成交互对象的图像部分。

S14：对交互对象的图像部分进行识别，并根据识别结果生成相应的控制指令。

其中，对交互图像部分进行识别以及生成控制指令，可以采用现有技术的方法，这里不再赘述。

下面，以采集设备为结构光深度相机、交互对象为人体为例，对本实施方式进行详细说明：

1、利用结构光深度相机采集不含人体的目标空间的结构光图像a。

利用结构光深度相机中的红外投影模块向目标空间投射预先设置的结构光图案，然后利用红外接收模块采集目标空间的结构光图像a。需要注意的是这里的目标空间中不能有人体。这里实际上是将采集到的该结构光图像作为参考图像，当人体进行目标空间后，人体部位的图像将会发生变化，后面步骤的目的就是获取人体相对于不含人体的背景的相对深度。

考虑到参考图像的质量会影响到后面相对深度获取的精度，可以对目标空间拍摄多幅结构光图像，并储存在内存中，以保证总有一幅能有较高的测量精度。

2、当人体进入目标空间后，利用结构光深度相机采集含有人体的目标空间的结构光图像b。

这一步骤中，红外投影模块采集含有人体的目标空间结构光图像B。这里的图像B也可以是图像序列，即视频。

3、计算结构光图像b中各像素相对于结构光图像a的偏移值Δ。

本实施例中的结构光为无规则排列的散斑图案，因而像素的偏移值可以利用数字图像相关(DIC)法进行计算。具体地，可以逐个选取结构光图像b中以各像素为中心的子区域(一般为奇数像素长度的正方形区域，如11x11像素的图像子区域)，计算该子区域与结构光图像a中相同大小子区域的相似度，相似度最大的子区域中心与结构光图像B子区域中心的距离即为该像素的相对偏移值。

与参考图像(结构光图像a)相比，结构光图像b中仅人体部分的像素有所区别，其他区域图像几乎相同，理论上偏移值为0，而人体部分的像素对应的偏移值是由于人体部分所在深度与背景深度之间的相对差距引起的，根据偏移值就可以进一步计算出人体部分与背景之间的相对深度。

4、根据偏移值Δ计算出相对深度值。

这里可以直接将偏移值Δ作为相对深度值输出，在后续的交互等应用中直接通过对偏移值进行计算。本实施例中，采用另一种方式，根据以下公式计算出相对深度值：

其中，ΔZ为图像a与图像b的相对深度，Δ为偏移值，B为结构光深度相机中投影模块和红外接收模块之间的距离，f为结构光深度相机的镜头的焦距，Z₀为目标空间的深度值。

这一步中Z₀的值是未知的，而且当背景不是一个平面时，计算出的相对深度值会有一些断面、不连续等现象存在，因而并不能正确的反映出人体的深度特征。为了保证最终计算出的相对深度值能正确反映人体的深度特征，采取了以下较正措施：

首先，假定Z₀值已知，并给定一个预先设定的值，根据上式计算出相对深度值ΔZ；其次，根据人体深度值的连续性，利用图像拼接算法将相对深度值中的断面以及不连续的部分进行重新生成，将最终生成的相对深度值作为输出。

对于直接将偏移值作为相对深度值输出的方式而言，以上较正措施的原理依然适用。

5、按照一定的阈值进行图像分割，提取出人体。

由于与结构光图像b与a相比中仅人体部分的像素有所区别，其他区域图像几乎相同，理论上偏移值为0。对于直接将偏移值Δ作为相对深度值输出的方式而言，阈值为偏移值，可以选取为接近0的一个较小的值，仅当偏移值大于该值时认为是人体。本实施例中是通过步骤4中的公式计算得到的相对深度值作为输出的，因而阈值的选取则需要将偏移值阈值代入公式得到相对深度值的阈值。将大于该阈值的像素区域作为人体，通过图像分割提取出人体。

由于不可避免的会出现一些误差，导致有一些不是人体区域的偏移值或者相对深度值大于阈值。对于这种情形，本实施例中在进行图像分割之前对相对深度图像进行平滑、去噪、滤波等处理；其次对获取的大于阈值的像素区域进行初步判定，明显不具体人体特征的区域将视为背景，不作为人体输出。

6、根据提取出的人体图像实现交互。

将上一步骤中提取出的人体部分的相对深度图像，进行识别后将识别的结果与相应的指令对应从而实现交互。这里的识别一般是经过对相对深度图像进行人体的骨架提取，再根据骨架识别出姿势以及根据骨架变化识别出动作，相关原理可以参照根据本领域公知技术。识别出姿势或动作后，根据不同的应用，将姿势或动作转化为相应的交互指令，从而实现人机交互。

区别于现有技术的情况，本实施方式的基于相对深度图像的交互方法包括：采集目标空间中包含交互对象的激光图像；计算激光图像与参考激光图像的相对深度；利用激光图像与参考激光图像的相对深度，从激光图像中提取交互对象的图像部分；对交互对象的图像部分进行识别，并根据识别结果生成相应的控制指令。通过上述方式，能够通过计算相对深度信息得到交互对象的图像，避免了得到直接深度带来的繁琐计算，提高了深度获取和交互的速度。

参阅图5，图5是本发明相对深度的获取方法一实施方式的流程示意图，该方法包括：

S51：采集第一目标的第一激光图像以及第二目标的第二激光图像。

其中，S51可以具体包括：

利用结构光相机的红外投影模组向第一目标投影红外结构光图案，再利用结构光相机的红外接收模块采集第一目标的红外图像。其中，结构光图案可以是不规则的散斑图案。

S52：计算第一激光图像与第二激光图像的偏移值。

其中，可以利用数字图像相关算法进行计算，以得到偏移值。

S53：利用偏移值计算得到第一激光图像与第二激光图像的相对深度。

具体地，可以采用以下公式计算出相对深度值：

其中，ΔZ为第一激光图像和第二激光图像的相对深度，Δ为偏移值，B为结构光深度相机中投影模块和红外接收模块之间的距离，f为结构光深度相机的镜头的焦距，Z₀为目标空间的深度值。

其中，目标空间的深度值可以是第一激光图像或者第二激光图像的深度值，其可以是预先进行测量的。

可以理解的，本实施方式的相对深度测量方法，是基于上述交互方法中的部分算法，其实施的原理和步骤类似，这里不再赘述。

参阅图6，图6是本发明交互系统一实施方式的结构示意图，该交互系统包括：

激光投影模组61，用于向目标空间投影激光。

激光相机62，用于采集目标空间中包含交互对象的激光图像。

可选的，在一种实施例中，激光投影模组61为红外投影模组，红外投影模组投影的图案为红外散斑图案，激光相机62为红外相机。

可选的，在另一实施例中，激光投影模组61和激光相机62可以是一体的，例如，可以是一个结构光深度相机，该结构光深度相机包括红外投影模组以及红外接收模组。

处理器63，用于计算激光图像与参考激光图像的相对深度；其中，参考激光图像是预先采集的目标空间不含交互对象的激光图像；

处理器63还用于利用激光图像与参考激光图像的相对深度，从激光图像中提取交互对象的图像部分；以及

处理器63还用于对交互对象的图像部分进行识别，并根据识别结果生成相应的控制指令。

具体地，处理器63还用于连接外部的交互设备，以对外部的交互设置发送控制指令，以使外部交互设备执行相应的指令。例如，处理器63连接显示屏，在生成的指令为控制该显示屏关闭时，则处理器63则向显示屏发送关闭的指令，以关闭该显示屏。

可选的，在其他实施方式中，该交互系统还包括存储器，该存储器用于存储参考激光图像、交互对象的图像与交互指令的对应关系等。该存储器可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

可选的，处理器63具体还用于计算激光图像与参考激光图像每个像素的偏移值；以及利用偏移值计算得到激光图像与参考激光图像的相对深度。

可选的，处理器63具体还用于将每个像素的偏移值作为激光图像与参考激光图像的对应像素的相对深度；或

采用以下公式计算得到激光图像与参考激光图像的相对深度：

其中，ΔZ为激光图像与参考激光图像的相对深度，Δ为偏移值，B为激光投影模组和激光相机之间的距离，f为激光相机的镜头的焦距，Z₀为目标空间的深度值。

可选的，处理器63具体还用于利用激光图像与参考激光图像的相对深度，提取深度值大于设定深度值的像素所组合形成的图像部分作为交互对象的图像部分。

可以理解的，在本发明所提供的几个实施方式中，所揭露的方法以及设备，可以通过其它的方式实现。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于相对深度图像的交互方法，其特征在于，包括：

利用激光投影模组向包含交互对象的目标空间投影激光图案；

利用激光相机采集所述目标空间中交互对象的激光图像；

计算所述激光图像与参考激光图像每个像素的偏移值；

其中，所述参考激光图像是预先采集的所述目标空间不含所述交互对象的激光图像；

采用以下公式计算得到所述激光图像与所述参考激光图像的相对深度：

其中，ΔZ为所述激光图像与所述参考激光图像的相对深度，Δ为所述偏移值，B为所述激光投影模组和所述激光相机之间的距离，f为所述激光相机的镜头的焦距，Z₀为所述目标空间的深度值；

利用所述激光图像与参考激光图像的相对深度，从所述激光图像中提取所述交互对象的图像部分；

对所述交互对象的图像部分进行识别，并根据识别结果生成相应的控制指令。

2.根据权利要求1所述的方法，其特征在于，

所述计算所述激光图像与所述参考激光图像每个像素的偏移值，包括：

利用数字图像相关算法计算得到所述激光图像与所述参考激光图像每个像素的偏移值。

3.根据权利要求1所述的方法，其特征在于，

所述激光投影模组为红外投影模组，所述红外投影模组投影的图案为红外散斑图案，所述激光相机为红外相机。

4.根据权利要求1所述的方法，其特征在于，

所述利用所述激光图像与参考激光图像的相对深度提取所述交互对象的图像，包括：

利用所述激光图像与参考激光图像的相对深度，提取深度值大于设定深度值的像素所组合形成的图像部分作为所述交互对象的图像部分。

5.一种交互系统，其特征在于，包括：

激光投影模组，用于向目标空间投影激光；

激光相机，用于采集所述目标空间中包含交互对象的激光图像；

处理器，用于计算激光图像与参考激光图像每个像素的偏移值；以及利用偏移值计算得到所述激光图像与参考激光图像的相对深度；其中，所述参考激光图像是预先采集的所述目标空间不含所述交互对象的激光图像；

所述处理器采用以下公式计算得到所述激光图像与所述参考激光图像的相对深度：

其中，ΔZ为激光图像与参考激光图像的相对深度，Δ为偏移值，B为激光投影模组和激光相机之间的距离，f为激光相机的镜头的焦距，Z₀为目标空间的深度值；

所述处理器还用于利用所述激光图像与参考激光图像的相对深度，从所述激光图像中提取所述交互对象的图像部分；以及

所述处理器还用于对所述交互对象的图像部分进行识别，并根据识别结果生成相应的控制指令。

6.根据权利要求5所述的系统，其特征在于，

所述激光投影模组为红外投影模组，所述红外投影模组投影的图案为红外散斑图案，所述激光相机为红外相机。