CN106155299B - 一种对智能设备进行手势控制的方法及装置 - Google Patents
一种对智能设备进行手势控制的方法及装置 Download PDFInfo
- Publication number
- CN106155299B CN106155299B CN201510200922.1A CN201510200922A CN106155299B CN 106155299 B CN106155299 B CN 106155299B CN 201510200922 A CN201510200922 A CN 201510200922A CN 106155299 B CN106155299 B CN 106155299B
- Authority
- CN
- China
- Prior art keywords
- gesture
- image
- dimensional information
- structured light
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 239000011159 matrix material Substances 0.000 claims abstract description 89
- 238000003384 imaging method Methods 0.000 claims description 35
- 230000009467 reduction Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 230000008520 organization Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种对智能设备进行手势控制的方法及装置，其中所述方法包括：采用第一结构光及第二结构光对用户手势进行三维重建，得到所述用户手势的三维信息矩阵，其中，所述第一结构光与所述第二结构光具有不同的编码结构；将所述三维信息矩阵结合对应的时间信息，生成四维信息矩阵；基于所述四维信息矩阵，得到所述用户手势的手势轨迹；若所述手势轨迹与预设手势轨迹类别匹配成功，则获取与所述匹配的预设手势轨迹类别对应的控制指令，其中，所述预设手势轨迹类别具有对应的控制指令；在智能设备上执行所述控制指令。本发明可以减少了图像序列采集时间，提高三维重建结果的致密性、稳健性和精度。
Description
技术领域
本发明涉及人机交互领域，特别是涉及一种对智能设备进行手势控制的方法和一种对智能设备进行手势控制的装置。
背景技术
随着信息技术的发展，人机交互(Human–Computer Interaction或Human–MachineInteraction，简称HCI或HMI)技术逐渐普及。而手势识别作为人机交互的一个重要分支，一直是近年来研究的热点。
目前，常用的手势识别算法为基于模型的识别算法，该算法是利用多相机对手势进行三维重建，得到手势的三维信息，并将该三维信息与给定的三维模型相匹配。
在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。在三维信息的获取过程中，结构光具有实现简单、成本低、速度快、非接触测量等优点，因此，基于结构光的三维重建已成为计算机视觉的主要方向之一，并在影视、工业等领域有着广泛应用。
基于结构光的三维重建方法是以三角法原理为基础的，可以分为点结构光法、线结构光法、多线结构光法、网格结构光法等。
其中，点结构光法是将单束光源投射在被测场景表面，由摄像机捕获，采用光学三角法获取场景的深度信息。但由于点结构光的面积小，图像获取和图像处理耗费时间随着被测物体表面积的增大而急剧增加，实时性差，并且每次只能获取一个点的信息，测量速度较慢。
线结构光法是在点结构光的基础上做了相应改进，使得投射出去的光源成线状光源，增加了投射的范围，只需一维扫描就可以获得大范围的深度图，从而提高了测量速度，但实时获取全景深度图仍需高速旋转的机械装置，并且，线结构光每次只能获取一条光纹，测量速度较慢。
由于线结构光法同时只能处理一条光条，为了提高效率，设计了多线结构光法，也称光栅结构光法，是一种投射二维结构光图案的方法，不需扫描就可以获得三维轮廓，测量速度快，但存在条纹识别困难的问题。
网格结构光方法是将编码后的网格投射到被测物体表面，在测量中通过提取出来的平面交线来检测边缘，可提取多面体上平面区域的位置和方向，但存在抗干扰能力差，编码高度冗余的缺点。
上述结构光出现的问题会影响重建的三维手势图像的精度，并且，上述结构光对时间维度变化的手势识别来说实时性差。
发明内容
本发明提供了一种对智能设备进行手势控制的方法及装置，以克服单一结构光的问题，减少了图像序列采集时间，提高三维重建结果的致密性、稳健性和精度。
为了解决上述问题，本发明公开了一种对智能设备进行手势控制的方法，所述的方法包括：
采用第一结构光及第二结构光对用户手势进行三维重建，得到所述用户手势的三维信息矩阵，其中，所述第一结构光与所述第二结构光具有不同的编码结构；
将所述三维信息矩阵结合对应的时间信息，生成四维信息矩阵；
基于所述四维信息矩阵，得到所述用户手势的手势轨迹；
若所述手势轨迹与预设手势轨迹类别匹配成功，则获取与所述匹配的预设手势轨迹类别对应的控制指令，其中，所述预设手势轨迹类别具有对应的控制指令；
在智能设备上执行所述控制指令。
本发明还公开了一种对智能设备进行手势控制的装置，所述的装置包括：
三维重建模块，用于采用第一结构光及第二结构光对用户手势进行三维重建，得到所述用户手势的三维信息矩阵，其中，所述第一结构光与所述第二结构光具有不同的编码结构；
四维矩阵生成模块，用于将所述三维信息矩阵结合对应的时间信息，生成四维信息矩阵；
手势轨迹获取模块，用于基于所述四维信息矩阵，得到所述用户手势的手势轨迹；
手势识别模块，用于在所述手势轨迹与预设手势轨迹类别匹配成功时，获取与所述匹配的预设手势轨迹类别对应的控制指令，其中，所述预设手势轨迹类别具有对应的控制指令；
控制模块，用于在智能设备上执行所述控制指令。
与现有技术相比，本发明包括以下优点：
在本发明实施例中，采用两组不同编码结构的结构光对用户手势进行三维重建，得到三维信息矩阵，并结合时间变化信息将三维信息矩阵生成四维信息矩阵，以四维信息矩阵作为矩阵源进行用户手势识别，当识别用户手势后，获得对应的控制指令，以对智能设备进行手势控制。由于两种不同的结构光光源信息丰富，只需拍摄当前的手势图像就能够获得较多的数据，克服单一结构光的问题，减少了图像序列采集时间，提高三维重建结果的致密性、稳健性和精度。
附图说明
图1是本发明实施例的一种对智能设备进行手势控制的方法实施例一的步骤流程图；
图2是本发明实施例的一种对智能设备进行手势控制的方法实施例二的步骤流程图；
图3是本发明实施例的一种对智能设备进行手势控制的方法实施例二的摄像机成像模型坐标系示意图；
图4是本发明实施例的一种对智能设备进行手势控制的方法实施例二的三维重建步骤流程图；
图5是本发明实施例的一种对智能设备进行手势控制的方法实施例二的对应点匹配关系的建立原理示意图；
图6是本发明实施例的一种对智能设备进行手势控制的装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例的核心构思之一在于，将双目立体视觉与两组结构光结合起来，对用户手势进行三维重建，获得三维信息以后，结合用户手势的时间信息，得到用户手势的四维信息，并依据四维信息计算用户手势的轨迹；将该轨迹与预设轨迹匹配，若匹配成功，则获得对应的控制指令对智能设备进行控制。
参照图1，示出了本发明实施例的一种对智能设备进行手势控制的方法实施例一的步骤流程图，可以包括如下步骤：
步骤101，采用第一结构光及第二结构光对用户手势进行三维重建，得到所述用户手势的三维信息矩阵；
其中，所述第一结构光与所述第二结构光具有不同的编码结构；
步骤102，将所述三维信息矩阵结合对应的时间信息，生成四维信息矩阵；
步骤103，基于所述四维信息矩阵，得到所述用户手势的手势轨迹；
步骤104，若所述手势轨迹与预设手势轨迹类别匹配成功，则获取与所述匹配的预设手势轨迹类别对应的控制指令；
其中，所述预设手势轨迹类别具有对应的控制指令。
步骤105，在智能设备上执行所述控制指令。
在本发明实施例中，采用两组不同编码结构的结构光对用户手势进行三维重建，得到三维信息矩阵，并结合时间变化信息将三维信息矩阵生成四维信息矩阵，以四维信息矩阵作为矩阵源进行用户手势识别，当识别用户手势后，获得对应的控制指令，以对智能设备进行手势控制。由于两种不同的结构光光源信息丰富，只需拍摄当前的手势图像就能够获得较多的数据，克服单一结构光的问题，减少了图像序列采集时间，提高三维重建结果的致密性、稳健性和精度。
参照图2，示出了本发明实施例的一种对智能设备进行手势控制的方法实施例二的步骤流程图。在本发明实施例中，采用双目立体视觉原理，结合两组不同编码结构的结构光，对用户手势进行三维重建。
其中，双目立体视觉法是一种被动式光学三维重构方法，其基本原理如下：用不同位置的两台摄像机取得同一场景的两幅视差图像，通过对同一物点在两幅图像上的两个像点的匹配和检测，得到该物点的三维坐标信息。
而编码结构光法是一种主动式光学三维重构方法，其基本思想是利用结构光投影的几何信息来求得物体表面的三维信息。为了区分投影出的物体表面上的每一条纹的序数，对条纹进行编码，依次将编码条纹投射到物体表面，在物体上形成图案并由摄像机摄取，然后根据三角法和设备结构参数进行计算，得到物体表面的三维坐标值。
具体而言，本发明实施例可以包括如下步骤：
步骤201，完成对第一摄像机及第二摄像机的标定；
本发明实施例采用对对第一摄像机及第二摄像机的标定来确定第一摄像机及第二摄像机的位置和姿态，其中，摄像机标定为：三维空间中的物体的具体几何位置和物体在成像平面上的像点的相互关系由摄像机的成像模型决定，为了通过二维成像平面上的像点恢复三维空间中的点的深度信息，即其几何位置，需要确定摄像机的成像模型，摄像机成像的几何模型参数和两个摄像机之间的相对应位置关系，即摄像机的参数，通过计算机标定实验和计算过程即成为摄像机标定。
如图3的摄像机成像模型坐标系示意图所示，摄像机成像模型的建立基于三个抽象坐标系：世界坐标系(W)，摄像机坐标系(C)和图像坐标系(I)。
成像中包括内参数矩阵K及外参数矩阵P，其中，摄像机内参数是指由光学特性和摄像机内部集合决定的固有参数，如主点、实际焦距、镜头畸变、图像坐标系两坐标轴的夹角、光轴与图像的交点位置等；摄像机外参数是指摄像机相对于世界坐标系的方向关系和相对位置。
摄像机的内参数矩阵K为：
其中，α、β是像素单位表示焦距，θ是图像坐标系两坐标轴的夹角，u0和v0表示光轴与图像的交点位置。
摄像机外参数矩阵P为：
其中，为单位正交矩阵，表示三维坐标系之间的旋转变换，T为平移向量，表示摄像机坐标系与世界坐标系之间的平移。
摄像机内、外参数矩阵的乘积即为摄像机的投影矩阵M，M由5个内参数(α、β、u0、v0、θ)和6个外参数(6个外参数中3个外参数表示平移T，另外3个表示旋转矩阵的3个自由度)表达：
其中，r1、r2、r3分别表示旋转矩阵的三行，可写为三个基旋转的积，因此旋转矩阵有9个元素却只有3个自由度。
摄像机标定就是拍摄多幅标定参考图像，输入对应的参考特征点的世界坐标和图像坐标，解算出图像设备内参数矩阵K和外参数矩阵P。
在具体实现中，可以采用标定板完成上述标定过程，例如实心圆形标定板。
需要说明的是，在对第一摄像机与第二摄像机同时标定时，需要考虑两个摄像机标定图像中的特征点识别的一致性，即左、右摄像机视图中同一次序的特征点要对应同一物点。该问题可以针对标定参考图像的特点，使用一些简单的空间相对位置判别算法解决，如采用标准棋盘格时可以利用各角点上下左右相对位置不变性来确定次序。
另外，本发明实施例中第一摄像机与第二摄像机之间的角度是可变的，例如两者之间的角度可以是180°、90°等。
本发明实施例还需要控制第一摄像机与第二摄像机的同步工作，可以采用单片机，1394板卡等控制第一图像设备与第二图像设备的同步工作。例如，采用1394板卡或者单片机等来控制第一图像设备与第二图像设备在同一时间曝光，比如：可以采用SOC型单片机通过曝光控制线和曝光反馈线与第一图像设备及第二图像设备连接，通过DB9串口与时间模块连接，然后通过USB与PC相连；也可以直接通过其他板卡和接口控制两个图像设备的同步，具体实施方法与采用图像设备的型号和类型相关，本发明实施例对此无需加以限制。
步骤202，建立所述第一摄像机及第二摄像机对采样点的极线约束；
极线约束的指同一个点在两幅图像上的映射p1、p2，已知左图映射点p1，那么右图映射点p2一定在相对于p1的极线上，这样可以减少待匹配的点数量。在一种实施方式中，第一摄像机及第二摄像机对采样点的极线约束的建立过程可以如下：
给定空间中的一点P，Pl和Pr分别是点P在左(第一摄像机)右(第二摄像机)两个摄像机坐标系中的坐标。若以左摄像机坐标系为基准坐标系，则右摄像机光心的坐标为T，由坐标变换关系可知：
Pl＝RPr+T
向量Pl和T在同一平面上，称该平面为极面，若有一个向量与Pl和T都垂直(比如T×Pl)，那么就可以表示极面法线。这样，极面上的任一点Pl与固定点T确定的向量Pl-T就与T×Pl垂直：
(Pl-T)T(T×Pl)＝0
即为极面的解析描述。目的是借助极面得到Pl和Pr之间的关系，由坐标变换关系式得Pl-T＝RPr，代入上式得到：
(RPr)T(T×Pl)＝0
将“叉积”等价写成矩阵相乘的形式，定义矩阵S为：
这样，则有：
(Pr)T(RTS)Pl＝0
乘积RTS定义为本征矩阵E，则进一步有：
(Pr)TEPl＝0
E不包含摄像机的内参数，因此它联系的是点在摄像机坐标系中的物理坐标，而不是像素坐标。
为了探究一幅图像中的像素点和它的另一幅图片中的对应极线的联系，可以引入两台摄像机的内参数信息，为此，以图像坐标(齐次坐标)代替摄像机坐标：
Pl＝k-1(zlpl),Pr＝k-1(zrpr)；
代入上述公式(Pr)TEPl＝0，可得：
(zrpr)T(kr -1)T E kl -1(zlpl)＝0
将常数zl和zr消去，得到：
(pr)T(kr -1)T E kl -1(pl)＝0
定义基础矩阵F为：
F＝(kr -1)T E kl -1
因此有：
(pr)TFpl＝0
基础矩阵F与本地矩阵E并没有本质区别，但基础矩阵F操作的是像素坐标，而E操作的是物理坐标，本征矩阵E与成像无关，基础矩阵F则是将一台摄像机的像平面上的点在图像坐标上的坐标与另一台摄像机的像平面上的点关联起来。
以左摄像机视图为主视图，则对应左摄像机视图上的任意像素点Pl的外极线方程系数a，b，c：
L＝FPl＝(a，b，c)T；
又Pl对应的极线方程ax+by+c＝0已知，也就确定了相应的极线约束。
步骤203，按照预设时间间隔将第一结构光与第二结构光投射到用户手势中，生成与所述第一结构光对应的第一变形图形及与所述第二结构光对应的第二变形图形；
应用于本发明实施例，可以采用两台投影仪用于分别投射第一结构光与第二结构光。其中，第一结构光与第二结构光具有不同的编码结构，例如，第一结构光为点结构光、线结构光、多线结构光、网格结构光的一种时，则第二结构光为点结构光、线结构光、多线结构光、网格结构光中的另一种；和/或，第一结构光与第二结构光为颜色和光栅不相同结构光；和/或，第一结构光和第二结构光可以是不同宽度编码光条，使宽窄条纹可以很容易的区分。本发明实施例对第一结构光与第二结构光的编码结构无需加以限制，本领域技术人员根据实际情况选取两组不同的结构光即落入本发明实施例保护的范围。
当两台投影仪按照预设时间间隔同时将第一结构光与第二结构光投射到用户手势时，在该时间间隔的时间点对应的用户手势上分别形成多个结构光图形，例如线结构光图形或者点结构光图形，结构光图形受到用户手部表面形状的调制而产生了变形，分别生成第一变形图形及第二变形图形，变形的程度反映了用户手部形状变化的程度，因此，第一变形图形及第二变形图形都包含了用户手部形状的三维信息。
在实际中，投影仪和摄像机可以集成在一体，也即，两台摄像机为自带结构光的摄像机，通过两台摄像机来投射第一结构光和第二结构光。
在本发明实施例中，由于不同编码结构的结构光投射到用户的用户手势上，形成的第一变形图形及第二变形图形这两种变形图形，使得摄取的图像包含这两种变形光纹，丰富了图像的光纹信息，可以为后续的三维重建提供丰富的数据基础。
步骤204，采用第一摄像机摄取所述第一变形图形及所述第二变形图形，得到第一成像图像，以及，采用第二摄像机摄取所述第一变形图形及所述第二变形图形，得到第二成像图像，其中，所述第一成像图像及第二成像图像组成图像对；
在具体实现中，第一摄像机可以按照序列采集方式，摄取用户手势上形成的第一变形图形与第二变形图形，得到对应的第一成像图像；同时，第二摄像机也可以按照序列采集方式，摄取用户手势上形成的第一变形图形与第二变形图形，得到对应的第二成像图像，则对于同一个时间间隔对应的用户手势，第一摄像机摄取的第一成像图像与第二摄像机摄取的第二成像图像组成图像对。
需要说明的是，用户手势可以是静态手势，也可以是动态手势。当用户手势为动态手势时，在手势变化过程中，每个时间间隔的时间点上的手势是一个静态手势，所有时间间隔摄取的静态手势组成动态手势。
步骤205，基于所述图像对，对对应时间间隔的用户手势进行三维重建，得到所述用户手势的三维信息；
在得到每个时间间隔对应的用户手势的图像对以后，可以基于该图像对，对该对应的用户手势进行三维重建，得到该用户手势的三维信息。
本发明实施例可以基于第一变形图形重构对应用户手势的三维信息，以及，基于第二变形图形重构对应用户手势的三维信息，并综合该第一变形图形重构的三维信息以及该第二变形图形重构的三维信息得到用户手势最终的三维信息。在本发明的一种优选实施方式中，参考图4的三维重建步骤流程图，步骤205可以包括如下子步骤：
子步骤S11，基于所述第一变形图形，从所述第一成像图像中提取第一目标手势图像，以及，从所述第二成像图像中提取第二目标手势图像；
在具体实现中，在提取第一目标手势图像和第二目标手势图像以前，可以先基于第一变形图形，对第一成像图像和第二成像图像进行预处理，预处理可以包括：色彩平衡、平滑处理、肤色提取、形态学处理等。
其中，色彩平衡是通过对色彩进行适当调整，使其达到某个想要的效果，通过色彩的增强和减弱，能够强化人手肤色，而弱化其他肤色，从而达到降低噪音的效果。
平滑处理是为了降低图像的噪声干扰，提高识别准确率，一般包括全局平滑和局部平滑两种，常用的方法是领域平均法、中值滤波、高斯滤波器等。
肤色提取是为了从得到的图像帧中提取出手势区域，并对图像进行二值化处理，然后进行相应处理，以便图像能够足够理想进行手势特征提取。例如，肤色提取的一个作用是进行前后背景分割，具体的，手势运动时，场景可以分为前后两部分，前景包括运动的手臂和手势，后景包括静止的身体和背景。为了简单起见，本发明实施例可以仅仅考虑运动的前景，而将后景除去。除去静止后景的方法有很多，例如对多帧图像进行累加后求平均，然后与目标图相减，灰度差值大于给定阈值的就是前景；或者，对特定的几帧图像求密集匹配，以某一视差阈值进行筛选，视差小于该阈值的像素被认为是后景。
预处理后，则可以从处理后的图像中提取第一目标手势图像和第二目标手势图像，具体来说，第一目标手势图像和第二目标手势图像是对前景图像进行分割并提取轮廓的结果，此处，分割是为了将手和手臂分开，由于手部的颜色纹理相近，如果手臂上有衣袖的话，很容易基于颜色区分手势和手臂；在没有衣袖的情况下，可以在手腕上佩戴一个标识物，用以指导分割，或者根据手臂与手的宽度将手臂与手分开。当然，本领域技术人员也可以采用其他方式将手臂与手分开，本发明实施例对此无需加以限制。
轮廓通常指的是亮度在不同区域有着明显变化的边界，轮廓通常包括大量的形状信息，它是对物体形状的一种全局描述。轮廓提取可以包括边缘检测、轮廓曲线拟合等过程。
子步骤S12，基于所述第二变形图形，从所述第一成像图像中提取第三目标手势图像，以及，从所述第二成像图像中提取第四目标手势图像；
子步骤S12中基于第二变形图形提取第三目标手势图像以及第四目标手势图像的过程与子步骤S11中基于第以变形图形提取第一目标手势图像以及第二目标手势图像的过程雷同，具体可以参照子步骤S11的描述，本发明实施例在此不再赘述了。
子步骤S13，将所述第一目标手势图像与所述第二目标手势图像进行匹配，建立第一对应点匹配关系，以及，将所述第三目标手势图像与所述第四目标手势图像进行匹配，建立第二对应点匹配关系；
在具体实现中，将第一目标手势图像与第二目标手势图像进行立体匹配，可以建立第一目标手势图像与第二目标手势图像的第一对应点匹配关系；将第三目标手势图像与第四目标手势图像进行立体匹配，可以建立第三目标手势图像与第四目标手势图像的第二对应点匹配关系。
具体来说，第一对应点匹配关系的建立原理如图5所示，对于左摄像机视图中的任意一点Pl的，由于摄像机的左右分布，其外极线的方向是横向的，而使用的第一结构光的编码条纹是纵向，二者相交得到一个交点Pr，该交点为匹配点，匹配点在理论上便是Pl在右摄像机视图中的对应点，该过程可以理解为在原本困难的二维稠密匹配过程中引入对极线和编码条纹两个强约束，从而简化了匹配过程。
在实际中，考虑到手部形状起伏对编码条纹的影响，某一特定编码值对应的编码条纹通常不再是直线，在条纹上搜索较为复杂，但当前像点对应的外极线一定是直线。因此，以外极线方向作为主搜索方向，把编码条纹作为辅助判定标准，在当前像点对应的外极线上搜索编码值与当前点相等的点，把它作为当前点的另一摄影机视图中对应的点，能够更高效的完成对应点的匹配。
在一种实施方式中，子步骤S13中第一目标手势图像与第二目标手势图像的匹配过程可以为：以左摄像机视图(第一目标手势图像)为主视图，在右摄像机视图(第二目标手势图像)中搜索主视图采样点的对应点。设图像分辨率为H×W，采样步长为d，搜索步长为e，单位均为像素。当前左摄像机视图中匹配成功位置的图像横坐标为xsuc，左、右摄像机视图中的像素坐标分别用(xl，yl)和(xr，yr)表示，搜索算法可以为：设定xl＝1，xr＝1，xsuc＝1，xr＝xsuc；读入左摄像机视图中像素坐标(xl，yl)对应的外极线(pl(xl，yl))上的对应编码值cl；读入外极线方程axr+byr+c＝0；则yr＝-(axr+c)/b；读入(xr，yr)对应编码值cr；若判定cl与cr相等，则匹配成功，xr＝xsuc；此时，令xl＝xl+d，以及，yl＝yl+d，若xl<＝W，则继续进行匹配；若xl>W，且yl<＝H，则继续匹配；若xl>W，且yl>H，则结束流程。另一方面，如果判定cl与cr不相等，则令xr＝xr+e，若此时判定xr<＝W，则继续匹配，否则，匹配失败。
匹配得到的对应点pl和pr是同一物点P在左右摄像机视图中的投影，对应点的匹配为子步骤S14计算P的深度信息提供了必要提前。第二对应点匹配关系的建立原理与上述第一对应点匹配关系的建立原理基本相同，具体可以参照第一对应点匹配关系的建立原理，在此不再赘述了。
子步骤S14，依据所述第一对应点匹配关系获取对应的用户手势在空间的位置信息以及第一深度信息；
以左摄像机视图为主视图，设物点P在左摄像机坐标系中投影点的坐标为Pl，在左摄像机视图中的齐次图像坐标为Pl＝(xl，yl，1)，在左摄像机坐标系中投影点的坐标为Pr，在左摄像机视图中的齐次图像坐标为Pr＝(xr，yr，1)。根据双视图对应点匹配关系，可由Pl得到对应点Pr。根据左右摄像机坐标系的变换关系Pr＝RT(Pl-T)，可用Pl表示Pr，从而使Pl成为唯一未知量。
根据摄像机内参数矩阵K的定义，有：
pl＝KlPl/zl；pr＝KrPr/zr；
将未知数zl和zr看做任意常数，利用pl//KlPl和pr//KrPr的条件，得到：
pl×(KlPl)＝0；pr×(KrPr)＝0；
把Pr＝RT(Pl-T)代入得到：
pl×(KlPl)＝0；pr×(KrPr)＝pr×KrRT(Pl-T)＝0；
其中，
进一步化简为：
(pl×Kl)Pl＝0；(pr×KrRT)Pl＝pr×KrRT T；
上式是一个过约束方程组，有4个关于Pl的三个坐标分量，的独立线性等式。利用最小二乘法可求解这个方程得到Pl的三维坐标，即位置信息和第一深度信息。
子步骤S15，依据所述第二对应点匹配关系获取对应的用户手势在空间的位置信息以及第二深度信息；
子步骤S15的过程与子步骤S14的过程也是相同的，具体可以参照子步骤S14的说明，此处也不再赘述了。
子步骤S16，根据所所述第一深度信息以及所述第二深度信息，获得所述用户手势的综合深度信息；
由于用户手势的二维位置信息是固定的，因此子步骤S14与子步骤S15获得的位置信息是相同的，而不同结构光影响的是手势的深度信息，因此，子步骤S14与子步骤S15获得的深度信息并不相同。在子步骤S16中，可以综合第一深度信息以及第二深度信息，获得用户手势的综合深度信息。
在具体实现中，可以为第一结构光及第二结构光分别设置不同的权重值，根据该权重值来计算综合综合深度信息，例如，采用公式G＝W1G1+W2G2来计算综合深度信息，其中，G表示综合深度信息，G1表示第一深度信息，G2表示第二深度信息，W1表示第一结构光的权重值，W2表示第二结构光的权重值。
子步骤S17，将所述位置信息以及所述综合深度信息组织成三维信息。
得到用户手势的位置信息以及综合深度信息以后，可以将其组织成用户手势的最终的三维信息。其中，位置信息可以包括长度信息和宽度信息，则三维信息表示为(长度信息，宽度信息，综合深度信息)。
步骤206，将所有时间间隔得到的三维信息组织成三维信息矩阵；
获得每个时间间隔的用户手势的三维信息后，将所有时间间隔的用户手势的三维信息组织起来，可以得到整个用户手势的三维信息矩阵。
步骤207，将所述三维信息矩阵结合对应的时间信息，生成四维信息矩阵；
在本发明实施例的一种优选实施例中，步骤207可以包括如下子步骤：
子步骤S21，分别将所述三维信息矩阵中的三维信息添加对应的时间信息，生成四维信息；
由于用户在执行用户手势的过程中，手势是随时间变化的，因此本发明实施例可以结合时间变化因素，在三维信息中添加对应的时间信息，生成四维信息，用户手势四维信息可以表示为(长度信息，宽度信息，综合深度信息，时间信息)。
子步骤S22，对所述四维信息进行降维处理；
在子步骤S21中得到的四维信息维度较高，数据冗余大，计算时间和复杂度高，因此可以对该四维信息进行降维处理，对四维信息降维以后，使得图像中点与点的关系、图像与图像之间的关系映射到低维空间中。数据降维，一方面可以解决“维数灾难”，缓解“信息丰富、知识贫乏”现状，降低复杂度；另一方面可以更好地认识和理解数据。
在一种实施方式中，可以采用流形学习比如PCA(Principal ComponentAnalysis，主成分分析)，LLE(locally linearemb edding，局部线性嵌入算法)等算法降维；也可以采用不同的特征提取方法降低原始数据的维度。当然，本领域技术人员还可以使用其他降维方法，本发明实施例对此无需加以限制。
子步骤S23，将降维处理后的四维信息组织成四维信息矩阵。
对每个用户手势对应的四维信息降维后，组织所有的用户手势的四维信息，得到四维信息矩阵。
步骤208，基于所述四维信息矩阵，得到所述用户手势的手势轨迹；
四维信息矩阵中每一行的信息表示一个时间间隔的用户手势，矩阵中所有的信息联合起来就是整个用户手势轨迹，其中，同一个用户手势，其手势轨迹是很相近的，欧氏距离、马氏距离等可以表征这种相似性。
步骤209，若所述手势轨迹与预设手势轨迹类别匹配成功，则获取与所述匹配的预设手势轨迹类别对应的控制指令，其中，所述预设手势轨迹类别具有对应的控制指令；
得到用户手势轨迹以后，可以依据预设手势轨迹类别确定该用户手势轨迹的分类，其中，预设手势轨迹类别中每个类别具有对应的控制指令。当确定了用户手势轨迹的类别以后，可以获得该类别的控制指令。
在具体实现中，可以采用K聚合算法、K近邻算法等判定该用户手势轨迹是否在某个类别中，当然，本领域技术人员还可以采用其他判定方法，本发明实施例无需限于此。
步骤210，在智能设备上执行所述控制指令。
在步骤209中获得用户手势轨迹对应的控制指令后，可以在智能设备上执行该控制指令，以控制智能设备执行相关功能。
在本发明实施例中，在手势识别过程中考虑时间因素，生成用户手势的四维信息矩阵，并对四维矩阵进行降维处理，可以降低数据冗余，识别效率，以及提高手势识别的精确度。
另外，本发明实施例的深度信息是综合第一结构光与第二结构光得到的综合深度信息，可以提高三维重建的准确率。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
参照图6，示出了本发明实施例的一种对智能设备进行手势控制的装置实施例的结构框图，可以包括以下模块：
三维重建模块601，用于采用第一结构光及第二结构光对用户手势进行三维重建，得到所述用户手势的三维信息矩阵，其中，所述第一结构光与所述第二结构光具有不同的编码结构；
四维矩阵生成模块602，用于将所述三维信息矩阵结合对应的时间信息，生成四维信息矩阵；
手势轨迹获取模块603，用于基于所述四维信息矩阵，得到所述用户手势的手势轨迹；
手势识别模块604，用于在所述手势轨迹与预设手势轨迹类别匹配成功时，获取与所述匹配的预设手势轨迹类别对应的控制指令，其中，所述预设手势轨迹类别具有对应的控制指令；
控制模块605，用于在智能设备上执行所述控制指令。
在本发明实施例的一种优选实施例中，所述三维重建模块601包括：
结构光投射子模块，用于按照预设时间间隔将第一结构光与第二结构光投射到用户手势中，生成与所述第一结构光对应的第一变形图形及与所述第二结构光对应的第二变形图形；
图像摄取子模块，用于采用第一摄像机摄取所述第一变形图形及所述第二变形图形，得到第一成像图像，以及，采用第二摄像机摄取所述第一变形图形及所述第二变形图形，得到第二成像图像，其中，所述第一成像图像及第二成像图像组成图像对；
三维信息获取子模块，用于基于所述图像对，对对应时间间隔的用户手势进行三维重建，得到所述用户手势的三维信息；
三维矩阵生成子模块，用于将所有时间间隔得到的三维信息组织成三维信息矩阵。
在本发明实施例的一种优选实施例中，所述三维信息获取子模块包括：
第一图像提取单元，用于基于所述第一变形图形，从所述第一成像图像中提取第一目标手势图像，以及，从所述第二成像图像中提取第二目标手势图像；
第二图像提取单元，用于基于所述第二变形图形，从所述第一成像图像中提取第三目标手势图像，以及，从所述第二成像图像中提取第四目标手势图像；
匹配单元，用于将所述第一目标手势图像与所述第二目标手势图像进行匹配，建立第一对应点匹配关系，以及，将所述第三目标手势图像与所述第四目标手势图像进行匹配，建立第二对应点匹配关系；
第一信息获取单元，用于依据所述第一对应点匹配关系获取对应的用户手势在空间的位置信息以及第一深度信息；
第二信息获取单元，用于依据所述第二对应点匹配关系获取对应的用户手势在空间的位置信息以及第二深度信息；
综合信息获取单元，用于根据所所述第一深度信息以及所述第二深度信息，获得所述用户手势的综合深度信息；
三维信息组织单元，用于将所述位置信息以及所述综合深度信息组织成三维信息。
在本发明实施例的一种优选实施例中，所述装置还包括：
标定模块，用于完成对第一摄像机及第二摄像机的标定；
极线约束建立模块，用于建立所述第一摄像机及第二摄像机对采样点的极线约束。
在本发明实施例的一种优选实施例中，所述四维矩阵生成模块602包括：
时间添加子模块，用于分别将所述三维信息矩阵中的三维信息添加对应的时间信息，生成四维信息；
降维子模块，用于对所述四维信息进行降维处理；
四维信息组织子模块，用于将降维处理后的四维信息组织成四维信息矩阵。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种对智能设备进行手势控制的方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种对智能设备进行手势控制的方法，其特征在于，所述的方法包括：
采用第一结构光及第二结构光对用户手势进行三维重建，得到所述用户手势的三维信息矩阵，其中，所述第一结构光与所述第二结构光具有不同的编码结构；
将所述三维信息矩阵结合对应的时间信息，生成四维信息矩阵；
基于所述四维信息矩阵，得到所述用户手势的手势轨迹；
若所述手势轨迹与预设手势轨迹类别匹配成功，则获取与所述匹配的预设手势轨迹类别对应的控制指令，其中，所述预设手势轨迹类别具有对应的控制指令；
在智能设备上执行所述控制指令。
2.根据权利要求1所述的方法，其特征在于，所述采用第一结构光及第二结构光对用户手势进行三维重建，得到所述用户手势的三维信息矩阵的步骤包括：
按照预设时间间隔将第一结构光与第二结构光投射到用户手势中，生成与所述第一结构光对应的第一变形图形及与所述第二结构光对应的第二变形图形；
采用第一摄像机摄取所述第一变形图形及所述第二变形图形，得到第一成像图像，以及，采用第二摄像机摄取所述第一变形图形及所述第二变形图形，得到第二成像图像，其中，所述第一成像图像及第二成像图像组成图像对；
基于所述图像对，对对应时间间隔的用户手势进行三维重建，得到所述用户手势的三维信息；
将所有时间间隔得到的三维信息组织成三维信息矩阵。
3.根据权利要求2所述的方法，其特征在于，所述基于所述图像对，对对应时间间隔的用户手势进行三维重建，得到所述用户手势的三维信息的步骤包括：
基于所述第一变形图形，从所述第一成像图像中提取第一目标手势图像，以及，从所述第二成像图像中提取第二目标手势图像；
基于所述第二变形图形，从所述第一成像图像中提取第三目标手势图像，以及，从所述第二成像图像中提取第四目标手势图像；
将所述第一目标手势图像与所述第二目标手势图像进行匹配，建立第一对应点匹配关系，以及，将所述第三目标手势图像与所述第四目标手势图像进行匹配，建立第二对应点匹配关系；
依据所述第一对应点匹配关系获取对应的用户手势在空间的位置信息以及第一深度信息；
依据所述第二对应点匹配关系获取对应的用户手势在空间的位置信息以及第二深度信息；
根据所所述第一深度信息以及所述第二深度信息，获得所述用户手势的综合深度信息；
将所述位置信息以及所述综合深度信息组织成三维信息。
4.根据权利要求2或3所述的方法，其特征在于，在所述按照预设时间间隔将第一结构光与第二结构光投射到用户手势中，生成与所述第一结构光对应的第一变形图形及与所述第二结构光对应的第二变形图形的步骤之前，所述方法还包括：
完成对第一摄像机及第二摄像机的标定；
建立所述第一摄像机及第二摄像机对采样点的极线约束。
5.根据权利要求1所述的方法，其特征在于，所述将所述三维信息矩阵结合对应的时间信息，生成四维信息矩阵的步骤包括：
分别将所述三维信息矩阵中的三维信息添加对应的时间信息，生成四维信息；
对所述四维信息进行降维处理；
将降维处理后的四维信息组织成四维信息矩阵。
6.一种对智能设备进行手势控制的装置，其特征在于，所述的装置包括：
三维重建模块，用于采用第一结构光及第二结构光对用户手势进行三维重建，得到所述用户手势的三维信息矩阵，其中，所述第一结构光与所述第二结构光具有不同的编码结构；
四维矩阵生成模块，用于将所述三维信息矩阵结合对应的时间信息，生成四维信息矩阵；
手势轨迹获取模块，用于基于所述四维信息矩阵，得到所述用户手势的手势轨迹；
手势识别模块，用于在所述手势轨迹与预设手势轨迹类别匹配成功时，获取与所述匹配的预设手势轨迹类别对应的控制指令，其中，所述预设手势轨迹类别具有对应的控制指令；
控制模块，用于在智能设备上执行所述控制指令。
7.根据权利要求6所述的装置，其特征在于，所述三维重建模块包括：
结构光投射子模块，用于按照预设时间间隔将第一结构光与第二结构光投射到用户手势中，生成与所述第一结构光对应的第一变形图形及与所述第二结构光对应的第二变形图形；
图像摄取子模块，用于采用第一摄像机摄取所述第一变形图形及所述第二变形图形，得到第一成像图像，以及，采用第二摄像机摄取所述第一变形图形及所述第二变形图形，得到第二成像图像，其中，所述第一成像图像及第二成像图像组成图像对；
三维信息获取子模块，用于基于所述图像对，对对应时间间隔的用户手势进行三维重建，得到所述用户手势的三维信息；
三维矩阵生成子模块，用于将所有时间间隔得到的三维信息组织成三维信息矩阵。
8.根据权利要求7所述的装置，其特征在于，所述三维信息获取子模块包括：
第一图像提取单元，用于基于所述第一变形图形，从所述第一成像图像中提取第一目标手势图像，以及，从所述第二成像图像中提取第二目标手势图像；
第二图像提取单元，用于基于所述第二变形图形，从所述第一成像图像中提取第三目标手势图像，以及，从所述第二成像图像中提取第四目标手势图像；
匹配单元，用于将所述第一目标手势图像与所述第二目标手势图像进行匹配，建立第一对应点匹配关系，以及，将所述第三目标手势图像与所述第四目标手势图像进行匹配，建立第二对应点匹配关系；
第一信息获取单元，用于依据所述第一对应点匹配关系获取对应的用户手势在空间的位置信息以及第一深度信息；
第二信息获取单元，用于依据所述第二对应点匹配关系获取对应的用户手势在空间的位置信息以及第二深度信息；
综合信息获取单元，用于根据所所述第一深度信息以及所述第二深度信息，获得所述用户手势的综合深度信息；
三维信息组织单元，用于将所述位置信息以及所述综合深度信息组织成三维信息。
9.根据权利要求7或8所述的装置，其特征在于，还包括：
标定模块，用于完成对第一摄像机及第二摄像机的标定；
极线约束建立模块，用于建立所述第一摄像机及第二摄像机对采样点的极线约束。
10.根据权利要求6所述的装置，其特征在于，所述四维矩阵生成模块包括：
时间添加子模块，用于分别将所述三维信息矩阵中的三维信息添加对应的时间信息，生成四维信息；
降维子模块，用于对所述四维信息进行降维处理；
四维信息组织子模块，用于将降维处理后的四维信息组织成四维信息矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510200922.1A CN106155299B (zh) | 2015-04-23 | 2015-04-23 | 一种对智能设备进行手势控制的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510200922.1A CN106155299B (zh) | 2015-04-23 | 2015-04-23 | 一种对智能设备进行手势控制的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106155299A CN106155299A (zh) | 2016-11-23 |
| CN106155299B true CN106155299B (zh) | 2019-06-11 |
Family
ID=57346704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510200922.1A Active CN106155299B (zh) | 2015-04-23 | 2015-04-23 | 一种对智能设备进行手势控制的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106155299B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107589834B (zh) * | 2017-08-09 | 2020-08-07 | Oppo广东移动通信有限公司 | 终端设备操作方法及装置、终端设备 |
| CN108345852A (zh) * | 2018-02-05 | 2018-07-31 | 四川东鼎里智信息技术有限责任公司 | 一种用于手势远程控制物体的高度的控制算法 |
| CN108549489B (zh) * | 2018-04-27 | 2019-12-13 | 哈尔滨拓博科技有限公司 | 一种基于手部形态、姿态、位置及运动特征的手势控制方法和系统 |
| CN108985251B (zh) * | 2018-07-27 | 2023-04-18 | 平安科技（深圳）有限公司 | 用户指令匹配方法、装置、计算机设备及存储介质 |
| CN109120277B (zh) * | 2018-08-23 | 2021-06-08 | 同济大学 | 用于商品外包装的立体图形三视图编解码方法 |
| CN110046936A (zh) * | 2019-04-18 | 2019-07-23 | 深圳市博乐信息技术有限公司 | 基于增强现实技术的人机广告交互方法与系统 |
| CN110442242B (zh) * | 2019-08-13 | 2020-05-22 | 哈尔滨拓博科技有限公司 | 一种基于双目空间手势交互的智能镜系统及控制方法 |
| CN110837326B (zh) * | 2019-10-24 | 2021-08-10 | 浙江大学 | 一种基于物体属性递进式表达的三维目标选择方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101204A (zh) * | 2006-07-05 | 2008-01-09 | 三星电子株式会社 | 使用结构光检测移动物体的系统、方法及其移动机器人 |
| CN101667303A (zh) * | 2009-09-29 | 2010-03-10 | 浙江工业大学 | 一种基于编码结构光的三维重建方法 |
| CN101739717A (zh) * | 2009-11-12 | 2010-06-16 | 天津汇信软件有限公司 | 三维彩色点云非接触扫描方法 |
| CN102156877A (zh) * | 2011-04-01 | 2011-08-17 | 长春理工大学 | 一种基于聚类分析的颜色分类方法 |
| CN103679154A (zh) * | 2013-12-26 | 2014-03-26 | 中国科学院自动化研究所 | 基于深度图像的三维手势动作的识别方法 |
| CN103983213A (zh) * | 2014-05-30 | 2014-08-13 | 深圳先进技术研究院 | 一种结构光编码方法及相关装置 |
-
2015
- 2015-04-23 CN CN201510200922.1A patent/CN106155299B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101204A (zh) * | 2006-07-05 | 2008-01-09 | 三星电子株式会社 | 使用结构光检测移动物体的系统、方法及其移动机器人 |
| CN101667303A (zh) * | 2009-09-29 | 2010-03-10 | 浙江工业大学 | 一种基于编码结构光的三维重建方法 |
| CN101739717A (zh) * | 2009-11-12 | 2010-06-16 | 天津汇信软件有限公司 | 三维彩色点云非接触扫描方法 |
| CN102156877A (zh) * | 2011-04-01 | 2011-08-17 | 长春理工大学 | 一种基于聚类分析的颜色分类方法 |
| CN103679154A (zh) * | 2013-12-26 | 2014-03-26 | 中国科学院自动化研究所 | 基于深度图像的三维手势动作的识别方法 |
| CN103983213A (zh) * | 2014-05-30 | 2014-08-13 | 深圳先进技术研究院 | 一种结构光编码方法及相关装置 |
Non-Patent Citations (2)
| Title |
|---|
| A Coded Structured Light System Based on Primary Color Stripe Projection and Monochrome Imaging;Sandro Barone;《sensors》;20131230;第13802-13819页 |
| 结构光编码方法综述;陈彦军;《小型微型计算机系统》;20101230;第1856-1863页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106155299A (zh) | 2016-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106155299B (zh) | 一种对智能设备进行手势控制的方法及装置 | |
| CN106228507B (zh) | 一种基于光场的深度图像处理方法 | |
| CN105005755B (zh) | 三维人脸识别方法和系统 | |
| Bodor et al. | View-independent human motion classification using image-based reconstruction | |
| CN103530599B (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
| WO2012077286A1 (ja) | 物体検出装置および物体検出方法 | |
| US20090167843A1 (en) | Two pass approach to three dimensional Reconstruction | |
| KR20170008638A (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
| CN111028295A (zh) | 一种基于编码结构光和双目的3d成像方法 | |
| Pressigout et al. | Hybrid tracking algorithms for planar and non-planar structures subject to illumination changes | |
| CN113298934A (zh) | 一种基于双向匹配的单目视觉图像三维重建方法及系统 | |
| Lin et al. | Research on 3D reconstruction in binocular stereo vision based on feature point matching method | |
| CN113538569A (zh) | 一种弱纹理物体位姿估计方法和系统 | |
| KR101021027B1 (ko) | 피부 주름 평가를 위한 입체영상 측정 시스템 및 방법 | |
| CN115393519A (zh) | 一种基于红外可见光融合图像的三维重构方法 | |
| CN111127556B (zh) | 基于3d视觉的目标物体识别和位姿估算方法以及装置 | |
| JP6285686B2 (ja) | 視差画像生成装置 | |
| Sang et al. | Inferring super-resolution depth from a moving light-source enhanced RGB-D sensor: a variational approach | |
| Li et al. | Three-dimensional motion estimation via matrix completion | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| Maninchedda et al. | Face reconstruction on mobile devices using a height map shape model and fast regularization | |
| Park et al. | A tensor voting approach for multi-view 3D scene flow estimation and refinement | |
| CN108694348B (zh) | 一种基于自然特征的跟踪注册方法及装置 | |
| Nozick | Camera array image rectification and calibration for stereoscopic and autostereoscopic displays | |
| Jiménez et al. | Face tracking and pose estimation with automatic three-dimensional model construction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 266555, No. 218, Bay Road, Qingdao economic and Technological Development Zone, Shandong Patentee after: Hisense Visual Technology Co., Ltd. Address before: 266555, No. 218, Bay Road, Qingdao economic and Technological Development Zone, Shandong Patentee before: QINGDAO HISENSE ELECTRONICS Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |