CN103914152B - 三维空间中多点触控与捕捉手势运动的识别方法与系统 - Google Patents
三维空间中多点触控与捕捉手势运动的识别方法与系统 Download PDFInfo
- Publication number
- CN103914152B CN103914152B CN201410144505.5A CN201410144505A CN103914152B CN 103914152 B CN103914152 B CN 103914152B CN 201410144505 A CN201410144505 A CN 201410144505A CN 103914152 B CN103914152 B CN 103914152B
- Authority
- CN
- China
- Prior art keywords
- information
- module
- infrared camera
- laser
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种三维空间中多点触控与捕捉手势运动的识别系统，属于智能识别技术领域。本发明的三维空间中多点触控与捕捉手势运动的识别系统，包括一微型电脑主机、一激光投影仪、第一红外摄像头、第二红外摄像头、一LED照射灯、一字线型激光发射器和投影平面；所述激光投影仪将微型电脑主机处理内容进行投射产生投影平面；所述一字线型激光发射器的照射平面与投影平面平行；所述第一红外摄像头与所述第二红外摄像头的视野覆盖所述投影平面和空中手势识别区域。本发明摆脱了目前手势识别基于电脑显示器的缺陷，使空中手势识别系统可以方便应用在投影仪演讲演示等领域方面，并且识别精度高。
Description
技术领域
本发明涉及一种智能识别系统，基于多摄像头、利用红外光照射进行手部姿态与位置的感知的方法，特别涉及一种三维空间中多点触控与捕捉手势运动的识别方法与系统。
背景技术
多年来，随着多媒体技术的普及与发展，人们在对新型人机交互技术进行着不懈的探索。使用肢体、手势等直观的方式完成计算机的操纵，成为一个技术热点。人的手部是一种复杂的执行机制，其灵活度高、表现力丰富且可以完成精细的操作，但这些特性也使其姿态的手部识别与跟踪成为计算机研究中的重大挑战。
对手部运动的识别，可以通过多种方法实现，其中来自Nintendo公司的专利US20080291160A1提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。这些方案实现了对手部运动的识别，但也存在着各种不足。缺点之一是价格昂贵。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。该方法比较直观，但需要经过复杂的数学计算过程，且无法对手的空间位置进行识别与跟踪。在手部运动感知领域存在着如何从获取的图像中有效的提取出手部的区域的问题，目前的技术存在环境光照条件对摄像头获取图像信息中的手部信息提取存在很大干扰和影响，降低了使用设备的准确程度和方便程度。
目前，市场上存在微软OmniTouch系统设计的Kinect体感摇控器和Leap motion公司推出的运动控制系统Leap 3D。
Leap motion公司推出运动控制系统Leap 3D，可以追踪多个物体并识别手势。当Leap 3D启动时，即可生成一块4立方英尺的3D空间，在此空间内的手指动作都会被捕捉到。Leap 3D由一块USB设备和一套由公司设计的复杂软件组成，USB设备中装有标准的传感器和摄像头，可以追踪多个物体并识别手势。Leap 3D可以识别出在你手中的任何物体并且追踪它们的动作。
另外，目前市场存在激光键盘，这种激光键盘的技术原理为投影元件先投影出键盘，手指按下投影同时发射出红外线，当手出来的键盘符号时，会阻断红外线，造成一个反射信号，这时感知器就会感知到反射信号的对应键盘坐标。另外也可以通过计算机视觉的方式，通过图像来识别；通过摄像头捕捉键盘区域的画面并进行分析，判断出键盘输入事件。相对来说计算机视觉的硬件较为简单，仅仅需要一个摄像头，但单摄像头存在识别精度不高的问题。
目前市场上还没有出现一种人机交互技术可以实现在三维空间中同时进行平面虚拟图像的多点触摸、图像追踪扫描和空中手势识别。
发明内容
为克服现有技术中存在的缺点与不足，本发明的首要目的在于提供一种三维空间中多点触控与捕捉手势运动的识别系统，能够通过投影方式显示电脑中的信息，并实现在三维空间中同时进行平面虚拟图像的多点触摸、图像追踪扫描和空中手势识别。
本发明的另一目的在于提供一种三维空间中多点触控与捕捉手势运动的识别方法。
本发明的再一目的在于提供上述三维空间中多点触控与捕捉手势运动的识别系统的应用。
本发明的目的通过下述技术方案实现：一种三维空间中多点触控与捕捉手势运动的识别系统，包括一微型电脑主机、一激光投影仪、第一红外摄像头、第二红外摄像头、一LED照射灯、一字线型激光发射器和投影平面；所述激光投影仪将微型电脑主机处理内容进行投射产生投影平面；所述一字线型激光发射器的照射平面与投影平面平行；所述第一红外摄像头与所述第二红外摄像头的视野覆盖所述投影平面和空中手势识别区域；
所述投影平面为激光投影仪投射的信息内容在载体平面上形成；
所述载体平面为桌面、墙面或汽车前挡风玻璃面中的一种；也可以是任何平面载体；
所述空中手势识别区域为第一红外摄像头、第二红外摄像头及LED照射灯的视野所共同覆盖的空中区域；
所述第一红外摄像头和第二红外摄像头与投影平面的距离大于一字线型激光发射器与投影平面的距离；
所述激光投影仪，通过接收微型电脑主机的传输，显示数据或投影平面（虚拟主机界面）投影，将待处理信息投影到投影平面；
所述LED照射灯，提供适宜的光照对空间区域内的手势增大明暗对比，加强识别目标与背景的亮度校正，便于红外摄像头获取手部图形信息，同时使设备在光线较暗的环境中也可以使用；
所述第一红外摄像头和第二红外摄像头，分别从第一视角和第二视角获取摄像头区域内手势活动的深度信息，通过图像深度传感器传输将信息传输到微型电脑主机，经由微型电脑主机对两个红外摄像头捕捉深度信息与手部图形数字建模的模板数据库进行综合比对处理分析，对手势所包含的指令信息进行反应；
所述一字线型激光发射器，发射的一字型激光与投影平面平行，当手指按到投影平面时发射出的红外线，被两个红外摄像头捕捉；同时当手指贴近投影平面时，会阻断发射的激光光路，造成一个反射信号，这时感知器就会感知到反射信号的相对位置相对于投影平面信息，在微型电脑主机进行信息处理后，确认手指位置，鉴别手指指令信息。
所述微型电脑主机包括摄像头传感器模块、手部图像提取模块、微处理器模块、图像数据分析模块、对比模块、执行模块、激光投影控制模块、重力感应模块和马达旋转模块；
所述摄像头传感模块，用于接收第一红外摄像头和第二红外摄像头获取的图像信息（包括虚拟图像的多点触摸、图像追踪扫描和空中手势移动信息），传输给手部图像提取模块进行手部图像提取和数据输出；
所述手部图像提取模块，接收摄像头传感模块传送的图像信息，进行手部图像提取数据，并将获得的手部图像提取数据传输给微处理器模块进行数据输出；其中，所述的手部图像提取主要是获取指尖骨骼、手掌骨骼、手腕骨骼和手指骨骼等手部节点部位的信息；
所述微处理器模块，将接收的手部图像提取数据向图像数据分析模块进行数据输出；另外通过接收和处理激光投影控制模块传送的重力感应信息，发出马达旋转指令到激光投影控制模块；
所述图像数据分析模块，接收微处理器模块输出的手部图像提取数据，将手部图形提取数据信息与手部图形数字建模的模板数据库（通过对手部姿态与位置进行数字建模，生成模板数据库）校正整合后，获得手势的移动信息数据，判断出手指移动模式；
所述比对模块，将图像数据分析模块获得的手指移动模式与微型电脑主机中手部图形建模的模板数据库信息对比，判断出手势所给出的执行信息；
所述执行模块，将对比模块获得执行信息对投影平面信息内容进行操作执行指示。
所述激光投影控制模块，通过接受重力感应模块对微型电脑主机放置位置（如横向放置或竖向放置）的重力感应信息，传输给微处理器模块，并接收微处理器模块在经过感应信息的分析和处理后发出的执行信息，将执行信息转化为执行指令后，发送到马达旋转模块，从而实现对激光投影仪和红外摄像头的调控（包括激光投影仪和红外摄像头的转动、激光投影仪的投影内容信息的自动校正调正和投影仪焦距自动调整）；同时在重力感应器感应到微型电脑主机横向放置时，发出指令自动关闭一字线型激光发射器，避免了微型电脑主机横向放置时，一字线型激光发射器的光信号干扰空中手势识别的信号获取；
所述重力感应模块，在微电脑主机放置后能够获取重力感应的信息，并将重力感应信息传送给激光投影控制模块，从而发挥通过重力感知获悉微电脑主机的放置状态（例如是水平放置或竖直放置），自动调整激光投影仪的投影方向；
所述马达旋转模块，通过接收激光投影控制模块发送的执行信息，发挥自动调整激光投影仪和红外摄像头，包括投影仪和红外摄像头的转动、投影仪的投影内容信息的自动校正调正和投影仪焦距自动调整。
进一步优选的实施方式，所述微型电脑主机还包括通话模块；
所述通话模块，与微处理器模块进行数据信息交换实现通话功能。
一种三维空间中多点触控与捕捉手势运动的识别方法，包括：
使所述激光投影仪通过接收微型电脑主机的传输，实现显示数据或虚拟主机界面投影，将待处理信息投影到投影平面；
使所述LED照射灯提供适宜的光照对空间区域内的手势增大明暗对比，加强识别目标与背景的亮度校正，便于红外摄像头获取手部图形信息；
使所述一字线型激光发射器发射的束线型激光与投影平面平行，当手指按到投影平面时发射出的红外线，被两个红外摄像头捕捉；
使所述第一红外摄像头和第二红外摄像头，分别从第一视角和第二视角获取摄像头区域内手势活动信息，通过图像传感器传输将信息传输到微型电脑主机；
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息（包括平面虚拟图像的多点触摸、图像追踪扫描和空中手势移动信息），经过两部分图像信息与手部图形建模的模板数据库进行分析整合校正后，获得手势的移动信息数据，判断出手指移动模式；将手指运动模式与微型电脑主机中运动执行数据库信息对比，判断出手势所给出的执行信息；将获得执行信息对投影平面信息内容进行操作执行指示。
提供一种所述的三维空间中多点触控与捕捉手势运动的识别系统在图像追踪扫描中应用，具体体现在：
使所述LED照射灯提供适宜的光照，对空间区域内的手势增大明暗对比，加强识别目标与背景的亮度校正，便于红外摄像头获取手部图形信息；
使所述一线型激光发射器发射的束线型激光与投影平面平行，当手指按到待追踪扫描载体平面时发射出的红外线，被两个红外摄像头捕捉；
使所述第一红外摄像头和第二红外摄像头，分别从第一视角和第二视角获取摄像头区域内触摸手在待追踪扫描载体（例如书籍等）的触控截屏区域信息，通过图像传感器传输将信息传输到微型电脑主机；
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息（即触摸手在待追踪扫描载体的触控截屏区域信息），经过两部分图像信息与手部图形数字建模的模板数据库进行分析整合校正后，获得手势的移动信息数据，判断出手指移动模式；将手指运动模式与微型电脑主机中运动执行数据库信息对比，判断出手势所给出的执行信息；将获得执行信息对待追踪扫描载体上的触控截屏内容进行扫描；
使所述激光投影仪通过接收微型电脑主机的传输，实现触控截屏内容投影到投影平面。
提供一种所述的三维空间中多点触控与捕捉手势运动的识别系统在车载地图手势控制中应用，具体体现在：
使所述激光投影仪通过接收微型电脑主机的传输，在汽车前挡风玻璃投影电子地图界面；
使所述第一红外摄像头和第二红外摄像头，分别从第一视角和第二视角获取摄像头区域内手势活动信息，通过图像传感器传输将信息传输到微型电脑主机；
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息（即空中手势移动），经过两部分图像信息与手部图形建模的模板数据库进行分析整合校正后，获得手势的移动信息数据，判断出手指移动模式；将手指运动模式与微型电脑主机中运动执行数据库信息对比，判断出手势所给出的执行信息；将获得执行信息对投影电子地图界面信息内容进行操作执行指示。
本发明中的平面和空中的手势识别原理为：利用激光三角测距原理用于手指空间坐标检测，在一副画面中找出每个手部关节相对画面的位置（x，y），并且手指距离投影平面的高度z，事实上就是在检测手指的三维空间坐标（x，y，z）的变化信息，通过对手指三维空间坐标变化信息的辨识和判断，对激光投影仪投射的微型电脑主机处理的信息进行操作和编辑。在虚拟图像显示触控操作中，若手指接近投影平面，则会阻挡住一字型激光的通路而产生反射，反射的光点画面会被两个红外摄像头拍摄到；能够对空间物体进行坐标定位，这是一个标准的三角测量法的结构设置。
本发明中手部图像建模的原理为：所述手部图形建模的过程包括提取背景图像、提取手部区域、提取动作数据和捕捉手部运动数据；具体过程为通过第一红外摄像头和第二红外摄像头进行图形采集测距计算，分别捕捉第一视角和第二视角的图像信息，提取手部姿态区域，计算图像角度差异，图像校正立体匹配，提取运动光斑区域，直角坐标面3D建模，获得数字模型拟合，从而实现数据库的手部动作以光标或模拟手来进行手势操作。
本发明相对于现有技术具有如下的优点及效果：
1. 本发明使用两个红外摄像头做双目视觉处理，提取目标画面物体的深度信息，通过拍摄物体产生的红外线变化信息，并转化为微型电脑主机处理信号；能够极大的增加图像捕捉能力，具有很好的摄像效果；同时通过两个红外摄像头摄取的图像信息，对手部位置信息进行修正，提高了手部运动信息识别的精度。
2. 本发明将投影仪直接安装在微型电脑主机，摆脱了目前手势识别基于电脑显示器的缺陷，使空中手势识别系统在使用投影仪进行演讲演示等方面被广泛应用，并且可以随时随地办公，形体小，便于携带，提供了很大方便。
3. 本发明通过LED照射灯和一线型激光照射器分别为空中手势识别与虚拟图像显示触控操作提供照射对比光源，将立体空间识别和平面触控操作积于一个操作系统，同时提高了红外摄像头对手势的辨识度。
4.本发明使用的地方非常广泛，比如汽车内，电视，电脑，手机和眼镜等领域进行广泛应用。
附图说明
图1是本发明的三维空间中多点触控识别系统的结构示意图；
图2是本发明的三维空间中捕捉手势运动的识别系统的结构示意图；
图3是本发明的手势识别过程中使用的手部模型的示意图；
图4是本发明的手部图形数字建模的分析示意图；
图5是本发明的实施例中微型电脑主机的内部组成模块连接的框图；
图6是本发明在图像追踪扫描中应用的结构示意图；
图7是本发明在车载地图手势控制中应用的结构示意图；
其中：1 微型电脑主机，2 激光投影仪，3 第一红外摄像头，4 第二红外摄像头，5LED照射灯，6 一字线型激光发射器，7 投影平面，8 指尖骨骼，9 手掌骨骼，10 手腕骨骼，11 手指骨骼，12，待追踪扫描载体，13 触控截屏，14 触摸手，15 汽车前挡风玻璃投影地图界面。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1和图2所示，本发明提供了一种三维空间中多点触控与捕捉手势运动的识别系统，包括一微型电脑主机1、一激光投影仪2、第一红外摄像头3、第二红外摄像头4、一LED照射灯5、一字线型激光发射器6和投影平面7；所述激光投影仪2将微型电脑主机1处理内容进行投射产生投影平面7；所述一字线型激光发射器6的照射平面与投影平面7平行；所述第一红外摄像头3与所述第二红外摄像头4的视野覆盖所述投影平面7和空中手势识别区域；
所述投影平面7为激光投影仪2投射的信息内容在载体平面上形成；
所述载体平面为桌面、墙面或汽车前挡风玻璃面中的一种；
所述空中手势识别区域为第一红外摄像头3、第二红外摄像头4及LED照射灯5的视野所共同覆盖的空中区域；
所述第一红外摄像头3和第二红外摄像头4与投影平面7的距离大于一字线型激光发射器6与投影平面7的距离；
所述激光投影仪2，通过接收微型电脑主机1的传输，显示数据或投影平面7（虚拟主机界面）投影，将待处理信息投影到投影平面；
所述LED照射灯5，提供适宜的光照对空间区域内的手势增大明暗对比，加强识别目标与背景的亮度校正，便于红外摄像头获取手部图形信息，同时使设备在光线较暗的环境中也可以使用；
所述第一红外摄像头3和第二红外摄像头4，分别从第一视角和第二视角获取摄像头区域内手势活动深度信息，通过图像深度传感器传输将信息传输到微型电脑主机1，经由微型电脑主机1对两个红外摄像头捕捉深度信息与手部图形数字建模的模板数据库进行综合比对处理分析，对手势所包含的指令信息进行反应；
所述一字线型激光发射器6，发射的一字型激光与投影平面平行，当手指按到投影平面时发射出的红外线，被两个红外摄像头捕捉；同时当手指贴近投影平面时，会阻断发射的激光光路，造成一个反射信号，这时感知器就会感知到反射信号的相对位置相对于投影平面信息，在微型电脑主机1进行信息处理后，确认手指位置，鉴别手指指令信息。
如图5所示，本发明中所述微型电脑主机1包括摄像头传感器模块、手部图像提取模块、微处理器模块、图像数据分析模块、对比模块、执行模块、激光投影控制模块、重力感应模块和马达旋转模块；
所述摄像头传感模块，用于接收第一红外摄像头3和第二红外摄像头4获取的图像信息（包括虚拟图像的多点触摸、图像追踪扫描和空中手势移动信息），传输给手部图像提取模块进行手部图像提取和数据输出；
所述手部图像提取模块，接收摄像头传感模块传送的图像信息，进行手部图像提取数据，并将获得的手部图像提取数据传输给微处理器模块进行数据输出；其中，如图3所示，所述的手部图像提取主要是获取指尖骨骼8、手掌骨骼9、手腕骨骼10和手指骨骼11等手部节点部位的信息；
所述微处理器模块，将接收的手部图像提取数据向图像数据分析模块进行数据输出；另外通过接收和处理激光投影控制模块传送的重力感应信息，发出马达旋转指令到激光投影控制模块；
所述图像数据分析模块，接收微处理器模块输出的手部图像提取数据，将手部图形提取数据信息与手部图形数字建模的模板数据库（通过对手部姿态与位置进行数字建模，生成模板数据库）校正整合后，获得手势的移动信息数据，判断出手指移动模式；
所述比对模块，将图像数据分析模块获得的手指移动模式与微型电脑主机中手部图形建模的模板数据库信息对比，判断出手势所给出的执行信息；
所述执行模块，将对比模块获得执行信息对投影平面信息内容进行操作执行指示。
所述激光投影控制模块，通过接受重力感应模块对微型电脑主机放置位置（如横向放置或竖向放置）的重力感应信息，传输给微处理器模块，并接收微处理器模块在经过感应信息的分析和处理后发出的执行信息，将执行信息转化为执行指令后，发送到马达旋转模块，从而实现对激光投影仪和红外摄像头的调控（包括激光投影仪和红外摄像头的转动、激光投影仪的投影内容信息的自动校正调正和投影仪焦距自动调整）；同时在重力感应器感应到微型电脑主机横向放置时，发出指令自动关闭一字线型激光发射器，避免了微型电脑主机横向放置时，一字线型激光发射器的光信号干扰空中手势识别的信号获取；
所述重力感应模块，在微电脑主机放置后能够获取重力感应的信息，并将重力感应信息传送给激光投影控制模块，从而发挥通过重力感知获悉微电脑主机的放置状态（例如是水平放置或竖直放置），自动调整激光投影仪的投影方向；
所述马达旋转模块，通过接收激光投影控制模块发送的执行信息，发挥自动调整激光投影仪和红外摄像头，包括投影仪和红外摄像头的转动、投影仪的投影内容信息的自动校正调正和投影仪焦距自动调整；
进一步优选的实施方式，所述微型电脑主机还包括通话模块；
所述通话模块，与微处理器模块进行数据信息交换实现通话功能。
一种三维空间中多点触控与捕捉手势运动的识别方法，包括：
使所述激光投影仪通过接收微型电脑主机的传输，实现显示数据或虚拟主机界面投影，将待处理信息投影到投影平面；
使所述LED照射灯提供适宜的光照，对空间区域内的手势增大明暗对比，加强识别目标与背景的亮度校正，便于红外摄像头获取手部图形信息；
使所述一线型激光发射器发射的束线型激光与投影平面平行，当手指按到投影平面时发射出的红外线，被两个红外摄像头捕捉；
使所述第一红外摄像头和第二红外摄像头，分别从第一视角和第二视角获取摄像头区域内手势活动信息，通过图像传感器传输将信息传输到微型电脑主机；
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息（包括平面虚拟图像的多点触摸、图像追踪扫描和空中手势移动信息），经过两部分图像信息与手部图形建模的模板数据库进行分析整校正合后，获得手势的移动信息数据，判断出手指移动模式；将手指运动模式与微型电脑主机中运动执行数据库信息对比，判断出手势所给出的执行信息；将获得执行信息对投影平面信息内容进行操作执行指示。
如图6所示，本发明提供一种所述的三维空间中多点触控与捕捉手势运动的识别系统在图像追踪扫描中应用，具体体现在：
使所述LED照射灯提供适宜的光照，对空间区域内的手势增大明暗对比，加强识别目标与背景的亮度校正，便于红外摄像头获取手部图形信息；
使所述一线型激光发射器发射的束线型激光与投影平面平行，当手指按到待追踪扫描载体平面时发射出的红外线，被两个红外摄像头捕捉；
使所述第一红外摄像头和第二红外摄像头，分别从第一视角和第二视角获取摄像头区域内触摸手14在待追踪扫描载体12（例如书籍等）的触控截屏13区域信息，通过图像传感器传输将信息传输到微型电脑主机；
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息（即触摸手在待追踪扫描载体的触控截屏区域信息），经过两部分图像信息与手部图形数字建模的模板数据库进行分析整合校正后，获得手势的移动信息数据，判断出手指移动模式；将手指运动模式与微型电脑主机中运动执行数据库信息对比，判断出手势所给出的执行信息；将获得执行信息对待追踪扫描载体上的触控截屏内容进行扫描；
使所述激光投影仪通过接收微型电脑主机的传输，实现触控截屏内容投影到投影平面。
如图7所示，本发明提供一种所述的三维空间中多点触控与捕捉手势运动的识别系统在车载地图手势控制中应用，具体体现在：
使所述激光投影仪通过接收微型电脑主机的传输，在汽车前挡风玻璃投影电子地图界面15；
使所述第一红外摄像头和第二红外摄像头，分别从第一视角和第二视角获取摄像头区域内手势活动信息，通过图像传感器传输将信息传输到微型电脑主机；
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息（即空中手势移动），经过两部分图像信息与手部图形建模的模板数据库进行分析整校正合后，获得手势的移动信息数据，判断出手指移动模式；将手指运动模式与微型电脑主机中运动执行数据库信息对比，判断出手势所给出的执行信息；将获得执行信息对投影电子地图界面信息内容进行操作执行指示。
本发明中的平面和空中的手势识别原理为：利用激光三角测距原理用于手指空间坐标检测，在一副画面中找出每个手部关节相对画面的位置（x，y），并且手指距离投影平面的高度z，事实上就是在检测手指的三维空间坐标（x，y，z）的变化信息，通过对手指三维空间坐标变化信息的辨识和判断，对激光投影仪投射的微型电脑主机处理的信息进行操作和编辑。在虚拟图像显示触控操作中，若手指接近投影平面，则会阻挡住一字型激光的通路而产生反射，反射的光点画面会被两个红外摄像头拍摄到；能够对空间物体进行坐标定位，这是一个标准的三角测量法的结构设置。
本发明中所述手部图像建模的原理如图4所示：本发明中手部图像建模的原理为：所述手部图形建模的过程包括提取背景图像、提取手部区域、提取动作数据和捕捉手部运动数据；具体过程为通过第一红外摄像头和第二红外摄像头进行图形采集测距计算，分别捕捉第一视角和第二视角的图像信息，提取手部姿态区域，计算图像角度差异，图像校正立体匹配，提取运动光斑区域，直角坐标面3D建模，获得数字模型拟合，从而实现数据库的手部动作以光标或模拟手来进行手势操作。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化、添加均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种三维空间中多点触控与捕捉手势运动的识别系统，其特征在于包括一微型电脑主机、一激光投影仪、第一红外摄像头、第二红外摄像头、一LED照射灯、一字线型激光发射器和投影平面；所述激光投影仪将微型电脑主机处理内容进行投射产生投影平面；所述一字线型激光发射器的照射平面与投影平面平行；所述第一红外摄像头与所述第二红外摄像头的视野覆盖所述投影平面和空中手势识别区域；
所述投影平面为激光投影仪投射的信息内容在载体平面上形成；
所述载体平面为桌面、墙面或汽车前挡风玻璃面中的一种；
所述空中手势识别区域为第一红外摄像头、第二红外摄像头及LED照射灯的视野所共同覆盖的空中区域；
所述第一红外摄像头和第二红外摄像头与投影平面的距离大于一字线型激光发射器与投影平面的距离；
所述微型电脑主机包括摄像头传感器模块、手部图像提取模块、微处理器模块、图像数据分析模块、对比模块、执行模块、激光投影控制模块、重力感应模块和马达旋转模块；
所述摄像头传感模块，用于接收第一红外摄像头和第二红外摄像头获取的图像信息，传输给手部图像提取模块进行手部图像提取和数据输出；
所述手部图像提取模块，接收摄像头传感模块传送的图像信息，进行手部图像提取数据，并将获得的手部图像提取数据传输给微处理器模块进行数据输出；其中，所述的手部图像提取主要是获取指尖骨骼、手掌骨骼、手腕骨骼和手指骨骼的手部节点部位信息；
所述微处理器模块，将接收的手部图像提取数据向图像数据分析模块进行数据输出；并且微处理器模块通过与通话模块进行数据信息交换获得通话功能；另外通过接收和处理激光投影控制模块传送的重力感应信息，发出马达旋转指令到激光投影控制模块；
所述图像数据分析模块，接收微处理器模块输出的手部图像提取数据，将手部图形提取数据信息与手部图形数字建模的模板数据库校正整合后，获得手势的移动信息数据，判断出手指移动模式；
所述对比模块，将图像数据分析模块获得的手指移动模式与微型电脑主机中手部图形建模的模板数据库信息对比，判断出手势所给出的执行信息；
所述执行模块，将对比模块获得执行信息对投影平面信息内容进行操作执行指示；
所述激光投影控制模块，通过接受重力感应模块对微型电脑主机放置位置的重力感应信息，传输给微处理器模块，并接收微处理器模块在经过感应信息的分析和处理后发出的执行信息，将执行信息转化为执行指令后，发送到马达旋转模块，从而实现对激光投影仪和红外摄像头的调控；同时在重力感应器感应到微型电脑主机横向放置时，发出指令自动关闭一字线型激光发射器；
所述重力感应模块，在微电脑主机放置后能够获取重力感应的信息，并将重力感应信息传送给激光投影控制模块，从而发挥通过重力感知获悉微电脑主机的放置状态，自动调整激光投影仪的投影方向；
所述马达旋转模块，通过接收激光投影控制模块发送的执行信息，发挥自动调整激光投影仪和红外摄像头。
2.根据权利要求1所述的三维空间中多点触控与捕捉手势运动的识别系统，其特征在于：所述激光投影仪，通过接收微型电脑主机的传输，显示数据或投影平面投影，将待处理信息投影到投影平面；
所述LED照射灯，提供适宜的光照对空间区域内的手势增大明暗对比，加强识别目标与背景的亮度校正，便于红外摄像头获取手部图形信息，同时使设备在光线较暗的环境中也可以使用；
所述第一红外摄像头和第二红外摄像头，分别从第一视角和第二视角获取摄像头区域内手势活动深度信息，通过图像深度传感器传输将信息传输到微型电脑主机，经由微型电脑主机对两个红外摄像头捕捉深度信息与手部图形数字建模的模板数据库进行综合比对处理分析，对手势所包含的指令信息进行反应；
所述一字线型激光发射器，发射的一字型激光与投影平面平行，当手指按到投影平面时发射出的红外线，被两个红外摄像头捕捉；同时当手指贴近投影平面时，会阻断发射的激光光路，造成一个反射信号，这时感知器就会感知到反射信号的相对位置相对于投影平面信息，在微型电脑主机进行信息处理后，确认手指位置，鉴别手指指令信息。
3.根据权利要求1所述的三维空间中多点触控与捕捉手势运动的识别系统，其特征在于：所述微型电脑主机还包括通话模块；
所述通话模块，与微处理器模块进行数据信息交换实现通话功能。
4.权利要求1所述识别系统的三维空间中多点触控与捕捉手势运动的识别方法，其特征在于包括：
使所述激光投影仪通过接收微型电脑主机的传输，实现显示数据或虚拟主机界面投影，将待处理信息投影到投影平面；
使所述LED照射灯提供适宜的光照，对空间区域内的手势增大明暗对比，加强识别目标与背景的亮度校正，便于红外摄像头获取手部图形信息；
使所述一字线型激光发射器发射的束线型激光与投影平面平行，当手指按到投影平面时发射出的红外线，被两个红外摄像头捕捉；
使所述第一红外摄像头和第二红外摄像头，分别从第一视角和第二视角获取摄像头区域内手势活动信息，通过图像传感器传输将信息传输到微型电脑主机；
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息，经过两部分图像信息与手部图形建模的模板数据库进行分析整校正合后，获得手势的移动信息数据，判断出手指移动模式；将手指运动模式与微型电脑主机中运动执行数据库信息对比，判断出手势所给出的执行信息；将获得执行信息对投影平面信息内容进行操作执行指示。
5.权利要求1所述的识别系统在图像追踪扫描中应用。
6.根据权利要求5所述的识别系统在图像追踪扫描中应用，其特征在于体现在：
使所述LED照射灯提供适宜的光照，对空间区域内的手势增大明暗对比，加强识别目标与背景的亮度校正，便于红外摄像头获取手部图形信息；
使所述一字线型激光发射器发射的束线型激光与投影平面平行，当手指按到待追踪扫描载体平面时发射出的红外线，被两个红外摄像头捕捉；
使所述第一红外摄像头和第二红外摄像头，分别从第一视角和第二视角获取摄像头区域内触摸手在待追踪扫描载体的触控截屏区域信息，通过图像传感器传输将信息传输到微型电脑主机；
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息，经过两部分图像信息与手部图形数字建模的模板数据库进行分析整合校正后，获得手势的移动信息数据，判断出手指移动模式；将手指运动模式与微型电脑主机中运动执行数据库信息对比，判断出手势所给出的执行信息；将获得执行信息对待追踪扫描载体上的触控截屏内容进行扫描；
使所述激光投影仪通过接收微型电脑主机的传输，实现触控截屏内容投影到投影平面。
7.权利要求1所述的识别系统在车载地图手势控制中应用。
8.根据权利要求7所述的识别系统在车载地图手势控制中应用，其特征在于具体体现在：
使所述激光投影仪通过接收微型电脑主机的传输，在汽车前挡风玻璃投影电子地图界面；
使所述第一红外摄像头和第二红外摄像头，分别从第一视角和第二视角获取摄像头区域内手势活动信息，通过图像传感器传输将信息传输到微型电脑主机；
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息，经过两部分图像信息与手部图形建模的模板数据库进行分析整校正合后，获得手势的移动信息数据，判断出手指移动模式；将手指运动模式与微型电脑主机中运动执行数据库信息对比，判断出手势所给出的执行信息；将获得执行信息对投影电子地图界面信息内容进行操作执行指示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410144505.5A CN103914152B (zh) | 2014-04-11 | 2014-04-11 | 三维空间中多点触控与捕捉手势运动的识别方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410144505.5A CN103914152B (zh) | 2014-04-11 | 2014-04-11 | 三维空间中多点触控与捕捉手势运动的识别方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103914152A CN103914152A (zh) | 2014-07-09 |
| CN103914152B true CN103914152B (zh) | 2017-06-09 |
Family
ID=51039895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410144505.5A Expired - Fee Related CN103914152B (zh) | 2014-04-11 | 2014-04-11 | 三维空间中多点触控与捕捉手势运动的识别方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103914152B (zh) |
Families Citing this family (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2557952B1 (es) * | 2014-07-28 | 2016-11-29 | Miguel SUÁREZ FERNÁNDEZ | Dispositivo luminoso de posición e indicación mediante módulo de pulsera y módulo trasero comunicados por bluetooth |
| WO2016022096A1 (en) * | 2014-08-04 | 2016-02-11 | Hewlett-Packard Development Company, L.P. | Workspace metadata management |
| CN105589553A (zh) * | 2014-09-23 | 2016-05-18 | 上海影创信息科技有限公司 | 一种智能设备的手势控制方法和系统 |
| CN105528060B (zh) * | 2014-09-30 | 2018-11-09 | 联想(北京)有限公司 | 终端设备和控制方法 |
| CN105528599B (zh) * | 2014-09-30 | 2019-07-26 | 联想(北京)有限公司 | 处理图像的方法和终端设备 |
| CN104331193A (zh) * | 2014-12-01 | 2015-02-04 | 湖北印象光电信息产业有限公司 | 一种红外精准多点触控平台 |
| CN104407746A (zh) * | 2014-12-01 | 2015-03-11 | 湖北印象光电信息产业有限公司 | 一种基于红外光电技术的多点触摸系统 |
| CN104571511B (zh) * | 2014-12-30 | 2018-04-27 | 青岛歌尔声学科技有限公司 | 一种3d场景中重现物体的系统和方法 |
| US10482670B2 (en) | 2014-12-30 | 2019-11-19 | Qingdao Goertek Technology Co., Ltd. | Method for reproducing object in 3D scene and virtual reality head-mounted device |
| CN104571510B (zh) | 2014-12-30 | 2018-05-04 | 青岛歌尔声学科技有限公司 | 一种3d场景中输入手势的系统和方法 |
| CN104698931A (zh) * | 2015-02-13 | 2015-06-10 | 广西科技大学鹿山学院 | 人机交互智能地球仪的控制方法 |
| CN104657103B (zh) * | 2015-03-16 | 2017-06-16 | 哈尔滨工业大学 | 基于深度摄像机的手持cave投影系统 |
| CN106162277A (zh) * | 2015-03-31 | 2016-11-23 | 乐视致新电子科技（天津）有限公司 | 一种识别操作对象的方法和装置、智能终端 |
| CN108170279B (zh) * | 2015-06-03 | 2021-07-30 | 塔普翊海（上海）智能科技有限公司 | 头显设备的眼动和头动交互方法 |
| WO2016201678A1 (zh) * | 2015-06-18 | 2016-12-22 | 周谆 | 虚拟车辆人机交互方法和系统 |
| CN105138125A (zh) * | 2015-08-25 | 2015-12-09 | 华南理工大学 | 一种基于Leapmotion手势识别的智能车载系统 |
| CN105091887B (zh) * | 2015-09-16 | 2019-04-16 | 王占奎 | 3d交互式全息车内导航系统 |
| CN105136151B (zh) * | 2015-09-16 | 2019-04-16 | 王占奎 | 3d全息车联网交互显示终端 |
| CN105488802B (zh) * | 2015-12-07 | 2018-12-28 | 清华大学 | 一种指尖深度检测方法及系统 |
| WO2017122256A1 (ja) * | 2016-01-14 | 2017-07-20 | パナソニックＩｐマネジメント株式会社 | 洗濯機 |
| CN105527832A (zh) * | 2016-01-20 | 2016-04-27 | 福建太尔电子科技股份有限公司 | 可投影感知的骨传导智能手表 |
| TWI653563B (zh) | 2016-05-24 | 2019-03-11 | 仁寶電腦工業股份有限公司 | 投影觸控的圖像選取方法 |
| CN106211470B (zh) * | 2016-08-24 | 2018-02-13 | 横店集团得邦照明股份有限公司 | 一种基于3d手势控制的led调光控制系统及其实现方法 |
| CN106446861A (zh) * | 2016-09-28 | 2017-02-22 | 辽宁石油化工大学 | 一种手语识别系统、装置及方法 |
| CN108571756A (zh) * | 2017-03-08 | 2018-09-25 | 博西华电器（江苏）有限公司 | 油烟机及其控制方法、厨具系统 |
| CN106973276A (zh) * | 2017-04-01 | 2017-07-21 | 广景视睿科技（深圳）有限公司 | 车载投影系统及用于该系统的投影方法 |
| CN107765928A (zh) * | 2017-04-21 | 2018-03-06 | 青岛陶知电子科技有限公司 | 一种基于石墨烯光学传感技术的多点触摸显示系统 |
| CN107197223A (zh) * | 2017-06-15 | 2017-09-22 | 北京有初科技有限公司 | 微型投影设备和投影设备的手势控制方法 |
| CN107131657A (zh) * | 2017-06-21 | 2017-09-05 | 华帝股份有限公司 | 一种可手势控制的热水器及其使用方法 |
| CN107357356A (zh) * | 2017-07-04 | 2017-11-17 | 北京有初科技有限公司 | 微型投影电脑和利用手势控制微型投影电脑翻页的方法 |
| CN107705651A (zh) * | 2017-11-16 | 2018-02-16 | 江门市星望教育科技有限公司 | 一种教学用交互式投影仪 |
| CN107665613A (zh) * | 2017-11-16 | 2018-02-06 | 江门市星望教育科技有限公司 | 一种智能黑板 |
| CN108334246B (zh) * | 2017-12-11 | 2021-06-22 | 北京硬壳科技有限公司 | 悬浮触控方法及相关装置 |
| CN107945800A (zh) * | 2017-12-21 | 2018-04-20 | 深圳乐美尚科技有限公司 | 一种自带距离感应以及识别的智能控制面板 |
| CN109961454A (zh) * | 2017-12-22 | 2019-07-02 | 北京中科华正电气有限公司 | 一种嵌入式智能机器中的人机交互装置及处理方法 |
| CN108008907B (zh) * | 2017-12-27 | 2021-08-13 | 上海传英信息技术有限公司 | 一种基于虚拟键盘的输入设备及输入方法 |
| CN108319375A (zh) * | 2018-01-18 | 2018-07-24 | 安徽三弟电子科技有限责任公司 | 一种旋转式的激光虚拟键盘系统 |
| CN110134267A (zh) * | 2018-02-08 | 2019-08-16 | 上海美创文化科技有限公司 | 一种新型多媒体互动桌 |
| DE102018203349A1 (de) * | 2018-03-07 | 2019-09-12 | BSH Hausgeräte GmbH | Interaktionsmodul |
| CN108920088A (zh) * | 2018-07-18 | 2018-11-30 | 成都信息工程大学 | 一种基于隔空触摸操作的桌面投影交互方法及系统 |
| CN110471577B (zh) * | 2018-08-17 | 2023-08-22 | 中山叶浪智能科技有限责任公司 | 一种360度全方位虚拟触控方法、系统、平台及存储介质 |
| CN109814711B (zh) * | 2019-01-03 | 2021-09-21 | 华南理工大学 | 一种基于肤色提取和卷积神经网络的虚拟交互系统及方法 |
| CN110020442A (zh) * | 2019-04-12 | 2019-07-16 | 上海电机学院 | 一种便携式翻译机 |
| CN110072076A (zh) * | 2019-05-05 | 2019-07-30 | 锐嘉科集团有限公司 | 用于视频会议的投影通话装置及信号处理方法 |
| CN110162225A (zh) * | 2019-05-05 | 2019-08-23 | 青岛小鸟看看科技有限公司 | 一种投影灯以及用于投影灯的触控方法 |
| CN112130659A (zh) * | 2019-06-25 | 2020-12-25 | 幻景启动股份有限公司 | 互动式立体显示装置与互动感应方法 |
| CN110888536B (zh) * | 2019-12-12 | 2023-04-28 | 北方工业大学 | 基于mems激光扫描的手指交互识别系统 |
| CN113696821A (zh) * | 2020-05-22 | 2021-11-26 | 上海海拉电子有限公司 | 一种车辆信息交互系统及信息交互方法 |
| CN111506200B (zh) * | 2020-05-27 | 2023-06-23 | 上海瑞界网络科技有限公司 | 一种基于体感互动控制投影的系统和方法 |
| CN112083801A (zh) * | 2020-07-24 | 2020-12-15 | 青岛小鸟看看科技有限公司 | 基于vr虚拟办公的手势识别系统及方法 |
| CN112363667A (zh) * | 2020-11-12 | 2021-02-12 | 四川长虹电器股份有限公司 | 一种触摸遥控方法及系统 |
| CN112363629B (zh) * | 2020-12-03 | 2021-05-28 | 深圳技术大学 | 一种新的非接触式人机交互方法及系统 |
| CN112905008B (zh) * | 2021-01-29 | 2023-01-20 | 海信视像科技股份有限公司 | 一种手势调节显示图像方法及显示设备 |
| CN113301315B (zh) * | 2021-04-30 | 2023-04-07 | 广西佳微科技股份有限公司 | 一种基于红外线触屏框的投影系统 |
| CN113223344B (zh) * | 2021-05-25 | 2022-08-23 | 湖南汽车工程职业学院 | 一种基于大数据的艺术设计用专业教学展示系统 |
| CN113325659A (zh) * | 2021-05-31 | 2021-08-31 | 深圳市极鑫科技有限公司 | 一种基于投影显示的人机交互系统和方法 |
| CN114588612A (zh) * | 2021-11-25 | 2022-06-07 | 北京华锐视界科技有限公司 | 一种球类运动系统 |
| CN114978333B (zh) * | 2022-05-25 | 2024-01-23 | 深圳玩智商科技有限公司 | 一种识别设备、系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012740A (zh) * | 2010-11-15 | 2011-04-13 | 中国科学院深圳先进技术研究院 | 人机交互方法及系统 |
| CN201903869U (zh) * | 2011-02-14 | 2011-07-20 | 苏州创捷传媒展览有限公司 | 一种红外传感器式虚拟翻书装置 |
| CN102184008A (zh) * | 2011-05-03 | 2011-09-14 | 北京天盛世纪科技发展有限公司 | 互动投影系统及方法 |
| CN103067727A (zh) * | 2013-01-17 | 2013-04-24 | 乾行讯科（北京）科技有限公司 | 一种3d眼镜和3d显示系统 |
| CN103303224A (zh) * | 2013-06-18 | 2013-09-18 | 桂林电子科技大学 | 车载设备手势控制系统及其使用方法 |
-
2014
- 2014-04-11 CN CN201410144505.5A patent/CN103914152B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012740A (zh) * | 2010-11-15 | 2011-04-13 | 中国科学院深圳先进技术研究院 | 人机交互方法及系统 |
| CN201903869U (zh) * | 2011-02-14 | 2011-07-20 | 苏州创捷传媒展览有限公司 | 一种红外传感器式虚拟翻书装置 |
| CN102184008A (zh) * | 2011-05-03 | 2011-09-14 | 北京天盛世纪科技发展有限公司 | 互动投影系统及方法 |
| CN103067727A (zh) * | 2013-01-17 | 2013-04-24 | 乾行讯科（北京）科技有限公司 | 一种3d眼镜和3d显示系统 |
| CN103303224A (zh) * | 2013-06-18 | 2013-09-18 | 桂林电子科技大学 | 车载设备手势控制系统及其使用方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103914152A (zh) | 2014-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103914152B (zh) | 三维空间中多点触控与捕捉手势运动的识别方法与系统 | |
| CN203930682U (zh) | 三维空间中多点触控与捕捉手势运动的识别系统 | |
| US8923562B2 (en) | Three-dimensional interactive device and operation method thereof | |
| CN103713737B (zh) | 用于智能眼镜的虚拟键盘系统 | |
| JP5950130B2 (ja) | カメラ式マルチタッチ相互作用装置、システム及び方法 | |
| JP6078884B2 (ja) | カメラ式マルチタッチ相互作用システム及び方法 | |
| US9041775B2 (en) | Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use | |
| CN1232943C (zh) | 利用虚拟输入装置输入数据的方法和设备 | |
| CN103336575B (zh) | 一种人机交互的智能眼镜系统及交互方法 | |
| CN101952818B (zh) | 基于姿态的用户交互的处理 | |
| WO2012124730A1 (ja) | 検出装置、入力装置、プロジェクタ、及び電子機器 | |
| CN114127669A (zh) | 无源指示笔的可跟踪性增强 | |
| CN102141860A (zh) | 非接触式指示装置 | |
| CN102915111A (zh) | 一种腕上手势操控系统和方法 | |
| CN1630877A (zh) | 基于计算机视觉的无线定向系统 | |
| KR20120068253A (ko) | 사용자 인터페이스의 반응 제공 방법 및 장치 | |
| CN102945091B (zh) | 一种基于激光投影定位的人机交互方法与系统 | |
| CN111722769B (zh) | 交互方法、装置、显示设备和存储介质 | |
| CN108885487B (zh) | 一种可穿戴式系统的手势控制方法以及可穿戴式系统 | |
| US20120293555A1 (en) | Information-processing device, method thereof and display device | |
| CN103365617B (zh) | 一种投影控制系统、装置及投影控制方法 | |
| CN100478860C (zh) | 一种电子平面显示定位系统及定位方法 | |
| CN202159302U (zh) | 具有用户交互和输入功能的增强现实系统 | |
| CN105786361A (zh) | 一种3d车载终端人机交互系统 | |
| CN101609363B (zh) | 输入装置及输入方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170831 Address after: 100000 Beijing city Fengtai District South Fourth Ring Road No. 128 Building No. 4 hospital 12 layer 1515-1516 (Park Rong Hui gard enterprises centralized office area) Patentee after: Vision technology (Beijing) Co., Ltd. Address before: 100000, room 14, building four, 303 garden, Xin Qiao garden, Fengtai District, Beijing Patentee before: Zhou Guanglei |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170609 Termination date: 20200411 |