CN103049761A - 基于手语手套的手语识别方法及系统 - Google Patents
基于手语手套的手语识别方法及系统 Download PDFInfo
- Publication number
- CN103049761A CN103049761A CN201310021883XA CN201310021883A CN103049761A CN 103049761 A CN103049761 A CN 103049761A CN 201310021883X A CN201310021883X A CN 201310021883XA CN 201310021883 A CN201310021883 A CN 201310021883A CN 103049761 A CN103049761 A CN 103049761A
- Authority
- CN
- China
- Prior art keywords
- sign language
- gloves
- data
- finger
- palm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Gloves (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于手语手套的手语识别方法及系统，手语手套的十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；手指弯曲部分设有弯曲传感器，手腕部分设有旋转传感器，手语手套上设有数据通信模块，可进行手语手套和手语识别系统之间的数据传输。手语识别系统通过对手指弯曲数据和手掌旋转角度数据进行预处理，并将预处理后的数据和所有的特征值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；将匹配的结果转化为可识别的输出信号并发送给输出终端，从而完成手语识别。本发明结合传感器和图像识别，提高了手语识别的准确率。
Description
技术领域
本发明涉及人工智能领域的模式识别，尤其涉及一种基于手语手套的手语识别方法及系统。
背景技术
目前的手势识别分为两种，一种是基于传感器数据的手势识别方法，一种是基于图像识别的手势识别方法。
基于物理手套传感器数据的手势识别是从传感器直接获得手指运动特征数据，通过一定的算法将其翻译成人可直接识别的文字或声音；基于图像识别的手势识别方法是通过图像录入设备把手行输入到计算机当中，借助图像处理技术进行手势识别的方法。
国内外科学家对手势识别进行了大量基于图像识别的研究。但对于基于图像识别的手势识别方法，依赖于摄像机成像、环境、光线等因素，由于人手在运动过程中，必然会使手指遮掩而使摄像机拍摄不到要分析的手指图像。
对基于传感器数据手套的手势识别技术近年来国内也有研究，主要是通过单一的传感器所获取的手指运动特征值进行匹配，如加速度值或者角度值。即基于单一源的数据采集和数据识别。其需要依靠服务器端大数据量的模式匹配，在客户端无法直接完成识别。
发明内容
本发明要解决的技术问题在于针对现有技术中手语识别正确率低，识别速度不高的缺陷，提供一种基于多个数据源的数据采集和识别，且识别正确率高、速度快的手语识别方法及手语识别手套。
本发明解决其技术问题所采用的技术方案是：
提供一种基于手语手套的手语识别方法，包括以下步骤：
获取手语识别手套的手指弯曲部分的弯曲传感器感知的手指弯曲数据；
获取手语识别手套的手腕部分的旋转传感器感知的手掌旋转角度数据；
采集手语识别手套的图像，其中手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
对采集的图像进行颜色识别，根据颜色识别提取指尖的特征值、手指部分的特征值、手心和手背的特征值以及手腕部分的特征值；
对手指弯曲数据和手掌旋转角度数据进行预处理，并将预处理后的数据和所有的特征值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；
将匹配的结果转化为可识别的输出信号并发送给输出终端。
本发明所述的手语识别方法中，该方法还包括步骤：
获取手语识别手套上设置的磁力传感器感知的指尖运动数据并进行预处理，所述手语手套的指尖上设有磁铁；
所述匹配序列中还包括预处理后的指尖运动数据。
本发明所述的手语识别方法中，指尖的特征值为对应不同颜色指尖的点坐标；手指部分的特征值为对应不同颜色指尖的线坐标；手心和手背的特征值为对应不同颜色的手心和手背的中心坐标；手腕部分的特征值为对应不同颜色手腕部分的中心坐标。
本发明所述的手语识别方法中，所述输出信号为文字、图片或者语音。
本发明解决其技术问题所采用的另一技术方案是：
提供一种基于手语手套的手语识别系统，包括：
指尖运动数据获取模块，用于获取手语识别手套上设置的指尖传感器感知的指尖运动数据；
手指弯曲数据获取模块，用于获取手语识别手套的手指弯曲部分的弯曲传感器感知的手指弯曲数据；
手掌旋转角度数据获取模块，用于获取手语识别手套的手腕部分的旋转传感器感知的手掌旋转角度数据；
预处理模块，用于对手指弯曲数据和手掌旋转角度数据进行预处理；
图像采集模块，用于采集手语识别手套的图像，其中手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
颜色识别模块，用于对采集的图像进行颜色识别；
特征值提取模块，用于根据颜色识别提取指尖的特征值、手指部分的特征值、手心和手背的特征值以及手腕部分的特征值；
匹配模块，用于将预处理后的手指弯曲数据、手掌旋转角度数据和所有的特征值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；
输出模块，用于将匹配的结果转化为可识别的输出信号并发送给输出终端。
本发明所述的手语识别系统中，所述数据获取模块，还用于获取手语识别手套上设置的磁力传感器感知的指尖运动数据，所述手语手套的指尖上设有磁铁；
所述预处理模块还用于对所述指尖运动数据进行预处理；
所述匹配序列中还包括预处理后的指尖运动数据。
本发明所述的手语识别系统中，所述特征值提取模块中所提取的指尖的特征值为对应不同颜色指尖的点坐标；手指部分的特征值为对应不同颜色指尖的线坐标；手心和手背的特征值为对应不同颜色的手心和手背的中心坐标；手腕部分的特征值为对应不同颜色手腕部分的中心坐标。
本发明解决其技术问题所采用的第三技术方案是：
提供一种手语手套，其特征在于,手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
手指弯曲部分设有弯曲传感器，用于感知手指弯曲数据；
手腕部分设有旋转传感器，用于感知手掌旋转角度数据；
手语手套上设有数据通信模块，用于接收所述手指弯曲数据和所述手掌旋转角度数据并通过无线的方式发送给手语识别系统。
本发明所述的手语手套中，手套指尖上设有磁铁，手套手背上设有磁力传感器，用于感知指尖动作时磁铁产生的磁力；所述数据通信模块还用于接收磁力传感器感知的磁力数据并通过无线的方式发送给手语识别系统。
本发明所述的手语手套中，所述弯曲传感器至少感知手指的4种弯曲程度。
本发明所述的手语手套中，所述旋转传感器至少感知手掌的4种旋转角度。
本发明产生的有益效果是：本发明的手语手套中磁力传感器、弯曲传感器、旋转传感器等可采样多种数据，将单个手的动作进行了准确的数据采集，提高了准确率；通过将手套的指尖，手指等的涂色，将复杂的动作视频识别简化为简单的颜色识别。
进一步地通过确定点、线、面的空间坐标，从而将双手的空间组合关系进行了准确的数据采集，同时也辅助了单个手的动作的数据采集，提高了识别准确率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例基于手语手套的手语识别方法流程图；
图2是本发明实施例基于手语手套的手语识别系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明的手语手套的十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色。手套的手指弯曲部分设有弯曲传感器，用于感知手指弯曲数据；手腕部分设有旋转传感器。利用该手套，可将标准的手语进行数字化，即将手语中的字，词，句等表达单元进行数字化，保存到一个手语数字化标准库中。
本发明实施例基于手语手套的手语识别方法，如图1所示，包括以下步骤：
S101、获取手语识别手套的手指弯曲部分的弯曲传感器感知的手指弯曲数据；
S102、获取手语识别手套的手腕部分的旋转传感器感知的手掌旋转角度数据；
S103、采集手语识别手套的图像，其中手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
S104、对采集的图像进行颜色识别；根据颜色识别提取指尖的特征值、手指部分的特征值、手心和手背的特征值以及手腕部分的特征值；
S105、对手指弯曲数据和手掌旋转角度数据进行预处理；
S106、将预处理后的数据和所有的特征值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；
S107、将匹配的结果转化为可识别的输出信号并发送给输出终端。本发明的一个实施例中，输出信号为文字、图片或者语音。
进一步地，本发明实施例中，指尖的特征值为对应不同颜色指尖的点坐标；手指部分的特征值为对应不同颜色指尖的线坐标；手心和手背的特征值为对应不同颜色的手心和手背的中心坐标；手腕部分的特征值为对应不同颜色手腕部分的中心坐标。
本发明的一个实施例中，为了更好地识别手指的动作，手语手套的指尖上设有磁铁，手套上设有磁力传感器，通过磁力传感器感知磁铁的磁力变化可以感知手指的运动，则该方法还包括步骤：
获取手语识别手套上设置的磁力传感器感知的指尖运动数据并进行预处理，手语手套的指尖上设有磁铁；
匹配序列中还包括预处理后的指尖运动数据。
通常，在手语数字化时，以手语的表达单位为索引，由简单到复杂进行数字化，例如，“你好”，“再见”，“谢谢”，“很好”，“你叫什么名字”，“很高兴认识您”等。一个手语表达单元，可能有多个手语动作。如果一个手语动作数字化后为一个矢量，则一个手语表达单元数字化后可能为多个矢量。
例如，将手语中的“你好”进行数字化，其方法是：
1)先戴上手套；
2)然后用手语表示这个词，手套上的传感器返回了相应的感知数据。同时这个动作用视频记录下来，通过视频分析软件（主要是模式提取和识别）提取出手套中不同的颜色，并将这些颜色的空间坐标形成一个坐标序列。将感知数据（用矢量S表示）和视频分析（用矢量V表示）数据集中起来作为手语的数字化结果，该结果称为手语数字化标准库，例如，可用一个矢量（S||V）表示。易知，该标准库中保存的是手语对应的文字（如本例中的“你好”）及其对应的矢量；
3)在需要进行手语和文字转换时，将手套戴上，然后开始手语识别，即利用手套采集的数据，与手语数字化标准库进行匹配。从而得到手语对应的文字。
本发明的一个较佳实施例中，手套的指尖具有10种颜色，不妨用C[1],C[2],…,C[10]表示。
手套的手指部分(即从指尖到手掌的部分，长度一般为接近于普通人手指的长度)具有10种颜色，不妨用D[1],D[2],…,D[10]表示。
手套的掌心和手背的中心部分用圆表示，具有2种颜色，不妨用E[1],E[2]表示。
手套的小手臂部分（从肘部到手腕部之间的部分）具有2种颜色，一个是左手，一个是右手，不妨用G[1]和G[2]表示。
可在手套外侧每个指甲上（一个简化版本是拇指,食指,无名指上，因为这三个手指是手语动作中的基本手指）具有磁铁，能够对手掌心的磁力传感器产生磁力影响。
手套手心外侧或手背装有磁力传感器，可将来自手套外侧指甲上的磁铁装置产生的磁力记录下来。手语表达单元如对应一个手语动作，则不妨设该值为T。若一个手语表达单元对应多个动作，例如，“你好”对应2个手语动作，则不妨设该值为T[1]，T[2]。
手套手指部分具有弯曲传感器装置，可以感知手指弯曲的程度。假设每个手指的编号为A[1],A[2],…,A[10]，根据传感器的性能（价格），不妨设手指弯曲的程度用高度弯曲，中度弯曲，轻度弯曲，不弯曲4种状态表示，则感知的10个手指的弯曲数据为A[i,j],1≤i≤10,1≤j≤4表示。
手套的手腕上具有旋转扭矩传感器（即上文所描述的旋转传感器），可以感知手掌的方位（如向上，向下，向左，向右等）。根据传感器的性能（价格），不妨设手掌的旋转角度用B[1],B[2],…,B[n]表示。例如左旋90度为B[1],右旋90度为B[2],上旋90度为B[3],下旋90度为B[4]等。
一个手语表达单元，可能有多个手语动作。如果一个手语动作的传感器数据为一个矢量，则一个手语表达单元的传感器数据可能为多个矢量。
识别时对图像中的特征值进行提取，以将图像转化为空间坐标的序列。识别产生的数据为C[1],C[2],…,C[10],D[1],D[2],…,D[10],E[1],E[2]的空间位置的组合，通常表示为在一个XY二维坐标系（也可为XYZ三维空间坐标系，例如50厘米*50厘米*50厘米空间，由普通人的小大臂长度为主要依据确定）中的点线面关系。通过简单的颜色识别，可将视频中的指尖部分提取为10个点（P[1],P[2],…,P[10]），将视频中的手指部分提取为10根线(L[1],L[2],…,L[10])，将手掌心和手背心的2种颜色提取为2个面(F[1]，F[2])，将左右2个小臂提取出的线段的坐标数据为S[1]和S[2]。将上述10个点，10根短线（约4厘米左右），以及2个圆心，2根长线（约20厘米左右）的中心的空间坐标数据，该数据可视为一种空间组合位置关系。
可以理解的是，以上的数据中，有些数据可能为空。例如，若手握拳，则手掌心的坐标为空。同时，应优先捕捉指尖，以及伸展的手指，其视频捕捉的准确度较高。对于完全弯曲的手指，可能捕捉的结果为空。
戴上手套，以字、词、句等常用表达的使用频率为序，逐个输入规范的手语表达单元。表达单元可能是一个动作，也可能由多个动作组成。
对于单个动作而言，传感器产生的数据为：T,A[i,j],A[i,j](1≤i≤10,1≤j≤4)，B[k](1≤k≤4)。本实施例假定弯曲传感器有4种返回数据，旋转传感器器有4种返回数据。
手语数字化标准库中包括多个匹配项，每一个匹配项包括多个数据，其中第一个为一个手语表达单元（如一个字，词，句等），第二个为识别项,即T,A[i,j](1≤i≤10,1≤j≤4),B[k](1≤k≤4),P[1]-P[10]的坐标,L[1]-L[10]的坐标,F[1]的中心的坐标,F[2]的中心的坐标，S[1]和S[2]的坐标。可以理解的是，若表达单元由多个动作组成，则识别项具有多个。
将经预处理后的传感器数据以及图像识别后提取的特征值与手语数字化标准库中的数据进行匹配，例如，采用方差计算方法进行匹配，从而将输入的手势数据转换为相应的字、词、句。
本发明实施例基于手语手套的手语识别系统，用于实现上述方法，如图2所示，具体包括：
指尖运动数据获取模块201，用于获取手语识别手套上设置的指尖传感器感知的指尖运动数据；
手指弯曲数据获取模块202，用于获取手语识别手套的手指弯曲部分的弯曲传感器感知的手指弯曲数据；
手掌旋转角度数据获取模块203，用于获取手语识别手套的手腕部分的旋转传感器感知的手掌旋转角度数据；
预处理模块204，用于对手指弯曲数据和手掌旋转角度数据进行预处理；
图像采集模块205，可以是摄像头，或者带有摄像头功能的设备，如智能手机和平板电脑，用于采集手语识别手套的图像，其中手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
颜色识别模块206，用于对采集的图像进行颜色识别；
特征值提取模块207，用于根据颜色识别提取指尖的特征值、手指部分的特征值、手心和手背的特征值以及手腕部分的特征值；
匹配模块208，用于将预处理后的手指弯曲数据、手掌旋转角度数据和所有的特征值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；
输出模块209，用于将匹配的结果转化为可识别的输出信号并发送给输出终端。
本发明的一个实施例中，数据获取模块，还用于获取手语识别手套上设置的磁力传感器感知的指尖运动数据，手语手套的指尖上设有磁铁；
预处理模块还用于对指尖运动数据进行预处理；
匹配序列中还包括预处理后的指尖运动数据。
进一步地，特征值提取模块中所提取的指尖的特征值为对应不同颜色指尖的点坐标；手指部分的特征值为对应不同颜色指尖的线坐标；手心和手背的特征值为对应不同颜色的手心和手背的中心坐标；手腕部分的特征值为对应不同颜色手腕部分的中心坐标。
本发明实施例的手语手套，手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
手指弯曲部分设有弯曲传感器，用于感知手指弯曲数据；本发明实施例中弯曲传感器至少感知手指的4种弯曲程度。
手腕部分设有旋转传感器，用于感知手掌旋转角度数据；本发明实施例中旋转传感器至少感知手掌的4种旋转角度。
手语手套上设有数据通信模块，用于接收手指弯曲数据和手掌旋转角度数据并通过无线的方式发送给手语识别系统。
进一步地，在上述实施例的基础上，手套指尖上设有磁铁，手套手背上设有磁力传感器，用于感知指尖动作时磁铁产生的磁力；数据通信模块还用于接收磁力传感器感知的磁力数据并通过无线的方式发送给手语识别系统。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (11)
1.一种基于手语手套的手语识别方法，其特征在于，包括以下步骤：
获取手语识别手套的手指弯曲部分的弯曲传感器感知的手指弯曲数据；
获取手语识别手套的手腕部分的旋转传感器感知的手掌旋转角度数据；
采集手语识别手套的图像，其中手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
对采集的图像进行颜色识别，根据颜色识别提取指尖的特征值、手指部分的特征值、手心和手背的特征值以及手腕部分的特征值；
对手指弯曲数据和手掌旋转角度数据进行预处理，并将预处理后的数据和所有的特征值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；
将匹配的结果转化为可识别的输出信号并发送给输出终端。
2.根据权利要求1所述的手语识别方法，其特征在于，该方法还包括步骤：
获取手语识别手套上设置的磁力传感器感知的指尖运动数据并进行预处理，所述手语手套的指尖上设有磁铁；
所述匹配序列中还包括预处理后的指尖运动数据。
3.根据权利要求1所述的手语识别方法，其特征在于，指尖的特征值为对应不同颜色指尖的点坐标；手指部分的特征值为对应不同颜色指尖的线坐标；手心和手背的特征值为对应不同颜色的手心和手背的中心坐标；手腕部分的特征值为对应不同颜色手腕部分的中心坐标。
4.根据权利要求1所述的手语识别方法，其特征在于，所述输出信号为文字、图片或者语音。
5.一种基于手语手套的手语识别系统，其特征在于，包括：
指尖运动数据获取模块，用于获取手语识别手套上设置的指尖传感器感知的指尖运动数据；
手指弯曲数据获取模块，用于获取手语识别手套的手指弯曲部分的弯曲传感器感知的手指弯曲数据；
手掌旋转角度数据获取模块，用于获取手语识别手套的手腕部分的旋转传感器感知的手掌旋转角度数据；
预处理模块，用于对手指弯曲数据和手掌旋转角度数据进行预处理；
图像采集模块，用于采集手语识别手套的图像，其中手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
颜色识别模块，用于对采集的图像进行颜色识别；
特征值提取模块，用于根据颜色识别提取指尖的特征值、手指部分的特征值、手心和手背的特征值以及手腕部分的特征值；
匹配模块，用于将预处理后的手指弯曲数据、手掌旋转角度数据和所有的特征值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；
输出模块，用于将匹配的结果转化为可识别的输出信号并发送给输出终端。
6.根据权利要求5所述的手语识别系统，其特征在于，所述数据获取模块，还用于获取手语识别手套上设置的磁力传感器感知的指尖运动数据，所述手语手套的指尖上设有磁铁；
所述预处理模块还用于对所述指尖运动数据进行预处理；
所述匹配序列中还包括预处理后的指尖运动数据。
7.根据权利要求5所述的手语识别系统，其特征在于，所述特征值提取模块中所提取的指尖的特征值为对应不同颜色指尖的点坐标；手指部分的特征值为对应不同颜色指尖的线坐标；手心和手背的特征值为对应不同颜色的手心和手背的中心坐标；手腕部分的特征值为对应不同颜色手腕部分的中心坐标。
8.一种手语手套，其特征在于,手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
手指弯曲部分设有弯曲传感器，用于感知手指弯曲数据；
手腕部分设有旋转传感器，用于感知手掌旋转角度数据；
手语手套上设有数据通信模块，用于接收所述手指弯曲数据和所述手掌旋转角度数据并通过无线的方式发送给手语识别系统。
9.根据权利要求8所述的手语手套，其特征在于，手套指尖上设有磁铁，手套手背上设有磁力传感器，用于感知指尖动作时磁铁产生的磁力；所述数据通信模块还用于接收磁力传感器感知的磁力数据并通过无线的方式发送给手语识别系统。
10.根据权利要求8所述的手语手套，其特征在于，所述弯曲传感器至少感知手指的4种弯曲程度。
11.根据权利要求8所述的手语手套，其特征在于，所述旋转传感器至少感知手掌的4种旋转角度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310021883.XA CN103049761B (zh) | 2013-01-21 | 2013-01-21 | 基于手语手套的手语识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310021883.XA CN103049761B (zh) | 2013-01-21 | 2013-01-21 | 基于手语手套的手语识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103049761A true CN103049761A (zh) | 2013-04-17 |
| CN103049761B CN103049761B (zh) | 2016-08-03 |
Family
ID=48062393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310021883.XA Expired - Fee Related CN103049761B (zh) | 2013-01-21 | 2013-01-21 | 基于手语手套的手语识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103049761B (zh) |
Cited By (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915015A (zh) * | 2015-07-07 | 2015-09-16 | 安徽瑞宏信息科技有限公司 | 一种新型的手语识别采集方法及装置 |
| CN105353866A (zh) * | 2014-08-20 | 2016-02-24 | 博世（上海）智能科技有限公司 | 用于采集手语识别用数据的手套 |
| CN106097835A (zh) * | 2016-06-03 | 2016-11-09 | 西安理工大学 | 一种聋哑人交流智能辅助系统及交流的方法 |
| CN106362403A (zh) * | 2016-10-12 | 2017-02-01 | 大连文森特软件科技有限公司 | 基于可视化编程的vr驾驶游戏制作与体验系统 |
| CN106362402A (zh) * | 2016-10-12 | 2017-02-01 | 大连文森特软件科技有限公司 | 基于在线可视化编程的vr驾驶游戏制作与体验系统 |
| CN106377898A (zh) * | 2016-10-12 | 2017-02-08 | 大连文森特软件科技有限公司 | 基于可视化编程的vr飞行游戏制作与体验系统 |
| CN106446836A (zh) * | 2016-09-28 | 2017-02-22 | 戚明海 | 一种手语识别翻译装置 |
| CN106571082A (zh) * | 2016-10-12 | 2017-04-19 | 大连文森特软件科技有限公司 | 基于在线可视化编程的vr驾驶考核项目制作与体验系统 |
| CN106652644A (zh) * | 2016-10-12 | 2017-05-10 | 大连文森特软件科技有限公司 | 基于可视化编程的vr驾驶考核项目制作与体验系统 |
| CN109445584A (zh) * | 2018-10-22 | 2019-03-08 | 南京工业大学 | 一种基于数据手套的手势识别系统及方法 |
| CN109840478A (zh) * | 2019-01-04 | 2019-06-04 | 广东智媒云图科技股份有限公司 | 一种动作评估方法、装置、移动终端和可读存储介质 |
| CN109871116A (zh) * | 2017-12-05 | 2019-06-11 | 博世汽车部件(苏州)有限公司 | 用于识别手势的装置和方法 |
| CN112971773A (zh) * | 2021-03-12 | 2021-06-18 | 哈尔滨工业大学 | 基于手掌弯曲信息的人手运动模式识别系统 |
| US11514947B1 (en) | 2014-02-05 | 2022-11-29 | Snap Inc. | Method for real-time video processing involving changing features of an object in the video |
| US11546280B2 (en) | 2019-03-29 | 2023-01-03 | Snap Inc. | Messaging system with discard user interface |
| US11551374B2 (en) | 2019-09-09 | 2023-01-10 | Snap Inc. | Hand pose estimation from stereo cameras |
| US11558325B2 (en) | 2018-01-02 | 2023-01-17 | Snap Inc. | Generating interactive messages with asynchronous media content |
| US11595569B2 (en) | 2014-07-07 | 2023-02-28 | Snap Inc. | Supplying content aware photo filters |
| US11599255B2 (en) | 2019-06-03 | 2023-03-07 | Snap Inc. | User interfaces to facilitate multiple modes of electronic communication |
| US11627141B2 (en) | 2015-03-18 | 2023-04-11 | Snap Inc. | Geo-fence authorization provisioning |
| US11662900B2 (en) | 2016-05-31 | 2023-05-30 | Snap Inc. | Application control using a gesture based trigger |
| US11671559B2 (en) | 2020-09-30 | 2023-06-06 | Snap Inc. | Real time video editing |
| US11670059B2 (en) | 2021-09-01 | 2023-06-06 | Snap Inc. | Controlling interactive fashion based on body gestures |
| US11676412B2 (en) | 2016-06-30 | 2023-06-13 | Snap Inc. | Object modeling and replacement in a video stream |
| US11675494B2 (en) | 2020-03-26 | 2023-06-13 | Snap Inc. | Combining first user interface content into second user interface |
| US11690014B2 (en) | 2015-05-14 | 2023-06-27 | Snap Inc. | Systems and methods for wearable initiated handshaking |
| US11716301B2 (en) | 2018-01-02 | 2023-08-01 | Snap Inc. | Generating interactive messages with asynchronous media content |
| US11714535B2 (en) | 2019-07-11 | 2023-08-01 | Snap Inc. | Edge gesture interface with smart interactions |
| US11714280B2 (en) | 2017-08-25 | 2023-08-01 | Snap Inc. | Wristwatch based interface for augmented reality eyewear |
| US11720126B2 (en) | 2016-06-30 | 2023-08-08 | Snap Inc. | Motion and image-based control system |
| US11722444B2 (en) | 2018-06-08 | 2023-08-08 | Snap Inc. | Generating interactive messages with entity assets |
| US11727660B2 (en) | 2016-01-29 | 2023-08-15 | Snap Inc. | Local augmented reality persistent sticker objects |
| US11726642B2 (en) | 2019-03-29 | 2023-08-15 | Snap Inc. | Messaging system with message transmission user interface |
| US11734959B2 (en) | 2021-03-16 | 2023-08-22 | Snap Inc. | Activating hands-free mode on mirroring device |
| US11734844B2 (en) | 2018-12-05 | 2023-08-22 | Snap Inc. | 3D hand shape and pose estimation |
| US11743219B2 (en) | 2014-05-09 | 2023-08-29 | Snap Inc. | Dynamic configuration of application component tiles |
| US11748958B2 (en) | 2021-12-07 | 2023-09-05 | Snap Inc. | Augmented reality unboxing experience |
| US11747912B1 (en) | 2022-09-22 | 2023-09-05 | Snap Inc. | Steerable camera for AR hand tracking |
| USD998637S1 (en) | 2021-03-16 | 2023-09-12 | Snap Inc. | Display screen or portion thereof with a graphical user interface |
| US11775079B2 (en) | 2020-03-26 | 2023-10-03 | Snap Inc. | Navigating through augmented reality content |
| US11790625B2 (en) | 2019-06-28 | 2023-10-17 | Snap Inc. | Messaging system with augmented reality messages |
| US11790276B2 (en) | 2017-07-18 | 2023-10-17 | Snap Inc. | Virtual object machine learning |
| US11798201B2 (en) | 2021-03-16 | 2023-10-24 | Snap Inc. | Mirroring device with whole-body outfits |
| US11797099B1 (en) | 2022-09-19 | 2023-10-24 | Snap Inc. | Visual and audio wake commands |
| US11847426B2 (en) | 2017-11-08 | 2023-12-19 | Snap Inc. | Computer vision based sign language interpreter |
| US11861068B2 (en) | 2015-06-16 | 2024-01-02 | Snap Inc. | Radial gesture navigation |
| US11908243B2 (en) | 2021-03-16 | 2024-02-20 | Snap Inc. | Menu hierarchy navigation on electronic mirroring devices |
| US11928306B2 (en) | 2021-05-19 | 2024-03-12 | Snap Inc. | Touchpad navigation for augmented reality display device |
| US11934628B2 (en) | 2022-03-14 | 2024-03-19 | Snap Inc. | 3D user interface depth forgiveness |
| US11941166B2 (en) | 2020-12-29 | 2024-03-26 | Snap Inc. | Body UI for augmented reality components |
| US11948266B1 (en) | 2022-09-09 | 2024-04-02 | Snap Inc. | Virtual object manipulation with gestures in a messaging system |
| US11962598B2 (en) | 2016-10-10 | 2024-04-16 | Snap Inc. | Social media post subscribe requests for buffer user accounts |
| US11960651B2 (en) | 2020-03-30 | 2024-04-16 | Snap Inc. | Gesture-based shared AR session creation |
| US11960784B2 (en) | 2021-12-07 | 2024-04-16 | Snap Inc. | Shared augmented reality unboxing experience |
| US11960653B2 (en) | 2022-05-10 | 2024-04-16 | Snap Inc. | Controlling augmented reality effects through multi-modal human interaction |
| US11972014B2 (en) | 2014-05-28 | 2024-04-30 | Snap Inc. | Apparatus and method for automated privacy protection in distributed images |
| US11977732B2 (en) | 2014-11-26 | 2024-05-07 | Snap Inc. | Hybridization of voice notes and calling |
| US11978283B2 (en) | 2021-03-16 | 2024-05-07 | Snap Inc. | Mirroring device with a hands-free mode |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10509466B1 (en) | 2011-05-11 | 2019-12-17 | Snap Inc. | Headwear with computer and optical element for use therewith and systems utilizing same |
| US9537811B2 (en) | 2014-10-02 | 2017-01-03 | Snap Inc. | Ephemeral gallery of ephemeral messages |
| US9385983B1 (en) | 2014-12-19 | 2016-07-05 | Snapchat, Inc. | Gallery of messages from individuals with a shared interest |
| US10311916B2 (en) | 2014-12-19 | 2019-06-04 | Snap Inc. | Gallery of videos set to an audio time line |
| US11323398B1 (en) | 2017-07-31 | 2022-05-03 | Snap Inc. | Systems, devices, and methods for progressive attachments |
| US11062498B1 (en) | 2019-12-30 | 2021-07-13 | Snap Inc. | Animated pull-to-refresh |
| US11265274B1 (en) | 2020-02-28 | 2022-03-01 | Snap Inc. | Access and routing of interactive messages |
| KR20230029968A (ko) | 2020-06-30 | 2023-03-03 | 스냅 인코포레이티드 | 실시간 가상 효과들을 위한 골격 추적 |
| US11832015B2 (en) | 2020-08-13 | 2023-11-28 | Snap Inc. | User interface for pose driven virtual effects |
| US11782577B2 (en) | 2020-12-22 | 2023-10-10 | Snap Inc. | Media content player on an eyewear device |
| US11797162B2 (en) | 2020-12-22 | 2023-10-24 | Snap Inc. | 3D painting on an eyewear device |
| CN116685941A (zh) | 2020-12-31 | 2023-09-01 | 斯纳普公司 | 具有触觉反馈增强的媒体内容项 |
| EP4272059A1 (en) | 2020-12-31 | 2023-11-08 | Snap Inc. | Electronic communication interface with haptic feedback response |
| US11809633B2 (en) | 2021-03-16 | 2023-11-07 | Snap Inc. | Mirroring device with pointing based navigation |
| US11880542B2 (en) | 2021-05-19 | 2024-01-23 | Snap Inc. | Touchpad input for augmented reality display device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101430603A (zh) * | 2008-11-26 | 2009-05-13 | 东北大学 | 一种便携实用型手语识别发声装置 |
| CN101605399A (zh) * | 2008-06-13 | 2009-12-16 | 英华达(上海)电子有限公司 | 一种实现手语识别的移动终端及方法 |
| CN102096467A (zh) * | 2010-12-28 | 2011-06-15 | 赵剑桥 | 光反射式移动手语识别系统及手指弯曲测量方法 |
| CN201936248U (zh) * | 2010-12-15 | 2011-08-17 | 北京理工大学 | 一种基于数据手套的手语识别装置 |
| CN102362709A (zh) * | 2011-09-13 | 2012-02-29 | 苏州市伦琴工业设计有限公司 | 聋哑人手语翻译手套及其翻译方法 |
-
2013
- 2013-01-21 CN CN201310021883.XA patent/CN103049761B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101605399A (zh) * | 2008-06-13 | 2009-12-16 | 英华达(上海)电子有限公司 | 一种实现手语识别的移动终端及方法 |
| CN101430603A (zh) * | 2008-11-26 | 2009-05-13 | 东北大学 | 一种便携实用型手语识别发声装置 |
| CN201936248U (zh) * | 2010-12-15 | 2011-08-17 | 北京理工大学 | 一种基于数据手套的手语识别装置 |
| CN102096467A (zh) * | 2010-12-28 | 2011-06-15 | 赵剑桥 | 光反射式移动手语识别系统及手指弯曲测量方法 |
| CN102362709A (zh) * | 2011-09-13 | 2012-02-29 | 苏州市伦琴工业设计有限公司 | 聋哑人手语翻译手套及其翻译方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李勇: "基于颜色手套的中国手指语字母的动静态识别", 《计算机工程与应用》, 31 December 2002 (2002-12-31) * |
Cited By (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11514947B1 (en) | 2014-02-05 | 2022-11-29 | Snap Inc. | Method for real-time video processing involving changing features of an object in the video |
| US11743219B2 (en) | 2014-05-09 | 2023-08-29 | Snap Inc. | Dynamic configuration of application component tiles |
| US11972014B2 (en) | 2014-05-28 | 2024-04-30 | Snap Inc. | Apparatus and method for automated privacy protection in distributed images |
| US11595569B2 (en) | 2014-07-07 | 2023-02-28 | Snap Inc. | Supplying content aware photo filters |
| CN105353866A (zh) * | 2014-08-20 | 2016-02-24 | 博世（上海）智能科技有限公司 | 用于采集手语识别用数据的手套 |
| US11977732B2 (en) | 2014-11-26 | 2024-05-07 | Snap Inc. | Hybridization of voice notes and calling |
| US11627141B2 (en) | 2015-03-18 | 2023-04-11 | Snap Inc. | Geo-fence authorization provisioning |
| US11690014B2 (en) | 2015-05-14 | 2023-06-27 | Snap Inc. | Systems and methods for wearable initiated handshaking |
| US11861068B2 (en) | 2015-06-16 | 2024-01-02 | Snap Inc. | Radial gesture navigation |
| CN104915015A (zh) * | 2015-07-07 | 2015-09-16 | 安徽瑞宏信息科技有限公司 | 一种新型的手语识别采集方法及装置 |
| US11727660B2 (en) | 2016-01-29 | 2023-08-15 | Snap Inc. | Local augmented reality persistent sticker objects |
| US11662900B2 (en) | 2016-05-31 | 2023-05-30 | Snap Inc. | Application control using a gesture based trigger |
| CN106097835A (zh) * | 2016-06-03 | 2016-11-09 | 西安理工大学 | 一种聋哑人交流智能辅助系统及交流的方法 |
| US11892859B2 (en) | 2016-06-30 | 2024-02-06 | Snap Inc. | Remoteless control of drone behavior |
| US11720126B2 (en) | 2016-06-30 | 2023-08-08 | Snap Inc. | Motion and image-based control system |
| US11676412B2 (en) | 2016-06-30 | 2023-06-13 | Snap Inc. | Object modeling and replacement in a video stream |
| CN106446836A (zh) * | 2016-09-28 | 2017-02-22 | 戚明海 | 一种手语识别翻译装置 |
| US11962598B2 (en) | 2016-10-10 | 2024-04-16 | Snap Inc. | Social media post subscribe requests for buffer user accounts |
| CN106571082A (zh) * | 2016-10-12 | 2017-04-19 | 大连文森特软件科技有限公司 | 基于在线可视化编程的vr驾驶考核项目制作与体验系统 |
| CN106362403A (zh) * | 2016-10-12 | 2017-02-01 | 大连文森特软件科技有限公司 | 基于可视化编程的vr驾驶游戏制作与体验系统 |
| CN106362402A (zh) * | 2016-10-12 | 2017-02-01 | 大连文森特软件科技有限公司 | 基于在线可视化编程的vr驾驶游戏制作与体验系统 |
| CN106652644A (zh) * | 2016-10-12 | 2017-05-10 | 大连文森特软件科技有限公司 | 基于可视化编程的vr驾驶考核项目制作与体验系统 |
| CN106377898A (zh) * | 2016-10-12 | 2017-02-08 | 大连文森特软件科技有限公司 | 基于可视化编程的vr飞行游戏制作与体验系统 |
| US11790276B2 (en) | 2017-07-18 | 2023-10-17 | Snap Inc. | Virtual object machine learning |
| US11714280B2 (en) | 2017-08-25 | 2023-08-01 | Snap Inc. | Wristwatch based interface for augmented reality eyewear |
| US11847426B2 (en) | 2017-11-08 | 2023-12-19 | Snap Inc. | Computer vision based sign language interpreter |
| CN109871116A (zh) * | 2017-12-05 | 2019-06-11 | 博世汽车部件(苏州)有限公司 | 用于识别手势的装置和方法 |
| US11558325B2 (en) | 2018-01-02 | 2023-01-17 | Snap Inc. | Generating interactive messages with asynchronous media content |
| US11716301B2 (en) | 2018-01-02 | 2023-08-01 | Snap Inc. | Generating interactive messages with asynchronous media content |
| US11722444B2 (en) | 2018-06-08 | 2023-08-08 | Snap Inc. | Generating interactive messages with entity assets |
| CN109445584A (zh) * | 2018-10-22 | 2019-03-08 | 南京工业大学 | 一种基于数据手套的手势识别系统及方法 |
| US11734844B2 (en) | 2018-12-05 | 2023-08-22 | Snap Inc. | 3D hand shape and pose estimation |
| CN109840478A (zh) * | 2019-01-04 | 2019-06-04 | 广东智媒云图科技股份有限公司 | 一种动作评估方法、装置、移动终端和可读存储介质 |
| US11546280B2 (en) | 2019-03-29 | 2023-01-03 | Snap Inc. | Messaging system with discard user interface |
| US11726642B2 (en) | 2019-03-29 | 2023-08-15 | Snap Inc. | Messaging system with message transmission user interface |
| US11599255B2 (en) | 2019-06-03 | 2023-03-07 | Snap Inc. | User interfaces to facilitate multiple modes of electronic communication |
| US11790625B2 (en) | 2019-06-28 | 2023-10-17 | Snap Inc. | Messaging system with augmented reality messages |
| US11714535B2 (en) | 2019-07-11 | 2023-08-01 | Snap Inc. | Edge gesture interface with smart interactions |
| US11551374B2 (en) | 2019-09-09 | 2023-01-10 | Snap Inc. | Hand pose estimation from stereo cameras |
| US11675494B2 (en) | 2020-03-26 | 2023-06-13 | Snap Inc. | Combining first user interface content into second user interface |
| US11775079B2 (en) | 2020-03-26 | 2023-10-03 | Snap Inc. | Navigating through augmented reality content |
| US11960651B2 (en) | 2020-03-30 | 2024-04-16 | Snap Inc. | Gesture-based shared AR session creation |
| US11943562B2 (en) | 2020-09-30 | 2024-03-26 | Snap Inc. | Real time video editing |
| US11671559B2 (en) | 2020-09-30 | 2023-06-06 | Snap Inc. | Real time video editing |
| US11941166B2 (en) | 2020-12-29 | 2024-03-26 | Snap Inc. | Body UI for augmented reality components |
| CN112971773A (zh) * | 2021-03-12 | 2021-06-18 | 哈尔滨工业大学 | 基于手掌弯曲信息的人手运动模式识别系统 |
| US11908243B2 (en) | 2021-03-16 | 2024-02-20 | Snap Inc. | Menu hierarchy navigation on electronic mirroring devices |
| US11734959B2 (en) | 2021-03-16 | 2023-08-22 | Snap Inc. | Activating hands-free mode on mirroring device |
| US11798201B2 (en) | 2021-03-16 | 2023-10-24 | Snap Inc. | Mirroring device with whole-body outfits |
| USD998637S1 (en) | 2021-03-16 | 2023-09-12 | Snap Inc. | Display screen or portion thereof with a graphical user interface |
| US11978283B2 (en) | 2021-03-16 | 2024-05-07 | Snap Inc. | Mirroring device with a hands-free mode |
| US11928306B2 (en) | 2021-05-19 | 2024-03-12 | Snap Inc. | Touchpad navigation for augmented reality display device |
| US11670059B2 (en) | 2021-09-01 | 2023-06-06 | Snap Inc. | Controlling interactive fashion based on body gestures |
| US11748958B2 (en) | 2021-12-07 | 2023-09-05 | Snap Inc. | Augmented reality unboxing experience |
| US11960784B2 (en) | 2021-12-07 | 2024-04-16 | Snap Inc. | Shared augmented reality unboxing experience |
| US11934628B2 (en) | 2022-03-14 | 2024-03-19 | Snap Inc. | 3D user interface depth forgiveness |
| US11960653B2 (en) | 2022-05-10 | 2024-04-16 | Snap Inc. | Controlling augmented reality effects through multi-modal human interaction |
| US11948266B1 (en) | 2022-09-09 | 2024-04-02 | Snap Inc. | Virtual object manipulation with gestures in a messaging system |
| US11797099B1 (en) | 2022-09-19 | 2023-10-24 | Snap Inc. | Visual and audio wake commands |
| US11747912B1 (en) | 2022-09-22 | 2023-09-05 | Snap Inc. | Steerable camera for AR hand tracking |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103049761B (zh) | 2016-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103049761A (zh) | 基于手语手套的手语识别方法及系统 | |
| Wu et al. | Human hand modeling, analysis and animation in the context of HCI | |
| CN112926423B (zh) | 捏合手势检测识别方法、装置及系统 | |
| CN104731307B (zh) | 一种体感动作识别方法及人机交互装置 | |
| CN107678550A (zh) | 一种基于数据手套的手语手势识别系统 | |
| CN103136986A (zh) | 手语识别方法及系统 | |
| WO2013139181A1 (zh) | 一种用户交互系统和方法 | |
| CN106502390B (zh) | 一种基于动态3d手写数字识别的虚拟人交互系统及方法 | |
| CN107885327A (zh) | 一种基于Kinect深度信息的指尖检测方法 | |
| TW201017557A (en) | Video based handwritten character input device and method thereof | |
| CN110866468A (zh) | 一种基于无源rfid的手势识别系统及方法 | |
| CN111444488A (zh) | 一种基于动态手势的身份认证方法 | |
| CN111857334A (zh) | 人体手势字母的识别方法、装置、计算机设备及存储介质 | |
| CN106293099A (zh) | 手势识别方法及系统 | |
| WO2021183438A1 (en) | Electronic-device interaction via a remote user interface | |
| CN107292295B (zh) | 手势分割方法及装置 | |
| Francis et al. | Significance of hand gesture recognition systems in vehicular automation-a survey | |
| CN113849068A (zh) | 一种手势多模态信息融合的理解与交互方法及其系统 | |
| Nandwana et al. | A survey paper on hand gesture recognition | |
| EP2786312A1 (en) | A gesture recognition method, an apparatus and a computer program for the same | |
| Zhang et al. | Multimodal fusion framework based on statistical attention and contrastive attention for sign language recognition | |
| Park et al. | An implementation of an FPGA-based embedded gesture recognizer using a data glove | |
| CN116909393A (zh) | 基于手势识别的虚拟现实输入系统 | |
| CN104423547A (zh) | 一种输入方法和电子设备 | |
| CN203070205U (zh) | 一种基于手势识别的输入设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160803 Termination date: 20190121 |