CN108596092A - 手势识别方法、装置、设备和存储介质 - Google Patents
手势识别方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN108596092A CN108596092A CN201810373819.0A CN201810373819A CN108596092A CN 108596092 A CN108596092 A CN 108596092A CN 201810373819 A CN201810373819 A CN 201810373819A CN 108596092 A CN108596092 A CN 108596092A
- Authority
- CN
- China
- Prior art keywords
- frame
- hand
- valid
- people
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 78
- 239000000203 mixture Substances 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 230000006835 compression Effects 0.000 claims description 24
- 238000007906 compression Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000003475 lamination Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000001537 neural effect Effects 0.000 description 5
- 206010047571 Visual impairment Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种手势识别方法、装置、设备和存储介质，一种手势识别方法，包括：获取摄像头拍摄的图像帧序列；以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧，其中，有效帧为同时存在人及手部特征，且人与手部的相对位置关系满足预设位置关系的图像帧；跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧；若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果。本发明实施例提供的手势识别方法、装置、设备和存储介质，用于提高手势识别的准确性。
Description
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种手势识别方法、装置、设备和存储介质。
背景技术
智能家电已经广泛应用于人们的日常生活中，传统的家电产品都是通过遥控器进行控制，但这需要用户对额外的遥控器进行操作，无法满足用户对智能家电方便、快捷、随心所欲的控制需求。
现有的手势识别技术可以满足用户对智能家电产品的个性化操作需求，但现有的手势识别技术仅对用户的手部运动轨迹进行跟踪，在复杂环境中容易出现识别错误或者无法识别的问题。
发明内容
本发明提供一种手势识别方法、装置、设备和存储介质，用于提高手势识别的准确性。
第一方面，本发明实施例提供一种手势识别方法，包括：
获取摄像头拍摄的图像帧序列；
以预设间隔对所述图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧，其中，有效帧为同时存在人及手部特征，且人与手部的相对位置关系满足预设位置关系的图像帧；
跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧；
若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果。
在第一方面一种可能的实现方式中，以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧，包括：
采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络，以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待检测图像帧中是否同时存在人及手部特征以及人及手部的空间位置；
确定人与手部的相对位置关系满足预设位置关系的待识别图像帧为有效帧。
在第一方面一种可能的实现方式中，采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络，以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待检测图像帧中是否存同时在人及手部特征以及人及手部的空间位置，包括：
将所述图像帧序列中的待识别图像帧输入压缩卷积网络；
将压缩卷积网络的输出结果通过反卷积单帧检测网络中的反卷积层进行上采样，然后将反卷积单帧检测网络中每级上采样的结果与压缩卷积网络相应层级的输出合并输入检测层，最后根据检测层的输出结果确定所述待检测图像帧中是否存同时在人及手部特征以及人及手部的空间位置。
在第一方面一种可能的实现方式中，以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧之前，方法还包括：
降低待识别图像帧的分辨率；
跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧之前，方法还包括：
降低为有效帧的图像帧后的各图像帧的分辨率。
在第一方面一种可能的实现方式中，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果，包括：
将所有有效帧组成的帧序列中的手部运动轨迹与预设手势库中的手势进行特征对比，确定与手部运动轨迹的特征相似度超过预设阈值的手势为手势识别结果。
第二方面，本发明实施例提供一种手势识别装置，包括：
图像获取模块，用于获取摄像头拍摄的图像帧序列；
图像识别模块，用于以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧，其中，有效帧为同时存在人及手部特征，且人与手部的相对位置关系满足预设位置关系的图像帧；
图像跟踪模块，用于跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧；
手势识别模块，用于若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果。
在第二方面一种可能的实现方式中，图像识别模块，具体用于采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络，以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待检测图像帧中是否存同时在人及手部特征以及人及手部的空间位置；确定人与手部的相对位置关系满足预设位置关系的待识别图像帧为有效帧。
在第二方面一种可能的实现方式中，图像识别模块，具体用于将所述图像帧序列中的待识别图像帧输入压缩卷积网络；将压缩卷积网络的输出结果通过反卷积单帧检测网络中的反卷积层进行上采样，然后将反卷积单帧检测网络中每级上采样的结果与压缩卷积网络相应层级的输出合并输入检测层，最后根据检测层的输出结果确定所述待检测图像帧中是否存同时在人及手部特征以及人及手部的空间位置。
在第二方面一种可能的实现方式中，手势识别装置还包括：
图像处理模块，用于降低待识别图像帧的分辨率，降低为有效帧的图像帧后的各图像帧的分辨率。
在第二方面一种可能的实现方式中，手势识别模块，具体用于将所有有效帧组成的帧序列中的手部运动轨迹与预设手势库中的手势进行特征对比，确定与手部运动轨迹的特征相似度超过预设阈值的手势为手势识别结果。
第三方面，本发明实施例提供一种手势识别设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面任一种可能的实现方式的手势识别方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一种可能的实现方式的手势识别方法。
本发明实施例提供的手势识别方法、装置、设备和存储介质，以预设间隔对摄像头拍摄的图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧，其中，有效帧为同时存在人及手部特征，且人与手部的相对位置关系满足预设位置关系的图像帧；跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧；若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果，由于对有效帧的识别同时考虑人和手部的特征以及相对位置关系，即采用了多目标识别的方法进行了手势识别，提高了手势识别的准确性。
附图说明
图1为本发明实施例提供的手势识别方法实施例一的流程图；
图2和图3为用户进行手势操作的示意图；
图4为本发明实施例提供的手势识别方法实施例二的流程图；
图5为采用压缩网络和反卷积单帧检测组成的深度卷积神经网的检测框架示意图；
图6位压缩网络层的结构示意图；
图7为本发明实施例提供的手势识别装置实施例一的结构示意图；
图8为本发明实施例提供的一种手势识别设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的手势识别方法实施例一的流程图，如图1所示，本实施例提供的方法，包括：
步骤S101，获取摄像头拍摄的图像帧序列。
本实施例提供的手势识别方法可以应用于任一种具有摄像头或者图像拍摄能力的设备中，且该设备可以根据外部的输入执行相应处理。该设备例如可以是手机、平板电脑等终端设备，或者空调、电视等家电设备，或者门禁系统等其他可能的电子设备。由于这些设备的传统外部输入都是从设备外接的输入设备中获取的，例如鼠标、键盘、触摸屏、遥控器等，但这些方式都需要依赖额外的外部设备。为了提高用户的使用感受，目前已经在部分设备上实现了通过识别用户手势作为设备的外部输入，对设备进行相应控制的方法。但目前的手势识别方法都是针对于用户的手部或者手臂的动作进行检测，若用户无意中做出的动作与预设的手势相对应，则可能造成手势的误识别。另外，在人员较多的复杂环境中，目前的手势识别方法也可能造成手势的误识别或者无法识别。
本发明实施例提供的手势识别方法中，首先获取摄像头拍摄的图像帧序列。该摄像头配置在需要应用手势识别方法的任一种设备上，或者是需要应用手势识别方法的任一种设备外接的摄像头。该摄像头可以为任一种能够拍摄动态或者静态图像的摄像头。由于用户的手势一般都是一个特定的连贯动作，因此在进行手势识别时，需要根据一系列连续的手部动作图像或者手部运动轨迹组成手势动作，再对该手势动作进行判断。那么首先就需要获取摄像头拍摄的图像帧序列，该图像帧序列就是摄像头连续拍摄的图像帧所组成的序列，图像帧序列中各图像之间的间隔根据摄像头的能力不同而不同，例如可以为每秒24帧或者每秒30帧等。
步骤S102，以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧，其中，有效帧为同时存在人及手部特征，且人与手部的相对位置关系满足预设位置关系的图像帧。
在获取了图像帧序列之后，就需要对图像帧序列中的图像帧进行图像识别，判断其中是否包含有预设的手势。而进行手势判断首先需要判断各图像帧中是否存在手部特征，只有根据存在手部特征的若干连续图像帧，才能确定具体的手势动作。但是，传统的手势识别方法，仅对各图像中的手部特征进行判断，那么很容易出现上述误识别或者无法识别的问题。因此，在本实施例中采用一种多目标检测的方法，避免上述问题。
仅对图像中的手部特征进行识别，容易造成手势的误判，且在复杂环境中对手部特征都进行识别处理也需要消耗角度的计算资源。因此，在本实施例中，对图像中的手部特征及人的特征进行同时识别，即图像中需要同时存在人的特征和手部特征。不仅如此，在人员较多的复杂环境中，摄像头拍摄的图像中可能检测出多个人的特征以及多个手部特征，为了防止误判，还需要确定检测到的人与手部的相对位置关系满足预设位置关系。
如图2所示，图2和图3为用户进行手势操作的示意图，在图2中，用户在进行手势操作时，在区域21中检测出人的特征，在区域22中检测出手部特征，区域21和区域22同时位于区域23中。再如图3所示，在区域31中检测出用户A的人的特征，在区域32中检测出用户A手部特征，区域31和区域32同时位于区域33中，因此用户A可能在进行手势操作。在区域34中检测出用户B的人的特征，但在区域34附近的预设范围内未检测出手部特征，因此用户B不在进行手势操作。在区域35中检测出用户C的人的特征，在区域36中检测出用户C的手部特征，但区域35和区域36相距较远，相对位置关系不满足预设位置关系，因此用户C并不在进行手势操作。
在本实施例中，对人的特征的检测可以检测整个人体特征，也可以检测人体的上半身特征。在对用户进行手势控制的场景进行分析后发现，用户在对设备进行手势控制时，一般都需要面对需要控制的设备后再进行相应的手势操作。因此，在本实施例中，优选地，对人的特征的检测可以是对人脸特征进行检测，即图像中需要同时存在人脸特征和手部特征。再进一步地，为了进一步避免手势操作的误判，在同时检测到人和手部且相对位置关系满足预设位置关系后，还可以判断该手部是否属于该人。
在确定摄像头拍摄的图像帧序列中的图像帧同时存在人及手部特征，且人与手部的相对位置关系满足预设位置关系时，即可确定该图像帧中可能存在手势操作，将该图像帧确定为有效帧。对图像帧进行图像识别，检测是否存在人及手部特征的具体方法可以采用现有的任一种图像识别方法，其具体方法将在下文中详述。
由于摄像头拍摄的图像帧序列中的图像帧数量较多，对每帧图像进行图像识别需要进行大量的计算处理，需要消耗较多的计算资源，连续对图像帧中的图像进行图像识别更是如此，同时也需要消耗较多的电能。而用户进行手势操作是一个连续的动作，摄像头拍摄的图像帧中连续若干帧中都会同时检测出人和手部特征，若用户并未进行手势操作，那么摄像头拍摄的图像帧中连续若干帧中都不会同时检测出人和手部特征。因此，在对图像帧序列中的图像帧进行图像识别时，可以以预设间隔多图像帧中的图像帧进行图像识别，将图像帧中需要进行图像识别的图像帧称为待识别图像帧。若待识别图像帧为有效帧，则待识别图像帧之后的若干帧很大概率也会是有效帧，反之若待识别图像帧不是有效帧，则待识别图像帧之后的若干帧很大概率也不是有效帧。其中，该预设间隔可以根据需要和摄像头的能力进行设置，例如图像帧序列中每间隔N帧为一个待识别图像帧，或者图像帧序列中每间隔M毫秒为一个待识别图像帧。以预设间隔对图像帧序列中的待识别图像帧进行图像识别，可以有效地降低手势识别的计算量，节约电能消耗。
步骤S103，跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧。
在检测到待识别图像帧为有效帧后，该有效帧后的若干图像帧均可能为有效帧，而多个有效帧组成的序列即可组成用户的操作手势。因此，在检测到待识别图像帧为有效帧之后，为了减少图像识别对计算资源的占用，采用目标跟踪方法，对该待识别图像帧之后的各图像帧进行跟踪检测，此时的跟踪检测并不是以预设间隔进行的，而是对摄像头拍摄的图像帧序列中的每个图像帧都进行跟踪检测。由于在待识别图像帧中已经检测到了人及手部特征以及相应位置，那么在待识别图像帧后的每一帧中，都对相应的人及手部特征进行跟踪检测，跟踪检测该图像帧中是否同时存在人及手部特征，且人和手部的相对位置关系是否满足预设位置关系。对已经识别为有效帧的待识别图像帧后的图像帧进行跟踪检测也是以预设间隔进行的，这与对待识别图像帧的检测间隔一致。也就是说，对图像帧的跟踪检测是从一个待识别图像帧到下一个待识别图像帧为止，在下一个待识别图像帧为有效帧时，继续进行跟踪检测。
例如，在图像帧序列中，若第n个待识别图像帧为有效帧，则对第n个待识别图像帧到第n+1个待识别图像帧之间的图像帧均进行跟踪检测。若第n个待识别图像帧到第n+1个待识别图像帧之间的图像帧均为有效帧，且第n+1个待识别图像帧也为有效帧，则继续对第n+1个待识别图像帧到第n+2个待识别图像帧之间的图像帧进行跟踪检测。
对图像帧进行跟踪检测可以采用现有的图像处理中的跟踪算法，由于仅对预设间隔的待识别图像帧进行图像识别，而对待识别图像帧之间的其他图像帧进行跟踪检测，从而可以节约大量的计算资源，在处理平台受限的情况下可以提高手势识别的速度。
步骤S104，若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果。
在对图像帧序列中的图像帧进行跟踪检测时，若跟踪检测的图像帧一直为有效帧，则对图像帧序列中的图像帧进行持续的跟踪检测，直到检测出的图像帧不为有效帧。若在跟踪检测时，检测到某一图像帧不是有效帧，那么该图像帧的下一帧很大概率也不是有效帧，此时停止对图像帧序列的跟踪检测，直到下一个待识别图像帧为有效帧。
在停止对图像帧序列的跟踪检测后，将连续为有效帧的图像帧作为一个集合，统计该集合中的图像帧的数量是否超过预设数量。这里的预设数量可以是图像帧的个数，例如是否超过X个图像帧，或者该预设数量还可以是该集合中的图像帧所占用的时间，流入是否超过Y毫秒。若连续为有效帧的图像帧的数量超过预设数量，那么意味着该连续的图像帧符合手势操作的时长或动作要求，该连续的图像帧组成的集合应为用户的手势操作。
因此，可以将所有有效帧组成一个帧序列，将该帧序列中的手部特征组成一个手部运动轨迹，并对该手部运动轨迹进行轨迹分析识别，得到手势识别结果。将帧序列中的手部特征组成手部运动轨迹就是将每个有效帧中的手部位置组成一个运动曲线，该曲线即对应待检测手势。其中，手部运动轨迹包括手部的位置移动轨迹，还包括手部的手指或手型变化轨迹等。
对手部运动轨迹进行轨迹分析识别可以采用现有的任一种手势识别方法，例如是将手部运动轨迹与预设手势库中的手势进行特征对比，确定与手部运动轨迹的特征相似度超过预设阈值的手势为手势识别结果。
本实施例提供的手势识别方法，以预设间隔对摄像头拍摄的图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧，其中，有效帧为同时存在人及手部特征，且人与手部的相对位置关系满足预设位置关系的图像帧；跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧；若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果，由于对有效帧的识别同时考虑人和手部的特征以及相对位置关系，即采用了多目标识别的方法进行了手势识别，提高了手势识别的准确性。
图4为本发明实施例提供的手势识别方法实施例二的流程图，如图4所示，本实施例提供的方法包括：
步骤S401，获取摄像头拍摄的图像帧序列。
步骤S402，采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络，以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待检测图像帧中是否同时存在人及手部特征以及人及手部的空间位置。
目前的手势识别方法的最大应用领域是对家电产品的操作，这是由于家电产品目前主要都是采用额外的遥控器进行控制，采用手势控制可以减少遥控器这个外部设备，给用户提供更多的便利。但是家电产品是对成本非常敏感的产品，处于对成本的控制，其中需要使用成本较低的元件，例如摄像头、处理器等，那么就会导致其图像拍摄能力和计算处理能力有限。而对手势操作的识别又需要较快的响应速度，因此，在本实施例中，采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络对图像帧序列中的待识别图像帧进行图像识别，从而降低图像识别的计算量，提高图像识别速度。
其中，反卷积单帧检测网络(Deconvolutional Single Shot Detector，DSSD)是一种用于单帧检测的目标检测框架，能够对多目标进行联合识别。压缩卷积网络(SqueezeNet)用于提取目标的图像特征，可以有效降低卷积神经网络中的处理计算量并加速计算。将SqueezeNet和DSSD结合并训练得到训练后的深度卷积神经网络，并采用该深度卷积神经网络对图像进行图像识别，可以对图像进行多目标联合检测，并可以有效降低计算量。对于本实施例，采用SqueezeNet和DSSD结合的深度卷积神经网络，可以同时识别出待识别图像帧中的人和手部特征以及人及手部的空间位置。
具体地，采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网对待识别图像帧进行检测的原理如图5和图6所示，图5为采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网的检测框架示意图，图6位压缩卷积网络层的结构示意图。
首先，将图像帧序列中的待识别图像帧输入SqueezeNet，包括通用卷积层(Conv)和压缩网络层(Fire)，其中，每个压缩网络层(Fire)由核大小为1×1和3×3的卷积层(Conv_1×1和Conv_3×3)组合构成，并通过Concat函数合并输出。将SqueezeNet的输出结果通过DSSD中的反卷积层(Deconv)进行上采样，然后将DSSD中每级上采样的结果与SqueezeNet相应层级的输出合并输入检测层(Detection layer)，最后根据检测层(Detection layer)的输出结果确定待检测图像帧中是否存同时在人及手部特征以及人及手部的空间位置。
对压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络的具体训练和计算处理为神经网络计算领域的技术人员均可理解的，此处不再赘述。
需要说明的是，采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络对待识别图像帧进行识别可以有效降低图像识别的计算量，此方法不仅适用于如家电产品等低成本设备，在高能力设备中同样可以应用，同样可以有效降低计算量以及节约电能。
步骤S403，确定人与手部的相对位置关系满足预设位置关系的待识别图像帧为有效帧。
步骤S404，跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧。
步骤S405，若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果。
本实施例提供的手势识别方法，采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络，以预设间隔对摄像头拍摄的图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧，其中，有效帧为同时存在人及手部特征，且人与手部的相对位置关系满足预设位置关系的图像帧；跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧；若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果，由于对有效帧的识别同时考虑人和手部的特征以及相对位置关系，即采用了多目标识别的方法进行了手势识别，提高了手势识别的准确性，同时，由于采用深度卷积神经网络进行计算，降低了手势识别的计算量，节约计算资源同时降低电能消耗。
在图1和图4所示实施例中，以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧之前，还可以包括：降低待识别图像帧的分辨率。由于本发明实施例提供的手势识别方法可以应用于家电产品等低成本产品，因此为了进一步降低手势识别的计算量，在对待识别图像帧进行图像识别之前，还可以降低待识别图像帧的分辨率。例如目前的摄像头拍摄的图像分辨率为1280×720，可以将其降低为256×144后，再进行图像识别。同样地在跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧之前，还可以包括：降低为有效帧的图像帧后的各图像帧的分辨率。
图7为本发明实施例提供的手势识别装置实施例一的结构示意图，如图7所示，本实施例提供的装置包括：
图像获取模块71，用于获取摄像头拍摄的图像帧序列。
图像识别模块72，用于以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧，其中，有效帧为同时存在人及手部特征，且人与手部的相对位置关系满足预设位置关系的图像帧。
图像跟踪模块73，用于跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧。
手势识别模块74，用于若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果。
本实施例提供的手势识别装置用于实现图1所示手势识别方法的处理，其实现原理和技术效果类似，此处不再赘述。
进一步地，在图7所示实施例的基础上，图像识别模块72，具体用于采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络，以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待检测图像帧中是否同时存在人及手部特征以及人及手部的空间位置；确定人与手部的相对位置关系满足预设位置关系的待识别图像帧为有效帧。
进一步地，在图7所示实施例的基础上，图像识别模块72，具体用于将所述图像帧序列中的待识别图像帧输入压缩卷积网络；将压缩卷积网络的输出结果通过反卷积单帧检测网络中的反卷积层进行上采样，然后将反卷积单帧检测网络中每级上采样的结果与压缩卷积网络相应层级的输出合并输入检测层，最后根据检测层的输出结果确定所述待检测图像帧中是否存同时在人及手部特征以及人及手部的空间位置。
进一步地，在图7所示实施例的基础上，手势识别装置还包括：图像处理模块，用于降低待识别图像帧的分辨率，降低为有效帧的图像帧后的各图像帧的分辨率。
进一步地，在图7所示实施例的基础上，手势识别模块74，具体用于将所有有效帧组成的帧序列中的手部运动轨迹与预设手势库中的手势进行特征对比，确定与所述手部运动轨迹的特征相似度超过预设阈值的手势为手势识别结果。
图8为本发明实施例提供的一种手势识别设备的结构示意图，如图8所示，该手势识别设备包括处理器81、存储器82、摄像头83；手势识别设备中处理器81的数量可以是一个或多个，图8中以一个处理器81为例；手势识别设备中的处理器81、存储器82、摄像头83可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器82作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请图1和图4实施例中的手势识别方法对应的程序指令/模块(例如，手势识别装置中的图像获取模块71、图像识别模块72、图像跟踪模块73、手势识别模块74)。处理器81通过运行存储在存储器82中的软件程序、指令以及模块，从而执行手势识别设备的各种功能应用以及数据处理，即实现上述的手势识别方法。
存储器82可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据头戴式显示设备的使用所创建的数据等。此外，存储器82可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
摄像头83为任一种能够进行图像拍摄的元件或模块。
本申请实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种手势识别方法，该方法包括：
获取摄像头拍摄的图像帧序列；
以预设间隔对图像帧序列中的待识别图像帧进行图像识别，确定待识别图像帧是否为有效帧，其中，有效帧为同时存在人及手部特征，且人与手部的相对位置关系满足预设位置关系的图像帧；
跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧；
若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本申请任意实施例所提供的头戴式显示设备的身份认证方法中的相关操作。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种手势识别方法，其特征在于，包括：
获取摄像头拍摄的图像帧序列；
以预设间隔对所述图像帧序列中的待识别图像帧进行图像识别，确定所述待识别图像帧是否为有效帧，其中，所述有效帧为同时存在人及手部特征，且所述人与所述手部的相对位置关系满足预设位置关系的图像帧；
跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧；
若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果。
2.根据权利要求1所述的方法，其特征在于，所述以预设间隔对所述图像帧序列中的待识别图像帧进行图像识别，确定所述待识别图像帧是否为有效帧，包括：
采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络，以预设间隔对所述图像帧序列中的待识别图像帧进行图像识别，确定所述待检测图像帧中是否同时存在人及手部特征以及人及手部的空间位置；
确定所述人与所述手部的相对位置关系满足预设位置关系的待识别图像帧为有效帧。
3.根据权利要求2所述的方法，其特征在于，所述采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络，以预设间隔对所述图像帧序列中的待识别图像帧进行图像识别，确定所述待检测图像帧中是否同时存在人及手部特征以及人及手部的空间位置，包括：
将所述图像帧序列中的待识别图像帧输入压缩卷积网络；
将压缩卷积网络的输出结果通过反卷积单帧检测网络中的反卷积层进行上采样，然后将反卷积单帧检测网络中每级上采样的结果与压缩卷积网络相应层级的输出合并输入检测层，最后根据检测层的输出结果确定所述待检测图像帧中是否存同时在人及手部特征以及人及手部的空间位置。
4.根据权利要求1～3任一项所述的方法，其特征在于，以预设间隔对所述图像帧序列中的待识别图像帧进行图像识别，确定所述待识别图像帧是否为有效帧之前，所述方法还包括：
降低所述待识别图像帧的分辨率；
所述跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧之前，所述方法还包括：
降低为有效帧的图像帧后的各图像帧的分辨率。
5.根据权利要求1～3任一项所述的方法，其特征在于，所述对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果，包括：
将所有有效帧组成的帧序列中的手部运动轨迹与预设手势库中的手势进行特征对比，确定与所述手部运动轨迹的特征相似度超过预设阈值的手势为手势识别结果。
6.一种手势识别装置，其特征在于，包括：
图像获取模块，用于获取摄像头拍摄的图像帧序列；
图像识别模块，用于以预设间隔对所述图像帧序列中的待识别图像帧进行图像识别，确定所述待识别图像帧是否为有效帧，其中，所述有效帧为同时存在人及手部特征，且所述人与所述手部的相对位置关系满足预设位置关系的图像帧；
图像跟踪模块，用于跟踪检测为有效帧的图像帧后的各图像帧是否为有效帧；
手势识别模块，用于若连续为有效帧的图像帧的数量超过预设数量，对所有有效帧组成的帧序列中的手部运动轨迹进行轨迹分析识别，得到手势识别结果。
7.根据权利要求6所述的装置，其特征在于，所述图像识别模块，具体用于采用压缩卷积网络和反卷积单帧检测网络组成的深度卷积神经网络，以预设间隔对所述图像帧序列中的待识别图像帧进行图像识别，确定所述待检测图像帧中是否同时存在人及手部特征以及人及手部的空间位置；确定所述人与所述手部的相对位置关系满足预设位置关系的待识别图像帧为有效帧。
8.根据权利要求7所述的装置，其特征在于，所述图像识别模块，具体用于将所述图像帧序列中的待识别图像帧输入压缩卷积网络；将压缩卷积网络的输出结果通过反卷积单帧检测网络中的反卷积层进行上采样，然后将反卷积单帧检测网络中每级上采样的结果与压缩卷积网络相应层级的输出合并输入检测层，最后根据检测层的输出结果确定所述待检测图像帧中是否存同时在人及手部特征以及人及手部的空间位置。
9.根据权利要求6～8任一项所述的装置，其特征在于，还包括：
图像处理模块，用于降低所述待识别图像帧的分辨率，降低为有效帧的图像帧后的各图像帧的分辨率。
10.根据权利要求6～8任一项所述的装置，其特征在于，所述手势识别模块，具体用于将所有有效帧组成的帧序列中的手部运动轨迹与预设手势库中的手势进行特征对比，确定与所述手部运动轨迹的特征相似度超过预设阈值的手势为手势识别结果。
11.一种手势识别设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～5中任一所述的手势识别方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～5中任一所述的手势识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810373819.0A CN108596092B (zh) | 2018-04-24 | 2018-04-24 | 手势识别方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810373819.0A CN108596092B (zh) | 2018-04-24 | 2018-04-24 | 手势识别方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108596092A true CN108596092A (zh) | 2018-09-28 |
| CN108596092B CN108596092B (zh) | 2021-05-18 |
Family
ID=63614388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810373819.0A Active CN108596092B (zh) | 2018-04-24 | 2018-04-24 | 手势识别方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108596092B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409277A (zh) * | 2018-10-18 | 2019-03-01 | 北京旷视科技有限公司 | 手势识别方法、装置、智能终端及计算机存储介质 |
| CN109784178A (zh) * | 2018-12-14 | 2019-05-21 | 深圳壹账通智能科技有限公司 | 基于手势识别的参数调节方法、装置及健身设备 |
| CN109799905A (zh) * | 2018-12-28 | 2019-05-24 | 深圳云天励飞技术有限公司 | 一种手部跟踪方法和广告机 |
| CN109977906A (zh) * | 2019-04-04 | 2019-07-05 | 睿魔智能科技（深圳）有限公司 | 手势识别方法及系统、计算机设备及存储介质 |
| CN110434853A (zh) * | 2019-08-05 | 2019-11-12 | 北京云迹科技有限公司 | 一种机器人控制方法、装置及存储介质 |
| CN111402027A (zh) * | 2018-12-14 | 2020-07-10 | 马上消费金融股份有限公司 | 身份识别方法、商品贷审核方法、装置及终端设备 |
| CN111624572A (zh) * | 2020-05-26 | 2020-09-04 | 京东方科技集团股份有限公司 | 一种人体手部与人体手势识别的方法及装置 |
| CN111860209A (zh) * | 2020-06-29 | 2020-10-30 | 北京字节跳动网络技术有限公司 | 手部识别方法、装置、电子设备及存储介质 |
| CN111913574A (zh) * | 2020-07-15 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 用于控制设备的方法、装置、电子设备和计算机可读介质 |
| CN112100075A (zh) * | 2020-09-24 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 一种用户界面回放方法、装置、设备及存储介质 |
| CN112203015A (zh) * | 2020-09-28 | 2021-01-08 | 北京小米松果电子有限公司 | 相机控制方法、装置及介质系统 |
| WO2021077840A1 (zh) * | 2019-10-22 | 2021-04-29 | 上海商汤智能科技有限公司 | 手势控制方法和装置 |
| CN113071438A (zh) * | 2020-01-06 | 2021-07-06 | 北京地平线机器人技术研发有限公司 | 控制指令的生成方法和装置、存储介质、电子设备 |
| CN113239766A (zh) * | 2021-04-30 | 2021-08-10 | 复旦大学 | 基于深度神经网络的行为识别方法及智能报警装置 |
| CN115421591A (zh) * | 2022-08-15 | 2022-12-02 | 珠海视熙科技有限公司 | 手势控制装置和摄像设备 |
| CN111860209B (zh) * | 2020-06-29 | 2024-04-26 | 北京字节跳动网络技术有限公司 | 手部识别方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546128A (zh) * | 2012-02-23 | 2012-07-04 | 广东白云学院 | 用于多通道盲反卷积级联神经网络的方法 |
| CN104978032A (zh) * | 2015-07-08 | 2015-10-14 | 苏州奥莱维信息技术有限公司 | 一种基于手势识别的多媒体控制装置 |
| CN106569600A (zh) * | 2016-10-31 | 2017-04-19 | 邯郸美的制冷设备有限公司 | 一种用于控制空调的手势校验方法及装置 |
| CN106971130A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技（杭州）有限公司 | 一种以人脸为参照的手势识别方法 |
-
2018
- 2018-04-24 CN CN201810373819.0A patent/CN108596092B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546128A (zh) * | 2012-02-23 | 2012-07-04 | 广东白云学院 | 用于多通道盲反卷积级联神经网络的方法 |
| CN104978032A (zh) * | 2015-07-08 | 2015-10-14 | 苏州奥莱维信息技术有限公司 | 一种基于手势识别的多媒体控制装置 |
| CN106971130A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技（杭州）有限公司 | 一种以人脸为参照的手势识别方法 |
| CN106569600A (zh) * | 2016-10-31 | 2017-04-19 | 邯郸美的制冷设备有限公司 | 一种用于控制空调的手势校验方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 中国知识产权研究会: "《各行业专利技术现状及其发展趋势报告 2015-2016版》", 31 January 2016 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409277A (zh) * | 2018-10-18 | 2019-03-01 | 北京旷视科技有限公司 | 手势识别方法、装置、智能终端及计算机存储介质 |
| CN109784178A (zh) * | 2018-12-14 | 2019-05-21 | 深圳壹账通智能科技有限公司 | 基于手势识别的参数调节方法、装置及健身设备 |
| CN111402027A (zh) * | 2018-12-14 | 2020-07-10 | 马上消费金融股份有限公司 | 身份识别方法、商品贷审核方法、装置及终端设备 |
| CN109799905A (zh) * | 2018-12-28 | 2019-05-24 | 深圳云天励飞技术有限公司 | 一种手部跟踪方法和广告机 |
| CN109799905B (zh) * | 2018-12-28 | 2022-05-17 | 深圳云天励飞技术有限公司 | 一种手部跟踪方法和广告机 |
| CN109977906A (zh) * | 2019-04-04 | 2019-07-05 | 睿魔智能科技（深圳）有限公司 | 手势识别方法及系统、计算机设备及存储介质 |
| CN109977906B (zh) * | 2019-04-04 | 2021-06-01 | 睿魔智能科技（深圳）有限公司 | 手势识别方法及系统、计算机设备及存储介质 |
| CN110434853B (zh) * | 2019-08-05 | 2021-05-14 | 北京云迹科技有限公司 | 一种机器人控制方法、装置及存储介质 |
| CN110434853A (zh) * | 2019-08-05 | 2019-11-12 | 北京云迹科技有限公司 | 一种机器人控制方法、装置及存储介质 |
| WO2021077840A1 (zh) * | 2019-10-22 | 2021-04-29 | 上海商汤智能科技有限公司 | 手势控制方法和装置 |
| CN113071438A (zh) * | 2020-01-06 | 2021-07-06 | 北京地平线机器人技术研发有限公司 | 控制指令的生成方法和装置、存储介质、电子设备 |
| CN111624572A (zh) * | 2020-05-26 | 2020-09-04 | 京东方科技集团股份有限公司 | 一种人体手部与人体手势识别的方法及装置 |
| US11797098B2 (en) | 2020-05-26 | 2023-10-24 | Boe Technology Group Co., Ltd. | Methods for recognizing human hand and hand gesture from human, and display apparatus |
| CN111860209A (zh) * | 2020-06-29 | 2020-10-30 | 北京字节跳动网络技术有限公司 | 手部识别方法、装置、电子设备及存储介质 |
| CN111860209B (zh) * | 2020-06-29 | 2024-04-26 | 北京字节跳动网络技术有限公司 | 手部识别方法、装置、电子设备及存储介质 |
| CN111913574A (zh) * | 2020-07-15 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 用于控制设备的方法、装置、电子设备和计算机可读介质 |
| CN111913574B (zh) * | 2020-07-15 | 2024-04-30 | 抖音视界有限公司 | 用于控制设备的方法、装置、电子设备和计算机可读介质 |
| CN112100075A (zh) * | 2020-09-24 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 一种用户界面回放方法、装置、设备及存储介质 |
| CN112100075B (zh) * | 2020-09-24 | 2024-03-15 | 腾讯科技（深圳）有限公司 | 一种用户界面回放方法、装置、设备及存储介质 |
| CN112203015A (zh) * | 2020-09-28 | 2021-01-08 | 北京小米松果电子有限公司 | 相机控制方法、装置及介质系统 |
| CN113239766A (zh) * | 2021-04-30 | 2021-08-10 | 复旦大学 | 基于深度神经网络的行为识别方法及智能报警装置 |
| CN115421591B (zh) * | 2022-08-15 | 2024-03-15 | 珠海视熙科技有限公司 | 手势控制装置和摄像设备 |
| CN115421591A (zh) * | 2022-08-15 | 2022-12-02 | 珠海视熙科技有限公司 | 手势控制装置和摄像设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108596092B (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596092A (zh) | 手势识别方法、装置、设备和存储介质 | |
| KR101792866B1 (ko) | 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법 | |
| EP2767889B1 (en) | Apparatus and method for recognizing motion by using event-based vision sensor | |
| Gurav et al. | Real time finger tracking and contour detection for gesture recognition using OpenCV | |
| CN108960163B (zh) | 手势识别方法、装置、设备和存储介质 | |
| Hsieh et al. | A real time hand gesture recognition system using motion history image | |
| CN108460329B (zh) | 一种基于深度学习检测的人脸手势配合验证方法 | |
| US9317127B2 (en) | Method and apparatus for motion recognition | |
| US9183431B2 (en) | Apparatus and method for providing activity recognition based application service | |
| CN109087335A (zh) | 一种人脸跟踪方法、装置和存储介质 | |
| TW201239683A (en) | Multi-pass touch contact tracking | |
| CN108616712B (zh) | 一种基于摄像头的界面操作方法、装置、设备及存储介质 | |
| US11113571B2 (en) | Target object position prediction and motion tracking | |
| WO2012164562A1 (en) | Computer vision based control of a device using machine learning | |
| CN105892877A (zh) | 多指并拢或打开手势的识别方法、装置及终端设备 | |
| CN112507918A (zh) | 一种手势识别方法 | |
| KR101779564B1 (ko) | 동작 인식 장치 및 그 방법 | |
| CN110427849A (zh) | 人脸姿态确定方法、装置、存储介质和电子设备 | |
| CN113885956A (zh) | 服务部署方法及装置、电子设备和存储介质 | |
| CN116188695A (zh) | 三维手部姿态模型的构建方法和三维手部姿态估计方法 | |
| US20220300774A1 (en) | Methods, apparatuses, devices and storage media for detecting correlated objects involved in image | |
| JP7351130B2 (ja) | 深度カメラ及び深層ニューラルネットワークを使用する、プロジェクタ－カメラ対話型ディスプレイ用のロバストなジェスチャ認識装置及びシステム | |
| CN109889892A (zh) | 视频效果添加方法、装置、设备及存储介质 | |
| CN108874657A (zh) | 对人脸识别主机进行测试的方法、装置及计算机存储介质 | |
| CN115147586B (zh) | 基于深度学习的烟雾检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Hand gesture recognition method, device, device and storage medium Effective date of registration: 20221008 Granted publication date: 20210518 Pledgee: Industrial Bank Co.,Ltd. Shanghai Xuhui sub branch Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2022310000277 |
|
| CP02 | Change in the address of a patent holder |
Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203 Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230906 Granted publication date: 20210518 Pledgee: Industrial Bank Co.,Ltd. Shanghai Xuhui sub branch Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2022310000277 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Gesture recognition methods, devices, devices, and storage media Effective date of registration: 20231107 Granted publication date: 20210518 Pledgee: Industrial Bank Co.,Ltd. Shanghai Caohejing sub branch Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2023310000719 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |