CN107678551B - 手势识别方法和装置、电子设备 - Google Patents

手势识别方法和装置、电子设备 Download PDF

Info

Publication number
CN107678551B
CN107678551B CN201710980330.5A CN201710980330A CN107678551B CN 107678551 B CN107678551 B CN 107678551B CN 201710980330 A CN201710980330 A CN 201710980330A CN 107678551 B CN107678551 B CN 107678551B
Authority
CN
China
Prior art keywords
gesture
image
binary image
pixel
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710980330.5A
Other languages
English (en)
Other versions
CN107678551A (zh
Inventor
杨全
王洪润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710980330.5A priority Critical patent/CN107678551B/zh
Publication of CN107678551A publication Critical patent/CN107678551A/zh
Priority to PCT/CN2018/109816 priority patent/WO2019076230A1/en
Priority to US16/333,985 priority patent/US11402918B2/en
Application granted granted Critical
Publication of CN107678551B publication Critical patent/CN107678551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明提出一种手势识别方法和装置、电子设备，其中，方法包括：采集包括手势的第一图像；根据第一图像，获取手势的中心坐；根据中心坐标，确定手势在终端设备上的控制范围；从控制范围内获取控制对象，按照手势对应的控制指令，对控制对象进行操作。通过图像处理的方式，得到手势的中心坐标，便可以对终端设备进行精确控制，运算复杂度降低，解决了现有的采用空间算法计算手势的运动轨迹，进而对终端设备进行控制的手势识别方法，运算复杂度高的问题。

Description

手势识别方法和装置、电子设备
技术领域
本发明涉及图像识别技术领域，尤其涉及一种手势识别方法和装置、电子设备。
背景技术
目前，用户与电视、电脑、手机等电子设备的交互方式越来越多样化，从最原始的电视按键、遥控器、键盘发展到语音、触控，进一步发展到手势识别、眼睛追踪等方式。其中，手势识别作为一种最新兴起的技术，发展迅速。
现有的手势识别大多采用空间算法计算手势的空间运动轨迹。但是，这种手势识别方法运算比较复杂。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种手势识别方法，以实现通过二值图像，计算手势的中心坐标，降低运算的复杂度，以解决现有的通过空间算法计算手势的空间运动轨迹，运算复杂的问题。
本发明的第二个目的在于提出一种手势识别装置。
本发明的第三个目的在于提出一种电子设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种手势识别方法，包括：
采集包括手势的第一图像；
根据所述第一图像，获取所述手势的中心坐标；
根据所述中心坐标，确定所述手势在终端设备上的控制范围；
从所述控制范围内获取控制对象，按照所述手势对应的控制指令，对所述控制对象进行操作。
作为本发明第一方面实施例一种可选的实现方式，所述根据所述第一图像，获取所述手势的中心坐标，包括：
对所述第一图像进行处理，获取到所述手势的二值图像；
利用所述二值图像上的边缘像素点获取所述手势的中心坐标。
作为本发明第一方面实施例一种可能的实现方式，所述利用所述二值图像上的边缘像素点，获取所述手势的中心坐标，包括：
从所述二值图像上指定的起始边缘像素点所在行开始，按照预设的行间隔，提取当前行中的所述边缘像素点作为第一边缘像素点；
对所述起始边缘像素点的坐标和每个第一边缘像素点的坐标进行拟合，得到所述中心坐标。
作为本发明第一方面实施例一种可能的实现方式，所述利用所述二值图像上的边缘像素点，获取所述手势的中心坐标之前，还包括：
对所述二值图像进行连通域识别，获取所述手势的连通区域，识别所述连通区域上的边缘像素点。
作为本发明第一方面实施例一种可能的实现方式，所述对所述二值图像进行连通域识别，获取所述手势的连通区域，包括：
从所述二值图像中的起始像素点开始，判断所述二值图像中的当前像素点是否为边缘像素点；
如果所述当前像素点非所述边缘像素点，则将所述二值图像中下一个像素点作为所述当前像素点进行下一次判断，直到识别出所述二值图像中的所有边缘像素点；
利用位置上连续的所述边缘像素点，构成至少一个第一连通区域；
获取每个第一连通区域的面积，将面积最大的所述第一连通区域作为所述手势的连通区域。
作为本发明第一方面实施例一种可能的实现方式，所述判断所述二值图像中的当前像素点是否为边缘像素点，包括：
获取所述当前像素点的相邻像素点；
判断所述相邻像素点是否均为第一像素点；其中，所述第一像素点的像素值为第一数值；
如果所述相邻像素点均为所述第一像素点，则识别所述当前像素点为非边缘像素点；
如果所述相邻像素点中存在至少一个非第一像素点，则识别所述当前像素点为所述边缘像素点。
作为本发明第一方面实施例一种可能的实现方式，所述利用所述二值图上的边缘像素点，获取所述手势的中心坐标之前，还包括：
对所述二值图像进行行扫描，提取出所述二值图像中的噪声行；
从所述二值图像中删除所述噪声行。
作为本发明第一方面实施例一种可能的实现方式，所述对所述二值图像进行行扫描，提取出所述二值图像中的噪声行，包括：
按照设定的顺序，对所述二值图像进行行扫描，提取出所述二值图像中的第一像素点；其中，所述第一像素点的像素值为第一数值；
根据所述第一像素点在所述二值图像中的位置信息，统计出每行所包括的所述第一像素点的个数；
如果当前行所述第一像素点的个数小于预设个数，则将所述当前行识别为所述噪声行。
作为本发明第一方面实施例一种可能的实现方式，所述根据所述第一图像，获取所述手势的中心坐标，包括：
对所述第一图像进行处理，获取到所述手势的二值图像；
从所述二值图像中识别各手指区域并缓存各手指区域；
根据各手指区域，获取所述手势的中心坐标。
作为本发明第一方面实施例一种可能的实现方式，所述根据各手指区域，获取所述手势的中心坐标，包括：
针对每个手指区域，将所述手指区域每行像素点的横向像素值进行累加，得到所述手指区域每行的第一累加值，以及将所述手指区域每列像素点的纵向像素值进行累加，得到所述手指区域每列的第二累加值；
从各手指区域的所述第一累加值和所述第二累加值中，获取最大的所述第一累加值所在的目标行和最大的第二累加值所在的目标列；
利用所述目标行和所述目标列，构成所述手势的中心坐标。
作为本发明第一方面实施例一种可能的实现方式，所述方法还包括：
在缓存各手指区域的过程中，每次按照预设行数进行缓存。
作为本发明第一方面实施例一种可能的实现方式，所述对所述第一图像进行处理，获取到所述手势的二值图像，包括：
按照预设的尺寸对所述第一图像进行裁剪，得到第二图像；其中，所述第一图像为RGB图像；
对所述第二图像进行灰度转换，得到第一灰度图像；
对所述第一灰度图像进行滤波，得到第二灰度图像；
获取所述第二灰度图像中每个像素点的像素值；
针对每个像素点，将所述像素点的像素值与预设的阈值比较；
当所述像素值大于等于所述阈值时，则将所述像素点的像素值更新为第一数值；
当所述像素值小于所述阈值时，将所述像素点的像素值更新为第二数值。
利用更新完所述像素值的所有像素点，构成中间二值图像；
对所述中间二值图像进行边界腐蚀及膨胀操作，获取所述手势的二值图像。
本发明实施例的手势识别方法，通过采集包括手势的第一图像，然后根据第一图像，获取手势的中心坐标，之后根据中心坐标确定手势在终端设备上的控制范围，再从控制范围内获取控制对象，按照手势对应的控制指令，对控制对象进行控制。本实施例中，通过图像处理的方式，得到手势的中心坐标，便可以对终端设备进行精确控制，运算复杂度降低，解决了现有的采用空间算法计算手势的运动轨迹，进而对终端设备进行控制的手势识别方法，运算复杂度高的问题。
为达上述目的，本发明第二方面实施例提出了一种手势识别装置，包括：
图像采集器，用于采集包括手势的第一图像发送给可编程器件；
所述可编程器件，用于根据所述第一图像，获取所述手势的中心坐标，以及根据所述中心坐标，确定所述手势在终端设备上的控制范围，从所述控制范围内获取控制对象，按照所述手势对应的控制指令，对所述控制对象进行操作。
本发明实施例的手势识别装置，通过图像采集器采集包括手势的第一图像并发送给可编程器件，可编程器件根据第一图像，获取手势的中心坐标，以及根据中心坐标，确定手势在终端设备上的控制范围，从控制范围内获取控制对象，按照手势对应的控制指令，对控制对象进行操作。本实施例中，通过可编程器件实现对第一图像处理，获取手势的中心坐标，从而提供了硬件实施方案。
为达上述目的，本发明第三方面实施例提出了一种电子设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的手势识别方法。
为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的手势识别方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的一种手势识别方法的流程示意图；
图2为本发明实施例提供的4领域的方法判定边缘像素点的示意图；
图3为本发明实施例提供的8领域的方法判定边缘像素点的示意图；
图4为本发明实施例提供的提取第一边缘像素点的示意图；
图5为本发明实施例提供的另一种手势识别方法的流程示意图；
图6为本发明实施例提供的一种手势识别方法的实现流程示意图；
图7为本发明实施例提供的采用3*3的方式高斯滤波后的效果示意图；
图8为本发明实施例提供的另一种手势识别方法的实现流程示意图；
图9为本发明实施例提供的一种手势识别装置的结构示意图；
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的手势识别方法和装置、电子设备。
图1为本发明实施例提供的一种手势识别方法的流程示意图。
如图1所示，该手势识别方法包括以下步骤：
步骤101，采集包括手势的第一图像。
本实施例中，在手机、电脑、平板电脑等终端设备上设置摄像头，在用户通过手势控制终端设备时，可通过摄像头采集包括手势的第一图像。
步骤102，根据第一图像，获取手势的中心坐标。
本实施例中，通过对第一图像进行处理，来获取手势的中心坐标，相比现有的采用空间算法计算手势的运动轨迹，运算复杂度降低。手势是用户的手做出的姿态，会占用一定的空间，反映到图像中手势往往占用多个像素点，这些多个像素点在图像中能够形成一个区域。当利用手势控制终端设备上的对象时，一个手势往往会覆盖多个对象，为了能够精确确定出终端设备上的控制对象，可以选择将手势的中心坐标提取出来，根据中心坐标进行终端设备的控制。具体地，本实施例中，可以从第一图像中，识别出手势的中心坐标，该中心坐标可以为上述多个像素点所形成区域对应的中心点，或者从区域的边缘处提出边缘像素点，通过边缘像素点拟合出中心点的坐标。
步骤103，根据中心坐标，确定手势在终端设备上的控制范围。
举例来说，可以手势的中心坐标为原点坐标，以预设长度为半径画圆，以圆内部分作为控制范围。
步骤104，从控制范围内获取控制对象，按照手势对应的控制指令，对控制对象进行操作。
在确定控制范围后，从控制范围内获取控制对象，然后根据预先设置的手势与控制指令的对应关系，获取与拍摄的手势对应的控制指令，进而根据控制指令对控制对象进行操作，实现了通过手势对终端设备进行控制的目的。
由于二值图像的像素值单一，为了降低运算的复杂度，对于步骤102，根据第一图像，获取手势的中心坐标。本发明实施例中，可对第一图像进行处理，获取手势的二值图像，进而根据二值图像，获取手势的中心坐标。
作为本发明实施例一种可能的实现方式，可利用二值图像上的边缘像素点，获取手势的中心坐标。
本实施例中，可预先识别出二值图像中所有的边缘像素点。可以理解的是，在二值图像中，如果一个像素点周围相邻的像素点的像素值均相同，可以认为该像素点的像素值与周围像素点的像素值相同，那么可以确定该像素点不是边缘像素点，否则可以确定该像素点为边缘像素点。
由此，本实施例中的边缘像素点，是指某像素点其周围相邻的像素点的像素值不完全相同的像素点。因此，可通过相邻像素点判断当前像素点是否为边缘像素点。
具体地，可获取当前像素点的相邻像素点，判断相邻像素点是否均为第一像素点，其中，第一像素点的像素值为第一数值，也即判断相邻像素点的像素值是否均为第一数值。如果相邻像素点均为第一像素点，则识别当前像素点为非边缘像素点。如果相邻像素点中存在至少一个非第一像素点，则识别当前像素点为边缘像素点。
作为一个示例，如图2所示，可通过4邻域的方法，判断当前像素点是否为边缘像素点。图2中，now像素点为当前像素点，遍历now像素点上下左右四个像素点1pixel、2pixel、3pixel、4pixel。若像素点1pixel、2pixel、3pixel、4pixel的像素值均为0，则now像素点为非边缘像素点；若像素点1pixel、2pixel、3pixel、4pixel中存在像素值不为0的像素点，则now像素点为边缘像素点。
作为另一个示例，也可通过8邻域的方法，判断当前像素点是否为边缘像素点。如图3所示，遍历now像素点周围相邻的8个像素点1pixel、2pixel、3pixel、4pixel、5pixel、6pixel、7pixel、8pixel。若像素点1pixel、2pixel、3pixel、4pixel、5pixel、6pixel、7pixel、8pixel的像素值均为0，则now像素点为非边缘像素点；若像素点1pixel、2pixel、3pixel、4pixel、5pixel、6pixel、7pixel、8pixel中存在像素值不为0的像素点，则now像素点为边缘像素点。
在识别二值图像中的边缘像素点时，从所述二值图像中的起始像素点开始，可利用上述方法判断当前像素点是否为边缘像素点。如果当前像素点非边缘像素点，则将二值图像中下一个像素点作为当前像素点进行下一次判断，直到识别出二值图像中所有边缘像素点。
本实施例中，为了表示每个像素点在二值图像上的位置，可用像素点所在行和列表示。在识别出二值图像上所有的边缘像素点之后，从二值图像上指定的起始边缘像素点所在行开始，按照预设的行间隔，如每隔两行，提取当前行中边缘像素点作为第一边缘像素点，并以数组形式存储提取的边缘像素点的坐标。其中，坐标由边缘像素点在二值图像中所在的行与列构成。
举例而言，如图4所示，图4中每个格子代表一个像素点，像素点A为边缘像素点。可以像素点A为起始边缘像素点，从像素点A所在的行即第2行开始，每隔一行，提取当前行左右两个像素点作为第一边缘像素点，即可以提出图4中第4行的B和C两个边缘像素点作为第一边缘像素点，然后继续提取图4中第6行中的D和E两个边缘像素点作为第一边缘像素点，本实施例中，同时将提取的第一边缘像素点以数组的形式存储。
当遍历完所有的行之后，对起始边缘像素点的坐标和每个第一边缘像素点的坐标进行拟合，得到中心坐标。其中，边缘像素点的坐标是指边缘像素点在二值图像中的位置坐标，即所在行与列。
作为一个示例，可利用椭圆拟合方法，获得手势的中心坐标。其中，椭圆拟合是指将起始边缘像素点和每个第一边缘像素点以椭圆方程ax2+by2+cxy+dx+ey+f＝0为模型进行拟合，使某一椭圆方程尽量满足起始边缘像素点的坐标和每个第一边缘像素点的坐标，也就是说，使起始边缘像素点和每个第一边缘像素点尽量在某一椭圆上，并求出该椭圆方程的各个参数a、b、c、d、e、f。
在具体实现时，可利用现有的最小二乘法进行椭圆拟合，求出椭圆方程的各个参数，从而得到椭圆方程，进而求出椭圆的质点坐标，作为手势的中心坐标。
可以理解的是，可以对起始边缘像素点的坐标和每个第一边缘像素点的坐标进行圆拟合，将拟合得到的圆的圆心坐标，作为手势的中心坐标。
由于利用边缘像素点，相对于利用所有二值图像的像素点获取手势的中心坐标而言，可以提高计算效率。
一般情况下，一个物体由于本身的连续性，在图像的二值图像中，往往会形成一个连通区域。上述实施例中利用二值图像上的边缘像素点，来获取手势的中心坐标，为了缩小获取手势的中心坐标的范围，可对二值图像进行连通域识别，从二维图像中识别出一个或多个连通域，以获得手势的连通区域，通过连通区域获得手势的中心坐标，从而可以提高识别精度。下面通过另一个实施例进行说明。
如图5所示，该手势识别方法包括以下步骤：
步骤501，采集包括手势的第一图像。
本实施例中，在手机、平板电脑等终端设备上设置摄像头，在用户通过手势控制终端设备时，可通过摄像头采集包括手势的第一图像。其中，采集的第一图像为RGB图像。
步骤502，对第一图像进行处理，获取到手势的二值图像。
如图6所示，为了便于后续处理，在获得第一图像后，可按照预设的尺寸对第一图像进行裁剪，得到第二图像，通过裁剪可截取出包含手指信息的图像，减小数据处理量。在获得第二图像后，对第二图像进行灰度转换，使第二图像由RGB图像转换为灰度图像，得到第一灰度图像。
为了抑制图像中的噪声，提高识别精度，在获得第一灰度图像后，可对第一灰度图像进行滤波，如进行高斯滤波，得到第二灰度图像。
举例而言，在进行高斯滤波时，可采用3*3的方式进行高斯滤波。具体地，将3*3的模板遍历整个第一灰度图像，图7中所示的9个像素点的像素值是经过高斯滤波后的像素点的像素值。在经过高斯滤波后，只缓存三行图像数据，减少了对存储空间的占用量。
在获得第二灰度图像后，进行阈值分割将第二灰度图像中像素点的像素值分割为两种。具体而言，获取第二灰度图像中每个像素点的像素值，针对每个像素点，将像素点的像素值与预设的阈值进行比较。当像素值大于等于阈值时，可将像素点的像素值更新为第一数值，如0值。当像素值小于阈值时，将像素点的像素值更新为第二数值，如1值。在更新完所有像素点的像素值后，利用所有像素点，可以获得包含第一数值和第二数值两种像素值的中间二值图像。
在获得中间二值图像后，对中间二值图像进行边界腐蚀及膨胀操作，即开运算，获得手势的二值图像。本实施例中，对中间二值图像进行开运算，可以清晰边界，改善图像质量，提高识别精度。
步骤503，对二值图像进行连通域识别，获取手势的连通区域，识别连通区域上的边缘像素点。
如图6所示，在获取到二值图像后，进一步地，可对二值图像进行连通域识别，获取手势的连通区域，识别连通区域的边缘像素点。
具体地，可先识别出二值图像中的所有边缘像素点，具体识别方法可参见上述实施例中记载的方法。在识别出二值图像中所有边缘像素点后，可利用位置上连续的边缘像素点，构成第一连通区域。当构成多个第一连通区域时，计算每个第一连通区域的面积并进行比较，将面积最大的第一连通区域作为手势的连通区域。在获得手势的连通区域后，可识别出连通区域上的边缘像素点。
步骤504，利用连通区域上的边缘像素点，获取手势的中心坐标。
在获得手势的连通区域上的边缘像素点后，可对连通区域上的边缘像素点的坐标进行拟合，得到中心坐标。
作为一种可能的实现方式，可对手势的连通区域上所有边缘像素点的坐标进行拟合，如进行椭圆拟合，将拟合的椭圆的质心坐标作为手势的中心坐标。
作为另一种可能的实现方式，可从手势的连通区域上指定的起始边缘像素点所在行开始，按照预设的行间隔，提取当前行中的边缘像素点，直到最后一行。然后，对起始边缘像素点的坐标和提取的每个边缘像素点的坐标进行拟合，得到手势的中心坐标。
本实施例中，通过连通域识别，获取手势的连通区域，并对连通区域上的部分边缘像素点进行拟合，可以降低拟合的难度，提高计算效率，而且通过连通区域获得手势的中心坐标，可以提高识别精度。
步骤505，根据中心坐标和手势对终端设备进行控制。
在获得手势的中心坐标后，可根据中心坐标和手势对终端设备进行控制。具体而言，根据中心坐标，确定终端设备的控制范围。举例来说，可以中心坐标为原点坐标，以预设长度为半径画圆，以圆内部分作为控制范围。在确定控制范围后，从控制范围内获取控制对象，按照手势对应的控制指令，对控制对象进行相应的操作。
该手势识别方法能够快速精确地计算出手势的中心坐标，并且该手势识别方法实现方式简单，占用资源量少，用时较短，非常易于硬件化实现。
更进一步地，为了提高识别精度，可在利用二值图像上的边缘像素点，获取手势的中心坐标之前，对二值图像进行处理，删除二值图像中的噪声。
具体而言，对二值图像进行行扫描，提取二值图像中的噪声行。作为一种可能的实现方式，可按照设定的顺序，对二值图像进行行扫描，提取出二值图像中的第一像素点，其中，第一像素点的像素值为第一数值，也即提取出像素值为第一数值的像素点。
在提取出二值图像中所有的第一像素点后，根据第一像素点在二值图像中的位置信息，即第一像素点所在的行和列，统计出每行所包括的第一像素点的个数。然后，将每行第一像素点个数与预设个数进行比较。如果当前行第一像素点个数小于预设个数，则将当前行识别为噪声行。当然，也可在提取当前行中的第一像素点后，将第一像素点个数与预设个数比较。之后，继续扫描下一行。
例如，若第一数值为0，统计出每行中像素值为0的像素点的个数。将每行像素值为0的像素点个数与预设个数比较，如果像素值为0的像素点个数小于预设个数，则将当前行识别为噪声行。
在提取出二值图像中的噪声行后，将噪声行从二值图像中删除，从而提高了二值图像的质量，提高了识别精度。
上述实施例描述了根据二值图像的边缘像素点，获取手势的中心坐标的方法。
作为根据二值图像，获取手势的中心坐标的另一种可能的实现方式，在对第一图像进行处理，获取到手势的二值图像后，可从二值图像中识别出各手指区域，并缓存各手指区域，并根据各手指区域，获取手势的中心坐标。
本实施例中，为了降低图像数据对存储空间的占用量，在缓存各手指区域时，每次仅缓存预设行数，从而可以减少实时计算量。
在根据各手指区域，获取手势的中心坐标时，可针对每个手指区域，将手指区域每行像素点的横向像素值进行累加，得到手指区域每行的第一累加值，以及将手指区域每列像素点的纵向像素值进行累加，得到手指区域每列的第二累加值。然后，从各手指区域的第一累加值和第二累加值中，获取最大的第一累加值和最大的第二累加值。进一步地，可以确定出最大的第一累加值所在的行，此处称为目标行，以及确定出最大的第二累加值所在的列，此处称为目标列，并利用最大的第一累加值所在的目标行和最大的第二累加值所在的目标列，构成手势的中心坐标。
下面结合图8详细说明，利用各手指区域，获取手势的中心坐标的手势识别方法。
如图8所示，通过摄像头采集得到包括手势的第一图像，其中，第一图像为RGB图像。在获得第一图像后，按照预设的尺寸对第一图像进行裁剪，得到第二图像。
在获得第二图像后，对第二图像进行灰度转换，使第二图像由RGB图像转换为灰度图像，得到第一灰度图像。之后，对第一灰度图像进行滤波，如采用高斯滤波，得到第二灰度图像。在获得第二灰度图像后，可采用上述实施例中介绍的阈值分割方法进行阈值分割，得到中间二值图像。在获得中间二值图像后，对中间二值图像进行开运算，得到手势的二值图像。在获得手势的二值图像后，识别出二值图像中各手指区域，并进行缓存。
然后，针对每个手指区域，对手指区域中的像素点的像素值分别进行横向和纵向累加。最后，获取横向和纵向累加值最大的行与列，如x行与y列，将坐标(x,y)作为手势的中心坐标。
在获得手势的中心坐标后，根据中心坐标确定终端设备上的控制范围，进而从控制范围内获取控制对象，根据手势对应的控制指令，对控制对象进行操作。
上述实施例根据二值图像中各手指区域，获取手势的中心坐标，相比采用空间算法计算手势的运动轨迹，计算简单，降低了手势识别的运算复杂度。由此，上述实施例的手势识别方法，可快速精确地计算出手势的中心坐标，并且该手势识别方法实现方式简单，占用资源量少，用时较短，非常易于硬件化实现。
本发明实施例的手势识别方法，通过采集包括手势第一图像，然后根据第一图像，获取手势的中心坐标，之后根据中心坐标确定手势在终端设备上的控制范围，再从控制范围内获取控制对象，按照手势对应的控制指令，对控制对象进行控制。本实施例中，通过图像处理的方式，得到手势的中心坐标，便可以对终端设备进行精确控制，运算复杂度降低，解决了现有的采用空间算法计算手势的运动轨迹，进而对终端设备进行控制的手势识别方法，运算复杂度高的问题。
为了实现上述实施例，本发明还提出一种手势识别装置。
如图9所示，该手势识别装置包括：图像采集器910、可编程器件920。
其中，图像采集器910用于采集包括手势的第一图像发送给可编程器件920。
可编程器件920用于根据第一图像，获取手势的中心坐标，以及根据中心坐标，确定手势在终端设备上的控制范围，从控制范围内获取控制对象，按照手势对应的控制指令，对控制对象进行操作。
在具体实现时，可编程器件920可采用现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)，也可采用复杂可编程逻辑器件(Complex Programmable LogicDevice，简称CPLD)。
作为本实施例一种可能的实现方式，根据第一图像，获取手势的中心坐标，包括：
对第一图像进行处理，获取到手势的二值图像；
利用二值图像上的边缘像素点获取手势的中心坐标。
作为本实施例一种可能的实现方式，利用二值图像上的边缘像素点，获取手势的中心坐标，包括：
从二值图像上指定的起始边缘像素点所在行开始，按照预设的行间隔，提取当前行中的边缘像素点作为第一边缘像素点；
对起始边缘像素点的坐标和每个第一边缘像素点的坐标进行拟合，得到中心坐标。
作为本实施例一种可能的实现方式，利用二值图像上的边缘像素点，获取手势的中心坐标之前，还包括：
对二值图像进行连通域识别，获取手势的连通区域，识别连通区域上的边缘像素点。
作为本实施例一种可能的实现方式，对二值图像进行连通域识别，获取手势的连通区域，包括：
从二值图像中的起始像素点开始，判断二值图像中的当前像素点是否为边缘像素点；
如果当前像素点非边缘像素点，则将二值图像中下一个像素点作为当前像素点进行下一次判断，直到识别出二值图像中的所有边缘像素点；
利用位置上连续的边缘像素点，构成至少一个第一连通区域；
获取每个第一连通区域的面积，将面积最大的第一连通区域作为手势的连通区域。
作为本实施例一种可能的实现方式，判断二值图像中的当前像素点是否为边缘像素点，包括：
获取当前像素点的相邻像素点；
判断相邻像素点是否均为第一像素点；其中，第一像素点的像素值为第一数值；
如果相邻像素点均为第一像素点，则识别当前像素点为非边缘像素点；
如果相邻像素点中存在至少一个非第一像素点，则识别当前像素点为边缘像素点。
作为本实施例一种可能的实现方式，利用二值图上的边缘像素点，获取手势的中心坐标之前，还包括：
对二值图像进行行扫描，提取出二值图像中的噪声行；
从二值图像中删除噪声行。
作为本实施例一种可能的实现方式，对二值图像进行行扫描，提取出二值图像中的噪声行，包括：
按照设定的顺序，对二值图像进行行扫描，提取出二值图像中的第一像素点；其中，第一像素点的像素值为第一数值；
根据第一像素点在二值图像中的位置信息，统计出每行所包括的第一像素点的个数；
如果当前行第一像素点的个数小于预设个数，则将当前行识别为噪声行。
作为本实施例一种可能的实现方式，根据第一图像，获取手势的中心坐标，包括：
对第一图像进行处理，获取到手势的二值图像；
从二值图像中识别各手指区域并缓存各手指区域；
根据各手指区域，获取手势的中心坐标。
作为本实施例一种可能的实现方式，根据各手指区域，获取手势的中心坐标，包括：
针对每个手指区域，将手指区域每行像素点的横向像素值进行累加，得到手指区域每行的第一累加值，以及将手指区域每列像素点的纵向像素值进行累加，得到手指区域每列的第二累加值；
从各手指区域的所述第一累加值和所述第二累加值中，获取最大的所述第一累加值所在的目标行和最大的第二累加值所在的目标列；
利用所述目标行和所述目标列，构成所述手势的中心坐标。
作为本实施例一种可能的实现方式，所述方法还包括：在缓存各手指区域的过程中，每次按照预设行数进行缓存。
由于仅用到了乘法、加法、与、或运算等一些比较简单的运算，且最多缓存三行图像数据，占用硬件资源量少，便于硬件实现。
作为本实施例一种可能的实现方式，第一图像进行处理，获取到手势的二值图像，包括：
按照预设的尺寸对第一图像进行裁剪，得到第二图像；其中，第一图像为RGB图像；
对第二图像进行灰度转换，得到第一灰度图像；
对第一灰度图像进行滤波，得到第二灰度图像；
获取第二灰度图像中每个像素点的像素值；
针对每个像素点，将像素点的像素值与预设的阈值比较；
当像素值大于等于阈值时，则将像素点的像素值更新为第一数值；
当像素值小于阈值时，将像素点的像素值更新为第二数值。
利用更新完像素值的所有像素点，构成中间二值图像；
对中间二值图像进行边界腐蚀及膨胀操作，获取手势的二值图像。
本发明实施例的手势识别装置，通过图像采集器采集包括手势的第一图像并发送给可编程器件，可编程器件根据第一图像，获取手势的中心坐标，以及根据中心坐标，确定手势在终端设备上的控制范围，从控制范围内获取控制对象，按照手势对应的控制指令，对控制对象进行操作。本实施例中，通过可编程器件实现对第一图像处理，获取手势的中心坐标，从而提供了硬件实施方案。
为了实现上述实施例，本发明还提出一种电子设备。
如图10所示，该电子设备包括：处理器1010和存储器1020。
其中，处理器1010通过读取存储器1020中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述实施例所述的手势识别方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述实施例所述的手势识别方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种手势识别方法，其特征在于，应用于终端设备，所述终端设备上显示多个对象，所述手势识别方法包括：
采集包括手势的第一图像；
根据所述第一图像，获取所述手势的中心坐标；
根据所述中心坐标，确定所述手势在终端设备上的控制范围；
从所述控制范围内，在所述多个对象中确定控制对象，根据预先设置的手势与控制指令的对应关系，获取与所述手势对应的控制指令，并根据所述控制指令对所述控制对象进行操作；
其中，以所述手势的中心坐标为原点坐标，以预设长度为半径画圆，以圆内部分作为所述控制范围；
其中，所述根据所述第一图像，获取所述手势的中心坐标，包括：
对所述第一图像进行处理，获取到所述手势的二值图像；
从所述二值图像中识别各手指区域并缓存各手指区域；
根据各手指区域，获取所述手势的中心坐标。
2.根据权利要求1所述的方法，所述根据所述第一图像，获取所述手势的中心坐标，包括：
对所述第一图像进行处理，获取到所述手势的二值图像；
利用所述二值图像上的边缘像素点获取所述手势的中心坐标。
3.根据权利要求2所述的方法，所述利用所述二值图像上的边缘像素点，获取所述手势的中心坐标，包括：
从所述二值图像上指定的起始边缘像素点所在行开始，按照预设的行间隔，提取当前行中的所述边缘像素点作为第一边缘像素点；
对所述起始边缘像素点的坐标和每个第一边缘像素点的坐标进行拟合，得到所述中心坐标。
4.根据权利要求3所述的方法，其特征在于，所述利用所述二值图像上的边缘像素点，获取所述手势的中心坐标之前，还包括：
对所述二值图像进行连通域识别，获取所述手势的连通区域，识别所述连通区域上的边缘像素点。
5.根据权利要求4所述的方法，其特征在于，所述对所述二值图像进行连通域识别，获取所述手势的连通区域，包括：
从所述二值图像中的起始像素点开始，判断所述二值图像中的当前像素点是否为边缘像素点；
如果所述当前像素点非所述边缘像素点，则将所述二值图像中下一个像素点作为所述当前像素点进行下一次判断，直到识别出所述二值图像中的所有边缘像素点；
利用位置上连续的所述边缘像素点，构成至少一个第一连通区域；
获取每个第一连通区域的面积，将面积最大的所述第一连通区域作为所述手势的连通区域。
6.根据权利要求5所述的方法，其特征在于，所述判断所述二值图像中的当前像素点是否为边缘像素点，包括：
获取所述当前像素点的相邻像素点；
判断所述相邻像素点是否均为第一像素点；其中，所述第一像素点的像素值为第一数值；
如果所述相邻像素点均为所述第一像素点，则识别所述当前像素点为非边缘像素点；
如果所述相邻像素点中存在至少一个非第一像素点，则识别所述当前像素点为所述边缘像素点。
7.根据权利要求2所述的方法，其特征在于，所述利用所述二值图上的边缘像素点，获取所述手势的中心坐标之前，还包括：
对所述二值图像进行行扫描，提取出所述二值图像中的噪声行；
从所述二值图像中删除所述噪声行。
8.根据权利要求7所述的方法，其特征在于，所述对所述二值图像进行行扫描，提取出所述二值图像中的噪声行，包括：
按照设定的顺序，对所述二值图像进行行扫描，提取出所述二值图像中的第一像素点；其中，所述第一像素点的像素值为第一数值；
根据所述第一像素点在所述二值图像中的位置信息，统计出每行所包括的所述第一像素点的个数；
如果当前行所述第一像素点的个数小于预设个数，则将所述当前行识别为所述噪声行。
9.根据权利要求1所述的方法，其特征在于，所述根据各手指区域，获取所述手势的中心坐标，包括：
针对每个手指区域，将所述手指区域每行像素点的横向像素值进行累加，得到所述手指区域每行的第一累加值，以及将所述手指区域每列像素点的纵向像素值进行累加，得到所述手指区域每列的第二累加值；
从各手指区域的所述第一累加值和所述第二累加值中，获取最大的所述第一累加值所在的目标行和最大的第二累加值所在的目标列；
利用所述目标行和所述目标列，构成所述手势的中心坐标。
10.根据权利要求9所述的方法，其特征在于，还包括：
在缓存各手指区域的过程中，每次按照预设行数进行缓存。
11.根据权利要求2-10任一项所述的方法，其特征在于，所述对所述第一图像进行处理，获取到所述手势的二值图像，包括：
按照预设的尺寸对所述第一图像进行裁剪，得到第二图像；其中，所述第一图像为RGB图像；
对所述第二图像进行灰度转换，得到第一灰度图像；
对所述第一灰度图像进行滤波，得到第二灰度图像；
获取所述第二灰度图像中每个像素点的像素值；
针对每个像素点，将所述像素点的像素值与预设的阈值比较；
当所述像素值大于等于所述阈值时，则将所述像素点的像素值更新为第一数值；
当所述像素值小于所述阈值时，将所述像素点的像素值更新为第二数值；
利用更新完所述像素值的所有像素点，构成中间二值图像；
对所述中间二值图像进行边界腐蚀及膨胀操作，获取所述手势的二值图像。
12.一种手势识别装置，其特征在于，应用于终端设备，所述终端设备上显示多个对象，所述手势识别装置包括：
图像采集器，用于采集包括手势的第一图像发送给可编程器件；
所述可编程器件，用于根据所述第一图像，获取所述手势的中心坐标，以及根据所述中心坐标，确定所述手势在终端设备上的控制范围，从所述控制范围内，在所述多个对象中确定控制对象，根据预先设置的手势与控制指令的对应关系，获取与所述手势对应的控制指令，并根据所述控制指令对所述控制对象进行操作；
其中，以所述手势的中心坐标为原点坐标，以预设长度为半径画圆，以圆内部分作为所述控制范围；
其中，所述根据所述第一图像，获取所述手势的中心坐标，包括：对所述第一图像进行处理，获取到所述手势的二值图像；从所述二值图像中识别各手指区域并缓存各手指区域；根据各手指区域，获取所述手势的中心坐标。
13.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-11中任一所述的手势识别方法。
CN201710980330.5A 2017-10-19 2017-10-19 手势识别方法和装置、电子设备 Active CN107678551B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710980330.5A CN107678551B (zh) 2017-10-19 2017-10-19 手势识别方法和装置、电子设备
PCT/CN2018/109816 WO2019076230A1 (en) 2017-10-19 2018-10-11 METHOD FOR CONTROLLING TERMINAL DEVICE, TERMINAL DEVICE CONTROL APPARATUS, AND COMPUTER PROGRAM PRODUCT
US16/333,985 US11402918B2 (en) 2017-10-19 2018-10-11 Method for controlling terminal apparatus, apparatus for controlling terminal apparatus, and computer-program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710980330.5A CN107678551B (zh) 2017-10-19 2017-10-19 手势识别方法和装置、电子设备

Publications (2)

Publication Number Publication Date
CN107678551A CN107678551A (zh) 2018-02-09
CN107678551B true CN107678551B (zh) 2021-12-28

Family

ID=61141708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710980330.5A Active CN107678551B (zh) 2017-10-19 2017-10-19 手势识别方法和装置、电子设备

Country Status (3)

Country Link
US (1) US11402918B2 (zh)
CN (1) CN107678551B (zh)
WO (1) WO2019076230A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107678551B (zh) * 2017-10-19 2021-12-28 京东方科技集团股份有限公司 手势识别方法和装置、电子设备
CN109299743B (zh) * 2018-10-18 2021-08-10 京东方科技集团股份有限公司 手势识别方法及装置、终端
CN111238125A (zh) * 2018-11-28 2020-06-05 宁波泽锦电器科技有限公司 双开门立式电冰箱
CN113495617A (zh) * 2020-04-01 2021-10-12 深圳绿米联创科技有限公司 设备控制的方法、装置、终端设备以及存储介质
CN112351325B (zh) * 2020-11-06 2023-07-25 惠州视维新技术有限公司 基于手势的显示终端控制方法、终端和可读存储介质
CN116627260A (zh) * 2023-07-24 2023-08-22 成都赛力斯科技有限公司 一种隔空操作方法、装置、计算机设备和存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN200973160Y (zh) * 2006-11-24 2007-11-07 中国科学院沈阳自动化研究所 一种图像质心计算装置
CN101193286A (zh) * 2006-11-24 2008-06-04 中国科学院沈阳自动化研究所 一种图像质心计算方法及实现装置
CN101334263A (zh) * 2008-07-22 2008-12-31 东南大学 圆形目标的圆心定位方法
CN101359367A (zh) * 2008-09-11 2009-02-04 西安理工大学 一种基于四边形骨架结构的静态手势特征描述方法
CN101739122A (zh) * 2008-11-24 2010-06-16 玴荣科技股份有限公司 手势辨识及追踪的方法
CN103098076A (zh) * 2010-09-17 2013-05-08 索尼公司 电视机控制用手势识别系统
CN103208002A (zh) * 2013-04-10 2013-07-17 桂林电子科技大学 基于手轮廓特征的手势识别控制方法和系统
CN103226387A (zh) * 2013-04-07 2013-07-31 华南理工大学 基于Kinect的视频人手指尖定位方法
CN103399699A (zh) * 2013-07-31 2013-11-20 华南理工大学 一种以人手为中心的手势交互方法
CN103971102A (zh) * 2014-05-21 2014-08-06 南京大学 基于手指轮廓和决策树的静态手势识别方法
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN104714637A (zh) * 2013-12-16 2015-06-17 纬创资通股份有限公司 多边形手势检测及互动方法、装置及计算机程序产品
CN104981105A (zh) * 2015-07-09 2015-10-14 广东工业大学 一种快速精确获得元件中心和偏转角度的检测及纠偏方法
CN105787471A (zh) * 2016-03-25 2016-07-20 南京邮电大学 一种应用于助老助残移动服务机器人控制的手势识别方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008052928A1 (de) * 2008-10-23 2010-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Erkennung einer Geste in einem Bild, sowie Vorrichtung, Verfahren und Computerprogramm zur Steuerung eines Geräts
TWI395145B (zh) * 2009-02-02 2013-05-01 Ind Tech Res Inst 手勢辨識系統及其方法
CN102521567B (zh) * 2011-11-29 2013-10-23 Tcl集团股份有限公司 一种人机交互的指尖检测方法、装置及电视机
CN105210115B (zh) * 2013-06-10 2020-10-30 英特尔公司 使用2d图像数据来执行手势识别
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
CN105138122B (zh) * 2015-08-12 2018-10-26 深圳市卡迪尔通讯技术有限公司 一种通过识别手势遥控屏幕设备的方法
IL258705B (en) * 2015-10-20 2022-07-01 Magic Leap Inc Selection of virtual objects in three-dimensional space
WO2017139509A1 (en) * 2016-02-12 2017-08-17 Purdue Research Foundation Manipulating 3d virtual objects using hand-held controllers
CN106598356B (zh) * 2016-11-24 2019-05-17 北方工业大学 一种红外发射源输入信号定位点检测方法、装置及系统
US20190005733A1 (en) * 2017-06-30 2019-01-03 Paul Alexander Wehner Extended reality controller and visualizer
CN107678551B (zh) * 2017-10-19 2021-12-28 京东方科技集团股份有限公司 手势识别方法和装置、电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193286A (zh) * 2006-11-24 2008-06-04 中国科学院沈阳自动化研究所 一种图像质心计算方法及实现装置
CN200973160Y (zh) * 2006-11-24 2007-11-07 中国科学院沈阳自动化研究所 一种图像质心计算装置
CN101334263A (zh) * 2008-07-22 2008-12-31 东南大学 圆形目标的圆心定位方法
CN101359367A (zh) * 2008-09-11 2009-02-04 西安理工大学 一种基于四边形骨架结构的静态手势特征描述方法
CN101739122A (zh) * 2008-11-24 2010-06-16 玴荣科技股份有限公司 手势辨识及追踪的方法
CN103098076A (zh) * 2010-09-17 2013-05-08 索尼公司 电视机控制用手势识别系统
CN103226387A (zh) * 2013-04-07 2013-07-31 华南理工大学 基于Kinect的视频人手指尖定位方法
CN103208002A (zh) * 2013-04-10 2013-07-17 桂林电子科技大学 基于手轮廓特征的手势识别控制方法和系统
CN103399699A (zh) * 2013-07-31 2013-11-20 华南理工大学 一种以人手为中心的手势交互方法
CN104714637A (zh) * 2013-12-16 2015-06-17 纬创资通股份有限公司 多边形手势检测及互动方法、装置及计算机程序产品
CN103971102A (zh) * 2014-05-21 2014-08-06 南京大学 基于手指轮廓和决策树的静态手势识别方法
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN104981105A (zh) * 2015-07-09 2015-10-14 广东工业大学 一种快速精确获得元件中心和偏转角度的检测及纠偏方法
CN105787471A (zh) * 2016-03-25 2016-07-20 南京邮电大学 一种应用于助老助残移动服务机器人控制的手势识别方法

Also Published As

Publication number Publication date
WO2019076230A1 (en) 2019-04-25
US20210325971A1 (en) 2021-10-21
US11402918B2 (en) 2022-08-02
CN107678551A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN107678551B (zh) 手势识别方法和装置、电子设备
US11450146B2 (en) Gesture recognition method, apparatus, and device
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
KR101763891B1 (ko) 영역 추출 방법, 모델 트레이닝 방법 및 장치
CN110443210B (zh) 一种行人跟踪方法、装置以及终端
US20130050076A1 (en) Method of recognizing a control command based on finger motion and mobile device using the same
US9934578B2 (en) Method for edge detection
EP3767520B1 (en) Method, device, equipment and medium for locating center of target object region
CN110853076A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN110415208B (zh) 一种自适应目标检测方法及其装置、设备、存储介质
CN105894464B (zh) 一种中值滤波图像处理方法和装置
US20210383102A1 (en) Gesture shaking recognition method and apparatus, and gesture recognition method
CN111080654B (zh) 图像的病变区域分割方法、装置及服务器
CN104978012A (zh) 一种指向交互方法、装置及系统
CN110211086B (zh) 图像分割方法、装置及存储介质
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
CN112070792B (zh) 一种用于图像分割的边缘生长连接方法及装置
CN109299743B (zh) 手势识别方法及装置、终端
CN106663317B (zh) 数字图像的形态学处理方法和数字图像处理装置
CN113542868A (zh) 视频关键帧选取方法、装置、电子设备、存储介质
CN112883853A (zh) 车道线的检测方法、装置、设备及存储介质
JP2021050931A (ja) 付着物検出装置、および付着物検出方法
CN112784828B (zh) 基于方向梯度直方图的图像检测方法、装置、计算机设备
CN114418848A (zh) 视频处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant