CN107436686A - 一种控制待控制目标的方法、装置和系统 - Google Patents

一种控制待控制目标的方法、装置和系统 Download PDF

Info

Publication number
CN107436686A
CN107436686A CN201710752075.9A CN201710752075A CN107436686A CN 107436686 A CN107436686 A CN 107436686A CN 201710752075 A CN201710752075 A CN 201710752075A CN 107436686 A CN107436686 A CN 107436686A
Authority
CN
China
Prior art keywords
gesture
gestures
images
hand
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710752075.9A
Other languages
English (en)
Inventor
郑力宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Business System Co Ltd
Original Assignee
Shandong Inspur Business System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Business System Co Ltd filed Critical Shandong Inspur Business System Co Ltd
Priority to CN201710752075.9A priority Critical patent/CN107436686A/zh
Publication of CN107436686A publication Critical patent/CN107436686A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种控制待控制目标的方法、装置和系统，控制待控制目标的方法包括：预先存储至少一个命令手势与命令的对应关系；接收摄像设备拍摄的待检测手势的至少一个手势图像；针对每一个手势图像，提取当前手势图像中的至少一个几何不变矩和至少一段区域边界，根据至少一个几何不变矩和至少一段区域边界，确定当前手势图像中的手型；根据各个手势图像中的手型，确定待检测手势；确定待检测手势与每个命令手势的手势相似度；判断在至少一个命令手势中是否存在与待检测手势的手势相似度达到预设手势相似度的目标命令手势，如果是，则根据对应关系，确定目标命令手势对应的目标命令，将目标命令发送给待控制目标。本发明能够提高用户体验。

Description

一种控制待控制目标的方法、装置和系统
技术领域
本发明涉及电子通信技术领域，特别涉及一种控制待控制目标的方法、装置和系统。
背景技术
随着科技的发展，控制技术被应用于各个领域，如何提高控制技术的用户体验已成为人们关注的焦点。
根据现有的控制技术，用户在控制待控制目标时，需要借助物理控制设备。例如，用户利用遥控器向电视机发送指令，电视机根据接收到的指令进行相应的操作。
然而现实生活中，经常会出现物理控制设备出现故障或用户无法找到物理控制设备的情况，例如，当遥控器出现故障或用户无法找到遥控器时，用户无法对电视机进行远程遥控只能利用电视机上的按钮控制电视机，这会降低用户体验。
发明内容
本发明实施例提供了一种控制待控制目标的方法、装置和系统，能够提高用户体验。
第一方面，本发明实施例提供了一种控制待控制目标的方法，预先存储至少一个命令手势与命令的对应关系，包括：
接收摄像设备拍摄的待检测手势的至少一个手势图像；
针对每一个所述手势图像，提取当前手势图像中的至少一个几何不变矩和至少一段区域边界，根据所述至少一个几何不变矩和所述至少一段区域边界，确定所述当前手势图像中的手型；
根据各个所述手势图像中的手型，确定所述待检测手势；
确定所述待检测手势与每个所述命令手势的手势相似度；
判断在所述至少一个命令手势中是否存在与所述待检测手势的所述手势相似度达到预设手势相似度的目标命令手势，如果是，则根据所述对应关系，确定所述目标命令手势对应的目标命令，将所述目标命令发送给待控制目标。
优选地，在所述接收摄像设备拍摄的待检测手势的至少一个手势图像之后，进一步包括：
将所述至少一个手势图像转换为Lab空间(Lab空间即Lab色彩模型，L表示亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围)下的所述至少一个手势图像；
对Lab空间下的所述至少一个手势图像进行去除噪声的处理。
优选地，所述提取当前手势图像中待检测手势的至少一个几何不变矩和至少一段区域边界，包括：
确定所述当前手势图像的中心矩；
根据所述中心距，构造至少一个所述几何不变矩；
获取所述当前手势图像中的亮度梯度；
根据所述亮度梯度，确定包括所述区域边界的的各个目标区域；
分别对各个所述目标区域进行边缘检测，确定每个所述目标区域对应的所述区域边界。
优选地，所述根据所述至少一个几何不变矩和所述至少一段区域边界，确定所述当前手势图像中的手型，包括：
连通各段所述区域边界，获得所述当前手势图像中的手型的边界；
利用所述当前手势图像中的手型的边界和所述至少一个几何不变矩，确定所述当前手势图像中的手型。
优选地，所述根据各个所述手势图像中的手型，确定所述待检测手势，包括：
A1，确定每个所述手势图像的手型与每个所述命令手势的手型的手型相似度；
A2，根据每个所述手势图像对应的各个所述手型相似度，判断是否存在需要剔除的所述手势图像，如果是，则剔除需要剔除的所述手势图像，执行A3，否则，执行A3；
A3，确定剩余的所述手势图像的拍摄时间，执行A4；
A4，根据所述拍摄时间的先后顺序，排列剩余的所述手势图像，生成所述待检测手势的运动轨迹；
A5，根据剩余的所述手势图像中的手型和所述运动轨迹，确定所述待检测手势；
所述确定所述待检测手势与每个所述命令手势的手势相似度，包括：
针对每个所述命令手势，确定所述待检测手势的运动轨迹与当前命令手势的运动轨迹的轨迹相似度，根据每个剩余的所述手势图像的手型与所述当前命令手势的手型的手型相似度以及所述轨迹相似度，确定所述待检测手势与所述当前命令手势的手势相似度。
第二方面，本发明实施例提供了一种控制待控制目标的装置，包括：存储模块、接收模块、图像处理模块、手势确定模块、确定模块和判断模块；
所述存储模块，用于存储至少一个命令手势与命令的对应关系；
所述接收模块，用于接收摄像设备拍摄的待检测手势的至少一个手势图像；
所述图像处理模块，用于针对所述接收模块接收的每一个所述手势图像，提取当前手势图像中的至少一个几何不变矩和至少一段区域边界，根据所述提取模块提取的所述至少一个几何不变矩和所述至少一段区域边界，确定所述当前手势图像中的手型；
所述手势确定模块，用于根据所述图像处理模块得到的各个所述手势图像中的手型，确定所述待检测手势；
所述确定模块，用于确定所述手势确定模块确定的所述待检测手势与每个所述命令手势的手势相似度；
所述判断模块，用于判断在所述存储模块存储的所述至少一个命令手势中是否存在与所述待检测手势的所述手势相似度达到预设手势相似度的目标命令手势，如果是，则根据所述对应关系，确定所述目标命令手势对应的目标命令，将所述目标命令发送给待控制目标。
优选地，进一步包括：转换模块和去噪模块；
所述转换模块，用于将所述至少一个手势图像转换为Lab空间下的所述至少一个手势图像；
所述去噪模块，用于对Lab空间下的所述至少一个手势图像进行去除噪声的处理。
优选地，所述图像处理模块，包括：中心矩确定单元、构造单元、获取单元、区域确定单元和边缘检测单元；
所述中心矩确定单元，用于确定所述当前手势图像的中心矩；
所述构造单元，用于根据所述中心矩确定单元确定的所述中心距，构造至少一个所述几何不变矩；
所述获取单元，用于获取所述当前手势图像中的亮度梯度；
所述区域确定单元，用于根据所述获取单元获取的所述亮度梯度，确定包括所述区域边界的的各个目标区域；
所述边缘检测单元，用于分别对各个所述目标区域进行边缘检测，以确定每个所述目标区域对应的所述区域边界；
和/或，
所述图像处理模块，用于连通各段所述区域边界，获得所述当前手势图像中的手型的边界；利用所述当前手势图像中的手型的边界和所述至少一个几何不变矩，确定所述当前手势图像中的手型。
优选地，所述手势确定模块，用于执行：
A1，确定每个所述手势图像的手型与每个所述命令手势的手型的手型相似度；
A2，根据每个所述手势图像对应的各个所述手型相似度，确定是否存在需要剔除的所述手势图像，如果是，则剔除需要剔除的所述手势图像，执行A3，否则，执行A3；
A3，确定剩余的所述手势图像的拍摄时间，执行A4；
A4，根据所述拍摄时间的先后顺序，排列剩余的所述手势图像，生成所述待检测手势的运动轨迹；
A5，根据剩余的所述手势图像中的手型和所述运动轨迹，确定所述待检测手势；
所述确定模块，用于针对每个所述命令手势，确定所述待检测手势的运动轨迹与当前命令手势的运动轨迹的轨迹相似度，根据每个剩余的所述手势图像的手型与所述当前命令手势的手型的手型相似度以及所述轨迹相似度，确定所述待检测手势与所述当前命令手势的手势相似度。
第三方面，本发明实施例提供了一种控制待控制目标的系统，包括：摄像设备和第二方面中任一所述控制待控制目标的装置；
所述摄像设备，用于拍摄待检测手势的至少一个手势图像，并将所述至少一个手势图像发送给所述控制待控制目标的装置。
本发明实施例提供了一种控制待控制目标的方法、装置和系统，接收摄像设备拍摄的待检测手势的至少一个手势图像。提取每一个手势图像中的至少一个几何不变矩和至少一段区域边界，其中，手势图像中的几何不变矩不会因为手势图像发生几何变换而改变，因此可以用来描述手势图像形状特征，便于确定手型；手势图像中的区域边界指在手势图像中一部分边界，通过区域边界可以将整个手型与周围的背景区分出来，以限定几何不变矩的描述范围。根据至少一个几何不变矩和至少一段区域边界，对应地确定每一个手势图像中的手型；根据每一个手势图像中的手型，确定出待检测手势。最后确定待检测手势与每个命令手势的手势相似度，通过判断各个手势相似度是否达到预设手势相似度，来判断在至少一个命令手势中是否存在目标命令手势与待检测手势相对应；当存在目标命令手势时，根据预先存储的命令手势与命令的对应关系，确定目标命令手势对应的目标命令，再将目标命令发送给待控制目标。由此可见，本发明实施例能够通过识别用户发送的手势来判断用户发送的指令，再将用户发送的指令发送给待控制目标。由于利用手势发送命令可以避免由于物理遥控装置故障或丢失给用户带来的不变，因此，本发明实施例能够提高用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种控制待控制目标的方法流程图；
图2是本发明一实施例提供的另一种控制待控制目标的方法流程图；
图3是本发明一实施例提供的一种控制待控制目标的装置的结构示意图；
图4是本发明一实施例提供的另一种控制待控制目标的装置的结构示意图；
图5是本发明一实施例提供的又一种控制待控制目标的装置的结构示意图；
图6是本发明一实施例提供的一种控制待控制目标的系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种控制待控制目标的方法，包括以下步骤：
步骤101，预先存储至少一个命令手势与命令的对应关系。
步骤102，接收摄像设备拍摄的待检测手势的至少一个手势图像。
步骤103，针对每一个所述手势图像，提取当前手势图像中的至少一个几何不变矩和至少一段区域边界，根据所述至少一个几何不变矩和所述至少一段区域边界，确定所述当前手势图像中的手型。
步骤104，根据各个所述手势图像中的手型，确定所述待检测手势。
步骤105，确定所述待检测手势与每个所述命令手势的手势相似度。
步骤106，当在所述至少一个命令手势中存在与所述待检测手势的所述手势相似度达到预设手势相似度的目标命令手势时，根据所述对应关系，确定所述目标命令手势对应的目标命令，将所述目标命令发送给待控制目标。
本发明实施例提供了一种控制待控制目标的方法，接收摄像设备拍摄的待检测手势的至少一个手势图像。提取每一个手势图像中的至少一个几何不变矩和至少一段区域边界，其中，手势图像中的几何不变矩不会因为手势图像发生几何变换而改变，因此可以用来描述手势图像形状特征，便于确定手型；手势图像中的区域边界指在手势图像中一部分边界，通过区域边界可以将整个手型与周围的背景区分出来，以限定几何不变矩的描述范围。根据至少一个几何不变矩和至少一段区域边界，对应地确定每一个手势图像中的手型；根据每一个手势图像中的手型，确定出待检测手势。最后确定待检测手势与每个命令手势的手势相似度，通过判断各个手势相似度是否达到预设手势相似度，来判断在至少一个命令手势中是否存在目标命令手势与待检测手势相对应；当存在目标命令手势时，根据预先存储的命令手势与命令的对应关系，确定目标命令手势对应的目标命令，再将目标命令发送给待控制目标。由此可见，本发明实施例能够通过识别用户发送的手势来判断用户发送的指令，再将用户发送的指令发送给待控制目标。由于利用手势发送命令可以避免由于物理遥控装置故障或丢失给用户带来的不变，因此，本发明实施例能够提高用户体验。
通常，摄像设备拍摄的图像使用的色彩模型为XYZ模型，即以红绿蓝为坐标轴来描述其他颜色的颜色空间，XYZ模型对色彩的表达效果受摄像设备的影响，所以XYZ模型描述的图像可能会影响手势图像的识别结果，因此在本发明的一个实施例中，在所述接收摄像设备拍摄的待检测手势的至少一个手势图像之后，进一步包括：
将所述至少一个手势图像转换为色彩模型Lab空间下的所述至少一个手势图像；
对Lab空间下的所述至少一个手势图像进行去除噪声的处理。
因为Lab空间描述的是颜色的显示方式，而不是设备生成颜色所需的特定色料的数量，所以Lab被视为与设备无关的颜色模型。同时，Lab空间中的数值能够描述正常视力的人能够看到的所有颜色，具有宽广的色域，这有利于在数字图形的处理中保留尽量宽阔的色域和丰富的色彩，以保证检测结果的准确性。
在摄像设备拍摄的手势图像以及色彩模型转化时，手势图像中会产生噪音，噪音会影响检测结果，因此对单个字符图像进行处理，为了不在提取时不生成无效的特征。
在检测手势的过程中，提取待检测手势的特征能够保证检测结果的准确性，在本发明的一个实施例中，所述提取当前手势图像中待检测手势的至少一个几何不变矩和至少一段区域边界，包括：
确定所述当前手势图像的中心矩；
根据所述中心距，构造至少一个所述几何不变矩；
获取所述当前手势图像中的亮度梯度；
根据所述亮度梯度，确定包括所述区域边界的的各个目标区域；
分别对各个所述目标区域进行边缘检测，确定每个所述目标区域对应的所述区域边界。
一般地，根据手型的形状特征可以对手型进行识别。手型的形状特征包括手型非边界区域的特征以及边界区域的特征，其中，非边界区域的特征通过几何不变矩来获取，几何不变矩根据手型的中心距构造出来。所谓中心距，就是按照各像元到质心的距离，反映非边界区域中各像元的分布情况。由于中心距不随位移发生变化，因此可以通过中心距构造出的几何不变矩获取手型非边界区域的特征。
在手势图像中，手型的边界区域与非边界区域存在亮度差异，因此一般通过亮度差异判断手型的边界区域，这种亮度差异可以通过亮度梯度表达。对于一张手势图像，亮度梯度就是各像元相对于质心的亮度变化趋势。根据亮度梯度，可以确定各区域的亮度，利用各区域的亮度可以得到各区域的亮度差值，各区域的亮度差值可以表达各区域的亮度差异。
如果某个区域与非边界区域亮度差值达到预设阈值，说明该区域包括区域边界，则该区域为目标区域。确定目标区域后，在对目标区域进行边界检测可以得到目标区域里的区域边界。
根据提取几何不变矩和区域边界确定手型，在本发明的一个实施例中，所述根据所述至少一个几何不变矩和所述至少一段区域边界，确定所述当前手势图像中的手型，包括：
连通各段所述区域边界，获得所述当前手势图像中的手型的边界；
利用所述当前手势图像中的手型的边界和所述至少一个几何不变矩，确定所述当前手势图像中的手型。
对于手型，无法单存依靠边界或几何不变矩对形状特征进行描述。边界只能确定手型的大小、面积和质心位置，但人与人的手大小不同，形状也不同，单靠边界检测手型不具用通用性；几何不变矩只能确定图像中各像元的分布情况，在不确定边界的情况下，很容易提取背景中的像元的几何矩，从而产生误差，使得检测结果不准确。因此，在本发明实施例中，通过几何不变矩和边界来确定手型。
仅通过手型是不能识别手势的，需要将手势的运动轨迹和手型相结合才能得到手势，之后在对手势进行识别，在本发明的一个实施例中，所述根据各个所述手势图像中的手型，确定所述待检测手势，包括：
A1，确定每个所述手势图像的手型与每个所述命令手势的手型的手型相似度；
A2，根据每个所述手势图像对应的各个所述手型相似度，判断是否存在需要剔除的所述手势图像，如果是，则剔除需要剔除的所述手势图像，执行A3，否则，执行A3；
A3，确定剩余的所述手势图像的拍摄时间，执行A4；
A4，根据所述拍摄时间的先后顺序，排列剩余的所述手势图像，生成所述待检测手势的运动轨迹；
A5，根据剩余的所述手势图像中的手型和所述运动轨迹，确定所述待检测手势；
所述确定所述待检测手势与每个所述命令手势的手势相似度，包括：
针对每个所述命令手势，确定所述待检测手势的运动轨迹与当前命令手势的运动轨迹的轨迹相似度，根据每个剩余的所述手势图像的手型与所述当前命令手势的手型的手型相似度以及所述轨迹相似度，确定所述待检测手势与所述当前命令手势的手势相似度。
为了能够得到比较精确的待检测手势的运动轨迹，需要先确定各个手势图像的手型与每个命令手势的手型的手型相似度。根据每个手势图像对应的各个手型相似度，剔除需要剔除的手势图像，再获取剩余手势图像的拍摄时间的先后顺序。例如，对于单个手势图像A，先计算出手势图像A与各个命令手势的手型的手型相似度，当各个手型相似度均低于预设的手型相似度时，说明手势图像A与命令手势无关，需要剔除。如果存在至少一个手型相似度不小于预设的手型相似度，说明手势图像A与命令手势相关，获取手势图像A的拍摄时间。根据剩余手势图像的拍摄时间的先后顺序，排列剩余手势图像，从而生成待检测手势的运动轨迹，根据剩余的手势图像中的手型和运动轨迹，确定待检测手势。
在确定运动轨迹之后，确定待检测手势与各个命令手势的轨迹相似度，最后根据每个剩余的手势图像的手型的手型相似度以及轨迹相似度，确定待检测手势与各个命令手势的手势相似度。
例如，一共有三个手势图像，两个命令手势A、B，通过三个手势图像能够获得待检测手势的运动轨迹，分别得到运动轨迹与命令手势A、B的运动轨迹的轨迹相似度X1、X2，根据三个手势图像的手型相似度以及X1确定待检测手势与命令手势A的手势相似度；根据三个手势图像的手型相似度以及X2确定待检测手势与命令手势B的手势相似度。
为了更好地说明本发明实施例，以通过机顶盒遥控电视机为例，如图2所示，本发明实施例上述提供了另一种控制待控制目标的方法，包括以下步骤：
步骤201，预先存储至少一个命令手势与命令的对应关系。
在本发明实施例中，根据电视常用操作，一共存储6种命令手势与命令的对应关系，分别为：S1，五指张开，手心面对摄像设备，手保持竖直状态，沿竖直方向向上移动，代表向前换台；S2，五指张开，手心面对摄像设备，手保持竖直状态，沿竖直方向向下移动，代表向后换台；S3，五指张开，手心面对摄像设备，手保持竖直状态，沿水平方向向左运动，代表快退；S4，五指张开，手心面对摄像设备，手保持竖直状态，沿水平方向向右，代表快进；S5，五指张开，手保持竖直状态，逆时针转动，代表增加音量；S6，五指张开，手保持竖直状态，顺时针转动，代表减小音量。
步骤202，接收摄像设备拍摄的待检测手势的至少一个手势图像。
在本发明实施例中，摄像设备拍摄在预设时间内拍摄手势，因此一个手势对应多个手势图像。
步骤203，将手势图像转换为Lab空间下的手势图像，并对每个Lab空间下的手势图像进行去除噪声的处理。
在本发明实施例中，机顶盒中的图像默认的色彩模型为Lab空间，其中，L表示亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。
步骤204，针对每一个手势图像，确定当前手势图像的中心矩。
步骤205，根据中心距，构造至少一个几何不变矩。
在本发明实施例中，先确定对于图像位移不变的中心矩，再根据位移不变的中心矩得到二阶和三阶归一化中心距，最后根据二阶和三阶归一化中心距构造4个几何不变矩；
步骤206，针对每一个手势图像，获取当前手势图像中的亮度梯度。
步骤207，根据亮度梯度，确定包括区域边界的的各个目标区域。
步骤208，分别对各个目标区域进行边缘检测，确定每个目标区域对应的区域边界。
在本发明实施例中，根据亮度梯度，获取任一区域与非边界区域的亮度差值，当存在亮度差值达到设定阈值时，确定该亮度变化值对应的区域为目标区域。
步骤209，连通各段区域边界，获得当前手势图像中的手型的边界。
步骤210，利用当前手势图像中的手型的边界和至少一个几何不变矩，确定当前手势图像中的手型。
在本发明实施例中，几何不变矩用来描述图像中各像元在以质心为原点的坐标系中的位置，手势图像中的手型的边界用来确定几何不变矩描述的范围。
步骤211，确定每个手势图像的手型与每个命令手势的手型的手型相似度。
在本发明实施例中，共接收3个手势图像，分别为A、B、C，之后分别确定A与命令手势S1到S6的手型相似度、B与命令手势S1到S6的手型相似度以及C与命令手势S1到S6的手型相似度。
步骤212，根据每个手势图像对应的各个手型相似度，判断是否存在需要剔除的手势图像，如果是执行步骤213，否则执行步骤214。
步骤213，剔除需要剔除的手势图像。
在本发明实施例中，根据步骤211中的实施例，以对A操作为例，确定A的各个手型相似度是否达到预设手型相似度，如果都没有达到预设手型相似度说明A的手型与命令手势无关，需要剔除；如果有至少一个手型相似度达到预设手型相似度，则取各个相似度的平均值为A的手型相似度。
步骤214，确定剩余的手势图像的拍摄时间。
步骤215，根据拍摄时间的先后顺序，排列剩余的手势图像，生成待检测手势的运动轨迹。
步骤216，根据剩余的手势图像中的手型和运动轨迹，确定待检测手势。
步骤217，针对每个命令手势，确定待检测手势的运动轨迹与当前命令手势的运动轨迹的轨迹相似度，根据每个剩余的手势图像的手型与当前命令手势的手型的手型相似度以及轨迹相似度，确定待检测手势与当前命令手势的手势相似度。
在本发明实施例中，在确定待检测手势之后，要分别确定待测手势与命令手势S1到S6的轨迹相似度。以待测手势和S1的相似度为例，手势相似度计算公式为X1表征待检测手势与命令手势S1的手势相似度，X2表征手型相似度，X3为轨迹相似度；其中XA、XB、XC分别代表A、B、C的手型相似度。
步骤218，判断在至少一个命令手势中是否存在与待检测手势的手势相似度达到预设手势相似度的目标命令手势，如果是，则执行步骤219；否则，结束当前流程。
在本发明实施例中，预设手势相似度为98％，待检测手势有6个手势相似度a、b、c、d、e、f，分别对应S1、S2、S3、S4、S5、S6，其中只有a达到98％，那么目标命令手势为S1。
步骤219，根据对应关系，确定目标命令手势对应的目标命令，将目标命令发送给电视机。
在本发明实施例中，目标命令手势为S1对应的命令为向前换台，机顶盒会把向前换台的命令发送给电视机，假如电视机当前频道为65，则接到命令后频道变成64。
本发明实施例提供的技术方案能够根据用户的手势判断用户向电视机发送的命令，并触发电视机执行命令，使得用户不用遥控器就可以遥控电视机，提高了用户体验。本发明的实施例提供技术方案不仅控制电视，还可以控制手机、电脑浏览网页。
在本发明的一个实施例中，通过采用BP(Error Back Propagation NeuralNetwork误差反向传播神经网络)神经网络计算手势图像的手势特征量，手势图像的手势特征量可以用来计算手型相似度、轨迹相似度和手势相似度。
如图3所示，本发明实施例提供了一种控制待控制目标的装置，包括：存储模块301、接收模块302、图像处理模块303、手势确定模块304、确定模块305和判断模块306；
存储模块301，用于存储至少一个命令手势与命令的对应关系；
接收模块302，用于接收摄像设备拍摄的待检测手势的至少一个手势图像；
图像处理模块303，用于针对所述接收模块接收的每一个所述手势图像，提取当前手势图像中的至少一个几何不变矩和至少一段区域边界，根据所述提取模块提取的所述至少一个几何不变矩和所述至少一段区域边界，确定所述当前手势图像中的手型；
手势确定模块304，用于根据所述图像处理模块得到的各个所述手势图像中的手型，确定所述待检测手势；
确定模块305，用于确定所述手势确定模块确定的所述待检测手势与每个所述命令手势的手势相似度；
判断模块306，用于判断在存储模块301存储的所述至少一个命令手势中是否存在与所述待检测手势的所述手势相似度达到预设手势相似度的目标命令手势，如果是，则根据所述对应关系，确定所述目标命令手势对应的目标命令，将所述目标命令发送给待控制目标。
如图4所示，本发明实施例提供了另一种控制待控制目标的装置，进一步包括：转换模块401和去噪模块402；
转换模块401，用于将所述至少一个手势图像转换为Lab空间下的所述至少一个手势图像；
去噪模块402，用于对Lab空间下的所述至少一个手势图像进行去除噪声的处理。
如图5所示，本发明实施例提供了又一种控制待控制目标的装置，图像处理模块303，包括：中心矩确定单元3031、构造单元3032、获取单元3033、区域确定单元3034和边缘检测单元3035；
中心矩确定单元3031，用于确定所述当前手势图像的中心矩；
构造单元3032，用于根据所述中心矩确定单元确定的所述中心距，构造至少一个所述几何不变矩；
获取单元3033，用于获取所述当前手势图像中的亮度梯度；
区域确定单元3034，用于根据所述获取单元获取的所述亮度梯度，确定包括所述区域边界的的各个目标区域；
边缘检测单元3035，用于分别对各个所述目标区域进行边缘检测，以确定每个所述目标区域对应的所述区域边界。
在本发明的一个实施例中，图像处理模块303，用于连通各段所述区域边界，获得所述当前手势图像中的手型的边界；利用所述当前手势图像中的手型的边界和所述至少一个几何不变矩，确定所述当前手势图像中的手型。
在本发明的一个实施例中，手势确定模块304，用于执行：
A1，确定每个所述手势图像的手型与每个所述命令手势的手型的手型相似度；
A2，根据每个所述手势图像对应的各个所述手型相似度，确定是否存在需要剔除的所述手势图像，如果是，则剔除需要剔除的所述手势图像，执行A3，否则，执行A3；
A3，确定剩余的所述手势图像的拍摄时间，执行A4；
A4，根据所述拍摄时间的先后顺序，排列剩余的所述手势图像，生成所述待检测手势的运动轨迹；
A5，根据剩余的所述手势图像中的手型和所述运动轨迹，确定所述待检测手势；
确定模块305，用于针对每个所述命令手势，确定所述待检测手势的运动轨迹与当前命令手势的运动轨迹的轨迹相似度，根据每个剩余的所述手势图像的手型与所述当前命令手势的手型的手型相似度以及所述轨迹相似度，确定所述待检测手势与所述当前命令手势的手势相似度。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
如图6所示，本发明实施例提供了一种控制待控制目标的系统，包括：摄像设备601和上述实施例中任一所述控制待控制目标的装置602；
摄像设备601，用于拍摄待检测手势的至少一个手势图像，并将所述至少一个手势图像发送给控制待控制目标的装置602。
综上所述，本发明各个实施例至少具有如下有益效果：
1、本发明一实施例中，接收摄像设备拍摄的待检测手势的至少一个手势图像，提取每一个手势图像中的至少一个几何不变矩和至少一段区域边界，其中，手势图像中的几何不变矩不会因为手势图像发生几何变换而改变，因此可以用来描述手势图像形状特征，便于确定手型；手势图像中的区域边界指在手势图像中一部分边界，通过区域边界可以将整个手型与周围的背景区分出来，以限定几何不变矩的描述范围。根据至少一个几何不变矩和至少一段区域边界，对应地确定每一个手势图像中的手型；根据每一个手势图像中的手型，确定出待检测手势。最后确定待检测手势与每个命令手势的手势相似度，通过判断各个手势相似度是否达到预设手势相似度，来判断在至少一个命令手势中是否存在目标命令手势与待检测手势相对应；当存在目标命令手势时，根据预先存储的命令手势与命令的对应关系，确定目标命令手势对应的目标命令，再将目标命令发送给待控制目标。由此可见，本发明实施例能够通过识别用户发送的手势来判断用户发送的指令，再将用户发送的指令发送给待控制目标。由于利用手势发送命令可以避免由于物理遥控装置故障或丢失给用户带来的不变，因此，本发明实施例能够提高用户体验。
2、本发明一实施例中，通过转换色彩模型，排除了摄像设备的特定色料对手势图像的干扰，并在转化后实行去噪操作，保证了检测结果的精确度。
3、本发明一实施例中，通过确定几何不变矩描述各像元与质心的关系，并利用边界限制几何不变矩描述范围，保证了手型识别的精确度，进一步提高了检测结果的精确度。
4、本发明一实施例中，结合手型相似度和轨迹相似度确定待检测手势与命令手势的手势相似度，进一步提高了检测结果的精确度。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个〃····〃”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种控制待控制目标的方法，其特征在于，预先存储至少一个命令手势与命令的对应关系，包括：
接收摄像设备拍摄的待检测手势的至少一个手势图像；
针对每一个所述手势图像，提取当前手势图像中的至少一个几何不变矩和至少一段区域边界，根据所述至少一个几何不变矩和所述至少一段区域边界，确定所述当前手势图像中的手型；
根据各个所述手势图像中的手型，确定所述待检测手势；
确定所述待检测手势与每个所述命令手势的手势相似度；
判断在所述至少一个命令手势中是否存在与所述待检测手势的所述手势相似度达到预设手势相似度的目标命令手势，如果是，则根据所述对应关系，确定所述目标命令手势对应的目标命令，将所述目标命令发送给待控制目标。
2.根据权利要求1所述的方法，其特征在于，
在所述接收摄像设备拍摄的待检测手势的至少一个手势图像之后，进一步包括：
将所述至少一个手势图像转换为色彩模型Lab空间下的所述至少一个手势图像；
对Lab空间下的所述至少一个手势图像进行去除噪声的处理。
3.根据权利要求1所述的方法，其特征在于，
所述提取当前手势图像中待检测手势的至少一个几何不变矩和至少一段区域边界，包括：
确定所述当前手势图像的中心矩；
根据所述中心距，构造至少一个所述几何不变矩；
获取所述当前手势图像中的亮度梯度；
根据所述亮度梯度，确定包括所述区域边界的的各个目标区域；
分别对各个所述目标区域进行边缘检测，确定每个所述目标区域对应的所述区域边界。
4.根据权利要求1所述的方法，其特征在于，
所述根据所述至少一个几何不变矩和所述至少一段区域边界，确定所述当前手势图像中的手型，包括：
连通各段所述区域边界，获得所述当前手势图像中的手型的边界；
利用所述当前手势图像中的手型的边界和所述至少一个几何不变矩，确定所述当前手势图像中的手型。
5.根据权利要求1-4中任一所述的方法，其特征在于，
所述根据各个所述手势图像中的手型，确定所述待检测手势，包括：
A1，确定每个所述手势图像的手型与每个所述命令手势的手型的手型相似度；
A2，根据每个所述手势图像对应的各个所述手型相似度，判断是否存在需要剔除的所述手势图像，如果是，则剔除需要剔除的所述手势图像，执行A3，否则，执行A3；
A3，确定剩余的所述手势图像的拍摄时间，执行A4；
A4，根据所述拍摄时间的先后顺序，排列剩余的所述手势图像，生成所述待检测手势的运动轨迹；
A5，根据剩余的所述手势图像中的手型和所述运动轨迹，确定所述待检测手势；
所述确定所述待检测手势与每个所述命令手势的手势相似度，包括：
针对每个所述命令手势，确定所述待检测手势的运动轨迹与当前命令手势的运动轨迹的轨迹相似度，根据每个剩余的所述手势图像的手型与所述当前命令手势的手型的手型相似度以及所述轨迹相似度，确定所述待检测手势与所述当前命令手势的手势相似度。
6.一种控制待控制目标的装置，其特征在于，包括：存储模块、接收模块、图像处理模块、手势确定模块、确定模块和判断模块；
所述存储模块，用于存储至少一个命令手势与命令的对应关系；
所述接收模块，用于接收摄像设备拍摄的待检测手势的至少一个手势图像；
所述图像处理模块，用于针对所述接收模块接收的每一个所述手势图像，提取当前手势图像中的至少一个几何不变矩和至少一段区域边界，根据所述提取模块提取的所述至少一个几何不变矩和所述至少一段区域边界，确定所述当前手势图像中的手型；
所述手势确定模块，用于根据所述图像处理模块得到的各个所述手势图像中的手型，确定所述待检测手势；
所述确定模块，用于确定所述手势确定模块确定的所述待检测手势与每个所述命令手势的手势相似度；
所述判断模块，用于判断在所述存储模块存储的所述至少一个命令手势中是否存在与所述待检测手势的所述手势相似度达到预设手势相似度的目标命令手势，如果是，则根据所述对应关系，确定所述目标命令手势对应的目标命令，将所述目标命令发送给待控制目标。
7.根据权利要求6所述的装置，其特征在于，
进一步包括：转换模块和去噪模块；
所述转换模块，用于将所述至少一个手势图像转换为Lab空间下的所述至少一个手势图像；
所述去噪模块，用于对Lab空间下的所述至少一个手势图像进行去除噪声的处理。
8.根据权利要求6所述的装置，其特征在于，
所述图像处理模块，包括：中心矩确定单元、构造单元、获取单元、区域确定单元和边缘检测单元；
所述中心矩确定单元，用于确定所述当前手势图像的中心矩；
所述构造单元，用于根据所述中心矩确定单元确定的所述中心距，构造至少一个所述几何不变矩；
所述获取单元，用于获取所述当前手势图像中的亮度梯度；
所述区域确定单元，用于根据所述获取单元获取的所述亮度梯度，确定包括所述区域边界的的各个目标区域；
所述边缘检测单元，用于分别对各个所述目标区域进行边缘检测，以确定每个所述目标区域对应的所述区域边界；
和/或，
所述图像处理模块，用于连通各段所述区域边界，获得所述当前手势图像中的手型的边界；利用所述当前手势图像中的手型的边界和所述至少一个几何不变矩，确定所述当前手势图像中的手型。
9.根据权利要求6-8中任一所述的装置，其特征在于，
所述手势确定模块，用于执行：
A1，确定每个所述手势图像的手型与每个所述命令手势的手型的手型相似度；
A2，根据每个所述手势图像对应的各个所述手型相似度，确定是否存在需要剔除的所述手势图像，如果是，则剔除需要剔除的所述手势图像，执行A3，否则，执行A3；
A3，确定剩余的所述手势图像的拍摄时间，执行A4；
A4，根据所述拍摄时间的先后顺序，排列剩余的所述手势图像，生成所述待检测手势的运动轨迹；
A5，根据剩余的所述手势图像中的手型和所述运动轨迹，确定所述待检测手势；
所述确定模块，用于针对每个所述命令手势，确定所述待检测手势的运动轨迹与当前命令手势的运动轨迹的轨迹相似度，根据每个剩余的所述手势图像的手型与所述当前命令手势的手型的手型相似度以及所述轨迹相似度，确定所述待检测手势与所述当前命令手势的手势相似度。
10.一种控制待控制目标的系统，其特征在于，包括：摄像设备和权利要求6至9中任一所述控制待控制目标的装置；
所述摄像设备，用于拍摄待检测手势的至少一个手势图像，并将所述至少一个手势图像发送给所述控制待控制目标的装置。
CN201710752075.9A 2017-08-28 2017-08-28 一种控制待控制目标的方法、装置和系统 Pending CN107436686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710752075.9A CN107436686A (zh) 2017-08-28 2017-08-28 一种控制待控制目标的方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710752075.9A CN107436686A (zh) 2017-08-28 2017-08-28 一种控制待控制目标的方法、装置和系统

Publications (1)

Publication Number Publication Date
CN107436686A true CN107436686A (zh) 2017-12-05

Family

ID=60460722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710752075.9A Pending CN107436686A (zh) 2017-08-28 2017-08-28 一种控制待控制目标的方法、装置和系统

Country Status (1)

Country Link
CN (1) CN107436686A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961454A (zh) * 2017-12-22 2019-07-02 北京中科华正电气有限公司 一种嵌入式智能机器中的人机交互装置及处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202907113U (zh) * 2012-06-14 2013-04-24 深圳市同洲电子股份有限公司 一种手势识别控制的电视机
CN103777748A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种体感输入方法及装置
KR20140126856A (ko) * 2013-04-23 2014-11-03 연세대학교 산학협력단 손 모양 인식 방법 및 그 장치
US20150026646A1 (en) * 2013-07-18 2015-01-22 Korea Electronics Technology Institute User interface apparatus based on hand gesture and method providing the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202907113U (zh) * 2012-06-14 2013-04-24 深圳市同洲电子股份有限公司 一种手势识别控制的电视机
CN103777748A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种体感输入方法及装置
KR20140126856A (ko) * 2013-04-23 2014-11-03 연세대학교 산학협력단 손 모양 인식 방법 및 그 장치
US20150026646A1 (en) * 2013-07-18 2015-01-22 Korea Electronics Technology Institute User interface apparatus based on hand gesture and method providing the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何阳清: "基于几何特征的手势识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961454A (zh) * 2017-12-22 2019-07-02 北京中科华正电气有限公司 一种嵌入式智能机器中的人机交互装置及处理方法

Similar Documents

Publication Publication Date Title
CN103252778B (zh) 用于估计机器人位置的设备及其方法
EP3660703B1 (en) Method, apparatus, and system for identifying device, storage medium, processor, and terminal
US9288423B2 (en) Image processing device, object selection method and program
EP3514724B1 (en) Depth map-based heuristic finger detection method
US9576363B2 (en) Object picking system, object detecting device, object detecting method
Cui et al. Grasp state assessment of deformable objects using visual-tactile fusion perception
CN109992107B (zh) 虚拟操控装置及其操控方法
CN102253995B (zh) 一种利用位置信息实现图像搜索的方法和系统
JP5895569B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US10326928B2 (en) Image processing apparatus for determining whether section of target area matches section of person area and control method thereof
CN104081307A (zh) 图像处理装置、图像处理方法和程序
CN111428731A (zh) 基于机器视觉的多类目标识别定位方法、装置和设备
WO2022152001A1 (zh) 手势识别方法和装置、电子设备、可读存储介质和芯片
CN108961183A (zh) 图像处理方法、终端设备及计算机可读存储介质
CN108259746B (zh) 一种图像色彩检测方法及移动终端
CN110509273A (zh) 基于视觉深度学习特征的机器人机械手检测及抓取方法
CN108549878A (zh) 基于深度信息的手部检测方法及系统
CN107203742A (zh) 一种基于显著特征点提取的手势识别方法及装置
CN104914990A (zh) 姿势辨识装置以及姿势辨识装置的控制方法
CN108833774A (zh) 拍照控制方法、装置和无人机系统
CN114445853A (zh) 一种视觉手势识别系统识别方法
CN107436686A (zh) 一种控制待控制目标的方法、装置和系统
KR20180092033A (ko) 부품 등록기
CN108388790A (zh) 一种解锁请求响应方法、移动终端
CN106406507B (zh) 图像处理方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171205

RJ01 Rejection of invention patent application after publication