CN117558068B - 基于多源数据融合的智能设备手势识别方法 - Google Patents

Abstract

本发明涉及图像增强技术领域，具体涉及一种基于多源数据融合的智能设备手势识别方法；根据初始识别图像中的边缘信息的差异特征获得标记像素点；根据标记像素点之间的距离特征和梯度特征获得标记区域；根据初始识别图像的灰度特征进行随机聚类获得识别子图像；根据识别子图像与标记区域的重合特征获得识别最优子图像；根据识别最优子图像的灰度分布特征获得映射指数和映射灰度区间。本发明根据识别最优子图像的映射灰度区间通过直方图均衡化获得增强子图像和识别增强图像，通过神经网络对识别增强图像进行手势识别；提高了图像增强效果和手势识别的准确性。

Description

基于多源数据融合的智能设备手势识别方法

技术领域

本发明涉及图像增强技术领域，具体涉及一种基于多源数据融合的智能设备手势识别方法。

背景技术

手势识别是指通过智能设备对用户的手部动作进行感知和理解，从而实现与设备的交互。传统的手势识别方法通常只依靠单一的数据源进行手势分析，存在识别准确性低、容易受到环境干扰等问题，故为了提高手势识别准确性，需要从多个设备传感器的多源数据中提取有效特征进行手势分析。

手势识别需要从多源的图像数据中提取有用的特征进行分析，但在现实的复杂环境中可能难以提取有效的特征进行手势识别，导致识别准确率降低，故需要对图像进行增强处理；直方图均衡化是一种现有传统的图像增强方法，该图像增强方法是针对全局进行增强的，可能会出现过曝或降低有效特征的对比度的情况，使得图像增强效果不佳；导致图像中部分重要信息丢失，影响手势识别的准确性。

发明内容

为了解决上述现有图像增强方法可能导致图像重要信息丢失，影响手势识别的准确性的技术问题，本发明的目的在于提供一种基于多源数据融合的智能设备手势识别方法，所采用的技术方案具体如下：

获取手势识别的初始识别图像；

根据所述初始识别图像中的边缘信息的差异特征获得标记像素点；根据所述标记像素点与预设邻域中其他标记像素点之间的距离特征和梯度特征获得标记像素点的连接像素点；根据所述标记像素点和所述连接像素点的位置特征获得标记区域；

根据所述初始识别图像的灰度特征进行随机聚类获得不同数量的识别子图像；根据所述识别子图像与所述标记区域的重合特征获得识别最优子图像；根据所述识别最优子图像的灰度分布特征获得映射指数；根据所述识别最优子图像的灰度特征和所述映射指数获得映射灰度区间；

根据所述识别最优子图像的所述映射灰度区间通过直方图均衡化算法进行图像增强获得增强子图像；根据所有的增强子图像进行合并获得识别增强图像；通过神经网络对所述识别增强图像进行手势识别。

进一步地，所述根据所述初始识别图像中的边缘信息的差异特征获得标记像素点的步骤包括：

通过Canny边缘检测算法与预设阈值区间对所述初始识别图像进行不同程度的边缘检测，获得不同的边缘检测图像；计算所述初始识别图像中的任意像素点在所有边缘检测图像中作为边缘像素点的频率，获得标记指数；当所述任意像素点的标记指数超过预设标记阈值时，所述任意像素点为标记像素点。

进一步地，所述根据所述标记像素点与预设邻域中其他标记像素点之间的距离特征和梯度特征获得标记像素点的连接像素点的步骤包括：

计算所述标记像素点与预设邻域内的任意其他标记像素点之间的欧氏距离并负相关映射，获得紧凑表征值；计算所述标记像素点与预设邻域内的任意其他标记像素点之间的梯度方向的余弦相似度并归一化，获得夹角表征值；计算所述紧凑表征值和所述夹角表征值的乘积，获得所述任意其他标记像素点的连接特征值；将数值最大的连接特征值对应的所述任意其他标记像素点作为所述标记像素点的连接像素点。

进一步地，所述根据所述标记像素点和所述连接像素点的位置特征获得标记区域的步骤包括：

将所述初始识别图像中所有标记像素点和对应的连接像素点进行连接，连接后组成不同的闭合区域作为所述标记区域。

进一步地，所述根据所述初始识别图像的灰度特征进行随机聚类获得不同数量的识别子图像的步骤包括：

根据初始识别图像中像素点的灰度值通过K-means聚类算法进行不同K值的聚类，所述K值为聚类中心的数量，K值的范围为预设聚类中心数量区间，对于任意K值的聚类结果，根据所述聚类结果中任意聚类簇的像素点以及像素点的位置获得识别子图像，所述聚类结果对应的识别子图像的数量为K值。

进一步地，所述根据所述识别子图像与所述标记区域的重合特征获得识别最优子图像的步骤包括：

计算所述聚类结果中所述识别子图像与所述标记区域的平均交并比，获得所述聚类结果的聚类效果表征值，将最大的聚类效果表征值对应的聚类结果的识别子图像作为所述识别最优子图像。

进一步地，所述根据所述识别最优子图像的灰度分布特征获得映射指数的步骤包括：

根据所述识别最优子图像中像素点的灰度值计算信息熵并负相关映射，获得所述识别最优子图像的映射指数。

进一步地，所述根据所述识别最优子图像的灰度特征和所述映射指数获得映射灰度区间的步骤包括：

计算所述识别最优子图像的灰度最大值与灰度最小值的差值，获得灰度范围值；计算常数256与所述灰度范围值的差值，获得调节范围值；计算所述调节范围值与所述映射指数的乘积，获得映射范围值；计算所述映射范围值与常数2的比值，获得映射调整值；

计算所述识别最优子图像的灰度最大值与所述映射调整值的和值并向下取整，获得区间最大值；当所述区间最大值不超过常数255时，所述映射灰度区间的最大值为所述区间最大值，否则为常数255；

计算所述识别最优子图像的灰度最小值与所述映射调整值的差值并向下取整，获得区间最小值；当所述区间最小值不低于常数0时，所述映射灰度区间的最小值为所述区间最小值，否则为常数0。

本发明具有如下有益效果：

在本发明中，获得标记像素点和对应连接像素点能够将初始识别图像中表示不同特征的区域进行划分；获得的标记区域能够表征初始识别图像中不同的特征区域，进而为初始识别图像的聚类效果进行评估；根据识别子图像和标记区域能够基于初始识别图像中的灰度分布特征和区域相似特征获得识别最优子图像，基于识别最优子图像进行图像增强能够提高增强效果。获得映射指数能够表征识别最优子图像中的灰度分布的均匀程度，从而更准确地获得直方图均衡化需要映射的灰度区间；获得映射灰度区间能够更准确地对识别最优子图像进行直方图均衡化，提高图像增强效果，避免图像过曝或降低有效特征的对比度；根据增强子图像获得识别增强图像能够提高手势识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于多源数据融合的智能设备手势识别方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于多源数据融合的智能设备手势识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于多源数据融合的智能设备手势识别方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于多源数据融合的智能设备手势识别方法流程图，该方法包括以下步骤：

步骤S1，获取手势识别的初始识别图像。

在本发明实施例中，实施场景为对需要手势识别的图像进图像增强，提高手势识别正确率；首先获取手势识别的初始识别图像，本发明实施例中通过多个不同的摄像头采集获取多源的原始图像并进行去噪处理，获得不同的初始识别图像，实施者可根据实施场景自行确定采集方法，需要说明的是图像去噪属于现有技术，具体计算步骤不再赘述。

步骤S2，根据初始识别图像中的边缘信息的差异特征获得标记像素点；根据标记像素点与预设邻域中其他标记像素点之间的距离特征和梯度特征获得标记像素点的连接像素点；根据标记像素点和连接像素点的位置特征获得标记区域。

因部分的初始识别图像中图像质量较差，受到环境干扰和复杂背景的干扰，故为了在多源数据融合进行手势识别的过程中保持较高的准确性，需要对获取的初始识别图像进行增强处理。直方图均衡化是一种现有的图像增强方法，该算法是对于全局图像进行增强，有可能出现过曝或者降低有效特征的对比度的情况，使得图像增强效果不佳；导致图像中部分重要信息丢失，影响手势识别的准确性。故需要对直方图均衡化的图像范围进行改进，将初始识别图像进行自适应拆分获得多个子图像，对每个子图像进行自适应直方图均衡化，在保证图像细节的同时提高图像增强的效果，提高手势识别的准确性；需要说明的是，直方图均衡化属于现有技术，具体图像增强步骤不再赘述。

进一步地，可对初始识别图像进行不同程度的边缘检测，用于手势识别的初始识别图像中有较多的边缘信息，若通过边缘信息将该图像分割为不同的区域，对不同区域进行不同程度的直方图均衡化，则会得到较好的增强效果；故可根据初始识别图像中的边缘信息的差异特征获得标记像素点。

优选地，在本发明实施例中，获取标记像素点的步骤包括：通过Canny边缘检测算法与预设阈值区间对初始识别图像进行不同程度的边缘检测，获得不同的边缘检测图像；不同程度的边缘检测通过不同的预设阈值实现，需要说明的是，实施者可根据实施场景自行确定预设阈值区间；随着预设阈值的不断增大，边缘图像中保留的边缘信息越来越少，由于在图像质量较差的情况下，细小的边缘纹理较浅，而不同区域间的纹理边缘较深，故可根据不同边缘检测图像中像素点的保留情况获取标记像素点。计算初始识别图像中的任意像素点在所有边缘检测图像中作为边缘像素点的频率，获得标记指数；当该任意像素点在所有边缘检测图像中作为边缘像素点时出现的次数越多，频率越大，意味着该任意像素点在不同区域间的边缘上的概率越大，标记指数越高；当该任意像素点的标记指数超过预设标记阈值时，任意像素点为标记像素点；在本发明实施例中预设标记阈值为0.7，实施者可根据实施场景自行确定；需要说明的是，Canny边缘检测算法属于现有技术，具体计算步骤不再赘述。

进一步地，获得初始识别图像中的标记像素点后，可根据标记像素点的分布获得不同的区域；故根据标记像素点与预设邻域中其他标记像素点之间的距离特征和梯度特征获得标记像素点的连接像素点，具体包括：计算标记像素点与预设邻域内的任意其他标记像素点之间的欧氏距离并负相关映射，获得紧凑表征值；预设邻域为以该标记像素点为中心的八邻域，实施者可根据实施场景自行确定；当两个标记像素点之间的欧氏距离越小，则紧凑表征值越大，两个标记像素点进行连接的可能性越大。计算标记像素点与预设邻域内的任意其他标记像素点之间的梯度方向的余弦相似度并归一化，获得夹角表征值；当梯度方向越相似时，夹角表征值越接近1，意味着两个标记像素点表示的特征信息越相似，进行连接的可能性越大。计算紧凑表征值和夹角表征值的乘积，获得任意其他标记像素点的连接特征值；将数值最大的连接特征值对应的任意其他标记像素点作为标记像素点的连接像素点。

遍历所有标记像素点，获得每个标记像素点的连接像素点；进而可根据标记像素点和连接像素点的位置特征获得标记区域，具体包括：将初始识别图像中所有标记像素点和对应的连接像素点进行连接，连接后组成不同的闭合区域作为标记区域。需要说明的是，标记像素点和连接像素点构成的线段也可与初始识别图像的轮廓构建成闭合的标记区域；构建的不同的标记区域只是粗糙的将初始识别图像进行划分，每个标记区域中表征的特征信息相似；基于标记区域可增加初始识别图像的子图像获取准确性。

步骤S3，根据初始识别图像的灰度特征进行随机聚类获得不同数量的识别子图像；根据识别子图像与标记区域的重合特征获得识别最优子图像；根据识别最优子图像的灰度分布特征获得映射指数；根据识别最优子图像的灰度特征和映射指数获得映射灰度区间。

为了能够提高图像增强的质量，可获取初始识别图像的子图像，根据子图像中的灰度特征进行自适应增强，但子图像的获取准确性还需要结合标记区域进一步分析，首先根据初始识别图像的灰度特征进行随机聚类获得不同数量的识别子图像。

优选地，在本发明一个实施例中，获取识别子图像的步骤包括：根据初始识别图像中像素点的灰度值通过K-means聚类算法进行不同K值的聚类，K值为聚类中心的数量，K值的范围为预设聚类中心数量区间，对于任意K值的聚类结果，根据聚类结果中任意聚类簇的像素点以及像素点的位置获得识别子图像，聚类结果对应的识别子图像的数量为K值。需要说明的是，K-means聚类算法属于现有技术，具体聚类步骤不再赘述，预设聚类中心数量区间可根据实施场景自行确定，在本发明实施例中为4至8；每个聚类簇中像素点的灰度值接近；每个识别子图像表征了初始识别图像中灰度值相似的灰度区域，例如K值为5时，聚类完成后会获得5个识别子图像。

通过聚类获得的识别子图像只是根据灰度特征进行区分，但难以将初始识别图像中表征相似特征的区域划分在同一个识别子图像中；故最佳的聚类效果为在保证灰度特征相似的同时，能够将表征相似特征信息的区域划分在同一个识别子图像中，进而在通过直方图均衡化进行图像增强时提高增强效果，保证手势识别的准确性。故可根据识别子图像与标记区域的重合特征获得识别最优子图像；优选地，获取识别最优子图像包括：计算聚类结果中识别子图像与标记区域的平均交并比，获得该聚类结果的聚类效果表征值，将最大的聚类效果表征值对应的聚类结果的识别子图像作为识别最优子图像。需要说明的是，平均交并比属于现有技术，通过计算两个样本的交集和并集的比值的平均值获取；在本发明实施例中，计算任意聚类结果对应的识别子图像与初始识别图像中标记区域的交并比的平均值，获得聚类效果表征值。当聚类效果表征值越大，意味着该聚类结果下的识别子图像中的灰度特征不仅相似，且识别子图像中存在越多的表征相似特征信息的区域，更利于自适应直方图均衡化；故将最大的聚类效果表征值对应的聚类结果的识别子图像作为识别最优子图像。

获得初始识别图像的不同的识别最优子图像后，可分别对每个识别最优子图像进行自适应直方图均衡化，直方图均衡化的映射范围为识别最优子图像的灰度区间；但由于识别最优子图像是基于聚类的方法获取的，故每个识别最优子图像的灰度分别较为集中，因此需要根据识别最优子图像的灰度分布特征调整直方图均衡化的灰度映射范围。直方图均衡化在对图像进行增强时，最佳效果是均衡化后的图像的灰度统计直方图尽可能的均匀，以增强图像的对比度。当灰度统计直方图的分布不均匀时，意味着图像中存在较大的对比度差异，一些区域较亮，一些区域较暗，在该情况下需要相比该图像的灰度区间更大的灰度映射范围，帮助调整灰度分布不均匀的情况；因为当灰度映射范围较小时，由于不能利用整个灰度范围，可能会导致对比度增强不够。

因此直方图均衡化的增强效果由识别最优子图像的灰度特征决定，首先根据识别最优子图像的灰度分布特征获得映射指数，具体包括：根据识别最优子图像中像素点的灰度值计算信息熵并负相关映射，获得识别最优子图像的映射指数。需要说明的是，信息熵属于现有技术，当变量的不确定越大，信息熵越大，具体计算步骤不再赘述；当识别最优子图像中像素点的灰度分布越均匀，信息熵越大，映射指数越小，意味着不需要扩大识别最优子图像在直方图均衡化时的灰度映射范围；反之，当映射指数越大，意味着该识别最优子图像中灰度分布越集中，为了增强图像的对比度，则需要越大的灰度映射范围。

进一步地，可根据识别最优子图像的灰度特征和映射指数获得映射灰度区间，具体包括：计算识别最优子图像的灰度最大值与灰度最小值的差值，获得灰度范围值；灰度范围值越大，意味着该识别最优子图像的灰度映射范围的增加程度不需要越大。计算常数256与灰度范围值的差值，获得调节范围值；常数256为灰度级的数量，当调节范围值越大，意味着该识别最优子图像需要越大的灰度映射范围以保证增强效果。计算调节范围值与映射指数的乘积，获得映射范围值；映射范围值越大，意味着该识别最优子图像在直方图均衡化中需要映射的灰度区间越大。计算映射范围值与常数2的比值，获得映射调整值；计算与常数2的比值的目的是分别在识别最优子图像的灰度区间的两端各增加一半，实现映射灰度区间的扩充。计算识别最优子图像的灰度最大值与映射调整值的和值并向下取整，获得区间最大值；当区间最大值不超过常数255时，映射灰度区间的最大值为区间最大值，否则为常数255。计算识别最优子图像的灰度最小值与映射调整值的差值并向下取整，获得区间最小值；当区间最小值不低于常数0时，映射灰度区间的最小值为区间最小值，否则为常数0。至此，基于映射灰度区间对识别最优子图像进行自适应直方图均衡化，使得图像增强效果更好；获取区间最大值的公式包括：

式中，表示识别最优子图像的区间最大值，/>表示识别最优子图像的灰度最大值，/>表示识别最优子图像的灰度最小值，/>表示识别最优子图像的灰度特征的信息熵，/>表示以自然常数为底的指数函数，/>表示映射指数；/>表示灰度范围值，/>表示调节范围值，/>表示映射范围值，/>表示映射调整值；/>表示向下取整。需要说明的是，区间最小值的获取公式相似，不再赘述。

步骤S4，根据识别最优子图像的映射灰度区间通过直方图均衡化算法进行图像增强获得增强子图像；根据所有的增强子图像进行合并获得识别增强图像；通过神经网络对识别增强图像进行手势识别。

获得识别最优子图像的映射灰度区间后，可根据识别最优子图像的映射灰度区间通过直方图均衡化算法进行图像增强获得增强子图像，需要说明的是，直方图均衡化算法属于现有技术，具体增强步骤不再赘述；进一步地，可根据所有的增强子图像进行合并获得识别增强图像；通过增强子图像获得的识别增强图像相比直接进行全局增强的增强效果更好，能够提高手势识别的准确率。最终可通过神经网络对识别增强图像进行手势识别，实施者可通过其他方式对识别增强图像进行手势识别，在此不做限定。

综上所述，本发明实施例提供了一种基于多源数据融合的智能设备手势识别方法；根据初始识别图像中的边缘信息的差异特征获得标记像素点；根据标记像素点之间的距离特征和梯度特征获得标记区域；根据初始识别图像的灰度特征进行随机聚类获得识别子图像；根据识别子图像与标记区域的重合特征获得识别最优子图像；根据识别最优子图像的灰度分布特征获得映射指数和映射灰度区间。本发明根据识别最优子图像的映射灰度区间通过直方图均衡化获得增强子图像和识别增强图像，通过神经网络对识别增强图像进行手势识别；提高了图像增强效果和手势识别的准确性。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (6)

1.一种基于多源数据融合的智能设备手势识别方法，其特征在于，所述方法包括以下步骤：

获取手势识别的初始识别图像；

根据所述初始识别图像中的边缘信息的差异特征获得标记像素点；根据所述标记像素点与预设邻域中其他标记像素点之间的距离特征和梯度特征获得标记像素点的连接像素点；根据所述标记像素点和所述连接像素点的位置特征获得标记区域；

根据所述初始识别图像的灰度特征进行随机聚类获得不同数量的识别子图像；根据所述识别子图像与所述标记区域的重合特征获得识别最优子图像；根据所述识别最优子图像的灰度分布特征获得映射指数；根据所述识别最优子图像的灰度特征和所述映射指数获得映射灰度区间；

根据所述识别最优子图像的所述映射灰度区间通过直方图均衡化算法进行图像增强获得增强子图像；根据所有的增强子图像进行合并获得识别增强图像；通过神经网络对所述识别增强图像进行手势识别；

所述根据所述标记像素点与预设邻域中其他标记像素点之间的距离特征和梯度特征获得标记像素点的连接像素点的步骤包括：

计算所述标记像素点与预设邻域内的任意其他标记像素点之间的欧氏距离并负相关映射，获得紧凑表征值；计算所述标记像素点与预设邻域内的任意其他标记像素点之间的梯度方向的余弦相似度并归一化，获得夹角表征值；计算所述紧凑表征值和所述夹角表征值的乘积，获得所述任意其他标记像素点的连接特征值；将数值最大的连接特征值对应的所述任意其他标记像素点作为所述标记像素点的连接像素点；

所述根据所述识别最优子图像的灰度特征和所述映射指数获得映射灰度区间的步骤包括：

计算所述识别最优子图像的灰度最大值与灰度最小值的差值，获得灰度范围值；计算常数256与所述灰度范围值的差值，获得调节范围值；计算所述调节范围值与所述映射指数的乘积，获得映射范围值；计算所述映射范围值与常数2的比值，获得映射调整值；

计算所述识别最优子图像的灰度最大值与所述映射调整值的和值并向下取整，获得区间最大值；当所述区间最大值不超过常数255时，所述映射灰度区间的最大值为所述区间最大值，否则为常数255；

计算所述识别最优子图像的灰度最小值与所述映射调整值的差值并向下取整，获得区间最小值；当所述区间最小值不低于常数0时，所述映射灰度区间的最小值为所述区间最小值，否则为常数0。

2.根据权利要求1所述的一种基于多源数据融合的智能设备手势识别方法，其特征在于，所述根据所述初始识别图像中的边缘信息的差异特征获得标记像素点的步骤包括：

通过Canny边缘检测算法与预设阈值区间对所述初始识别图像进行不同程度的边缘检测，获得不同的边缘检测图像；计算所述初始识别图像中的任意像素点在所有边缘检测图像中作为边缘像素点的频率，获得标记指数；当所述任意像素点的标记指数超过预设标记阈值时，所述任意像素点为标记像素点。

3.根据权利要求1所述的一种基于多源数据融合的智能设备手势识别方法，其特征在于，所述根据所述标记像素点和所述连接像素点的位置特征获得标记区域的步骤包括：

将所述初始识别图像中所有标记像素点和对应的连接像素点进行连接，连接后组成不同的闭合区域作为所述标记区域。

4.根据权利要求1所述的一种基于多源数据融合的智能设备手势识别方法，其特征在于，所述根据所述初始识别图像的灰度特征进行随机聚类获得不同数量的识别子图像的步骤包括：

根据初始识别图像中像素点的灰度值通过K-means聚类算法进行不同K值的聚类，所述K值为聚类中心的数量，K值的范围为预设聚类中心数量区间，对于任意K值的聚类结果，根据所述聚类结果中任意聚类簇的像素点以及像素点的位置获得识别子图像，所述聚类结果对应的识别子图像的数量为K值。

5.根据权利要求4所述的一种基于多源数据融合的智能设备手势识别方法，其特征在于，所述根据所述识别子图像与所述标记区域的重合特征获得识别最优子图像的步骤包括：

计算所述聚类结果中所述识别子图像与所述标记区域的平均交并比，获得所述聚类结果的聚类效果表征值，将最大的聚类效果表征值对应的聚类结果的识别子图像作为所述识别最优子图像。

6.根据权利要求1所述的一种基于多源数据融合的智能设备手势识别方法，其特征在于，所述根据所述识别最优子图像的灰度分布特征获得映射指数的步骤包括：

根据所述识别最优子图像中像素点的灰度值计算信息熵并负相关映射，获得所述识别最优子图像的映射指数。