CN110807391A - 基于视觉的人-无人机交互用人体姿态指令识别方法 - Google Patents

Abstract

本发明属于人机交互领域，公开了基于视觉的人‑无人机交互用人体姿态指令识别方法。本方法包括图像采集、人体姿态估计、特征提取、姿态分类和指令查询五个步骤。通过神经网络处理摄像头获取的视频流，获取图像中人体的关节点坐标；计算关节点间的距离作为姿态的特征向量；对特征向量进行分类，识别出对应的类别；根据人体姿态识别的结果，查询该人体姿态所对应的指令，完成对无人机的控制；若为目标跟踪指令，则捕获当前帧人体所在区域，并在之后的视频流中将该区域截取出来作为输入数据。本发明实现了一种更加自然的人‑无人机交互方式，具有实时性、鲁棒性和较高精度的特点，可以实时地运行在无人机等低功耗嵌入式平台。

Description

基于视觉的人-无人机交互用人体姿态指令识别方法

技术领域

本发明属于人机交互领域，更具体的涉及机器视觉和目标跟踪的相关技术，尤其是神经网络、支撑向量机等技术在嵌入式低功耗平台上的使用。

背景技术

人机交互是一个充满活力、具有巨大应用前景的高新技术领域，有许多有待解决与突破的问题。随计算机技术的发展和人类生活方式的改变，人机交互方式也在发生着改变。当前的人机交互的媒介已不仅仅局限于用户界面、鼠标、键盘等，而是越来越多地使用人体本身的固有特征，比如人体姿态、手势等，来使得人机交互更加自然。

人体姿态识别已广泛应用于人机交互、医疗辅助、汽车工业和公共安全等领域。目前，人体姿态识别是一个非常活跃的研究课题。人类希望机器能够理解人类的需求，准确地解释人类命令，并与人类合作。为了满足这些要求，除了正确解释语音命令外，机器还应准确理解人类手势、姿势和动作等非语言指令。尤其是外界的背景噪声可能显著地影响语音命令传输的有效性，对于人类和微型无人机之间的直接通信，非语言指令可能更为重要。然而，使用人体姿势对微型无人机平台进行控制面临着巨大的挑战，主要表现在两个方面：

1：微型无人机平台的载荷能力低，计算资源有限。因此，许多需要依赖较重的传感器或需要较多计算资源的方法难以应用于无人机平台。

2：大多数时候，微型无人机与人保持着较远的距离，因而导致拍摄的图像背景比较复杂，图像质量低劣，人像不清晰。

当前有较多的人体姿势识别技术被应用于人机交互。然而，这些方法难以在微型无人机平台上取得效果。原因在于，一些方案需要使用深度相机来获取人体的数据。然而，这种相机在严苛的条件下获取的数据不准确。例如，当人和无人机之间的距离较远的时候，深度相机获取的深度信息误差较大。此外，这类相机的体积和重量通常远大于单目相机，会增加无人机的负重。另外一些方法对计算资源有较高的要求，无法实时地在微型无人机平台上运行。

要使得人与无人机自然交互，还需要无人机能长时间“关注”操控者，即，无人机应当能检测和跟踪图片中的操控者。虽然当前有很多目标跟踪(Object Tracking)的方法，但是想要应用于无人机平台仍然有许多难点需要解决，包括并不限于复杂背景干扰、计算的有效性等。

针对无人机场景的特点，结合人体姿态识别和目标跟踪的相关方法，实现一种更加自然的人-无人机交互方式有重要意义。

发明内容

本发明要实现一种更加自然的人-无人机交互方式。当前人-无人机交互主要是通过遥控器或者手机应用实现，这种方式并不便捷自然，也影响操控者的使用体验。针对这一现状，本发明提出基于机器视觉获取人体姿态来实现对无人机的控制，并通过目标跟踪实时跟踪操作者，进而有效降低操控者的操作负担、提升操作体验。

本发明的技术方案是：

基于视觉的人-无人机交互用人体姿态指令识别方法，包括以下步骤：

第一步：使用无人机搭载的相机采集视频流，并且将其作为初始输入数据；

第二步：首先，通过神经网络处理步骤一传入的图像数据，获取图像中人体关节点坐标；其次，使用卷积神经网络提取图片中所有的可能关节点集合，包括并不限于人体左耳、右耳、左眼、右眼、鼻尖、锁骨中央、左肩、右肩、左肘、右肘、左手腕、右手腕、左胯、右胯、左膝、右膝、左脚踝、右脚踝等，再根据关节点相关关系拼接为完整的单独的人，完成姿态估计；最后，将每一个人体的关节点在图中的坐标按照固定顺序组织形成数据集合，数据组织的顺序可自行定义，但需要固定；

第三步：对上一步形成的数据集合进行异常检测，针对数据集合中没有人体姿态信息或者目标操控者的关节点不完整的情况，做出异常反馈并且舍弃当前数据返回步骤一重新开始执行；

第四步：将步骤二中的姿态估计结果进行进一步处理，通过去除冗余数据，对数据进行归一化的操作形成对应姿态的特征向量，具体操作如下：

(1)计算关节点两两之间的距离，构造特征向量，其中，关节点之间的距离表征方式包括但不限于欧氏距离(Euclidean Distance)、曼哈顿距离(Manhattan Distance)、余弦距离(Cosine Distance)等；

(2)去除特征向量中冗余数据，降低特征向量的维度，其中，在第(1)步的计算中，关节点之间的距离会重复计算(点A到点B的距离等于点B到点A的距离)，通过去除重复的数据降低特征向量的维度；

(3)对特征向量进行归一化计算，通过线性计算将特征向量的数值进行归一化，归一化之后的数值范围按照实际情况确定；

第五步：使用有监督学习模型，对特征向量进行分类，可选的分类模型包括但不限于支撑向量机(SVM)、决策树等模型，本步骤包含离线学习和在线分类两个过程：

(1)离线学习过程需要获取带标签的数据，提前采集包含选定姿态的照片，选定的姿态包括但不限于：站立、行走、跨立、双臂展开等，将采集到的图片分类并按类别打标签，通过所述步骤二、三、四的处理，将获得的特征向量和对应的标签用于模型训练；

(2)对于在线识别，将实时采集的照片处理得到的特征向量送至训练好的分类器中即可获得对应人体姿态的类别；

第六步：根据人体姿态识别的结果，查询该人体姿态所对应的指令，其中，姿态的具体数量和具体的样式取决于控制无人机的具体需求，根据具体情况进行设计，且当人体姿态间存在较大差异时，分类的准确性更高；

第七步：若第六步查询的指令为目标跟踪指令，系统捕获当前帧的有效区域，即当前人体姿态所在区域，并且在之后的视频流中的每一帧跟踪该区域，将该区域图像截取出来作为输入数据。

进一步的，所述步骤四中关节点两两之间的距离表征方式是欧氏距离。

进一步的，所部步骤五中选用SVM分类器作为姿态分类器。

进一步的，所述步骤六中能够通过人体姿态的不同组合来拓展指令的数量。

相比于现有技术，本发明的有益效果是：本发明实现了一种更加自然的人机交互方式，通过人体姿态这一人体固有特征，可以更加便捷自然地与无人机进行交互；本发明具有较好扩展性，可以较容易引入新的人体姿态；本发明具有较强延伸性，通过人体姿态的组合，可以极大的丰富指令的数量；

附图说明

图1是本发明的系统结构图，显示所有必要步骤，包括人体关节点估计，异常检测，特征生成，标准化、姿态识别和目标跟踪等。

具体实施方式

附图仅用于说明本发明，不能理解为对本专利的限制；下面结合附图对本发明的技术方案做进一步的说明。

图1是本发明的系统结构图。图1详细说明了本发明的所有具体步骤，描述了本发明中数据的流动过程和具体的处理过程。如图中所示，本发明的具体流程如下：

第一步：使用无人机搭载的相机采集视频流，并且将其作为初始输入数据；本步骤中采集的图像数据包括但不限定于灰度图片、彩色图片和深度图片；

第二步：首先，通过神经网络处理步骤一传入的图像数据，获取图像中人体关节点坐标；其次，使用卷积神经网络提取图片中所有的可能关节点集合，包括并不限于人体左耳、右耳、左眼、右眼、鼻尖、锁骨中央、左肩、右肩、左肘、右肘、左手腕、右手腕、左胯、右胯、左膝、右膝、左脚踝、右脚踝等，再根据关节点相关关系拼接为完整的单独的人，完成姿态估计；最后，将每一个人体的关节点在图中的坐标按照固定顺序组织形成数据集合，数据组织的顺序可自行定义，但需要固定；

本步骤中，图像中可能存在多人或无人情况，对于多人的情况，应当根据关节间的相互关系定义关节所属，以拼接为完整的人体，完成姿态估计；对于无人的情况，关节点的坐标定义为全零。

第三步：对上一步形成的数据集合进行异常检测，针对数据集合中没有人体姿态信息或者目标操控者的关节点不完整的情况，做出异常反馈，舍弃当前数据并且返回步骤一重新开始执行；

第四步：将步骤二中的姿态估计结果进行进一步处理，通过去除冗余数据，对数据进行归一化的操作形成对应姿态的特征向量，具体操作如下：

(1)计算关节点两两之间的距离，构造特征向量，其中，关节点之间的距离表征方式包括但不限于欧氏距离(Euclidean Distance)、曼哈顿距离(Manhattan Distance)、余弦距离(Cosine Distance)等，本实施例中采用的距离表征方式是欧氏距离；

(2)去除特征向量中冗余数据，降低特征向量的维度，其中，在第(1)步的计算中，关节点之间的距离会重复计算(点A到点B的距离等于点B到点A的距离)，通过去除重复的数据降低特征向量的维度；

(3)对特征向量进行归一化计算，通过线性计算将特征向量的数值进行归一化，归一化之后的数值范围按照实际情况确定。本实施例中，归一化后的数值范围为[0,200]；

第五步：使用有监督学习模型，对特征向量进行分类，可选的分类模型包括但不限于支撑向量机(SVM)、决策树等模型，在本发明的实施例中选用SVM分类器作为姿态分类器，本步骤包含离线学习和在线分类两个过程：

(1)离线学习过程需要获取带标签的数据，提前采集包含选定姿态的照片，选定的姿态包括但不限于：站立、行走、跨立、双臂展开等，将采集到的图片分类并按类别打标签，通过所述步骤二、三、四的处理，将获得的特征向量和对应的标签用于模型训练。应当说明，分类器的表现与训练数据和参数的设置相关。因此，分类器的训练过程应按照实际情况调整。

(2)对于在线识别，将实时采集的照片处理得到的特征向量送至训练好的分类器中即可获得对应人体姿态的类别；

第六步：根据人体姿态识别的结果，查询该人体姿态所对应的指令，其中，姿态的具体数量和具体的样式取决于控制无人机的具体需求，根据具体情况进行设计，且当人体姿态间存在较大差异时，分类的准确性更高；进一步的，本步骤可以通过人体姿态的不同组合来拓展指令的数量；

第七步：若第六步查询的指令为目标跟踪指令，系统捕获当前帧的有效区域，即当前人体姿态所在区域，并且在之后的视频流中的每一帧跟踪该区域，将该区域图像截取出来作为输入数据。本步骤的意义在于，当存在多个人体的时候，可以有效避免非操控者的姿态被系统观察，增加干扰和计算量。若跟踪的目标丢失，则将原始的视频流作为输入。

上述说明描述了本发明应用的实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是其他实施例的排除，而可用于各种其他组合、修改和环境，并能在本文所述发明构想范围内，通过上述教导或相关领域的技术进行改动。而本领域人员所进行的改动和变化不脱离发明的精神和范围，则都应在发明所附权利要求的保护范围内。

Claims (4)

1.基于视觉的人-无人机交互用人体姿态指令识别方法，其特征在于，包括以下步骤：

第一步：使用无人机搭载的相机采集视频流，并且将其作为初始输入数据；

第二步：首先，通过神经网络处理步骤一传入的图像数据，获取图像中人体关节点坐标；其次，使用卷积神经网络提取图片中所有的可能关节点集合，包括并不限于人体左耳、右耳、左眼、右眼、鼻尖、锁骨中央、左肩、右肩、左肘、右肘、左手腕、右手腕、左胯、右胯、左膝、右膝、左脚踝、右脚踝等，再根据关节点相关关系拼接为完整的单独的人，完成姿态估计；最后，将每一个人体的关节点在图中的坐标按照固定顺序组织形成数据集合，数据组织的顺序可自行定义，但需要固定；

第三步：对上一步形成的数据集合进行异常检测，针对数据集合中没有人体姿态信息或者目标操控者的关节点不完整的情况，做出异常反馈并且舍弃当前数据返回步骤一重新开始执行；

第四步：将步骤二中的姿态估计结果进行进一步处理，通过去除冗余数据，对数据进行归一化的操作形成对应姿态的特征向量，具体操作如下：

(1)计算关节点两两之间的距离，构造特征向量，其中，关节点之间的距离表征方式包括但不限于欧氏距离、曼哈顿距离、余弦距离等；

(2)去除特征向量中冗余数据，降低特征向量的维度，其中，在第(1)步的计算中，关节点之间的距离会重复计算，通过去除重复的数据降低特征向量的维度；

(3)对特征向量进行归一化计算，通过线性计算将特征向量的数值进行归一化，归一化之后的数值范围按照实际情况确定；

第五步：使用有监督学习模型，对特征向量进行分类，可选的分类模型包括但不限于支撑向量机、决策树等模型，本步骤包含离线学习和在线分类两个过程：

(1)离线学习过程需要获取带标签的数据，提前采集包含选定姿态的照片，选定的姿态包括但不限于：站立、行走、跨立、双臂展开等，将采集到的图片分类并按类别打标签，通过所述步骤二、三、四的处理，将获得的特征向量和对应的标签用于模型训练；

(2)对于在线识别，将实时采集的照片处理得到的特征向量送至训练好的分类器中即可获得对应人体姿态的类别；

第六步：根据人体姿态识别的结果，查询该人体姿态所对应的指令，其中，姿态的具体数量和具体的样式取决于控制无人机的具体需求，根据具体情况进行设计，且当人体姿态间存在较大差异时，分类的准确性更高；

第七步：若第六步查询的指令为目标跟踪指令，系统捕获当前帧的有效区域，即当前人体姿态所在区域，并且在之后的视频流中的每一帧跟踪该区域，将该区域图像截取出来作为输入数据。

2.根据权利要求1所述的基于视觉的人-无人机交互用人体姿态指令识别方法，其特征在于，所述步骤四中关节点两两之间的距离表征方式是欧氏距离。

3.根据权利要求1所述的基于视觉的人-无人机交互用人体姿态指令识别方法，其特征在于，所部步骤五中选用SVM分类器作为姿态分类器。

4.根据权利要求1所述的基于视觉的人-无人机交互用人体姿态指令识别方法，其特征在于，所述步骤六中能够通过人体姿态的不同组合来拓展指令的数量。

Images