CN110826405A - 一种基于人体体态图像的设备控制方法及装置 - Google Patents

Abstract

本发明提供一种基于人体体态图像的设备控制方法及装置，属于图像处理技术领域。该方法包括：采集操控人员的体态图像；对所述体态图像进行处理得到操控人员骨架端点坐标，所述骨架端点包括躯干上端点、躯干下端点、左上臂下端点、左下臂下端点、右上臂下端点、右下臂下端点、左腿下端点和右腿下端点；根据所述操控人员骨架端点坐标计算肢体关联角度，所述肢体关联角度包括左上臂与躯干角度、左上臂与左下臂角度、右上臂与躯干角度、右上臂与右下臂角度、左腿与躯干角度和右腿与躯干角度；依据预定规则，将上述各个肢体关联角度转换为控制命令，根据所述控制命令对被控设备进行控制。与现有方法相比，本发明提高了控制命令的识别效率。

Description

一种基于人体体态图像的设备控制方法及装置

技术领域

本发明涉及一种基于人体体态图像的设备控制方法及装置，属于图像处理技术领域。

背景技术

在依靠人员实时指挥的作业场景中，将操控人员的身体姿态特征作为设备控制命令，设备操作人员通过观察操控人员的姿态信号进行设备控制，实现现场作业。这种场景下，设备控制严重依靠人的视觉，很容易受到作业环境及作业场景的限制，尤其是在超视觉环境下，设备控制无法实现。

为克服这种限制，以摆脱人工实现设备的自动控制，目前通过成像设备及图像匹配的方法来实现设备控制命令的提取，但是这种方法在进行实际作业前，需搜集大量的操控人员体态图像进行模型训练，然后将采集的操控人员体态图像输入训练好的模型，通过图像比对来识别设备控制命令，首先，这种方法进行模型训练和图像比对所用的算法较为复杂，导致设备控制命令的识别效率较低；其次，这种方法设备控制命令的识别准确度与模型精度密切相关，而模型精度受训练用图像的数量和图像中操控人员的体态种类影响，当训练用图像的数量较少且图像中体态种类不够丰富时，模型精度就会较低，致使设备控制命令的识别准确度受限。

发明内容

本发明的目的是提供一种基于人体体态图像的设备控制方法及装置，用以解决目前基于人体体态图像的设备控制方法，设备控制命令的识别效率低的问题。

为实现上述目的，本发明提供了一种基于人体体态图像的设备控制方法，该方法包括以下步骤：

采集操控人员的体态图像；

对所述体态图像进行处理得到操控人员骨架端点坐标，所述骨架端点包括躯干上端点、躯干下端点、左上臂下端点、左下臂下端点、右上臂下端点、右下臂下端点、左腿下端点和右腿下端点；

根据所述操控人员骨架端点坐标计算肢体关联角度，所述肢体关联角度包括左上臂与躯干角度、左上臂与左下臂角度、右上臂与躯干角度、右上臂与右下臂角度、左腿与躯干角度和右腿与躯干角度；

依据预定规则，将上述各个肢体关联角度转换为控制命令，根据所述控制命令对被控设备进行控制。

本发明还提供了一种基于人体体态图像的设备控制装置，该装置包括：图像采集装置、处理器和存储器，所述图像采集装置用于采集操控人员的体态图像，所述处理器用于运行存储在所述存储器中的程序指令以实现以上基于人体体态图像的设备控制方法。

本发明的有益效果是：直接对采集到的操控人员体态图像进行处理，利用体态图像中操控人员的骨架端点坐标计算肢体关联角度，将各个肢体关联角度转换为控制命令对被控设备进行控制，即本发明中控制命令的识别与操控人员的人体姿态直接相关，与现有方法相比，无需进行模型训练，也无需进行图像比对，控制命令的识别过程简单，控制命令的识别效率得到提高，同时也避免了控制命令的识别受模型精度的影响，保证了控制命令的识别准确度；而且，本发明利用低成本硬件即可实现，尤其适用在可视、复杂环境中，通过人体姿态及其变化趋势对作业设备进行远距离、非接触式操控，保障作业安全，增强设备在复杂环境中的适应性。

为了将各个肢体关联角度转换为控制命令，进一步地，在上述方法和装置中，先将各个肢体关联角度映射为体态角度编码，编码值根据肢体关联角度的大小确定，再将所述体态角度编码转换为控制命令。

为了实现操控人员骨架端点坐标的计算，进一步地，在上述方法和装置中，对所述体态图像进行处理得到操控人员骨架端点坐标包括以下步骤：计算体态图像中操控人员的轮廓坐标，并依据轮廓坐标计算操控人员的轮廓边界点坐标；利用所述轮廓边界点坐标对体态图像进行分割，得到分割图像；对分割图像进行灰度变换和二值化处理得到包含操控人员轮廓边界信息的二维数组，根据所述二维数组计算操控人员骨架端点坐标。

为了实现躯干上端点和躯干下端点的坐标的计算，进一步地，在上述方法和装置中，所述躯干上端点和躯干下端点的坐标通过以下步骤得到：在二维数组中，以二维数组的中心点为起点分别对当前行数据向前、向后查找数值为1的数据项，直至满足查找停止条件，计算查找到的连续为1的数据项的中间项的坐标作为躯干的横向中心点坐标；然后，在二维数组中，以躯干的横向中心点为起点对当前列数据向上查找数值为1的数据项，直至满足查找停止条件，以查找到的最后一个数值为1的数据项的坐标作为躯干上端点的坐标；同理，在二维数组中，以躯干的横向中心点为起点对当前列数据向下查找数值为1的数据项，直至满足查找停止条件，以查找到的最后一个数值为1的数据项的坐标作为躯干下端点的坐标；其中，查找停止条件为遇到连续数值为0的数据项个数大于第一设定值。

为了实现左上臂下端点和左下臂下端点的坐标的计算，进一步地，在上述方法和装置中，所述左上臂下端点和左下臂下端点的坐标通过以下步骤得到：在二维数组中，以躯干上端点的坐标为基准构建极坐标系，在第一设定角度范围和第一设定长度范围内搜索数值为1的数据项，直至遇到以第二设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为左上臂下端点的坐标；同理，在二维数组中，以左上臂下端点的坐标为基准构建极坐标系，在第二设定角度范围和第二设定长度范围内搜索数值为1的数据项，直至遇到以第三设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为左下臂下端点的坐标。

为了实现右上臂下端点和右下臂下端点的坐标的计算，进一步地，在上述方法和装置中，所述右上臂下端点和右下臂下端点的坐标通过以下步骤得到：在二维数组中，以躯干上端点的坐标为基准构建极坐标系，在第三设定角度范围和第三设定长度范围内搜索数值为1的数据项，直至遇到以第四设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为右上臂下端点的坐标；同理，在二维数组中，以右上臂下端点的坐标为基准构建极坐标系，在第四设定角度范围和第四设定长度范围内搜索数值为1的数据项，直至遇到以第五设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为右下臂下端点的坐标。

为了实现左腿下端点的坐标的计算，进一步地，在上述方法和装置中，所述左腿下端点的坐标通过以下步骤得到：在二维数组中，以躯干下端点为坐标中心构建极坐标系，在第五设定角度范围和第五设定长度范围内搜索数值为1的数据项，直至遇到以第六设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为左腿下端点的坐标。

为了实现右腿下端点的坐标的计算，进一步地，在上述方法和装置中，所述右腿下端点的坐标通过以下步骤得到：在二维数组中，以躯干下端点为坐标中心构建极坐标系，在第六设定角度范围和第六设定长度范围内搜索数值为1的数据项，直至遇到以第七设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为右腿下端点的坐标。

附图说明

图1是本发明方法实施例中的设备控制方法流程图；

图2是本发明方法实施例中的操控人员骨架端点坐标计算流程图；

图3是本发明方法实施例中的肢体骨架结构及骨架端点示意图；

图4是本发明装置实施例中的设备控制装置原理框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例对本发明进行进一步详细说明。

方法实施例：

本实施例提供了一种基于人体体态图像的设备控制方法(简称设备控制方法)，实现了对操控人员控制命令的准确识别与传递。如图1所示，该方法包括以下步骤：操控人员锁定及跟踪、采集操控人员的体态图像、图像处理、操控人员骨架端点坐标计算、肢体关联角度计算、体态角度编码、控制命令生成及输出。

各步骤的具体实现过程如下：

1、操控人员锁定及跟踪。

操控开始前，操控人员穿着有别于背景色的单色工作服进入成像设备(例如摄像头)视野，成像设备实时采集操控人员发出控制命令的视频，并将采集到的视频发送到相应的处理器进行处理。处理器根据工作服颜色进行相应颜色设定，并定时从接收的视频中采集操控人员的体态图像生成图片，然后遍历整张图片的每个像素点，将每个像素点的颜色值与设定颜色值进行比较，找到与设定颜色值偏差在预设误差范围内(例如±5％，具体可根据实际需要调整)的像素点生成操控人员的轮廓坐标，并依据轮廓坐标计算操控人员的轮廓边界点坐标，其中，轮廓边界点包括轮廓边界的最上(P_top)、最下(P_btm)、最左(P_left)、最右(P_right)及轮廓中心点(P_mid)；并计算所采集体态图像的图像中心点(P_cent)坐标。

计算轮廓中心点(P_mid)和图像中心点(P_cent)的重合度，通过调整云台角度保证两点的重合度在10％以内，并比较P_top与图像顶端，P_btm与图像底端、P_left与图像左端、P_right与图像右端的偏差，通过调整摄像头焦距保证操控人员充满视野的50％-80％，实现对操控人员的锁定及跟踪。

作为其他实施方式，调整云台角度和摄像头焦距实现对操控人员的锁定及跟踪时，P_mid和P_cent的重合度以及操控人员充满视野的范围均可以根据实际需要调整。

2、采集操控人员的体态图像。

完成操控人员的锁定及跟踪后，进入实际操控过程，成像设备实时采集操控人员发出控制命令的视频并发送给处理器，处理器定时从视频中采集操控人员的体态图像。

本实施例中，操控人员的体态图像先通过成像设备实时采集操控人员发出控制命令的视频，然后从视频中采集获得；作为其他实施方式，还可以利用图像采集装置(例如相机)直接采集操控人员的体态图像。

3、图像处理。

按照步骤1中的方法，计算所采集操控人员的体态图像中操控人员的轮廓边界点坐标，并根据轮廓边界点坐标对体态图像进行矩形分割生成分割图像Mcut，分割图像Mcut的大小为[P_btm-P_top，P_right-P_left，3]；然后对分割图像Mcut进行缩放得到缩放图像Mpary，其中，缩放尺寸可以根据实际需要调整，本实施例中利用金字塔算法将分割图像Mcut缩放到[300，300，3]；接着对缩放图像Mpary进行灰度变换生成灰度图像Mgry，灰度图像Mgry的大小为[300，300]，本实施例中依据公式(R*30+G*59+B*11+50)/100对缩放图像Mpary进行灰度变换生成8位灰度图像，其中，R、G、B分别表示缩放图像Mpary红、绿、蓝三个通道的颜色值；之后对灰度图像Mgry进行腐蚀计算，最后对腐蚀后的图像以设定阈值(设定阈值可以根据实际需要进行调整，本实施例中设定阈值为60)进行二值化处理生成二维数值为0或1的二维数组Dbin[300，300]，完成图像的处理。

此时二维数组Dbin[300，300]内部数值连续为0或连续为1，只在数组边界位置可能存在0和1交错出现的情况。

作为其他实施方式，图像处理结果还可以用数组之外的其他形式保存，例如链表。

本实施例中，图像处理的步骤为：分割→缩放→灰度→腐蚀→二值化；作为其他实施方式，图像处理过程中各步骤之间的顺序可以调整，不限于本实施例中的顺序，例如可以先灰度再缩放；另外，图像处理过程中的一些步骤可以根据实际需要省略，例如缩放步骤、腐蚀步骤可以省略。

4、操控人员骨架端点坐标计算。

完成图像处理后，开始对操控人员骨架端点坐标进行计算，计算过程如图2所示。本实施例中，骨架端点包括：躯干上端点M、躯干下端点N、左上臂下端点U、左下臂下端点V、右上臂下端点X、右下臂下端点Y、左腿下端点P和右腿下端点Q。由各骨架端点得到的操控人员的肢体骨架如图3所示，本实施例中，将操控人员的肢体骨架分为躯干、左上臂、左下臂、右上臂、右下臂、左腿和右腿7个肢体部分。

各骨架端点坐标的详细计算过程如下：

(1)计算躯干上端点M和躯干下端点N的坐标

首先，确定躯干的横向中心点(P_temp)坐标，具体过程为：找到二维数组Dbin[300，300]的中心点Dbin[150，150]，在二维数组中，以Dbin[150，150]为起点对当前行数据向前查找数值为1的数据项，直至满足查找停止条件，开始以Dbin[150，150]为起点对当前行数据向后查找数值为1的数据项，直至满足查找停止条件，计算查找到的连续为1的数据项的中间项的坐标，即为躯干的横向中心点(P_temp)坐标。

然后，在二维数组中，以P_temp为起点对当前列数据向上查找数值为1的数据项，直至满足查找停止条件，以查找到的最后一个数值为1的数据项的坐标作为躯干上端点M的坐标；同理，在二维数组中，以P_temp为起点对当前列数据向下查找数值为1的数据项，直至满足查找停止条件，以查找到的最后一个数值为1的数据项的坐标作为躯干下端点N的坐标。

其中，查找停止条件为遇到连续数值为0的数据项个数大于第一设定值，第一设定值可以根据实际需要设置，本实施例中为10。

(2)计算左上臂下端点U的坐标

基于躯干上端点M计算左上臂下端点U的坐标，具体过程为：

首先，在二维数组中，以躯干上端点M的坐标为起点对当前行数据向前查找数值为1的数据项，直到遇到连续数值为0的数据项个数为5个结束，记录最后一个数值为1的数据项的坐标T(m，n)；

然后，以T2(m+10，n)为坐标中心构建极坐标系，以1为单位半径，搜索(90°，270°)的角度范围内数值为1的数据项，若不能够找到，则搜索半径增加1个单位，直至半径为80，如还不能够搜索到，则停止搜索，返回左上臂下端点U的坐标为(0，0)，左下臂下端点V的坐标为(0，0)；若能够搜索到，则记录该点T2，利用余弦定理计算T2点与T点的角度a，以T点为坐标中心建立极坐标系，在T2方向上，并在a±5°的角度范围与搜索半径为80的长度范围内搜索数值为1的数据项，直至遇到以5为长度的搜索区域内的数值全部为0，记录搜索到的最后一个、半径最长、数值为1的数据项的坐标为左上臂下端点U的坐标。

本实施例中，通过以躯干上端点M的坐标为起点先找到T点，再以T2点为坐标中心构建极坐标系，并在第一设定角度范围和第一设定长度范围内判断是否能找到数值为1的数据项，若能找到则以T点为坐标中心构建极坐标系，进而计算左上臂下端点U的坐标；作为其他实施方式，还可以直接以躯干上端点M为坐标中心构建极坐标系，在第一设定角度范围和第一设定长度范围内搜索数值为1的数据项，直至遇到以第二设定值为长度的搜索区域内的数值全部为0，以搜索到的最后一个、半径最长、数值为1的数据项的坐标为左上臂下端点U的坐标。

本实施例中，第一设定角度范围为(90°，270°)，第一设定长度范围为80，第二设定值为5；作为其他实施方式，第一设定角度范围、第一设定长度范围、第二设定值均可以根据实际需要调整。

(3)计算左下臂下端点V的坐标

基于左上臂下端点U计算左下臂下端点V的坐标，具体地，在二维数组中，以左上臂下端点U的坐标为基准构建极坐标系，在第二设定角度范围和第二设定长度范围内搜索数值为1的数据项，直至遇到以第三设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为左下臂下端点V的坐标，具体方法与(2)中相同。

本实施例中，第二设定角度范围为(0°,180°)，第二设定长度范围为80，第三设定值为5；作为其他实施方式，第二设定角度范围、第二设定长度范围、第三设定值均可以根据实际需要调整。

(4)计算右上臂下端点X的坐标

基于躯干上端点M计算右上臂下端点X的坐标，具体过程为：

首先，在二维数组中以躯干上端点M的坐标为起点对当前行数据向后查找数值为1的数据项，直到遇到连续数值为0的数据项个数为5个结束，记录最后一个数值为1的数据项的坐标T(m，n)；

然后，以T2(m+10，n)为坐标中心构建极坐标系，以1为单位半径，搜索(0°，90°)与(270°，360°)的角度范围内数值为1的数据项，若不能够找到，则搜索半径增加1个单位，直至半径为80，如还不能够搜索到，则停止搜索，返回右上臂下端X的坐标为(0，0)，右下臂下端点Y的坐标为(0，0)；若能够搜索到，则记录该点T2，利用余弦定理计算T2点与T点的角度a，以T点为坐标中心建立极坐标系，在T2方向上，并在a±5°的角度范围与搜索半径为80的长度范围内搜索数值为1的数据项，直至遇到以5为长度的搜索区域内的数值全部为0，记录搜索到的最后一个、半径最长、数值为1的数据项的坐标为右上臂下端点X的坐标。

本实施例中，通过以躯干上端点M的坐标为起点先找到T点，再以T2点为坐标中心构建极坐标系，并在第三设定角度范围和第三设定长度范围内判断是否能找到数值为1的数据项，若能找到则以T点为坐标中心构建极坐标系，进而计算右上臂下端点X的坐标；作为其他实施方式，还可以直接以躯干上端点M为坐标中心构建极坐标系，在第三设定角度范围和第三设定长度范围内搜索数值为1的数据项，直至遇到以第四设定值为长度的搜索区域内的数值全部为0，以搜索到的最后一个、半径最长、数值为1的数据项的坐标为右上臂下端点X的坐标。

本实施例中，第三设定角度范围为(0°，90°)与(270°，360°)，第三设定长度范围为80，第四设定值为5；作为其他实施方式，第三设定角度范围、第三设定长度范围、第四设定值均可以根据实际需要调整。

(5)计算右下臂下端点Y的坐标

基于右上臂下端点X计算右下臂下端点Y的坐标，具体地，在二维数组中以右上臂下端点X的坐标为基准构建极坐标系，在第四设定角度范围和第四设定长度范围内搜索数值为1的数据项，直至遇到以第五设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为右下臂下端点Y的坐标，具体方法与(4)中相同。

本实施例中，第四设定角度范围为(0°,180°)，第四设定长度范围为80，第五设定值为5；作为其他实施方式，第四设定角度范围、第四设定长度范围、第五设定值均可以根据实际需要调整。

(6)计算左腿下端点P的坐标

基于躯干下端点N计算左腿下端点P的坐标，具体过程为：在二维数组中，以躯干下端点N为坐标中心建立极坐标系，以1为单位半径，在(180°，270°)的角度范围与搜索半径为100的长度范围内(即在第五设定角度范围和第五设定长度范围内)，搜索数值为1的数据项，直至遇到以5(即第六设定值)为长度的搜索区域内的数值全部为0，记录搜索到的最后一个、半径最长、数值为1的数据项的坐标为左腿下端点P的坐标。

作为其他实施方式，第五设定角度范围、第五设定长度范围、第六设定值均可以根据实际需要调整。

(7)计算右腿下端点Q的坐标

基于躯干下端点N计算右腿下端点Q的坐标，具体过程为：在二维数组中，以躯干下端点N为坐标中心建立极坐标系，以1为单位半径，在(180°，270°)的角度范围与搜索半径为100的长度范围内(即在第六设定角度范围和第六设定长度范围内)，搜索数值为1的数据项，直至遇到以5(即第七设定值)为长度的搜索区域内的数值全部为0，记录搜索到的最后一个、半径最长、数值为1的数据项的坐标为右腿下端点Q的坐标。

作为其他实施方式，第六设定角度范围、第六设定长度范围、第七设定值均可以根据实际需要调整。

5、肢体关联角度计算。

完成操控人员骨架端点坐标计算后，开始对肢体关联角度进行计算，如图3所示，肢体关联角度包括：左上臂与躯干角度(B1)、左上臂与左下臂角度(A1)、右上臂与躯干角度(B2)、右上臂与右下臂角度(A2)、左腿与躯干角度(C1)和右腿与躯干角度(C2)。

本实施例中，根据步骤4中各骨架端点的坐标值，利用余弦定理计算图3中的各肢体关联角度值，各肢体关联角度的详细计算过程如下：

1)计算左上臂与躯干角度(B1)

采用点M(Mx，My)、N(Nx，Ny)、U(Ux，Uy)的坐标构成ΔNMU，依据余弦定理计算角B1(即∠NMU)，计算步骤如下：

分别计算线段MN、线段NU、线段MU的长度Lmn、Lnu、Lmu：

Lmn＝sqrt[(Mx-Nx)×(Mx-Nx)+(My-Ny)×(My-Ny)]；

Lnu＝sqrt[(Nx-Ux)×(Nx-Ux)+(Ny-Uy)×(Ny-Uy)]；

Lmu＝sqrt[(Mx-Ux)×(Mx-Ux)+(My-My)×(My-My)]。

则角B1＝∠NMU

＝[(Lum×Lum+Lmn×Lmn-Lnu×Lnu)/(2×Lum×Lmn)]/3.1415926×180。

2)计算左上臂与左下臂角度(A1)

采用点M(Mx，My)、V(Vx，Vy)、U(Ux，Uy)的坐标构成ΔMUV，依据余弦定理计算角A1(∠MUV)，计算步骤如下：

分别计算线段MU、线段VM、线段VU的长度Lmu、Lvm、Lvu：

Lvu＝sqrt[(Vx-Ux)×(Vx-Ux)+(Vy-Uy)×(Vy-Uy)]；

Lvm＝sqrt[(Vx-Mx)×(Vx-Mx)+(Vy-My)×(Vy-My)]；

Lmu＝sqrt[(Mx-Ux)×(Mx-Ux)+(My-My)×(My-My)]。

则角A1＝∠MUV

＝[(Lvu×Lvu+Lmu×Lmu-Lvm×Lvm)/(2×Lvu×Lmu)]/3.1415926×180。

3)计算右上臂与躯干角度(B2)

采用点M(Mx，My)、N(Vx，Vy)、X(Ux，Uy)的坐标构成ΔXMN，依据余弦定理计算角B2(∠XMN)，计算步骤如下：

分别计算线段XM、线段MN、线段XN的长度Lxm、Lmn、Lxn：

Lxm＝sqrt[(Xx-Mx)×(Xx-Mx)+(Xy-My)×(Xy-My)]；

Lmn＝sqrt[(Mx-Nx)×(Mx-Nx)+(My-Ny)×(My-Ny)]；

Lxn＝sqrt[(Xx-Nx)×(Xx-Nx)+(Xy-Ny)×(Xy-Ny)]。

则角B2＝∠XMN

＝[(Lxm×Lxm+Lmn×Lmn-Lxn×Lxn)/(2×Lxm×Lmn)]/3.1415926×180。

4)计算右上臂与右下臂角度(A2)

采用点M(Mx，My)、X(Xx，Xy)、Y(Yx，Yy)的坐标构成ΔYXM，依据余弦定理计算角A2(∠YXM)，计算步骤如下：

分别计算线段XY、线段XM、线段YM的长度Lxy、Lxm、Lym：

Lxy＝sqrt[(Xx-Yx)×(Xx-Yx)+(Xy-Yy)×(Xy-Yy)]；

Lxm＝sqrt[(Mx-Xx)×(Mx-Xx)+(My-Xy)×(My-Xy)]；

Lym＝sqrt[(Yx-Mx)×(Yx-Mx)+(Yy-My)×(Yy-My)]。

则角A2＝∠YXM

＝[(Lxy×Lxy+Lxm×Lxm-Lym×Lym)/(2×Lxy×Lxm)]/3.1415926×180。

5)计算左腿与躯干角度(C1)

采用点M(Mx，My)、N(Nx，Ny)、P(Px，Py)的坐标构成ΔMNP，依据余弦定理计算角∠MNP，之后根据补角定理计算角C1，计算步骤如下：

分别计算线段MN、线段NP、线段MP的长度Lmn、Lnp、Lmp：

Lmn＝sqrt[(Mx-Nx)×(Mx-Nx)+(My-Ny)×(My-Ny)]；

Lnp＝sqrt[(Nx-Px)×(Nx-Px)+(Ny-Py)×(Ny-Py)]；

Lmp＝sqrt[(Mx-Px)×(Mx-Px)+(My-Py)×(My-Py)]。

则∠MNP＝[(Lmn×Lmn+Lnp×Lnp-Lmp×Lmp)/(2×Lmn×Lnp)]/3.1415926×180，角C1＝180-∠MNP。

6)计算右腿与躯干角度(C2)

采用点M(Mx，My)、N(Nx，Ny)、Q(Qx，Qy)的坐标构成ΔMNQ，依据余弦定理计算角∠MNQ，之后根据补角定理计算角C2，计算步骤如下：

分别计算线段MN、线段NP、线段MP的长度Lmn、Lnq、Lmq：

Lmn＝sqrt[(Mx-Nx)×(Mx-Nx)+(My-Ny)×(My-Ny)]；

Lnq＝sqrt[(Nx-Qx)×(Nx-Qx)+(Ny-Qy)×(Ny-Qy)]；

Lmq＝sqrt[(Mx-Qx)×(Mx-Qx)+(My-Qy)×(My-Qy)]。

则∠MNP＝[(Lmn×Lmn+Lnq×Lnq-Lmq×Lmq)/(2×Lmn×Lnq)]/3.1415926×180，角C2＝180-∠MNQ。

6、体态角度编码。

完成肢体关联角度计算后，开始将肢体关联角度映射为体态角度编码，本实施例中，体态角度编码由3个字节组成，体态角度编码映射表如表1所示：

表1体态角度编码映射表

根据表1，本实施例中，左上臂与躯干角度(B1)对应体态角度编码的第1字节的第0-4字节位；左上臂与左下臂角度(A1)对应体态角度编码的第1字节的第5-7字节位和体态角度编码的第2字节的第0-1字节位；右上臂与躯干角度(B2)对应体态角度编码的第2字节的第2-6字节位；右上臂与右下臂角度(A2)对应体态角度编码的第2字节的第7字节位和体态角度编码的第3字节的第0-3字节位；左腿与躯干角度(C1)对应体态角度编码的第3字节的第4-5字节位；右腿与躯干角度(C2)对应体态角度编码的第3字节的第6-7字节位。其中，若肢体关联角度满足设定的角度范围，则将该肢体关联角度所满足的角度范围对应的字节位置1，该肢体关联角度对应的其他字节位置0。

各肢体关联角度的映射规则如下：

1)左上臂与躯干角度(B1)的映射规则

若B1的角度值在[0，30°]范围，则将体态角度编码第1个字节的第0bit位(即字节位)赋值1，其他角度此位赋值0；若B1的角度值在[31°，60°]范围，则将体态角度编码第1个字节的第1bit位赋值1，其他角度此位赋值0；若B1的角度值在[61°，105°]范围，则将体态角度编码第1个字节的第2bit位赋值1，其他角度此位赋值0；若B1的角度值在[106°，150°]范围，则将体态角度编码第1个字节的第3bit位赋值1，其他角度此位赋值0；若B1的角度值在[151°，195°]范围，则将体态角度编码第1个字节的第4bit位赋值1，其他角度此位赋值0。

例如，若B1的角度值在[0，30°]范围，则体态角度编码第1个字节的前5位为10000，若B1的角度值在[31°，60°]范围，则体态角度编码第1个字节的前5位为01000。

2)左上臂与左下臂角度(A1)的映射规则

若A1的角度值在[0，30°]范围，则将体态角度编码第1个字节的第5bit位赋值1，其他角度此位赋值0；若A1的角度值在[31°，60°]范围，则将体态角度编码第1个字节的第6bit位赋值1，其他角度此位赋值0；若A1的角度值在[61°，105°]范围，则将体态角度编码第1个字节的第7bit位赋值1，其他角度此位赋值0；若A1的角度值在[106°，150°]范围，则将体态角度编码第2个字节的第0bit位赋值1，其他角度此位赋值0；若A1的角度值在[151°，195°]范围，则将体态角度编码第2个字节的第1bit位赋值1，其他角度此位赋值0。

例如，若A1的角度值在[0，30°]范围，则体态角度编码第1个字节的后3位为100，体态角度编码第2个字节的前2位为00。

3)右上臂与躯干角度(B2)的映射规则

若B2的角度值在[0，30°]范围，则将体态角度编码第2个字节的第2bit位赋值1，其他角度此位赋值0；若B2的角度值在[31°，60°]范围，则将体态角度编码第2个字节的第3bit位赋值1，其他角度此位赋值0；若B2的角度值在[61°，105°]范围，则将体态角度编码第2个字节的第4bit位赋值1，其他角度此位赋值0；若B2的角度值在[106°，150°]范围，则将体态角度编码第2个字节的第5bit位赋值1，其他角度此位赋值0；若B2的角度值在[151°，195°]范围，则将体态角度编码第2个字节的第6bit位赋值1，其他角度此位赋值0。

例如，若B2的角度值在[0，30°]范围，则体态角度编码第2个字节的第2-6字节位为10000。

4)右上臂与右下臂角度(A2)的映射规则

若A2的角度值在[0，30°]范围，则将体态角度编码第2个字节的第7bit位赋值1，其他角度此位赋值0；若A2的角度值在[31°，60°]范围，则将体态角度编码第3个字节的第0bit位赋值1，其他角度此位赋值0；若A2的角度值在[61°，105°]范围，则将体态角度编码第3个字节的第1bit位赋值1，其他角度此位赋值0；若A2的角度值在[106°，150°]范围，则将体态角度编码第3个字节的第2bit位赋值1，其他角度此位赋值0；若A2的角度值在[151°，195°]范围，则将体态角度编码第3个字节的第3bit位赋值1，其他角度此位赋值0。

例如，若A2的角度值在[0，30]范围，则体态角度编码第2个字节的第7字节位为1，体态角度编码第3个字节的前4位为0000。

5)左腿与躯干角度(C1)的映射规则

若C1的角度值在[0，15°]范围，则将体态角度编码第3个字节的第4bit位赋值1，其他角度此位赋值0；若C1的角度值在[16°，45°]范围，则将体态角度编码第3个字节的第5bit位赋值1，其他角度此位赋值0。

例如，若C1的角度值在[0，15°]范围，则体态角度编码第3个字节的第4-5字节位为10。

6)右腿与躯干角度(C2)的映射规则

若C2的角度值在[0，15°]范围，则将体态角度编码第3个字节的第6bit位赋值1，其他角度此位赋值0；若C2的角度值在[16°，45°]范围，则将体态角度编码第3个字节的第7bit位赋值1，其他角度此位赋值0。

例如，若C2的角度值在[0，15°]范围，则体态角度编码第3个字节的第6-7字节位为10。

本实施例中，根据表1所示的映射规则将各个肢体关节角度映射为体态角度编码；作为其他实施方式，还可以根据实际需要对映射规则进行调整，例如：可以将每个肢体关节角度对应的角度范围个数适当增加，这时体态角度编码所包含的字节个数会相应增加；或者将每个肢体关节角度对应的角度范围个数适当减少，这时体态角度编码所包含的字节个数会相应减少。

7、控制命令生成及输出。

体态角度编码生成后，通过硬件电路将体态角度编码转换成控制命令发送给被控设备，对被控设备进行控制。其中，控制命令包括命令开关量和命令数字量。

具体地，对于通过开关量受控的被控设备，分别将体态角度编码3个字节的24位信息映射到24路开关量，通过有线接入被控设备，实现设备控制；对于数字量受控的被控设备，将体态角度编码根据被控设备通信需要组成报文信息发送至被控设备，完成设备控制实现。

本实施例中，依据表1所示的映射规则先将各个肢体关联角度映射为体态角度编码，编码值根据肢体关联角度的大小确定，再将体态角度编码转换为控制命令；作为其他实施方式，还可以根据实际需要预设肢体关联角度与控制命令之间的转换规则，依据预设的转换规则将各个肢体关联角度直接转换为控制命令。

装置实施例：

本实施例提供了一种基于人体体态图像的设备控制装置(简称设备控制装置)，该装置能够实现一种基于人体体态图像的设备控制方法，该方法在方法实施例中已进行了详细介绍，此处不再赘述。

如图4所示，本实施例的设备控制装置包括：基于ARM M7架构的低功耗MCU处理器及其外围电路、图像采集装置、接入电路、数据存储电路、开关量输出电路、近场无线通信电路、远程无线通信电路和以太网通信电路。其中，通过接入电路实现对视频/图像的接入、云台与摄像头焦距的控制；利用MCU处理器运行基于人体体态图像的设备控制方法对应的程序指令，生成控制命令，生成的控制命令通过4条途径传递给被控设备：1)通过开关量输出电路将命令开关量就地接入被控设备；2)通过近场无线通信电路将控制命令发送给附近无直接物理连接的被控设备；3)通过远程无线通信电路将控制命令发送给远程不可见、无直接物理连接的被控设备；4)通过以太网通信电路将控制命令发送给网络直接连接的被控设备；从而实现从操控人员的体态图像到控制命令的识别及传递。

需要说明的是：该设备控制装置中的接入电路、MCU处理器及其外围电路、开关量输出电路、近场无线通信电路、远程无线通信电路和以太网通信电路的简单变换落在本发明的保护范围内。

其中，设备控制装置的具体实现形式不限于本实施例所给出的实现形式，只要该装置包括图像采集装置、处理器和存储器，图像采集装置能够采集操控人员的体态图像，处理器通过运行存储在存储器中的程序指令能实现方法实施例中的基于人体体态图像的设备控制方法即可。

Claims (9)

1.一种基于人体体态图像的设备控制方法，其特征在于，该方法包括以下步骤：

采集操控人员的体态图像；

对所述体态图像进行处理得到操控人员骨架端点坐标，所述骨架端点包括躯干上端点、躯干下端点、左上臂下端点、左下臂下端点、右上臂下端点、右下臂下端点、左腿下端点和右腿下端点；

根据所述操控人员骨架端点坐标计算肢体关联角度，所述肢体关联角度包括左上臂与躯干角度、左上臂与左下臂角度、右上臂与躯干角度、右上臂与右下臂角度、左腿与躯干角度和右腿与躯干角度；

依据预定规则，将上述各个肢体关联角度转换为控制命令，根据所述控制命令对被控设备进行控制。

2.根据权利要求1所述的基于人体体态图像的设备控制方法，其特征在于，先将各个肢体关联角度映射为体态角度编码，编码值根据肢体关联角度的大小确定，再将所述体态角度编码转换为控制命令。

3.根据权利要求1或2所述的基于人体体态图像的设备控制方法，其特征在于，对所述体态图像进行处理得到操控人员骨架端点坐标包括以下步骤：计算体态图像中操控人员的轮廓坐标，并依据轮廓坐标计算操控人员的轮廓边界点坐标；利用所述轮廓边界点坐标对体态图像进行分割，得到分割图像；对分割图像进行灰度变换和二值化处理得到包含操控人员轮廓边界信息的二维数组，根据所述二维数组计算操控人员骨架端点坐标。

4.根据权利要求3所述的基于人体体态图像的设备控制方法，其特征在于，所述躯干上端点和躯干下端点的坐标通过以下步骤得到：在二维数组中，以二维数组的中心点为起点分别对当前行数据向前、向后查找数值为1的数据项，直至满足查找停止条件，计算查找到的连续为1的数据项的中间项的坐标作为躯干的横向中心点坐标；然后，在二维数组中，以躯干的横向中心点为起点对当前列数据向上查找数值为1的数据项，直至满足查找停止条件，以查找到的最后一个数值为1的数据项的坐标作为躯干上端点的坐标；同理，在二维数组中，以躯干的横向中心点为起点对当前列数据向下查找数值为1的数据项，直至满足查找停止条件，以查找到的最后一个数值为1的数据项的坐标作为躯干下端点的坐标；其中，查找停止条件为遇到连续数值为0的数据项个数大于第一设定值。

5.根据权利要求4所述的基于人体体态图像的设备控制方法，其特征在于，所述左上臂下端点和左下臂下端点的坐标通过以下步骤得到：在二维数组中，以躯干上端点的坐标为基准构建极坐标系，在第一设定角度范围和第一设定长度范围内搜索数值为1的数据项，直至遇到以第二设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为左上臂下端点的坐标；同理，在二维数组中，以左上臂下端点的坐标为基准构建极坐标系，在第二设定角度范围和第二设定长度范围内搜索数值为1的数据项，直至遇到以第三设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为左下臂下端点的坐标。

6.根据权利要求4所述的基于人体体态图像的设备控制方法，其特征在于，所述右上臂下端点和右下臂下端点的坐标通过以下步骤得到：在二维数组中，以躯干上端点的坐标为基准构建极坐标系，在第三设定角度范围和第三设定长度范围内搜索数值为1的数据项，直至遇到以第四设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为右上臂下端点的坐标；同理，在二维数组中，以右上臂下端点的坐标为基准构建极坐标系，在第四设定角度范围和第四设定长度范围内搜索数值为1的数据项，直至遇到以第五设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为右下臂下端点的坐标。

7.根据权利要求4所述的基于人体体态图像的设备控制方法，其特征在于，所述左腿下端点的坐标通过以下步骤得到：在二维数组中，以躯干下端点为坐标中心构建极坐标系，在第五设定角度范围和第五设定长度范围内搜索数值为1的数据项，直至遇到以第六设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为左腿下端点的坐标。

8.根据权利要求4所述的基于人体体态图像的设备控制方法，其特征在于，所述右腿下端点的坐标通过以下步骤得到：在二维数组中，以躯干下端点为坐标中心构建极坐标系，在第六设定角度范围和第六设定长度范围内搜索数值为1的数据项，直至遇到以第七设定值为长度的搜索区域内的数值全部为0，将搜索到的最后一个、半径最长、数值为1的数据项的坐标作为右腿下端点的坐标。

9.一种基于人体体态图像的设备控制装置，其特征在于，该装置包括：图像采集装置、处理器和存储器，所述图像采集装置用于采集操控人员的体态图像，所述处理器用于运行存储在所述存储器中的程序指令以实现权利要求1-8任一项所述的基于人体体态图像的设备控制方法。

Images