CN105196298B - 一种非接触式交互人偶展示系统及方法 - Google Patents

Abstract

本发明是一种非接触式交互人偶展示系统，包括：自校验单元、视觉坐标和空间坐标关系计算单元、摄像机采集单元、单帧图像分析单元、人体骨骼信息获取单元、人偶运动新目标值获取单元、人偶现有位置与人体位置偏差获取单元、电机运动速度获取单元、电机驱动信息输出单元、灯光控制信号输出单元、和音响控制信号输出单元；本发明打破传统的固定模特的展示方式，结合传统艺术的表现方法，通过摄像头、机器视觉设备对观众的动作的识别采集后经过算法计算实时传输至微控制器，通过控制机械使控制主体产生相应动作。本发明还可以用于与顾客的互动，提高商城对顾客的吸引功能。

Description

一种非接触式交互人偶展示系统及方法

技术领域

本发明涉及一种展示系统，具体的说是一种基于视觉分析的非接触式交互人偶展示系统及方法。

背景技术

随着新媒体时代的到来，越来越多的新媒体装置在日常生活中出现，而服装展示行业却一直处于停滞状态，没有技术创新，多少年来都是一成不变的假人模型展示，充其量是假人造型的变化和使用材料的变化。

目前实体销售行业在被网络销售冲击的背景下，实体销售行业出路就在于在展览展示方式和服务上改变。网络销售其实是有自身缺点的，比如说物体不可触摸完全凭借商家的文字和图片描述，消费者很难有直观感受和体验，而实体销售行业可以发挥自身优势，加以拓展，提升自身竞争力。

发明内容

本发明所要解决的技术问题是：

如何使服装潜在消费者通过肢体运动与橱窗中人偶产生相应互动，从而更加积极主动的了解所展示的服装展品。

本发明解决以上技术问题采用的技术方案是：

一种非接触式交互人偶展示系统，包括：

自校验单元，用于判断开机后是否存在上下位通信故障，并调用预先设置的调整数据A、B，下垂用于非接触式交互展示的人偶所有四肢，初始化所述人偶现有空间坐标Ra(n)(i，j)为预设值，空间坐标Ra(n)(i，j)＝Ra(n-1)(i，j)+O(i,j)，其中，Ra(n)(i，j)为第n步的输出值，Ra(n-1)(i，j)为第n-1步的输出值，O(i,j)＝A(i,j)Mov(i,j)+B(i,j)，Mov为理论输出的电机运动值，O为经过修正过后的电机运动输出值，i为关节编号，j为x、y方向坐标中的一个；

视觉坐标和空间坐标关系计算单元，用于采用Kinect的软件包获得实际操作人员的人体骨骼信息，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i是5个关节中的编号，j是x、y坐标中的一个，然后用一个标准尺测量各关节在最大值的情况下的实际最大绝对坐标Immax(i,j)，根据空间转换比例关系式Immax(i,j)＝F1(i,j)*Iconmax(i,j)+F2(i,j)得到F1(i,j)和F2(i,j)这两个比例关系参数；

摄像机采集单元，用于采集摄像头的视频信息；

单帧图像分析单元，用于分析摄像头中视频的单帧信息，将连续2张图片进行相减，计算整体偏差总和TDev，并将TDev小于等于200判定为图像稳定；

人体骨骼信息获取单元，用于采用Kinect软件包从摄像头视频单帧信息中获得实际操作人员的人体骨骼信息，人体骨骼信息包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i表示5个关节中的编号，j表示x、y坐标中的一个；

人偶运动新目标值获取单元，用于根据人体骨骼信息，判断出各个关节，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Im(i,j)，其中，i表示各关节的编号，j表示是x、y坐标中的一个，Im(i,j)＝F1(i,j)*Icon(i,j)+F2(i,j)；

人偶现有位置与人体位置偏差获取单元，用于通过公式Mov(i,j)＝Ra’(i,j)-Ra(i,j)计算实际操作人员的空间坐标与人偶的偏差，根据O(i,j)＝A(i,j)Mov(i,j)+B(i,j)计算实际输出值；

电机运动速度获取单元，用于根据公式O(i,j)＝Vr(i,j)*Rmotor*T2计算出各个电机运动的所需速度Vr(i,j)，其中，Vr是电机的速度，Rmotor是固定的电机绕线圈的半径，T2是固定的节奏时间；

电机驱动信息输出单元，用于输出电机驱动信息到电机驱动器；

灯光控制信号输出单元，用于输出灯光控制信号；

音响控制信号输出单元，用于输出音响控制信号。

一种非接触式交互人偶展示方法，包括以下步骤：

㈠自校验，用通信握手的方式判断是否存在上下位通信故障，调用预先设置的调整数据A、B，其中A和B分别是人工调整的数据，下垂人偶所有四肢，初始化现有的人偶现有空间坐标Ra(i,j)为初始下垂时的预设值，空间坐标Ra(n)(i，j)＝Ra(n-1)(i，j)+O(i,j)，其中，Ra(n)(i，j)为第n步的输出值，Ra(n-1)(i，j)为第n-1步的输出值，O(i,j)＝A(i,j)Mov(i,j)+B(i,j)，Mov为理论输出的电机运动值，O为经过修正过后的电机运动输出值，i为关节编号，j为x、y方向坐标中的一个；其中，A、B的作用是进行人工调整用的，其作用为修正实际操作参数；

㈡视觉坐标和空间坐标关系计算，采用Kinect的软件包获得实际操作人员的人体骨骼信息，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i是5个关节中的编号，j是x、y坐标中的一个，然后用一个标准尺测量各关节在最大值的情况下的实际最大绝对坐标Immax(i,j)，根据空间转换比例关系式Immax(i,j)＝F1(i,j)*Iconmax(i,j)+F2(i,j)得到F1(i,j)和F2(i,j)这两个比例关系参数；

㈢视频信息采集，电脑采集摄像头视频信息，电脑分析摄像头中的视频的单帧信息，连续2张图片进行相减，计算整体偏差总和TDev，如果TDev大于200个像素，则判断图像不稳定，则结束，如果TDev小于等于200个像素，则判断图像稳定，进入下一步骤；

㈣人体骨骼信息获取，采用Kinect软件包从摄像头视频单帧信息中获得实际操作人员的人体骨骼信息，人体骨骼信息包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i表示5个关节中的编号，j表示x、y坐标中的一个；

㈤人偶运动新目标值获取，根据人体骨骼信息，判断出各个关节，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Im(i,j)，其中，i表示各关节的编号，j表示是x、y坐标中的一个，Im(i,j)＝F1(i,j)*Icon(i,j)+F2(i,j)；

㈥人偶现有位置与人体位置偏差获取，通过公式Mov(i,j)＝Ra’(i,j)-Ra(i,j)计算实际操作人员的空间坐标与人偶的偏差，根据O(i,j)＝A(i,j)Mov(i,j)+B(i,j)计算实际输出值；

㈦电机运动速度获取，根据公式O(i,j)＝Vr(i,j)*Rmotor*T2计算出各个电机运动的所需速度Vr(i,j)，其中，Vr是电机的速度，Rmotor是固定的电机绕线圈的半径，T2是固定的节奏时间；

㈧信号输出，输出电机驱动信息到电机驱动器，输出灯光控制信号，输出音响控制信号；

㈨判断是否有停止信号，如果有停止信号，停止，如果没有结束的控制信号，更新现有的Ra(i,j)＝Ra’(i,j)，并且回到步骤㈡。

本发明进一步限定的技术方案是：

前述的非接触式交互人偶展示系统，其中自校验单元中，开机后使用通信握手的方式判断是否存在上下位通信故障。

本发明的有益效果是：本发明基于图像处理、人工智能、自动控制等原理，综合应用于服装橱窗展示，使服装潜在消费者通过肢体运动与橱窗中人偶产生相应互动，从而更加积极主动的了解所展示的服装展品。本发明以一种全新的体验使潜在消费者通过与橱窗人偶的交互引发对服装的兴趣和关注，并且在交互过程中更加全面了解服装本身穿着效果；同时也让本来静止单调的橱窗展示变得生动，极大提升了橱窗展示的效果。本发明还可以用于与顾客的互动，提高商城对顾客的吸引功能。

附图说明

图1是本发明实施例一的机械原理示意图。

图2是本发明实施例一的电路原理图。

具体实施方式

实施例1

本实施例提供一种基于视觉分析的线拉人机交互人偶，结构如图1和图2所示，主要结构包括结构架5、人偶4、线圈、拉线3、电机2、控制盒1，图1中控制盒1结构架5上方，但不仅限于放置于此；电机2由控制盒1所控制，本实施例中电机2采用的是直流步进电机；拉线3两头分别固定在电机2和人偶4上，用于带动人偶4四肢的运动，本实施例中拉线3采用的是钢丝线；人偶4用于在穿上衣服的情况下展示衣服，本实施例采用的普通的等比例塑料人偶；结构架5用于支撑整个系统的正常运转，本实施例中采用的是钢管焊接结构；真实的操作人员6即顾客。

本实施例的基于视觉分析的线拉人机交互人偶，包括：

自校验单元，用于判断开机后是否存在上下位通信故障，并调用预先设置的调整数据A、B，下垂用于非接触式交互展示的人偶所有四肢，初始化所述人偶现有空间坐标Ra(n)(i，j)为预设值，空间坐标Ra(n)(i，j)＝Ra(n-1)(i，j)+O(i,j)，其中，Ra(n)(i，j)为第n步的输出值，Ra(n-1)(i，j)为第n-1步的输出值，O(i,j)＝A(i,j)Mov(i,j)+B(i,j)，Mov为理论输出的电机运动值，O为经过修正过后的电机运动输出值，i为关节编号，j为x、y方向坐标中的一个；

视觉坐标和空间坐标关系计算单元，用于采用Kinect的软件包获得实际操作人员的人体骨骼信息，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i是5个关节中的编号，j是x、y坐标中的一个，然后用一个标准尺测量各关节在最大值的情况下的实际最大绝对坐标Immax(i,j)，根据空间转换比例关系式Immax(i,j)＝F1(i,j)*Iconmax(i,j)+F2(i,j)得到F1(i,j)和F2(i,j)这两个比例关系参数；

摄像机采集单元，用于采集摄像头的视频信息；

单帧图像分析单元，用于分析摄像头中视频的单帧信息，将连续2张图片进行相减，计算整体偏差总和TDev，并将TDev小于等于200判定为图像稳定；

人体骨骼信息获取单元，用于采用Kinect软件包从摄像头视频单帧信息中获得实际操作人员的人体骨骼信息，人体骨骼信息包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i表示5个关节中的编号，j表示x、y坐标中的一个；

人偶运动新目标值获取单元，用于根据人体骨骼信息，判断出各个关节，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Im(i,j)，其中，i表示各关节的编号，j表示是x、y坐标中的一个，Im(i,j)＝F1(i,j)*Icon(i,j)+F2(i,j)；

人偶现有位置与人体位置偏差获取单元，用于通过公式Mov(i,j)＝Ra’(i,j)-Ra(i,j)计算实际操作人员的空间坐标与人偶的偏差，根据O(i,j)＝A(i,j)Mov(i,j)+B(i,j)计算实际输出值；

电机运动速度获取单元，用于根据公式O(i,j)＝Vr(i,j)*Rmotor*T2计算出各个电机运动的所需速度Vr(i,j)，其中，Vr是电机的速度，Rmotor是固定的电机绕线圈的半径，T2是固定的节奏时间；

电机驱动信息输出单元，用于输出电机驱动信息到电机驱动器；

灯光控制信号输出单元，用于输出灯光控制信号；

音响控制信号输出单元，用于输出音响控制信号。

具体实施时，控制盒包括摄像头、电脑、电机驱动器、音响、灯光；其中摄像头用于采集外部的视频信息，提供给电脑分析，本实施例中摄像头采用的是Kinect摄像模块；电脑是整个系统处理的核心，它用于分析摄像头中的视频，判断是否有人，如果有人，分析人的位置，判断是否操作人偶运动，在运动情况下，控制驱动信号到电机驱动器，也控制音响的播放，灯光动作等，在本实施例中电脑采用的是工业级迷你电脑。电机驱动器是在电脑的控制下，提供稳定的工作电压、电流、引脚逻辑给电机，实现电机的正常工作，本实施例中电机驱动器采用的是MA860H。电机是通过转动带动拉线，从而带动人偶四肢运动的机构，在本实施例中采用的是86系列直流步进电机。音响是用于播放动作音乐，实现语音提示的功能，它由电脑控制，本实施例中采用的普通的电脑音响。灯光是用于带动环境气氛和补充光源，它由电脑控制，本实施例中采用的普通的射灯光源。

实施例2

本实施你是一种用于实施例的非接触式交互人偶展示方法，包括以下步骤：

㈠自校验，用通信握手的方式判断是否存在上下位通信故障，调用预先设置的调整数据A、B，其中A和B分别是人工调整的数据，下垂人偶所有四肢，初始化现有的人偶现有空间坐标Ra(i,j)为初始下垂时的预设值，空间坐标Ra(n)(i，j)＝Ra(n-1)(i，j)+O(i,j)，其中，Ra(n)(i，j)为第n步的输出值，Ra(n-1)(i，j)为第n-1步的输出值，O(i,j)＝A(i,j)Mov(i,j)+B(i,j)，Mov为理论输出的电机运动值，O为经过修正过后的电机运动输出值，i为关节编号，j为x、y方向坐标中的一个；其中，A、B的作用是进行人工调整用的，其作用为修正实际操作参数；

㈡视觉坐标和空间坐标关系计算，采用Kinect的软件包获得实际操作人员的人体骨骼信息，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i是5个关节中的编号，j是x、y坐标中的一个，然后用一个标准尺测量各关节在最大值的情况下的实际最大绝对坐标Immax(i,j)，根据空间转换比例关系式Immax(i,j)＝F1(i,j)*Iconmax(i,j)+F2(i,j)得到F1(i,j)和F2(i,j)这两个比例关系参数；

㈢视频信息采集，电脑采集摄像头视频信息，电脑分析摄像头中的视频的单帧信息，连续2张图片进行相减，计算整体偏差总和TDev，如果TDev大于200个像素，则判断图像不稳定，则结束，如果TDev小于等于200个像素，则判断图像稳定，进入下一步骤；

㈣人体骨骼信息获取，采用Kinect软件包从摄像头视频单帧信息中获得实际操作人员的人体骨骼信息，人体骨骼信息包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i表示5个关节中的编号，j表示x、y坐标中的一个；

㈤人偶运动新目标值获取，根据人体骨骼信息，判断出各个关节，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Im(i,j)，其中，i表示各关节的编号，j表示是x、y坐标中的一个，Im(i,j)＝F1(i,j)*Icon(i,j)+F2(i,j)；

㈥人偶现有位置与人体位置偏差获取，通过公式Mov(i,j)＝Ra’(i,j)-Ra(i,j)计算实际操作人员的空间坐标与人偶的偏差，根据O(i,j)＝A(i,j)Mov(i,j)+B(i,j)计算实际输出值；

㈦电机运动速度获取，根据公式O(i,j)＝Vr(i,j)*Rmotor*T2计算出各个电机运动的所需速度Vr(i,j)，其中，Vr是电机的速度，Rmotor是固定的电机绕线圈的半径，T2是固定的节奏时间；

㈧信号输出，输出电机驱动信息到电机驱动器，输出灯光控制信号，输出音响控制信号；

㈨判断是否有停止信号，如果有停止信号，停止，如果没有结束的控制信号，更新现有的Ra(i,j)＝Ra’(i,j)，并且回到步骤㈡。

本实施例以一种全新的体验使潜在消费者通过与橱窗人偶的交互引发对服装的兴趣和关注，并且在交互过程中更加全面了解服装本身穿着效果。同时也让本来静止单调的橱窗展示变得生动，极大提升了橱窗展示的效果。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

Claims (3)

1.一种非接触式交互人偶展示系统，其特征在于：包括：

自校验单元，用于判断开机后是否存在上下位通信故障，并调用预先设置的调整数据A、B，下垂用于非接触式交互展示的人偶所有四肢，初始化所述人偶现有空间坐标Ra(n)(i，j)为预设值，空间坐标Ra(n)(i，j)＝Ra(n-1)(i，j)+O(i,j)，其中，Ra(n)(i，j)为第n步的输出值，Ra(n-1)(i，j)为第n-1步的输出值，O(i,j)＝A(i,j)Mov(i,j)+B(i,j)，Mov为理论输出的电机运动值，O为经过修正过后的电机运动输出值，i为关节编号，j为x、y方向坐标中的一个；

视觉坐标和空间坐标关系计算单元，用于采用Kinect的软件包获得实际操作人员的人体骨骼信息，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i是5个关节中的编号，j是x、y坐标中的一个，然后用一个标准尺测量各关节在最大值的情况下的实际最大绝对坐标Immax(i,j)，根据空间转换比例关系式Immax(i,j)＝F1(i,j)*Iconmax(i,j)+F2(i,j)得到F1(i,j)和F2(i,j)这两个比例关系参数；

摄像机采集单元，用于采集摄像头的视频信息；

单帧图像分析单元，用于分析摄像头中视频的单帧信息，将连续2张图片进行相减，计算整体偏差总和TDev，并将TDev小于等于200个像素判定为图像稳定；

人体骨骼信息获取单元，用于采用Kinect软件包从摄像头视频单帧信息中获得实际操作人员的人体骨骼信息，人体骨骼信息包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i表示5个关节中的编号，j表示x、y坐标中的一个；

人偶运动新目标值获取单元，用于根据人体骨骼信息，判断出各个关节，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Im(i,j)，其中，i表示各关节的编号，j表示是x、y坐标中的一个，Im(i,j)＝F1(i,j)*Icon(i,j)+F2(i,j)；

人偶现有位置与人体位置偏差获取单元，用于通过公式Mov(i,j)＝Ra’(i,j)-Ra(i,j)计算实际操作人员的空间坐标与人偶的偏差，根据O(i,j)＝A(i,j)Mov(i,j)+B(i,j)计算实际输出值；

电机运动速度获取单元，用于根据公式O(i,j)＝Vr(i,j)*Rmotor*T2计算出各个电机运动的所需速度Vr(i,j)，其中，Vr是电机的速度，Rmotor是固定的电机绕线圈的半径，T2是固定的节奏时间；

电机驱动信息输出单元，用于输出电机驱动信息到电机驱动器；

灯光控制信号输出单元，用于输出灯光控制信号；

音响控制信号输出单元，用于输出音响控制信号。

2.如权利要求1所述的非接触式交互人偶展示系统，其特征在于：所述自校验单元中，开机后使用通信握手的方式判断是否存在上下位通信故障。

3.用于权利要求1所述系统的非接触式交互人偶展示方法，其特征在于：包括以下步骤：

㈠自校验，用通信握手的方式判断是否存在上下位通信故障，调用预先设置的调整数据A、B，其中A和B分别是人工调整的数据，下垂人偶所有四肢，初始化现有的人偶现有空间坐标Ra(i,j)为初始下垂时的预设值，空间坐标Ra(n)(i，j)＝Ra(n-1)(i，j)+O(i,j)，其中，Ra(n)(i，j)为第n步的输出值，Ra(n-1)(i，j)为第n-1步的输出值，O(i,j)＝A(i,j)Mov(i,j)+B(i,j)，Mov为理论输出的电机运动值，O为经过修正过后的电机运动输出值，i为关节编号，j为x、y方向坐标中的一个；

㈡视觉坐标和空间坐标关系计算，采用Kinect的软件包获得实际操作人员的人体骨骼信息，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i是5个关节中的编号，j是x、y坐标中的一个，然后用一个标准尺测量各关节在最大值的情况下的实际最大绝对坐标Immax(i,j)，根据空间转换比例关系式Immax(i,j)＝F1(i,j)*Iconmax(i,j)+F2(i,j)得到F1(i,j)和F2(i,j)这两个比例关系参数；

㈢视频信息采集，电脑采集摄像头视频信息，电脑分析摄像头中的视频的单帧信息，连续2张图片进行相减，计算整体偏差总和TDev，如果TDev大于200个像素，则判断图像不稳定，则结束，如果TDev小于等于200个像素，则判断图像稳定，进入下一步骤；

㈣人体骨骼信息获取，采用Kinect软件包从摄像头视频单帧信息中获得实际操作人员的人体骨骼信息，人体骨骼信息包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Icon(i,j)，其中，i表示5个关节中的编号，j表示x、y坐标中的一个；

㈤人偶运动新目标值获取，根据人体骨骼信息，判断出各个关节，包括左右手臂的肩关节、肘关节、腕关节，以及左右腿的膝关节、脚环关节在图像中的坐标Im(i,j)，其中，i表示各关节的编号，j表示是x、y坐标中的一个，Im(i,j)＝F1(i,j)*Icon(i,j)+F2(i,j)；

㈥人偶现有位置与人体位置偏差获取，通过公式Mov(i,j)＝Ra’(i,j)-Ra(i,j)计算实际操作人员的空间坐标与人偶的偏差，根据O(i,j)＝A(i,j)Mov(i,j)+B(i,j)计算实际输出值；

㈦电机运动速度获取，根据公式O(i,j)＝Vr(i,j)*Rmotor*T2计算出各个电机运动的所需速度Vr(i,j)，其中，Vr是电机的速度，Rmotor是固定的电机绕线圈的半径，T2是固定的节奏时间；

㈧信号输出，输出电机驱动信息到电机驱动器，输出灯光控制信号，输出音响控制信号；

㈨判断是否有停止信号，如果有停止信号，停止，如果没有结束的控制信号，更新现有的Ra(i,j)＝Ra’(i,j)，并且回到步骤㈡。