CN109194912A - 一种实时头部行为追踪监控系统及其控制方法 - Google Patents

Abstract

本发明揭示了一种实时头部行为追踪监控系统，包括主机和从机，主机为头部运动检测分析系统和显示设备，而从机为外部环境监测系统。主体模块能够满足需要，还可进一步增加信号传输的稳定性和可靠性，并增加更多人性化功能组件如引导程序下载接口以及交互式器件。进一步钻研图像处理及远程信息传输等技术，使得实时头部行为追踪监控系统有更广阔的应用空间。可应用于飞行器的高空实时大范围监测、危险环境的无人监控、家庭助理等领域。

Description

一种实时头部行为追踪监控系统及其控制方法

技术领域

本发明涉及视频监控领域，尤其涉及一种通过解析头部运动远程控制摄像头拍摄的及实时传回输出画面的监控系统。

背景技术

随着现代社会的进步，科技的发展。人身的安全以及工作效率的提高和人性化的交互方式越来越得到重视。实时头部行为追踪监控系统作为一种可以用于远程监控的人性化交互系统，具有广泛的应用前景，已经成为现代远程监控的一种重要发展趋势。实时头部行为追踪监控系统的发展，代表着现代科技发展的一种思想，即通过仿生的手段，利用机器完成人类不易完成的工作，也是一种现代意义上的可穿戴远程监控设备。

近年来，远程监控已经运用于各类工程领域，如家庭网络摄像头，无人机航拍，以及危险地区勘探。都运用了远程摄像头，通过无线通路实时传送视频给需求者，达到远程监控的目的。然而，随着拍摄方式的要求逐渐提高，人们不再能满足单一方向的监控摄影，于是通过架设舵机的方式改变摄像头的拍摄方向逐步成为现代的监控方式。通过单个舵机我们可以实现180°角的旋转，仅仅完成了单轴的运动，对于一般监控摄像，是可以满足基本需求的。

但是，对于进一步的监控要求，我们需要将坐标系扩充，增加一个舵机实现转动轴的交叉，完成xy轴两个方向的旋转，使得监控角度进一步扩大，视野更加广阔。进一步的，还可以通过三个舵机联动，实现围绕三轴旋转，分别得到三轴笛卡尔坐标下的Pitch(俯仰角)，Yaw(航向角)，Roll(横滚角)的三向转动。然而在该方案下并没有采用Roll(横滚角)，考虑到横滚角的引入并不能增大显示面积，反而使得画面不再平行，同时通过倾斜头部的方式改变视野的行为不符合人类正常行动，故只采用了双舵机联合。

在模拟摄像头的处理层面上来说，模拟摄像头作为一个封闭的系统，只能有内部查看，所以我们需要将模拟信号进一步转化为数字信号才可以供外部远程使用。考虑到将要传输给手机使用，通过模块直接将AV信号转化为WIFI信号将更加方便。

综上所述，基于解析头部运动并模仿行为的监控系统的山歘顺从考虑到以下特点：1)将6轴传感器得到的数据转换为有效的可供舵机使用的PWM值；2)得到的图像数据的处理以及通过手机的显示方案。

发明内容

本发明所要解决的技术问题是实现一种基于STM32单片机的实时头部行为追踪监控系统，能够通过6轴加速度计得到6个基本数据，分别XYZ三个方向上的加速度，XYZ三个方向上的角速度，通过四元数与欧拉角的变换，得到所需的Pitch与Yaw角，同时通过Pitch与Yaw角的设定，来完成PWM的阈值设定，调节不同的占空比调节舵机的角度，通过摄像头采集到所需位置图像的模拟信号，进一步转换为Wi-Fi信号，发送到手机端，通过戴在头部的手机观测到远处视频图像。

为了实现上述目的，本发明采用的技术方案为：一种实时头部行为追踪监控系统，系统包括主机和从机；

所述主机：设有获取头部转动信息的6轴加速度计，所述6轴加速度计输出感应信号至处理单元，所述处理单元输出控制信号至从机；

所述从机：设有固定在机架上的摄像头，以及驱动机架围绕X轴转动的舵机A、围绕Y轴转动的舵机B，所述摄像头输出视频信号至主机，控制单元接收主机发出的控制信号，并输出驱动信号至舵机A和舵机B，其特征在于：

所述主机的处理单元包括主机STM32主控芯片和主机无线射频芯片，所述6轴加速度计输出四元数信号至主机STM32主控芯片，所述主机STM32主控芯片输出舵机所需PWM值信号至主机无线射频芯片，所述主机无线射频芯片输出无线控制信号至从机；

所述从机的控制单元包括从机STM32主控芯片和从机无线射频芯片，所述从机无线射频芯片接收主机无线射频芯片发出的无线控制信号，所述从机无线射频芯片将舵机所需PWM值信号输送至从机STM32主控芯片，所述从机STM32主控芯片分别输出驱动信号至舵机A和舵机B。

所述主机包括智能手机，所述从机设有AV转WIFI模块，所述智能手机通过WIFI信号与从机通信，所述摄像头输出的AV信号经AV转WIFI模块输送至智能手机。

所述主机STM32主控芯片和从机机STM32主控芯片均包括STM32稳压供电模块，自定义按键，自定义指示灯，Flash芯片，USB转串口TTL模块，JTAG/SWD调试接口，STM32F103ZET6主控芯片；

所述稳压供电模块：为系统提供稳定的3.3V直流电压；

所述自定义按键：为模式选择提供板载输入口；

所述自定义指示灯：为系统状态提供板载状态提示；

Flash芯片：存储需要掉电不丢失的数据；

USB转串口TTL模块：通过USB直接下载程序或通过串口调试；

JTAG/SWD调试接口：提供可以在线硬件仿真的接口；

STM32F103ZET6主控芯片：最小系统板核心，作为处理器。

所述主机固定在可穿戴设备上。

基于所述实时头部行为追踪监控系统的控制方法：

系统工作过程中，摄像头采集信号后通过AV转WIFI模块输出WIFI信号至智能手机，系统工作控制方法：

步骤1、6轴加速度计将实时获得信号输送至主机STM32主控芯片；

步骤2、主机STM32主控芯片将得到的欧拉角解析成舵机可用的PWM值，通过主机无线射频芯片发送到从机；

步骤3、从机通过从机无线射频芯片得到PWM值并给予从机STM32主控芯片；

步骤4、从机STM32主控芯片输出PWM波至舵机，控制舵机转动。

所述步骤1中，6轴加速度计将采集到的欧拉角通过四元数进行转换后输送至主机STM32主控芯片。

所述步骤1处理方法包括：

1)通过6轴加速度计得到某一时间点上头部当前的XYZ方向上的加速度与角速度；

2)通过陀螺仪增益，陀螺仪灵敏度，陀螺仪零点中值以及角速度计算出XYZ方向上的角速度；

3)同时将加速度单位化，通过融合四元数的方式计算重力单位向量；

4)融合加速度与重力单位向量得到重力向量误差；

5)通过融合上一次的Pi与重力向量误差以及姿态修正常量，计算误差积分修正量Pi；

6)融合重力向量误差以及误差积分修正量，再一次计算角速度；

7)重新加入陀螺仪零偏以及角速度计算四元数，随后单位化；

8)将四元数转换为欧拉角。

本发明是一种基于STM32的实时头部行为追踪监控系统及其实现办法，其可以有效地通过人性化的交互手段获得远处的监控图像，克服了传统远程监控中所不能身临其境的感觉，提高了操作过程中的人机交互性。

附图说明

下面对本发明说明书中每幅附图表达的内容作简要说明：

图1为基于STM32的实时头部行为追踪监控系统的主机构造图；

图2为基于STM32的实时头部行为追踪监控系统的从机构造图；

图3为基于STM32的实时头部行为追踪监控系统的数据流图；

图4为基于STM32的实时头部行为追踪监控系统的主机程序流程图；

图5为基于STM32的实时头部行为追踪监控系统的从机程序流程图；

图6为基于STM32的实时头部行为追踪监控系统的具体头部运动解析方法的程序流程图。

具体实施方式

如图1所示，基于STM32的实时头部行为追踪监控系统，主机作为可穿戴设备包括：STM32最小系统板：用于将主机获得的数据进行处理运算，给予需要运用的模块；6轴传感器：用于解析头部运动姿态得到欧拉角与四元数；无线射频芯片：用于传送舵机转动角度所需要的PWM值，接收从机给予的应答返回信号。智能手机：作为接受转化后的视频图像的显示器，直接置于头部。

STM32最小系统板：用于模块主控芯片，处理与传输数据；

智能手机：用于接受摄像头传回画面；

6轴加速度计：用于解析头部运动方式，得出头部各个方向转动角度，提供给舵机使用；6轴加速度计提供加速度范围：±2±4±8±16g。陀螺仪范围：±250±500±1000±2000°/sec，以数字输出6轴旋转矩阵、四元数欧拉角格式的融合演算数据；

无线射频芯片：用于主从机间数据指令传输；

如图2所示，基于STM32的实时头部行为追踪监控系统，从机包括：STM32最小系统板：用于将主机获得的数据进行处理运算，给予需要运用的模块；两个舵机模块：分别用于改变从机摄像头的X轴与Y轴上的方向；模拟摄像头：用于采集从机周边的视频图像，输出AV信号交于模块；AV转WIFI模块：用于将模拟摄像头采集到的AV图像转化为可供手机直接接受的WIFI信号；

STM32最小系统板：用于模块主控芯片，处理与传输数据；

从机无线射频芯片：用于主从机间数据指令传输；

摄像头：用于拍摄从机周围视频图像；采用线性CCD摄像头，通过一排像素扫描图片，分别做三次曝光，对应于红绿蓝三色滤镜，捕捉一维图像，通过广角镜头在画面畸变不严重的情况下充分记录周围情况；

AV转WIFI模块用于将摄像头得到的AV图像转换为WIFI信号，从而通过手机直接收取；AV转WIFI模块提供H.264压缩，传输不卡顿，最高484AV视频，WIFI信道任意转换，频率范围从2.412GHz-2.484GHz；

舵机A：用于模仿头部X轴方向运动；

舵机B：用于模仿头部Y轴方向运动；

舵机无负载速度在4.8V的工作电压下0.12秒/60度，死区设定为7微秒，提供三根接线，其中两根为电源线要求工作电压为4.8V-6V，另外一根线为PWM输入线，由单片机提供所需PWM输出。

更具体来说；

6轴加速计模块优选MPU6050作为传感器芯片，包括陀螺仪功能与加速度计功能。陀螺仪：用于检测角运动，提供±250±500±1000±2000°/sec的角速度范围检测；加速度计：用于检测加速度，提供±2±4±8±16g的加速度范围检测。

舵机模块组选用两个可转动360°的舵机搭建，包括绕X轴转动的舵机A和绕Y轴转动的舵机B。舵机A:接受从机获得的PWM值，绕X轴旋转；舵机B：接受从机获得的PWM值，绕Y轴旋转。

主机和从机的无线射频芯片均提供2.4Ghz全球开放ISM频段使用，最高2Mbps高效GFSK调制，内置CRC检错或点对点通信地址控制，低功耗工作，内置2.4Ghz天线，提供稳定可靠的2.4Ghz无线通讯功能；

无线射频芯片优选NRF24L01作为传感器芯片，包括频率发生器、模式控制器、功率放大器、晶体放大器、调制器、解调器。频率发生器：用于产生一定频率的方波；功率放大器：用于在指定失真率条件下，产生最大功率驱动某一负载；调制解调器：完成数字信号与模拟信号之间的相互转换。

AV转WIFI模块利用标准2.4G频段的WiFi协议(b/n/g国际无线标准)实现视频无线传输。模块采用H.264产生高压缩比的数据流，再通过无线WiFi点对点的方式发送到任意的显示终端(Android、iPhone等智能手机或电脑端)，由显示终端完成视频实时显示，录像，拍照，数据双向透传等应用。

主机和从机的STM32最小系统板结构相同，均包括STM32稳压供电模块，自定义按键，自定义指示灯，Flash芯片，USB转串口TTL模块，JTAG/SWD调试接口，STM32F103ZET6主控芯片：

稳压供电模块：为系统提供稳定的3.3V直流电压；

自定义按键：为模式选择提供板载输入口；

自定义指示灯：为系统状态提供板载状态提示；

Flash芯片：存储需要掉电不丢失的数据；

USB转串口TTL模块：通过USB直接下载程序或通过串口调试；

JTAG/SWD调试接口：提供可以在线硬件仿真的接口；

STM32F103ZET6主控芯片：最小系统板核心，作为处理器。

如图3所示，基于STM32的实时头部行为追踪监控系统，数据流图包括：数据流：传送的四元数信息、舵机所需PWM值、摄像头得到的AV信号、加工后的WIFI信号；加工：欧拉角到四元数的转换、角度值到舵机PWM值得转换、AV信号到WIFI信号的转换；数据存储：STM32；数据的源点和终点：头部运动和手机显示屏。

如图4与图5所示，基于STM32的实时头部行为追踪监控系统，程序流程图包括：基于STM32的实时头部行为追踪监控系统的主机程序流程图：描述了主机工作的程序主函数流程；基于STM32的实时头部行为追踪监控系统的从机程序流程图：描述了从机工作的程序主函数流程；

在STM32主控芯片上收集6轴加速度计采集到的欧拉角，通过四元数进行转换，进而转换为舵机可用的PWM输出，通过无线射频芯片进行数据传输，将得到的PWM输出值给予从机的主控芯片，传递给舵机转动角度，进而控制舵机带动摄像头采集图像信号，摄像头采集信号后通过AV转WIFI模块输出WIFI信号至智能手机，传递给手机远处视屏图像，具体步骤如下：

(1)头部运动，控制远方舵机带动摄像头转动。

(2)头部主机的6轴传感器解析头部运动姿态，交于单片机处理。

(3)单片机将得到的欧拉角解析成舵机可用的PWM值，通过无线射频芯片发送到从机。

(4)从机通过无线射频芯片得到PWM值，给予单片机，单片机通过IO口输出PWM波，给予舵机控制信号。

(5)舵机运动带动摄像头运动，从而达到通过头部运动控制远方摄像头拍摄画面的功能。

(6)摄像头输出AV视频信号，给予AV转WIFI模块，进而转换为WIFI信号，主机通过其内部放置的手机接收WIFI信号，得到远方监控画面。

如图6所示，基于STM32的实时头部行为追踪监控系统，具体算法流程图包括：四元数解法流程图：该流程图具体描述了在该系统中，如何通过6轴传感器模块将头部的运动转换为舵机可用的调节角度的PWM值得具体算法。

解析姿态的四元数算法，其核心就是从欧拉角到四元数的转变，欧拉角使用的是最简单的XYZ值表示在XYZ轴上的旋转角度，定义其每个范围都为0-360°的旋转量，并且每次旋转都不会互相影响。但同时，欧拉角会出现问题，如不易在任意方向的旋转轴插值，万向节死锁，旋转的次序无法确定。而四元数就是轴角的进化，使用一个3维向量表示转轴和一个角度分量表示绕此轴旋转的角度。(ax,ay,az)表示轴的矢量，theta表示绕此轴的旋转角度。四元数中每个数都是经过处理的轴和角，而“四元组”并不是一个空间下的东西，它们分别是三维坐标下的矢量，和极坐标下的角度。因此通过四元数将空间扩大为四维空间，方便归一化来插值，能方便得到轴角这样用于3D图像的信息数据。

具体来说，首先通过6轴加速度计得到某一时间点上头部当前的XYZ方向上的加速度与角速度，随后通过陀螺仪增益，陀螺仪灵敏度，陀螺仪零点中值以及角速度计算出XYZ方向上的角速度，同时将加速度单位化。同时通过融合四元数的方式计算重力单位向量，随后融合加速度与重力单位向量得到重力向量误差。进一步，计算误差积分修正量Pi，通过融合上一次的Pi与重力向量误差以及姿态修正常量。再一次计算角速度，此时融合重力向量误差以及误差积分修正量。重新加入陀螺仪零偏以及角速度计算四元数，随后单位化，最后运用公式将四元数转换为欧拉角；

陀螺仪：用高速回转体的动动量矩敏感壳体相对惯性空间绕正交于自转轴的一个或二个轴的角运动检测装置。

加速度：速度变化量与发生这一变化所用时间的比值Δv/Δt，是描述物体速度变化快慢的物理量。

角速度：一个以弧度为单位的圆，在单位时间内所走的弧度即为角速度。

四元数：四元数是超复数，有一个实数加上三个虚数单位组成，是由1、i、j和k组成的线性组合。

欧拉角：用来确定定点转动刚体位置的3个一组独立角参量，由章动角θ、旋进角ψ和自转角j组成，为欧拉首先提出而得名。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (7)

1.一种实时头部行为追踪监控系统，系统包括主机和从机；

所述主机：设有获取头部转动信息的6轴加速度计，所述6轴加速度计输出感应信号至处理单元，所述处理单元输出控制信号至从机；

所述从机：设有固定在机架上的摄像头，以及驱动机架围绕X轴转动的舵机A、围绕Y轴转动的舵机B，所述摄像头输出视频信号至主机，控制单元接收主机发出的控制信号，并输出驱动信号至舵机A和舵机B，其特征在于：

所述主机的处理单元包括主机STM32主控芯片和主机无线射频芯片，所述6轴加速度计输出四元数信号至主机STM32主控芯片，所述主机STM32主控芯片输出舵机所需PWM值信号至主机无线射频芯片，所述主机无线射频芯片输出无线控制信号至从机；

所述从机的控制单元包括从机STM32主控芯片和从机无线射频芯片，所述从机无线射频芯片接收主机无线射频芯片发出的无线控制信号，所述从机无线射频芯片将舵机所需PWM值信号输送至从机STM32主控芯片，所述从机STM32主控芯片分别输出驱动信号至舵机A和舵机B。

2.根据权利要求1所述的实时头部行为追踪监控系统，其特征在于：所述主机包括智能手机，所述从机设有AV转WIFI模块，所述智能手机通过WIFI信号与从机通信，所述摄像头输出的AV信号经AV转WIFI模块输送至智能手机。

3.根据权利要求1或2所述的实时头部行为追踪监控系统，其特征在于：所述主机STM32主控芯片和从机机STM32主控芯片均包括STM32稳压供电模块，自定义按键，自定义指示灯，Flash芯片，USB转串口TTL模块，JTAG/SWD调试接口，STM32F103ZET6主控芯片；

所述稳压供电模块：为系统提供稳定的3.3V直流电压；

所述自定义按键：为模式选择提供板载输入口；

所述自定义指示灯：为系统状态提供板载状态提示；

Flash芯片：存储需要掉电不丢失的数据；

USB转串口TTL模块：通过USB直接下载程序或通过串口调试；

JTAG/SWD调试接口：提供可以在线硬件仿真的接口；

STM32F103ZET6主控芯片：最小系统板核心，作为处理器。

4.根据权利要求3所述的实时头部行为追踪监控系统，其特征在于：所述主机固定在可穿戴设备上。

5.基于如权利要求1-4中任一所述实时头部行为追踪监控系统的控制方法，其特征在于：

系统工作过程中，摄像头采集信号后通过AV转WIFI模块输出WIFI信号至智能手机，系统工作控制方法：

步骤1、6轴加速度计将实时获得信号输送至主机STM32主控芯片；

步骤2、主机STM32主控芯片将得到的欧拉角解析成舵机可用的PWM值，通过主机无线射频芯片发送到从机；

步骤3、从机通过从机无线射频芯片得到PWM值并给予从机STM32主控芯片；

步骤4、从机STM32主控芯片输出PWM波至舵机，控制舵机转动。

6.根据权利要求5所述的控制方法，其特征在于：所述步骤1中，6轴加速度计将采集到的欧拉角通过四元数进行转换后输送至主机STM32主控芯片。

7.根据权利要求5或6所述的控制方法，其特征在于：所述步骤1处理方法包括：

1)通过6轴加速度计得到某一时间点上头部当前的XYZ方向上的加速度与角速度；

2)通过陀螺仪增益，陀螺仪灵敏度，陀螺仪零点中值以及角速度计算出XYZ方向上的角速度；

3)同时将加速度单位化，通过融合四元数的方式计算重力单位向量；

4)融合加速度与重力单位向量得到重力向量误差；

5)通过融合上一次的Pi与重力向量误差以及姿态修正常量，计算误差积分修正量Pi；

6)融合重力向量误差以及误差积分修正量，再一次计算角速度；

7)重新加入陀螺仪零偏以及角速度计算四元数，随后单位化；

8)将四元数转换为欧拉角。