CN112648479A - 一种人脸识别跟踪的云台支架的使用方法 - Google Patents

Abstract

本发明提供了一种人脸识别跟踪的云台支架的使用方法，该方法通过APP在后台获取手机屏幕录屏流，并进行人脸识别检测，以实现全自动旋转，具有兼容性强、调整精度高的优点；可以兼容任何直播和视频聊天软件，不需要调用手机摄像头，因为所有的直播、自拍、视频聊天等界面都有摄像机的图像信息，通过采集用户的屏幕实时显示的内容去做指令，调控精度更高。

Description

一种人脸识别跟踪的云台支架的使用方法

技术领域

本发明属于移动终端设备技术领域，尤其涉及一种基于移动终端设备屏幕图像进行人脸识别跟踪的云台支架的使用方法。

背景技术

随着人们物质生活的提高，平板电脑、手机等便携式移动设备成为追赶时髦的一种生活方式。平板电脑、手机等移动设备非常便于携带，但唯一的缺点就是没有固定的支点，也是造成许多人患上颈椎病的原因之一。而且近年来直播与自拍行为已经日渐成为了人们生活中不可分割的一部分，直播与自拍市场日益扩大，视频聊天使用频率增大，急需一种能够固定手机或者平板电脑的支架。

而在直播或者录制图像或视频的过程中，当录制对象位置发生改变时，通常需要移动录制设备来跟随录制对象捕捉画面，或者需要移动录制设备来连续捕捉不同画面。此时支架的可旋转就显得尤为重要。但现有的直播支架、自拍支架均存在很大的局限性，如无法自动跟踪拍摄物，转动角度受到限制，无法进行360°的水平转动及垂直转动；此外，现有的转动支架设备，通常需要人们手动去调节转动支架，在自拍和直播时非常不方便。

因此，急需提供一种能够进行自动识别跟踪待拍摄对象，并能够自动进行旋转以及时捕捉待拍摄对象的云台支架。然而现有可自动旋转的云台支架大多是在支架本体上设置摄像头等捕捉图像类元件，以实现自动跟踪和识别，进而通过控制系统控制支架的转动。此种设置，一方面增大了云台支架的制造成本；另一方面设置在支架本体上的摄像头与支架上的移动设备的摄像头存在一定的距离偏差，如果根据支架本体上的摄像头进行识别和跟踪调节，会存在一定的调节偏差。或者可自动旋转的云台支架利用自主开发的APP，调用手机的摄像头进行跟拍，却无法兼容使用者的其他拍摄，视频聊天，直播APP等。

发明内容

针对上述现有技术存在的缺陷，本发明的目的在于提供一种基于移动终端设备屏幕图像进行人脸识别跟踪的云台支架的使用方法。通过在云台支架上设置可与移动终端设备连接的信号传输和接收模块，能够实时接收移动终端设备上的APP通过后台录屏发送的角度变化指令，以实现全自动旋转，用户不受其他APP使用限制，可以任意使用其他直播，摄像，视频聊天APP，具有兼容性强、调整精度高的优点。

为实现上述目的，本发明采用以下技术方案实现：

基于移动终端设备屏幕图像进行人脸识别跟踪的云台支架的使用方法，包括如下步骤：

S1.将具有屏幕录制和人脸识别检测功能的APP移动终端设备固定在所述云台支架的支撑板上，打开所述云台支架的信号连接元件，将所述云台支架的控制系统与所述移动终端进行遥控连接；其中，所述云台支架包括有云台支架本体，所述云台支架本体包括支撑底座、转动组件、驱动电机、连接所述转动组件与所述支撑底座的传动组件以及用于控制所述传动组件的控制系统；所述转动组件包含与所述传动组件连接的云台以及与所述云台连接的支撑架组件；所述支撑架组件包含用于支撑移动终端设备的支撑板，所述控制系统包括信号传输和接收模块，且所述控制系统与所述驱动电机电连接；

S2.打开所述移动终端设备中的APP，请求文件读写权限和录屏权限，点击确定以开启此权限；

S3.利用所述移动终端设备中的录屏软件获取制作屏幕录制对象文件，开始录屏，录屏数据返回，调用人脸识别检测功能识别人脸变化位置；

S4.所述APP通过遥控连接向所述云台支架的控制系统发送角度变化指令，所述控制系统的信号接收单元接收该指令，并通过驱动电机转动带动传动组件转动，所述传动组件进一步控制所述转动组件的转动，最终实现云台支架的自动旋转调节。

进一步的，所述步骤S1中的移动终端设备为安卓系统或iOS系统。

进一步的，所述步骤S1中的信号连接通过蓝牙连接以传输和接收信号。

进一步的，所述步骤S3中的录屏软件为MediaProjectionManager或ReplayKit。

进一步的，所述步骤S1中的所述移动终端设备内包含与所述云台支架的信号传输和接收模块遥控连接的APP，用于根据所述移动终端设备的录屏数据，向所述控制系统发送角度变化指令。

进一步的，所述信号传输和接收模块包括用于连接所述移动终端设备的信号连接单元和用于接收所述移动终端设备发送的角度变化指令的的信号接收单元。

进一步的，所述信号连接单元为无线连接单元和/或有线连接单元。

进一步的，所述无线连接单元为蓝牙连接单元和/或WiFi连接单元，所述有线连接单元为USB连接单元。

进一步的，通过所述replaykit提供的RPSystemBroadcastPickerView来展示启动的录像的视图，通过点击视图上面的按钮启动录制进程，然后开始录制，录屏数据返回，调用人脸识别检测功能识别人脸变化位置。

进一步的，通过在人脸识别的基础上，提取屏幕的人脸特征比对已录入待跟踪人脸信息，大于相似度阈值，则认为是同一个人，通过人脸比对，云台可以识别跟踪多个目标，达到多人环节的精准跟踪。

更进一步的，所述控制系统还包括控制按键以及电源模块；所述控制按键通过按键板与所述电源模块电连接，所述电源模块与所述信号传输和接收模块电连接。

有益效果

与现有技术相比，本发明提供的基于移动终端设备屏幕图像进行人脸识别跟踪的云台支架的使用方法具有如下有益效果：

(1)本发明提供的基于移动终端设备屏幕图像进行人脸识别跟踪的云台支架的使用方法，通过在云台支架上设置可与移动终端设备连接的信号传输和接收模块，使得云台支架的控制系统与移动终端设备遥控连接，移动终端设备上安装有具有屏幕录制和人脸识别检测功能的APP。如此设置，无需在云台支架上额外设置摄像头，降低生产成本，而且与现有技术在云台支架上设置摄像头相比，克服了在支架本体上设置摄像头与支架上的移动设备的摄像头存在一定的距离偏差，导致旋转调控存在一定偏差的问题；通过该APP在后头录制屏幕信息，然后向云台支架的控制系统发生角度变化指令，从而实现云台支架的全自动旋转，具有兼容性强、调整精度高的优点。

(2)本发明提供的基于移动终端设备屏幕图像进行人脸识别跟踪的云台支架的使用方法，通过APP在后台获取手机屏幕录屏流，并进行人脸识别检测，在人脸识别的基础上，提取屏幕的人脸特征比对已录入别跟踪人脸信息，通过人脸比对，云台可以识别跟踪目标，到达多人环节的精准跟踪。

可以兼容任何直播和视频聊天软件，不需要调用手机摄像头，因为所有的直播、自拍、视频聊天等界面都有摄像机的图像信息，通过采集用户的屏幕实时显示的内容去做指令，调控精度更高。

(3)本发明提供的基于移动终端设备屏幕图像进行人脸识别跟踪的云台支架的使用方法，云台支架与移动终端设备的连接方式可以为无线连接和有限连接中的任一种或多种连接方式，连接较便利，能够做到识别的信息与移动设备屏幕的信息高度一致性，从而显著提高调解精度和便利性。

附图说明

图1为本发明云台支架使用方法步骤图；

图2为本发明的结构示意图；

图3为本发明支撑底座去掉壳体的结构示意图；

图4为本发明传动组件的结构示意图；

图5为本发明支撑架组件的主视图；

图6为本发明支撑架组件的爆炸图；

图7为本发明云台的主视图；

图8为本发明云台的结构示意图；

图9为本发明实施例2的结构示意图。

具体实施方式

以下将对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例；基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

请参阅图2至9所示，一种基于移动终端设备屏幕图像进行人脸识别跟踪的云台支架，包括云台支架本体，所述云台支架本体包括支撑底座1、转动组件3、连接所述转动组件3与所述支撑底座1的传动组件2以及用于控制所述传动组件2的控制系统。所述转动组件3包含与所述传动组件2连接的云台31以及与所述云台31连接的支撑架组件32；所述支撑架组件32包含用于支撑移动终端设备的支撑板323。

其中，所述移动终端设备内包含与所述控制系统遥控连接的APP，用于根据所述移动终端设备的录屏数据，向所述控制系统发送角度变化指令。利用APP在后台获取手机屏幕录屏流，同时APP能够分析人脸人形、特殊物体、宠物等待捕捉对象的位置，然后发送角度变化指令到云台支架，实现跟踪和云台的自动调节。所述APP兼容性较强，可在适用于安卓及iOS系统。其中，安卓系统实现录屏的方法包括MediaProjection+VirtualDisplay方法(在安卓5.0发布后，谷歌开放了截屏的接口，我们可以通过VirtualDisplay来实现录屏的视频源数据的获取)、通过View.detDrawingCache()方法(通过View的cache内容获取到Bitmap对象来达到录屏的效果)等。iOS系统实现录屏的方法包括通过ReplayKit实现，ReplayKit是苹果iOS10以上版本提供的用于录屏并对外直播的功能，简单而言就是苹果通过这个功能把采集到的屏幕视频信息回调给开发者，开发者可以任意处理这些信息。但是ReplayKit使用上限值较多，首先要求系统必须为iOS10以上；其次，被录屏的App必须支持ReplayKit功能。

为了接收所述控制系统发送的角度变化指令，所述控制系统包括用于连接和接收所述移动终端设备发送的角度变化指令的信号传输和接收模块121，以及与所述信号传输和接收模块121电连接的驱动电机120，用于根据所述角度变化指令控制所述传动组件2的转动。所述控制系统还包括控制按键122以及电源模块124；所述控制按键122通过按键板123与所述电源模块124电连接，所述电源模块124与所述信号传输和接收模块121电连接。所述电源模块124可以为可充电电源，并且所述底座1背面还设置有电源接口，所述电源模块124为所述驱动电机120和所述控制系统供电。

其中，所述信号传输和接收模块121包括用于连接所述移动终端设备的信号连接单元和用于接收所述移动终端设备发送的角度变化指令的的信号接收单元。所述信号连接元件包括但不限于为无线连接单元和/或有限连接单元，所述无线连接元件包括但不限于为蓝牙连接单元和/或WiFi连接单元；所述有限连接为USB连接单元(如图3中USB接口125所示)。通过信号连接单元主要将所述控制系统与移动终端设备上的APP进行连接，以便APP向所述控制系统传输角度变化指令等信号；所述控制系统通过信号接收单元接收所述移动终端设备传输的角度变化指令等信号，然后控制所述驱动电机120的运动，进而控制所述传动组件2的转动。

特别的，所述支撑底座1包括底板以及壳体，所述底板通过卡扣与所述壳体连接且位于所述壳体下方；所述壳体与所述底板之间设置有容纳所述控制系统和驱动电机120的腔体。所述驱动电机120和所述控制系统位于所述腔体内，并且所述驱动电机120与所述壳体固定连接，所述控制系统与所述底板固定连接。

所述传动组件2包括通过轴承盖与所述支撑底座1上端固定的轴承21、与所述驱动电机120主轴连接的主动齿轮22以及设置于所述轴承21内圈的从动齿轮23；所述轴承21位于所述腔体内并且通过轴承盖与所述壳体上部固定连接，所述从动齿轮23的轴部设置于所述轴承21内圈中，并且与所述轴承21内圈过盈配合，即从动齿轮23在转动时能够带动所述轴承21内圈转动；所述主动齿轮22与所述从动齿轮23相啮合，并且该齿轮传动为减速传动，所述从动齿轮23与所述云台31下端连接。

特别的，所述支撑底座1的壳体上方还设置有与所述轴承21相适应的通孔，即该通孔直径略大于所述轴承21的内圈直径，所述壳体正面设置有与所述控制按键122相适应的圆孔。

所述转动组件3包含与所述传动组件2连接的云台31以及与所述云台31连接的支撑架组件32；所述支撑架组件32包含用于支撑所述移动终端设备的支撑板323。

其中，所述云台31下端盖的底面设置有与所述轴承21内圈相适应的凸台311，所述凸台311端面设置有凹槽和螺纹孔，所述凹槽用于定位。所述从动齿轮23的轴部端面设置有与凹槽相适应的凸起以及与螺纹孔相适应的通孔。所述凸台311端面卡接在所述传动齿轮23轴部端面上并通过凹槽和凸起定位以及通过连接螺钉固定，所述云台31上端设置有与所述支撑架组件32相适应的螺纹孔。

所述支撑架组件32包括通过第一锁紧螺钉322与所述云台31连接的支撑架321以及通过第二锁紧螺钉324与所述支撑架321连接的连接板323，所述连接板323能够相对所述支撑架321转动，用于调节所述连接板323在竖直方向上的角度。

所述支撑架321包括上端部、下端部以及连接上端部和下端部的支撑臂3212，所述下端部设置有与所述第一锁紧螺322钉相适应的通孔，所述第一锁紧螺钉322穿过所述下端部的通孔与所述云台31连接，所述上端部设置有与所述第二锁紧螺钉324相适应的通孔，所述第二锁紧螺钉324穿过上端部的通孔与所述连接板323连接。所述锁紧螺钉322上还设置有防滑槽，方便用户锁紧。所述连接板323上还设置有用于适配其他设备的通孔，通过通孔可以固定手机支架、重力支架或者平板支架，适配各种不同的设备，使用范围广泛。

所述云台31上端盖顶部设置用于固定所述支撑架的定位孔312，作为优选，所述定位孔312为两个，两个所述定位孔312到所述云台31轴心的连线相互垂直且相等，且一个所述定位孔312位于所述云台31正面一侧，所述支撑架321位于所述云台31一侧的端面上设置有与所述定位孔312相适应的定位销3213；在安装时，通过所述定位销3213与所述定位孔312配合起到固定所述支撑架321的作用，防止所述支撑架321相对所述云台31转动。

请参阅图1所示，下面对本发明提供的基于移动终端设备屏幕图像进行人脸识别跟踪的云台支架的使用方法进行说明：

(1)安卓系统的移动终端设备的支撑和调节步骤如下：

S11.将安卓系统的移动终端设备(安装有具有屏幕录制和人脸识别检测功能的APP)固定在所述云台支架的支撑板323上，打开所述云台支架的信号连接元件(例如通过蓝牙连接以传输和接收信号)，将所述云台支架的控制系统与所述安卓系统的移动终端进行遥控连接；

S12.打开所述移动终端设备中的APP，请求文件读写权限和录屏权限，点击确定以开启此权限；

S13.MediaProjectionManager获取制作屏幕录制对象mMediaProjection，开始录屏，录屏数据返回，调用人脸识别检测功能识别人脸变化位置；

S14.所述APP通过遥控连接向所述云台支架的控制系统发送角度变化指令，所述控制系统的信号接收单元接收该指令，并通过所述驱动电机120，控制所述传动组件2的转动，传动组件2进一步控制所述转动组件3的转动，最终实现云台支架的自动旋转调节。

(2)iOS系统的移动终端设备的支撑和调节步骤如下：

S21.将iOS系统的移动终端设备(安装有具有屏幕录制和人脸识别检测功能的APP)固定在所述云台支架的支撑板323上，打开所述云台支架的信号传输和接收模块(例如通过蓝牙连接以传输和接收信号)，将所述云台支架的控制系统与所述安卓系统的移动终端进行遥控连接；

S22.打开所述移动终端设备中的APP，请求文件读写权限和录屏权限，点击确定以开启此权限；

S23.通过replaykit提供的RPSystemBroadcastPickerView来展示启动的录像的视图，然后通过点击视图上面的按钮才能启动录制进程，然后开始录制，录屏数据返回，调用人脸识别检测功能识别人脸变化位置；

通过在人脸识别的基础上，提取屏幕的人脸特征比对已录入别跟踪人脸信息，大于相似度阈值，则认为是同一个人，通过人脸比对，云台可以识别跟踪目标，到达多人环节的精准跟踪。

S24.所述APP通过遥控连接向所述云台支架的控制系统发送角度变化指令，所述控制系统的信号接收单元接收该指令，并通过所述驱动电机120，控制所述传动组件2的转动，传动组件2进一步控制所述转动组件3的转动，最终实现云台支架的自动旋转调节。

通过采用上述技术方案，通过APP在后台获取手机屏幕录屏流，并进行人脸识别检测，以实现全自动旋转，具有兼容性强、调整精度高的优点。可以兼容任何直播和视频聊天软件，不需要调用手机摄像头，因为所有的直播、自拍、视频聊天等界面都有摄像机的图像信息，通过采集用户的屏幕实时显示的内容去做指令，调控精度更高。

实施例2

如图9所示，本实施例与实施例1的结构原理类似，与实施例1的不同之处在于，所述支撑板323中部设置有与所述支撑架321相适应的圆台，所述圆台轴心设置有与所述锁紧螺钉322相配合的螺纹孔，通过所述锁紧螺钉322将所述支撑板323与所述支撑架321固定，所述支撑板323两端设置有适配设备的通孔。

具体使用时，将支撑架321上的定位销3213设置于位于所述云台31正面的定位孔312内，此时支撑架321与云台31正面相垂直，随后可在支撑板323上安装手机夹等设备。

综上所述，本发明本发明提供的基于移动终端设备屏幕图像进行人脸识别跟踪的云台支架，通过在云台支架上设置可与移动终端设备连接的信号传输和接收模块，能够实时接收移动终端设备上的APP通过后台录屏发送的角度变化指令，以实现全自动旋转，具有兼容性强、调整精度高的优点。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.基于移动终端设备屏幕图像进行人脸识别跟踪的云台支架的使用方法，其特征在于，包括如下步骤：

S1.将具有屏幕录制和人脸识别检测功能的APP移动终端设备固定在所述云台支架的支撑板上，打开所述云台支架的信号连接元件，将所述云台支架的控制系统与所述移动终端进行遥控连接；其中，所述云台支架包括有云台支架本体，所述云台支架本体包括支撑底座、转动组件、驱动电机、连接所述转动组件与所述支撑底座的传动组件以及用于控制所述传动组件的控制系统；所述转动组件包含与所述传动组件连接的云台以及与所述云台连接的支撑架组件；所述支撑架组件包含用于支撑移动终端设备的支撑板，所述控制系统包括信号传输和接收模块，且所述控制系统与所述驱动电机电连接；

S2.打开所述移动终端设备中的APP，请求文件读写权限和录屏权限，点击确定以开启此权限；

S3.利用所述移动终端设备中的录屏软件获取制作屏幕录制对象文件，开始录屏，录屏数据返回，调用人脸识别检测功能识别人脸变化位置；

S4.所述APP通过遥控连接向所述云台支架的控制系统发送角度变化指令，所述控制系统的信号接收单元接收该指令，并通过驱动电机转动带动传动组件转动，所述传动组件进一步控制所述转动组件的转动，实现云台支架的自动旋转调节。

2.根据权利要求1所述的使用方法，其特征在于，所述步骤S1中的移动终端设备为安卓系统或iOS系统，所述步骤S3中的录屏软件为MediaProjectionManager或ReplayKit。

3.根据权利要求2所述的使用方法，其特征在于，人脸识别检测包括在所述APP中录入待跟踪的人脸信息，在所述步骤S3中，在人脸识别的基础上，提取屏幕的人脸特征比对已录入待跟踪人脸信息，大于相似度阈值，则认为是同一个人。

4.根据权利要求1所述的使用方法，其特征在于，所述步骤S1中的所述移动终端设备内包含与所述云台支架的信号传输和接收模块遥控连接的APP，用于根据所述移动终端设备的录屏数据，向所述控制系统发送角度变化指令。

5.根据权利要求4所述的使用方法，其特征在于，所述信号传输和接收模块包括用于连接所述移动终端设备的信号连接单元和用于接收所述移动终端设备发送的角度变化指令的的信号接收单元。

6.根据权利要求5所述的使用方法，其特征在于，所述步骤S1中的信号连接通过蓝牙连接以传输和接收信号。

7.根据权利要求6所述的使用方法，其特征在于，所述信号连接单元为无线连接单元和/或有线连接单元。

8.根据权利要求7所述的使用方法，其特征在于，所述无线连接单元为蓝牙连接单元和/或WiFi连接单元，所述有线连接单元为USB连接单元。

9.根据权利要求4所述的使用方法，其特征在于，通过所述replaykit提供的RPSystemBroadcastPickerView来展示启动的录像的视图，通过点击视图上面的按钮启动录制进程，然后开始录制，录屏数据返回，调用人脸识别检测功能识别人脸变化位置。

10.根据权利要求1-8中任一项所述的使用方法，其特征在于，所述控制系统还包括控制按键以及电源模块；所述控制按键通过按键板与所述电源模块电连接，所述电源模块与所述信号传输和接收模块电连接。

Images