CN117097918B - 一种直播显示器设备及其控制方法 - Google Patents

Abstract

本发明提供了一种直播显示器设备及其控制方法，包括箱体、升降机构、升降板组件、调节底座、显示器、摄像头、补光灯和控制器，升降机构底部安装至箱体底部内壁，升降机构顶部安装有升降板组件，调节底座底部安装至升降板组件底部内壁，调节底座中部安装有显示器，调节底座顶部安装有摄像头和补光灯。本发明有益效果：可以利用人脸识别和运动追踪技术，实现自动化跟踪、检测和识别，提高视频传输的清晰度和实时性，结合了卡尔曼滤波和深度学习等算法，实现了更高的识别准确性和实时性；通过升降机构等可以在设备不使用时，收纳显示器，防止积灰及损坏。

Description

一种直播显示器设备及其控制方法

技术领域

本发明属于显示器技术领域，尤其是涉及一种直播显示器设备及其控制方法。

背景技术

随着互联网技术的不断发展和普及，直播行业正在快速发展，成为新时代下人们追求消费和娱乐的重要方式之一，然而，现有直播设备仍存在许多问题，例如传输延迟、画质清晰度、自动化等方面存在不足，目前，虽然已经有类似的人脸识别和运动追踪技术的应用，但它们往往不够灵活、精准，使用起来存在不便，且现有直播显示器均放置在单独的桌面上，不使用时，容易积灰，不方便收纳。

发明内容

有鉴于此，本发明旨在提出一种直播显示器设备及其控制方法，以解决现有直播设备不够灵活、精准及不方便收纳的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明第一方面提出了一种直播显示器设备，包括箱体、升降机构、升降板组件、调节底座、显示器、摄像头、补光灯和控制器，所述升降机构底部安装至所述箱体底部内壁，所述升降机构顶部安装有所述升降板组件，所述调节底座底部安装至所述升降板组件底部内壁，所述调节底座中部安装有所述显示器，所述调节底座顶部安装有所述摄像头和所述补光灯，所述调节底座电连接至所述控制器。

进一步的，所述箱体包括箱体本体、一号侧板、二号侧板、箱门和多个万向轮，所述一号侧板顶部和所述箱体本体一侧铰接，所述二号侧板顶部与所述箱体本体另一侧铰接，所述箱门一侧与所述箱体本体铰接，所述箱体本体底部四周分别安装有一个所述万向轮。

进一步的，所述升降机构包括升降电机、四组传动组件、三个传动杆和四个丝杠，四组所述传动组件分别安装至所述箱体本体底部四角，所述传动组件为蜗轮和蜗杆，所述升降电机输出轴连接至一组所述传动组件的蜗杆一端，所述蜗杆另一端通过联轴器连接至所述传动杆一端，所述传动杆另一端连接至下一个蜗杆，依次类推，蜗杆与蜗轮啮合传动，每个蜗轮与一个所述丝杠相连接，四个所述丝杠的丝母分别套设至所述升降板组件的四角处。

进一步的，所述升降板组件包括升降板、两个限位盖板，所述限位盖板为半圆状，两个所述限位盖板一端均通过转轴安装至所述升降板顶部，两个所述限位盖板另一端通过卡扣连接，所述升降板四角分别安装至四个所述丝杠的丝母。

进一步的，所述调节底座包括旋转组件、伸缩杆、支撑杆和折叠杆，所述旋转组件顶部安装有所述伸缩杆，所述伸缩杆一侧安装有所述支撑杆，所述支撑杆顶部安装有所述折叠杆，所述支撑杆一端安装有所述显示器。

进一步的，所述旋转组件包括旋转底座、旋转电机、旋转蜗杆、旋转蜗轮、转盘和旋转板，所述旋转底座底部安装至所述升降板底部，所述旋转电机顶部穿过所述升降板底部安装至所述旋转底座，所述旋转电机输出轴连接至所述旋转蜗杆，所述旋转蜗杆与所述旋转蜗轮啮合传动，所述旋转蜗轮套接有所述转盘，所述转盘顶部安装有所述旋转板，所述旋转板顶部安装有所述伸缩杆，所述旋转电机电连接至所述控制器。

进一步的，所述折叠杆包括一号折叠杆和二号折叠杆，所述一号折叠杆一端通过阻尼转轴安装至所述支撑杆顶部，所述一号折叠杆另一端通过阻尼转轴连接至所述二号折叠杆一端，所述二号折叠杆另一端安装有所述摄像头和所述补光灯。

进一步的，所述显示器包括显示器本体、图像处理芯片、麦克风和光亮调节器，所述图像处理芯片、光亮调节器和所述麦克风均安装至所述显示器本体内部，所述光亮调节器与所述补光灯电连接。

本发明第二方面提出了一种直播显示器设备的控制方法，包括：

S1、显示器控制界面：基于Web的后台管理系统，提供用户操作界面，提供各种跟踪模式的选择，包括人脸识别模式、物体追踪模式、声音检测模式和手动模式，并提供多种设置项，用户通过控制界面选择不同的跟踪模式、调整相关参数；

S2、数据采集和处理：使用前端设备的摄像头、麦克风和图像处理芯片硬件组件，采集视频图像并处理提取人脸特征、识别目标人脸、检测目标人脸的运动轨迹的数据并实时传送至外部服务器，外部服务器使用卡尔曼滤波和深度学习算法，对图像进行处理和优化；

S3、特征提取和比对：外部服务器根据用户选择的跟踪模式提取目标物体特征信息，比对上一次的匹配结果用于判断目标物体的状态和位置变化，并及时反馈至显示器及控制器；

S4、控制反馈：得到目标物体或声音的新信息后，控制器控制旋转组件的旋转角度，从而调节显示器和摄像头的角度；后台控制界面通过控制显示器进行相应的反馈操作，并在显示器中展示跟踪目标物体或声源；

S5、人工干预：跟踪错误或无法精确跟踪时，通过手动模式，在控制界面中手动处理和调整拍摄角度和方向、框选识别区域。

进一步的，步骤S4中控制器控制旋转组件的旋转角度过程如下：

S41、外部服务器通过运动估计算法计算目标物体在水平和垂直方向上的像素位移量；

S42、根据目标物体的像素位移量计算目标物体在水平和垂直方向上的实际位移量，以及两个连续采集时间点之间的运动速度；

S43、外部服务器通过反比例控制或PID控制方法计算旋转组件需要旋转的角度，以保证旋转角度与目标物体的位置变化同步；

S43、外部服务器将计算得到的旋转角度发送到控制器，控制器控制旋转电机转动，以实现旋转组件的实时调整。

相对于现有技术，本发明所述的一种直播显示器设备及其控制方法具有以下优势：

本发明所述的一种直播显示器设备及其控制方法，该设备基于人脸识别和运动追踪，可以利用人脸识别和运动追踪技术，实现自动化跟踪、检测和识别，提高视频传输的清晰度和实时性，从而可以为用户提供全面、高效的直播服务，结合了卡尔曼滤波和深度学习等算法，实现了更高的识别准确性和实时性，且具有灵活、易用的特点；通过升降机构等可以在设备不使用时，收纳显示器，防止积灰及损坏。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的整体结构示意图；

图2为本发明实施例所述的整体结构示意图；

图3为本发明实施例所述的升降机构结构示意图；

图4为本发明实施例所述的升降板组件结构示意图；

图5为本发明实施例所述的旋转组件结构示意图；

图6为本发明实施例所述的显示器结构示意图。

附图标记说明：

1、箱体；11、箱体本体；12、一号侧板；13、二号侧板；14、箱门；15、万向轮；2、升降机构；21、升降电机；22、传动组件；23、传动杆；24、丝杠；3、升降板组件；31、升降板；32、限位盖板；33、卡扣；4、调节底座；41、旋转组件；411、旋转底座；412、旋转电机；413、旋转蜗杆；414、旋转蜗轮；415、转盘；416、旋转板；42、伸缩杆；43、支撑杆；44、折叠杆；441、一号折叠杆；442、二号折叠杆；5、显示器；51、显示器本体；6、摄像头；7、补光灯。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

名词解释：

卡尔曼滤波（Kalmanfiltering）：是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。

深度学习算法：深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助，它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

卷积神经网络（ConvolutionalNeuralNetworks，CNN）：一类包含卷积计算且具有深度结构的前馈神经网络（FeedforwardNeuralNetworks），是深度学习（deeplearning）的代表算法之一；卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络。

运动估计算法（MotionEstimationAlgorithm）：是视频编码和视频处理(例如去交织)中广泛使用的一种技术，运动估计的基本思想是将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有象素的位移量都相同，然后对每个宏块到参考帧某一给定特定搜索范围内根据一定的匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量。视频压缩的时候，只需保存运动矢量和残差数据就可以完全恢复出当前块。

下面将参考附图并结合实施例来详细说明本发明。

实施例一：

如图1至图6所示，一种直播显示器设备，包括箱体1、升降机构2、升降板组件3、调节底座4、显示器5、摄像头6、补光灯7和控制器，所述升降机构2底部安装至所述箱体1底部内壁，所述升降机构2顶部安装有所述升降板组件3，所述调节底座4底部安装至所述升降板组件3底部内壁，所述调节底座4中部安装有所述显示器5，所述调节底座4顶部安装有所述摄像头6和所述补光灯7，所述调节底座4电连接至所述控制器。

所述箱体1包括箱体本体11、一号侧板12、二号侧板13、箱门14和多个万向轮15，所述一号侧板12顶部和所述箱体本体11一侧铰接，所述二号侧板13顶部与所述箱体本体11另一侧铰接，所述箱门14一侧与所述箱体本体11铰接，所述箱体本体11底部四周分别安装有一个所述万向轮15，在实际使用时，所述一号侧板12和所述二号侧板13可打开至水平，便于放置直播用品，箱体本体11顶部设有可翻转的顶盖。

所述升降机构2包括升降电机21、四组传动组件22、三个传动杆23和四个丝杠24，四组所述传动组件22分别安装至所述箱体本体11底部四角，所述传动组件22为蜗轮和蜗杆，所述升降电机21输出轴连接至一组所述传动组件22的蜗杆一端，所述蜗杆另一端通过联轴器连接至所述传动杆23一端，所述传动杆23另一端连接至下一个蜗杆，依次类推，蜗杆与蜗轮啮合传动，每个蜗轮与一个所述丝杠24相连接，四个所述丝杠24的丝母分别套设至所述升降板组件3的四角处，在实际使用时，当显示器在使用时，工作人员可通过控制升降电机21正转，电机21输出轴转动带动传动杆23、传动组件22和丝杠24转动，从而带动升降组件3和显示器5升降，当不使用本设备时，工作人员可通过控制升降电机21反转，从而带动所述升降组件3和显示器5下降，从而是显示器5进入箱体1，对显示器5起到保护作用，以及防止显示器不使用时落灰。

所述升降板组件3包括升降板31、两个限位盖板32，所述限位盖板32为半圆状，两个所述限位盖板32一端均通过转轴安装至所述升降板31顶部，两个所述限位盖板32另一端通过卡扣33连接，所述升降板31四角分别安装至四个所述丝杠24的丝母，在实际使用时所述升降板31底部内壁与调节底座4底部形状相同，限位盖板32对调节底座起到限位作用，防止调节底座倾倒。

所述调节底座4包括旋转组件41、伸缩杆42、支撑杆43和折叠杆44，所述旋转组件41顶部安装有所述伸缩杆42，所述伸缩杆42一侧安装有所述支撑杆43，所述支撑杆43顶部安装有所述折叠杆44，所述支撑杆43一端安装有所述显示器5，在实际使用时，伸缩杆42为电动推杆，型号可为TOMUU-U2，伸缩杆42信号连接至控制器，工作人员可通过控制器控制伸缩杆42升降，从而调节显示器5的高度。

所述旋转组件41包括旋转底座411、旋转电机412、旋转蜗杆413、旋转蜗轮414、转盘415和旋转板416，所述旋转底座411底部安装至所述升降板31底部，所述旋转电机412顶部穿过所述升降板31底部安装至所述旋转底座411，所述旋转电机412输出轴连接至所述旋转蜗杆413，所述旋转蜗杆413与所述旋转蜗轮414啮合传动，所述旋转蜗轮414套接有所述转盘415，所述转盘415顶部安装有所述旋转板416，所述旋转板416顶部安装有所述伸缩杆42，所述旋转电机412电连接至所述控制器，在实际使用时，工作人员可通过控制器控制旋转电机412工作，旋转电机412输出轴转动依次带动旋转蜗杆413、旋转蜗轮414、转盘415和旋转板416转动，从而带动显示器5和摄像头6转动。

所述折叠杆44包括一号折叠杆441和二号折叠杆442，所述一号折叠杆441一端通过阻尼转轴安装至所述支撑杆43顶部，所述一号折叠杆441另一端通过阻尼转轴连接至所述二号折叠杆442一端，所述二号折叠杆442另一端安装有所述摄像头6和所述补光灯7，在实际使用时，根据折叠杆44可手动调节摄像头6和补光灯7相对于显示器5的位置，方便更好的调整直播角度。

所述显示器5包括显示器本体51、图像处理芯片、麦克风和光亮调节器，所述图像处理芯片、光亮调节器和所述麦克风均安装至所述显示器本体51内部，所述光亮调节器与所述补光灯7电连接，在实际使用时，图像处理芯片采用IntelMovidiusMyriad芯片，光亮调节器用于调节补光灯7的亮度。

实施例二：

一种直播显示器设备的控制方法，包括：

S1、显示器控制界面：基于Web的后台管理系统，提供用户操作界面，提供各种跟踪模式的选择，包括人脸识别模式、物体追踪模式、声音检测模式和手动模式，并提供多种设置项，如拍摄范围、方向等，用户可以在控制界面上选择不同的跟踪模式、调整相关参数。

其中，用户操作界面，支持用户注册和登录，登录后才能使用系统功能；不同级别的用户有不同的操作权限，如管理员可以操作所有功能，普通用户只能使用部分功能。

人脸识别模式，使用摄像头实时识别画面中的人脸，高亮显示并跟踪人脸，可以设置识别距离、识别角度范围等参数；物体追踪模式，选择特定颜色或物体进行追踪，如追踪画面中的红色物体，可以设置颜色阈值、物体大小范围等参数；声音检测模式，使用麦克风检测环境音量，当声音超过设定阈值时发出警报，可以设置音量阈值、检测灵敏度等参数；手动模式，使用鼠标点击选择追踪目标，可手动选择追踪人脸、物体或场景中的特定区域。

人脸识别模式参数设置：

识别距离，根据识别镜头的广角及焦点设置只识别1-3米距离内的人脸，因为太远的人脸无法清晰捕捉，太近可能超出摄像头视野；

识别角度，设置只识别正面角度±30°范围内的人脸，因为侧面角度人脸识别效果较差；

最小人脸尺寸，设置只识别宽度大于50像素的人脸，过小的人脸无法有效识别；

识别间隔，设置每0.5秒识别一次，太快会增加计算负载，太慢反应不灵敏。

物体追踪模式参数设置：

颜色阈值，设置只识别RGB值在200±10范围内的红色，因为光线影响大需要设置一定阈值容差；

尺寸范围，设置只追踪diameter20-500像素的物体，过小或过大的不追踪；

锁定强度，设置0.7的锁定强度，值越大越稳定锁定但容易锁定其他物体；

追踪速度，设置每0.2秒更新一次追踪位置，太快或太慢都会影响追踪效果。

声音检测模式参数设置：

音量阈值，设置音量超过60分贝时触发警报，音量太小不必警报太大则过于敏感；

检测灵敏度，设置范围在1-10值越大越灵敏，灵敏度过高会误报环境噪音，过低则检测不足；

音频范围，设置只检测100Hz-5000Hz的声音频率，过滤掉太高或太低频率的声音；

忽略时间，设置检测到警报声后5秒内忽略警报，避免重复报警；

检测间隔，设置每0.3秒检测一次声音强度，间隔过短容易重复检测，过长反应迟钝；

持续时间，设置声音超过阈值后持续0.5秒才触发警报，过滤短时的声音。

多种设置项：显示设置，调整显示屏的亮度、对比度、色温等参数；警报设置，声音警报、视觉警报的开关及参数设置；存储设置，录像、截图的存储路径、容量管理等设置；系统维护，软硬件版本更新、系统日志等维护功能。

S2、数据采集和处理：使用前端设备如：高清摄像头，采集高清视频图像，确保人脸有足够的清晰像素；定向麦克风，用于采集清晰的声音信号，进行声音检测；图像处理芯片，具备图像信号预处理功能，包括去噪、曝光控制等，输出标准视频流；

处理提取人脸特征、识别目标人脸、检测目标人脸的运动轨迹的数据并实时传送至服务器，使用卡尔曼滤波和深度学习算法，对图像进行处理，提高人脸识别和运动追踪的准确性和实时性，为后续的跟踪展示做好准备。

其中，对图像进行处理包括：

使用OpenCV中的Haar特征分类器进行人脸检测，首先加载已经训练好的人脸检测XML模型文件，然后对每帧图像进行下述处理：将原图转为灰度图，提高处理速度，根据模型在多种尺度下滑动子窗口，计算每个子窗口的Haar特征，将特征输入分类器，判断子窗口是否包含人脸区域，对检测结果进行合并、筛选，输出最终人脸区域，跟踪检测到的人脸，输出人脸区域坐标；

基于卷积神经网络进行人脸识别，首先利用大量人脸图像训练CNN模型，然后对检测到的人脸进行下述处理：根据人脸区域坐标截取人脸图像，将人脸图像预处理，转为模型输入尺寸，将处理后的人脸图像输入CNN模型，CNN模型输出人脸特征向量，将该特征向量与人脸库特征进行匹配，输出识别身份；

结合卡尔曼滤波跟踪算法跟踪人脸目标，预测目标位置，生成测量，并进行下述处理：根据运动模型预测目标状态，得到预测量，将预测量与实际测量量进行合并，计算出最优估计量，利用估计量来预测新一时刻的目标状态，重复上述过程实现目标的平滑跟踪。

对处理图像的算法进行优化的方式包括：

卡尔曼滤波优化，根据人脸运动特点，设计合适的线性或非线性模型，正确设置过程噪声和测量噪声的参数，减少抖动，使滤波器模型参数可自适应调整，适应目标运动变化；

数据融合优化，加入声音、体态等多模式感知，增强场景理解，不同模式采用协方差交叉累加的统计方法，整合信息，设计冲突矩阵，在存在冲突时进行判决调整；

模型压缩优化，使用低精度数据类型表示参数，减少参数大小，利用小型学生网络学习大型教师网络知识，根据重要性剪枝不重要的网络连接，压缩模型；

异步处理优化，将检测、识别、跟踪等任务分解，并行处理，根据优先级分配处理资源，重要任务优先处理，使用互斥锁、信号量进行多线程间的数据同步，使用CUDA、OpenCL等并行计算库，利用GPU加速。

S3、特征提取和比对：外部服务器根据用户选择的跟踪模式提取目标物体特征信息，比对上一次的匹配结果用于判断目标物体的状态和位置变化，并及时反馈至显示器及控制器，具体为：

根据不同的跟踪模式，服务器提取对应的特征，使用深度学习模型提取人脸图像的特征向量，提取目标物体的颜色、纹理、形状等特征，提取音频信号的频谱特征，提取用户选择区域的颜色、纹理特征；

将提取到的特征与上一时刻保存的特征进行比对，计算特征向量的欧式距离，判断是否同一人，计算各特征相似度，综合判断是否同一物体，比较频谱特征判断声音是否相同，计算颜色、纹理变化，判断选区是否发生变化；

根据比对结果，判断目标的状态，确定人脸的具体位置变化，计算物体的移动距离和方向，声音强度是否超过阈值，选区内是否发生变动；

将判断结果即时反馈给显示器，实现实时跟踪和展示效果。

S4、控制反馈：得到目标物体或声音的新信息后，控制器控制旋转组件的旋转角度，从而调节显示器和摄像头的角度；后台控制界面通过控制显示器进行相应的反馈操作，并在显示器中展示跟踪目标物体或声源，具体为：

控制器根据目标物体的新位置，计算需要调整的角度，通过控制电机的步进角度，驱动显示屏和摄像头的云台旋转到新的角度，闭环控制，持续校正角度误差，实现精确定位；

后台界面发送控制指令到显示器，调整视角以跟踪目标，在显示屏上绘制跟踪框、标注信息，实时反馈跟踪效果，控制显示屏的缩放比例，保证目标物体在适当大小范围内，多目标情况下，优先跟踪重要目标，次要目标小窗口显示；

根据声音检测的方位角，驱动显示屏与麦克风对准声源，显示屏上给出声源方位提示，可视化声音，同步控制音频输出方向，实现声追光效果，标注声音强度，实时反馈声音变化。

S5、人工干预：跟踪错误或无法精确跟踪时，通过手动模式，在控制界面中手动处理和调整拍摄角度和方向、框选识别区域，实现更好的直播效果。

步骤S4中控制器控制旋转组件的旋转角度过程如下：

使用光流法计算目标运动，通过计算连续图像之间的光流场，判断各个点的移动方向和速度，能够检测复杂运动；

对两帧图像使用高斯平滑进行预处理，计算图像梯度，得到光流场中的纹理信息，使用Lucas-Kanade方法找到匹配点，通过匹配点间位移计算光流场，分析光流场判断目标运动参数，具体为：

图像预处理，读取两帧大小为640x480的RGB图像，将其转换为灰度图像，并使用高斯核(大小5x5，标准差1.5)进行平滑滤波，以减少噪声；

计算图像梯度，使用Sobel算子分别计算两个平滑后的灰度图像在x和y方向的梯度，得到光流场的纹理表达；

寻找匹配点，在第一幅图像中选取64个特征点(使用Shi-Tomasi角点检测)，在第二幅图像中使用Lucas-Kanade光流法(窗口大小为15x15)在邻域内找到这些点对应的匹配点；

计算光流场，通过匹配点在两幅图像中的坐标差，可以计算出这64个点在x和y轴上的位移(光流向量)；

判断运动，分析这64个光流向量的大小和方向分布，可以判断出图像主要运动方向和速度，例如主要是水平移动或垂直移动，快速移动或缓慢移动等。

加入畸变校正和距离数据进行映射转换，使用校正映射消除镜头畸变影响，根据测量获得的目标距离，建立位移转换矩阵，将像素位移转换为实际物理位移，具体为：

畸变校正，使用OpenCV函数undistort()进行畸变校正，给定摄像头的内参和畸变系数，计算出校正映射map1和map2；

获取目标距离，使用测距传感器(如超声波或激光雷达)测量目标距离，例如测得目标距离为2米；

建立转换矩阵，根据经验数据，假设摄像头视场角度为60°，传感器分辨率为640x480，则可以建立位移转换矩阵：

dx=Dx/640*2π*2/360*2；

dy=Dy/480*2π*2/360*2；

其中Dx、Dy为像素位移，dx、dy为实际位移，单位为米；

转换位移，对于一个像素位移(50，80)，将其代入位移转换矩阵，计算得到实际位移(0.15m，0.24m)。

采用自适应PID控制，实时调整参数，根据目标运动特点设定PID初始参数，计算控制误差，调整PID参数缩小误差，迭代优化，直至达到旋转角度要求，具体为：

设置PID初始参数，根据经验数据，设置初始参数为：kp=0.8，ki=0.2，kd=0.1；

计算控制误差，测量当前旋转角度为30°，目标角度为60°，则控制误差e=60°-30°=30°；

调整PID参数，使用增量式自适应PID，计算参数调整量：

Δkp=kp_step*e；

Δki=ki_step*e；

Δkd=kd_step*e；

假设步长系数为：kp_step=0.01，ki_step=0.005，kd_step=0.02；

则Δkp=0.01*30=0.3，Δki=0.005*30=0.15，Δkd=0.02*30=0.6；

更新PID参数：kp=0.8+0.3=1.1，ki=0.2+0.15=0.35，kd=0.1+0.6=0.7。

迭代优化，重复上述过程，持续调整PID参数，直到旋转角度误差收敛于一个足够小的范围内。

增加速度规划，平滑旋转运动，根据旋转角度设计S型速度曲线，转换为电机转速控制信号，电机按曲线变速，实现平滑旋转，具体为：

设计S型速度曲线，需要旋转120度，总时间设为2秒，在这2秒内，设计一个三次S型速度曲线，起始速度和结束速度为0；

生成控制信号，将S型曲线均匀离散为20个点，每隔0.1秒采样一个点，据采样点的速度值，计算电机转速控制信号；

电机控制，送控制信号到电机驱动器，驱动电机按照控制信号逐步变化转速，实现平滑旋转；

反馈验证，通过电机编码器采集实际转角，反馈给控制器，控制器验证实际转角曲线是否符合速度规划，如有误差则调整控制信号；

关闭控制，当达到目标120度后，控制器输出使电机减速停止的控制信号。

控制器为PLC控制器，控制器型号可为s7-300系列，所采用电机均为伺服电机，型号可为MR-J4系列。

一种直播显示器设备的工作过程：

调节位置：通过升降机构2使显示器5升高至合适位置，通过旋转组件41调节显示器5和摄像头6的方向和角度；

开启设备：按下电源按钮将显示器本体、图像处理芯片和麦克风启动，使设备处于可用状态；

调节光亮度：通过光亮调节器来调整光亮度，以确保直播画面的清晰度和舒适度；

打开补光灯：在低光环境下拍摄时，打开补光灯7以提供足够的光照；

进行直播：开始进行直播后，通过图像处理芯片来实时处理视频画面，通过麦克风采集声音，并将直播内容传输到网络上进行直播；

关闭设备：直播完成后，按下电源按钮关闭设备。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种直播显示器设备，其特征在于：包括箱体(1)、升降机构(2)、升降板组件(3)、调节底座(4)、显示器(5)、摄像头(6)、补光灯(7)和控制器，所述升降机构(2)底部安装至所述箱体(1)底部内壁，所述升降机构(2)顶部安装有所述升降板组件(3)，所述调节底座(4)底部安装至所述升降板组件(3)底部内壁，所述调节底座(4)中部安装有所述显示器(5)，所述调节底座(4)顶部安装有所述摄像头(6)和所述补光灯(7)，所述调节底座(4)电连接至所述控制器；

直播显示器设备的控制方法，包括：

S1、显示器控制界面：基于Web的后台管理系统，提供用户操作界面，提供各种跟踪模式的选择，包括人脸识别模式、物体追踪模式、声音检测模式和手动模式，并提供多种设置项，用户通过控制界面选择不同的跟踪模式、调整相关参数；

S2、数据采集和处理：使用前端设备的摄像头、麦克风和图像处理芯片硬件组件，采集视频图像并处理提取人脸特征、识别目标人脸、检测目标人脸的运动轨迹的数据并实时传送至外部服务器，外部服务器使用卡尔曼滤波和深度学习算法，对图像进行处理和优化；

S3、特征提取和比对：外部服务器根据用户选择的跟踪模式提取目标物体特征信息，比对上一次的匹配结果用于判断目标物体的状态和位置变化，并及时反馈至显示器及控制器；

S4、控制反馈：得到目标物体或声音的新信息后，控制器控制旋转组件的旋转角度，从而调节显示器和摄像头的角度；后台控制界面通过控制显示器进行相应的反馈操作，并在显示器中展示跟踪目标物体或声源；

S5、人工干预：跟踪错误或无法精确跟踪时，通过手动模式，在控制界面中手动处理和调整拍摄角度和方向、框选识别区域；

步骤S4中控制器控制旋转组件的旋转角度过程如下：

使用光流法计算目标运动，通过计算连续图像之间的光流场，判断各个点的移动方向和速度，能够检测复杂运动；

对两帧图像使用高斯平滑进行预处理，计算图像梯度，得到光流场中的纹理信息，使用Lucas-Kanade方法找到匹配点，通过匹配点间位移计算光流场，分析光流场判断目标运动参数，具体为：

图像预处理，读取两帧大小为640x480的RGB图像，将其转换为灰度图像，并使用大小为5x5，标准差为1.5的高斯核进行平滑滤波，以减少噪声；

计算图像梯度，使用Sobel算子分别计算两个平滑后的灰度图像在x和y方向的梯度，得到光流场的纹理表达；

寻找匹配点，在第一幅图像中选取64个特征点(使用Shi-Tomasi角点检测)，在第二幅图像中使用Lucas-Kanade光流法(窗口大小为15x15)在邻域内找到这些点对应的匹配点；

计算光流场，通过匹配点在两幅图像中的坐标差，计算出64个点在x和y轴上的位移；

判断运动，分析64个光流向量的大小和方向分布，判断出图像主要运动方向和速度，包括水平移动或垂直移动，快速移动或缓慢移动；

加入畸变校正和距离数据进行映射转换，使用校正映射消除镜头畸变影响，根据测量获得的目标距离，建立位移转换矩阵，将像素位移转换为实际物理位移，具体为：

畸变校正，使用OpenCV函数undistort()进行畸变校正，给定摄像头的内参和畸变系数，计算出校正映射map1和map2；

获取目标距离，使用测距传感器测量目标距离，测得目标距离为2米；

建立转换矩阵，根据经验数据，摄像头视场角度为60°，传感器分辨率为640x480，建立位移转换矩阵：

dx＝Dx/640*2π*2/360*2；

dy＝Dy/480*2π*2/360*2；

其中Dx、Dy为像素位移，dx、dy为实际位移，单位为米；

转换位移，对于一个像素位移(50，80)，将其代入位移转换矩阵，计算得到实际位移(0.15m，0.24m)；

采用自适应PID控制，实时调整参数，根据目标运动特点设定PID初始参数，计算控制误差，调整PID参数缩小误差，迭代优化，直至达到旋转角度要求，具体为：

设置PID初始参数，根据经验数据，设置初始参数为：kp＝0.8，ki＝0.2，kd＝0.1；

计算控制误差，测量当前旋转角度为30°，目标角度为60°，则控制误差e＝60°-30°＝30°；

调整PID参数，使用增量式自适应PID，计算参数调整量：

Δkp＝kp_step*e；

Δki＝ki_step*e；

Δkd＝kd_step*e；

步长系数为：kp_step＝0.01，ki_step＝0.005，kd_step＝0.02；

则Δkp＝0.01*30＝0.3，Δki＝0.005*30＝0.15，Δkd＝0.02*30＝0.6；

更新PID参数：kp＝0.8+0.3＝1.1，ki＝0.2+0.15＝0.35，kd＝0.1+0.6＝0.7；

迭代优化，重复上述过程，持续调整PID参数，直到旋转角度误差收敛于一个足够小的范围内；

增加速度规划，平滑旋转运动，根据旋转角度设计S型速度曲线，转换为电机转速控制信号，电机按曲线变速，实现平滑旋转，具体为：

设计S型速度曲线，需要旋转120度，总时间设为2秒，在这2秒内，设计一个三次S型速度曲线，起始速度和结束速度为0；

生成控制信号，将S型曲线均匀离散为20个点，每隔0.1秒采样一个点，据采样点的速度值，计算电机转速控制信号；

电机控制，送控制信号到电机驱动器，驱动电机按照控制信号逐步变化转速，实现平滑旋转；

反馈验证，通过电机编码器采集实际转角，反馈给控制器，控制器验证实际转角曲线是否符合速度规划，如有误差则调整控制信号；

关闭控制，当旋转120度后，控制器输出使电机减速停止的控制信号。

2.根据权利要求1所述的一种直播显示器设备，其特征在于：所述箱体(1)包括箱体本体(11)、一号侧板(12)、二号侧板(13)、箱门(14)和多个万向轮(15)，所述一号侧板(12)顶部和所述箱体本体(11)一侧铰接，所述二号侧板(13)顶部与所述箱体本体(11)另一侧铰接，所述箱门(14)一侧与所述箱体本体(11)铰接，所述箱体本体(11)底部四周分别安装有一个所述万向轮(15)。

3.根据权利要求2所述的一种直播显示器设备，其特征在于：所述升降机构(2)包括升降电机(21)、四组传动组件(22)、三个传动杆(23)和四个丝杠(24)，四组所述传动组件(22)分别安装至所述箱体本体(11)底部四角，所述传动组件(22)为蜗轮和蜗杆，所述升降电机(21)输出轴连接至一组所述传动组件(22)的蜗杆一端，所述蜗杆另一端通过联轴器连接至所述传动杆(23)一端，所述传动杆(23)另一端连接至下一个蜗杆，依次类推，蜗杆与蜗轮啮合传动，每个蜗轮与一个所述丝杠(24)相连接，四个所述丝杠(24)的丝母分别套设至所述升降板组件(3)的四角处。

4.根据权利要求3所述的一种直播显示器设备，其特征在于：所述升降板组件(3)包括升降板(31)、两个限位盖板(32)，所述限位盖板(32)为半圆状，两个所述限位盖板(32)一端均通过转轴安装至所述升降板(31)顶部，两个所述限位盖板(32)另一端通过卡扣(33)连接，所述升降板(31)四角分别安装至四个所述丝杠(24)的丝母。

5.根据权利要求4所述的一种直播显示器设备，其特征在于：所述调节底座(4)包括旋转组件(41)、伸缩杆(42)、支撑杆(43)和折叠杆(44)，所述旋转组件(41)顶部安装有所述伸缩杆(42)，所述伸缩杆(42)一侧安装有所述支撑杆(43)，所述支撑杆(43)顶部安装有所述折叠杆(44)，所述支撑杆(43)一端安装有所述显示器(5)。

6.根据权利要求5所述的一种直播显示器设备，其特征在于：所述旋转组件(41)包括旋转底座(411)、旋转电机(412)、旋转蜗杆(413)、旋转蜗轮(414)、转盘(415)和旋转板(416)，所述旋转底座(411)底部安装至所述升降板(31)底部，所述旋转电机(412)顶部穿过所述升降板(31)底部安装至所述旋转底座(411)，所述旋转电机(412)输出轴连接至所述旋转蜗杆(413)，所述旋转蜗杆(413)与所述旋转蜗轮(414)啮合传动，所述旋转蜗轮(414)套接有所述转盘(415)，所述转盘(415)顶部安装有所述旋转板(416)，所述旋转板(416)顶部安装有所述伸缩杆(42)，所述旋转电机(412)电连接至所述控制器。

7.根据权利要求5所述的一种直播显示器设备，其特征在于：所述折叠杆(44)包括一号折叠杆(441)和二号折叠杆(442)，所述一号折叠杆(441)一端通过阻尼转轴安装至所述支撑杆(43)顶部，所述一号折叠杆(441)另一端通过阻尼转轴连接至所述二号折叠杆(442)一端，所述二号折叠杆(442)另一端安装有所述摄像头(6)和所述补光灯(7)。

8.根据权利要求1所述的一种直播显示器设备，其特征在于：所述显示器(5)包括显示器本体(51)、图像处理芯片、麦克风和光亮调节器，所述图像处理芯片、光亮调节器和所述麦克风均安装至所述显示器本体(51)内部，所述光亮调节器与所述补光灯(7)电连接。