CN107404626B - 一种基于机器人的视频直播系统 - Google Patents

Abstract

本发明申请公开了一种基于机器人的视频直播系统，包括穿戴于老年人身上的标签装置和安装在机器人身上的摄像装置，所述标签装置包括：加速度传感器、陀螺仪、磁力计、信号处理器和发射器，所述摄像装置包括：接收器、摄像机、摄像机定位装置、存储器、应急处理装置和处理器，处理器用于接收视频信号并存储至存储器，处理器用于人体轮廓识别，处理器还用于判断人体是否跌倒或人体移动。本方案采用穿戴式标签装置，明确了检测对象，减少了外部干扰对检测结果的影响，实现移动人体的高精度追踪拍摄，同时还可对人体进行跌倒检测进行监控，并在跌倒时发送求助信号，使老人可以得到及时的帮助和救治，对老年人的看护增加了一份保障。

Description

一种基于机器人的视频直播系统

技术领域

本发明涉及基于机器人的图像数据处理技术领域，尤其涉及一种基于机器人的视频直播系统。

背景技术

人们在外出游玩、聚会时，会通过手持或者具有云台支撑的摄像机拍摄视频，以记录游玩时的美好景色以及聚会时和家人朋友在一起的快乐时光。

而在一些特定情况下，经常会有对某一特定人物进行不间断跟拍的摄像要求，同时由于场地限制或特定人物的大范围活动问题，导致无法实现摄影师贴身跟拍。尤其对于爱运动及爱跳广场舞的老人，由于子女工作 ，无法时时跟随拍摄，导致老人无法实时记录自己的美好瞬间。

中国发明专利（公开号：CN106584516A）公开了一种特定对象追踪用智能摄像机器人，包括：图像信息采集单元，位置定位单元，位置追踪单元以及中央处理单元，本方案能够准确对特定对象进行识别，并持续进行跟踪拍摄，节省人力物力，在影视作品拍摄中或者比赛直播过程中都具有应用价值。

然而，上述技术方案中采用雷达对运动的人进行感知，容易受到外界运动因素干扰，不能对拍摄的人进行准确的感知，而且，对于看护老年人的养老机器人，在满足高精度追踪定位拍摄的同时，针对老年人身体状况的特殊性，还需设有适老化设计。

发明内容

本发明意在提供一种基于机器人的视频直播系统，以解决现有摄像机器人不能高精度追踪拍摄对象的问题。

本发明提供的基础方案是：一种基于机器人的视频直播系统，包括穿戴于老年人身上的标签装置和安装在机器人身上的摄像装置，

所述标签装置包括：

加速度传感器，加速度传感器用于检测人体移动的加速度信号并发送；

陀螺仪，陀螺仪用于检测人体倾斜的角度信号并发送；

磁力计，磁力计用于检测人体航向信号并发送；

信号处理器，信号处理器对加速度传感器采集的加速度信号、陀螺仪采集的角度信号及磁力计采集的航向信号进行信号处理并输出相应的加速度数字信号、角度数字信号和航向数字信号；

发射器，发射器用于发射加速度数字信号、角度数字信号和航向数字信号；

所述摄像装置包括：

接收器，接收器用于接收发射器发送的加速度数字信号、角度数字信号和航向数字信号；

摄像机，摄像机用于采集拍摄对象的视频信号；

摄像机定位装置，摄像机定位装置用于控制摄像机跟随拍摄对象移动；

存储器，存储器用于存放视频信号；

应急处理装置，应急处理装置用于在异常情况下发送求助信号；

处理器，处理器用于接收视频信号并存储至存储器；

处理器用于人体轮廓识别，对摄像机实时采集的视频信号进行特征提取，与存储器中存储的通过人体轮廓样本训练获得的最佳码本进行对比：

当对比结果大于等于预设阈值时，则评估为采集到完整的人体，对视频信号进行存储；

当对比结果小于预设阈值时，则评估为未采集到完整的人体，处理器根据识别结果进行路线调整，并将运动路线传送给摄像机定位装置，以使摄像机采集到完整的人体；

处理器用于接收加速度数字信号、角度数字信号和航向数字信号，对接收到的信号进行信号识别，判断人体是正常移动还是跌倒：

当加速度信号不等于预设加速度阈值，角度数字信号不等于预设跌倒角度阈值，航向数字信号也不等于预设航向阈值时，则判断人体移动，处理器根据感知结果进行路线调整，并将运动路线传送给摄像机定位装置，实现摄像机对移动人体的跟随；

当加速度数字信号大于预设跌倒加速度阈值，角度数字信号也大于预设跌倒角度阈值时，则判断人体跌倒，处理器控制应急处理装置发送求助信号；

基础方案的工作原理：标签装置穿戴于人体上，标签模块中的加速度传感器可以测量出人体移动的加速度，进而判断出人体移动的距离；陀螺仪通过测量自身的旋转状态，判断出人体当前运动状态，是向前、向后、向上、向下、向左还是向右、是加速（角速度）还是减速（角速度）；磁力计判断出人体的运动方位（东西南北），定位人体的方位，测量出当前人体与东南西北四个方向上的夹角，从而确定人体移动方向，通过三者结合，可判断出人体是否移动，及在某个方位上移动的距离。

具体过程，当老人跳舞或健身需要摄像时，开启摄像机，拍摄对象正对摄像机，摄像机采集视频信号发送至处理器，处理器根据实时采集的视频信号调整拍摄角度，以使摄像机拍摄的对象的躯体完整的显示在视频信号中；处理器对接收到的人体信号进行特征提取，与存储器中存储的通过人体轮廓样本训练获得的最佳码本进行对比：

当对比结果大于等于预设阈值时，则评估为采集到完整的人体，将视频信号存储至存储器中；

当对比结果小于预设阈值时，则评估为未采集到完整的人体，处理器根据识别结果进行路线调整，并将运动路线传送给摄像机定位装置，以使摄像机采集到完整的人体为止。

因加速度传感器、陀螺仪和磁力计的响应是即时的，所以当人体发生移动时，加速度传感器、陀螺仪和磁力计将采集到的人体移动信号：加速度信号、角度数字信号和航向数字信号，发送给信号处理器，信号处理器对信号进行降噪、放大及模数转换处理并通过发射器发送至摄影装置中，摄影装置中的接收器接收到相应人体移动的数字信号并输入至处理器，处理器根据原来姿态检测出动作的距离、方向，通过算法来实时反馈修正，根据修正结果进行路线调整，并将运动路线传送给摄像机定位装置，摄像机定位装置控制摄像机跟随移动人体移动，同时处理器对接收到的信号进行信号识别，判断人体是正常移动还是跌倒：

当加速度数字信号不等于预设加速度阈值，角度数字信号不等于预设跌倒角度阈值，航向数字信号也不等于预设航向阈值时，则判断人体正常移动；

当加速度数字信号大于预设跌倒加速度阈值，角度数字信号也大于预设跌倒角度阈值时，则判断人体跌倒，并控制应急处理装置发送求助信号，以使老人可以得到及时的帮助和救治。

基础方案的有益效果是：

本方案采用穿戴式标签装置，明确了检测对象，减少了外部干扰对检测结果的影响，实现移动人体的高精度追踪拍摄的同时对老人的日常也进行全方位记录，便于与家人分享美好瞬间，有助于加强儿女对老人的了解，从而提高儿女对老人的关注度，使老人在心理上得到慰藉；

同时穿戴式标签装置还可对人体进行跌倒检测，当老年人在运动或跳舞时，存在动作幅度太大而跌倒的情况，人体跌倒检测可对跌倒情况进行监控，并在检测到跌倒的情况发送求助信号，使老人可以得到及时的帮助和救治，对老年人的看护增加了一份保障。

进一步，处理器用于控制摄像机定位装置将摄像机定向在标签装置的方向上，标签装置成像位置设于摄像机的正中心。

有益效果：标签装置成像位置设于摄像机的正中心，使在开始摄像时可快速定位人体，有效减少摄像机的调整时间。

进一步，标签装置还包括心率传感器，心率传感器用于检测人体的心率信号并发送；

应急处理装置包括语音交互装置，语音交互装置用于在异常情况下与人进行语言交互并发出提醒信号；

处理器用于接收心率信号并进行信号识别：当心率大于或小于预设正常心率阈值时，判断为心率异常，处理器控制应急处理装置发送求助信号及提醒信号。

有益效果：标签装置中的心率传感器可对人体心脏异常情况进行了检测，增加了监控参数，对老年人在运动时看护增加了一份保障，当检测到老人心跳异常时可语音提醒老人目前需要休息，不适合剧烈运动，同时也向看护人员发送求助信号，保证老人运动或户外娱乐，在身体不适时可以得到及时的帮助和救治。

而且在老年人进行不利于自身健康情况下的动作时进行语音提醒，如识别到老年人想做后空翻等不适合自身身体状态的动作时，语音交互装置会语音提醒老人目前身体状况不允许做该动作。

语音交互装置也可以采集不到人体信息时，对拍摄对象进行语音提醒，以保证拍摄对象在所处拍摄范围内，增强了系统的适用性。

进一步，摄像装置还包括触摸屏，触摸屏用于显示接收输入的指令和显示拍摄的视频。

有益效果：触摸屏上实时显示摄像头采集的视频信号，便于老年人自己调整拍摄角度，而且通过触摸屏进行视频查阅观看。

进一步，摄像装置还包括通讯模块，通讯模块还用于发送远程视频请求信号及视频信号。有益效果：老人可以通过通讯模块与亲朋好友拨打视频电话，使亲朋好友可以实时观看老人的表演，增进老人与家人的亲情。

进一步，摄像装置还包括人脸识别单元，人脸识别单元用于识别捕捉人脸。

有益效果：人脸识别单元可对拍摄对象进行拍摄对象定位，防止视频信号中出现多个人时，系统发生误判，使追随对象发生变化。

附图说明

图1为本发明一种基于机器人的视频直播系统实施例的主视示意图。

具体实施方式

下面通过具体实施方式对本发明作进一步详细的说明：

说明书附图中的附图标记包括：标签装置1、加速度传感器11、陀螺仪12、磁力计13、信号处理器14、发射器15、摄像装置2、接收器21、摄像机22、摄像机定位装置23、存储器24、应急处理装置25、处理器26、语音交互装置27、触摸屏28、人脸识别单元29。

一种基于机器人的视频直播系统实施例如图1所示：包括穿戴于老年人身上的标签装置1和安装在机器人身上的摄像装置2，

所述标签装置1包括：

加速度传感器11，加速度传感器11用于检测人体移动的加速度信号并发送；

陀螺仪12，陀螺仪12用于检测人体倾斜的角度信号并发送；

磁力计13，磁力计13用于检测人体航向信号并发送；

标签模块中的加速度传感器11采用三轴加速度计，可以测量出人体移动的加速度，进而判断出人体移动的距离；陀螺仪12采用三轴陀螺仪12，通过测量自身的旋转状态，判断出人体当前运动状态，是向前、向后、向上、向下、向左还是向右、是加速（角速度）还是减速（角速度）；磁力计13采用三轴磁力计13，判断出人体的运动方位（东西南北），定位人体的方位，测量出当前人体与东南西北四个方向上的夹角，从而确定人体移动方向；三者结合形成9轴惯性测量单元，可精确的判断出人体是否移动，及在某个方位上移动的距离。

信号处理器14，信号处理器14对加速度传感器11采集的加速度信号、陀螺仪12采集的角度信号及磁力计13采集的航向信号进行信号处理并输出相应的数字信号，信号处理器14采用具有较高性能的传感信号处理集成IC：BISS0001对采集的信号进行降噪、放大及模数转换处理。

发射器15，发射器15用于发射加速度数字信号、角度数字信号和航向数字信号；所述摄像装置2包括接收器21，接收器21用于接收发射器15发送的加速度数字信号、角度数字信号和航向数字信号；考虑到成本与通信特点，发射接收模块采用基于射频技术的无线发送与接收模块进行信号的发送与接收。

所述摄像装置2还包括：

摄像机22，摄像机22用于采集拍摄对象的视频信号；

摄像机22定位装置，摄像机22定位装置用于控制摄像机22跟随拍摄对象移动；其中摄像定位装置通过无刷电机驱动云台来控制摄像机22的平移和旋转。

存储器24，存储器24用于存放视频信号；

应急处理装置25，应急处理装置25用于在异常情况下发送求助信号；应急处理装置25包括通讯模块，通过通讯模块与监护人进行联系，使监护人能及时获得老年人遇到突发状况的消息，进行及时处理。

处理器26，处理器26采用国产龙芯CPU进行数据处理与控制，处理器26用于接收视频信号并存储至存储器24，处理器26用于人体轮廓识别，对摄像机22实时采集的视频信号进行特征提取，与存储器24中存储的通过人体轮廓样本训练获得的最佳码本进行对比：当对比结果大于等于预设阈值时，则评估为采集到完整的人体，对视频信号进行存储；当对比结果小于预设阈值时，则评估为未采集到完整的人体，处理器26根据识别结果进行路线调整，并将运动路线传送给摄像机22定位装置，以使摄像机22采集到完整的人体。处理器26用于接收加速度数字信号、角度数字信号和航向数字信号，对接收到的信号进行信号识别，判断人体是正常移动还是跌倒：当加速度信号不等于预设加速度阈值，角度数字信号不等于预设跌倒角度阈值，航向数字信号也不等于预设航向阈值时，则判断人体移动，处理器26根据感知结果进行路线调整，并将运动路线传送给摄像机22定位装置，实现摄像机22对移动人体的跟随；当加速度数字信号大于预设跌倒加速度阈值，角度数字信号也大于预设跌倒角度阈值时，则判断人体跌倒，处理器26控制应急处理装置25发送求助信号。处理器26还用于将摄像机22定位在所述标签装置1的方向上，标签装置1成像位置设于摄像机22的正中心，使在开始摄像时可快速定位人体，有效减少摄像机22的调整时间。

标签装置1还包括心率传感器，心率传感器用于检测人体的心率信号并发送；应急处理装置25包括语音交互装置27，语音交互装置27用于在异常情况下发出与人进行语言交互并发出提醒信号；处理器26用于接收心率信号并进行信号识别：当心率大于或小于预设正常心率阈值时，判断为心率异常，处理器26控制应急处理装置25发送求助信号及提醒信号。标签装置1中的心率传感器可对人体心脏异常情况进行了检测，增加了监控参数，对老年人在运动时看护增加了一份保障，当检测到老人心跳异常时可语音提醒老人目前需要休息，不适合剧烈运动，同时也向看护人员发送求助信号，保证老人运动或户外娱乐，刚到身体不适时可以得到及时的帮助和救治。

语音交互装置27包括扬声器和话筒，进行语音的输入输出，语音交互装置27可以在采集不到人体信息时，对拍摄对象进行语音提醒，如“请正对摄像头”，以保证拍摄对象在所处拍摄范围内，增强了系统的适用性。语音交互装置27还用于在老年人进行不利于自身健康情况下的动作时进行语音提醒，当处理器26识别到老年人想做跟自己身体状态不符合的动作时，如后空翻等，语音交互装置27会语音提醒老人目前身体状况不允许做该动作，如发出“您目前身体不适合做这个动作”的语音提示。

摄像装置2还包括触摸屏28，触摸屏28用于显示接收输入的指令和显示拍摄的视频。触摸屏28上实时显示摄像头采集的视频信号，便于老年人自己调整拍摄角度，而且通过触摸屏28进行视频查阅观看。摄像装置2还包括人脸识别单元29，人脸识别单元29用于识别捕捉人脸，人脸识别单元29可对拍摄对象进行拍摄对象定位，防止视频信号中出现多个人时，系统发生误判，追随对象发生变化。

摄像装置还包括通讯模块，通讯模块还用于发送远程视频请求信号及视频信号，通讯模块可以采用腾讯公司的QQ或微信实现视频通话。这样可以使老人与亲朋好友拨打视频电话，使亲朋好友可以实时观看老人的表演，增进老人与家人的亲情。

具体过程，标签装置1穿戴于人体上，当老人跳舞或健身需要摄像时，开启摄像机22，拍摄对象正对摄像机22，摄像机22采集视频信号发送至处理器26，处理器26根据实时采集的视频信号调整拍摄角度，以使摄像机22拍摄的对象的躯体完整的显示在视频信号中；处理器26对接收到的人体信号进行特征提取，与存储器24中存储的通过人体轮廓样本训练获得的最佳码本进行对比：

当对比结果大于等于预设阈值时，则评估为采集到完整的人体，将视频信号存储至存储器24中；

当对比结果小于预设阈值时，则评估为未采集到完整的人体，处理器26根据识别结果进行路线调整，并将运动路线传送给摄像机22定位装置，以使摄像机22采集到完整的人体为止；

因加速度传感器11、陀螺仪12和磁力计13的响应是即时的，所以当人体发生移动时，加速度传感器11、陀螺仪12和磁力计13将采集到的人体移动信号：加速度信号、角度数字信号和航向数字信号，发送给信号处理器14，信号处理器14对信号进行降噪、放大及模数转换处理并通过发射器15发送至摄影装置中，摄影装置中的接收器21接收到相应人体移动的数字信号并输入至处理器26，处理器26根据原来姿态检测出动作的距离、方向，通过算法来实时反馈修正，根据修正结果进行路线调整，并将运动路线传送给摄像机22定位装置，摄像机22定位装置控制摄像机22跟随移动人体移动，同时处理器26对接收到的信号进行信号识别，判断人体是正常移动还是跌倒：

当加速度数字信号不等于预设加速度阈值，角度数字信号不等于预设跌倒角度阈值，航向数字信号也不等于预设航向阈值时，则判断人体正常移动；

当加速度数字信号大于预设跌倒加速度阈值，角度数字信号也大于预设跌倒角度阈值时，则判断人体跌倒，并控制应急处理装置25发送求助信号，以使老人可以得到及时的帮助和救治。

本方案采用穿戴式标签装置1，明确了检测对象，减少了外部干扰对检测结果的影响，实现移动人体的高精度追踪拍摄；

同时穿戴式标签装置1还可对人体进行跌倒检测，当老年人在运动或跳舞时，存在动作幅度太大而跌倒的情况，人体跌倒检测可对跌倒情况进行监控，并在检测到跌倒的情况发送求助信号，使老人可以得到及时的帮助和救治，对老年人的看护增加了一份保障。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (3)

1.一种基于机器人的视频直播系统，其特征在于，包括穿戴于老年人身上的标签装置和安装在机器人身上的摄像装置，

所述标签装置包括：

加速度传感器，加速度传感器用于检测人体移动的加速度信号并发送；加速度传感器采用三轴加速度计，用于测量出人体移动的加速度，进而判断人体移动的距离；

陀螺仪，陀螺仪用于检测人体倾斜的角度信号并发送；陀螺仪采用三轴陀螺仪，通过测量自身的旋转状态，判断出人体当前运动状态，是向前、向后、向上、向下、向左还是向右、是加速还是减速；

磁力计，磁力计用于检测人体航向信号并发送；磁力计采用三轴磁力计，判断出人体的运动方位，定位人体的方位，测量出当前人体与东南西北四个方向上的夹角，从而确定人体移动方向；

信号处理器，信号处理器对加速度传感器采集的加速度信号、陀螺仪采集的角度信号及磁力计采集的航向信号进行信号处理并输出相应的加速度数字信号、角度数字信号和航向数字信号；

发射器，发射器用于发射加速度数字信号、角度数字信号和航向数字信号；

所述摄像装置包括：

接收器，接收器用于接收发射器发送的加速度数字信号、角度数字信号和航向数字信号；

摄像机，摄像机用于采集拍摄对象的视频信号；

摄像机定位装置，摄像机定位装置用于控制摄像机跟随拍摄对象移动；

存储器，存储器用于存放视频信号和人体轮廓最佳码本；

应急处理装置，应急处理装置用于在异常情况下发送求助信号；

处理器，处理器用于接收视频信号并存储至存储器；

处理器根据实时采集的视频信号调整拍摄角度，以使摄像机拍摄的对象的躯体完整的显示在视频信号中；

处理器用于人体轮廓识别，对摄像机实时采集的视频信号进行特征提取，与存储器中存储的通过人体轮廓样本训练获得的最佳码本进行对比：

当对比结果大于等于预设阈值时，则评估为采集到完整的人体，对视频信号进行存储；

当对比结果小于预设阈值时，则评估为未采集到完整的人体，处理器根据识别结果进行路线调整，并将运动路线传送给摄像机定位装置，以使摄像机采集到完整的人体；

处理器用于接收加速度数字信号、角度数字信号和航向数字信号，对接收到的信号进行信号识别，判断人体是否跌倒或人体移动：

当加速度信号不等于预设加速度阈值，角度数字信号不等于预设跌倒角度阈值，航向数字信号也不等于预设航向阈值时，则判断人体移动，处理器根据感知结果进行路线调整，并将运动路线传送给摄像机定位装置，实现摄像机对移动人体的跟随；

当加速度数字信号大于预设跌倒加速度阈值，角度数字信号也大于预设跌倒角度阈值时，则判断人体跌倒，处理器控制应急处理装置发送求助信号；

所述标签装置还包括心率传感器，心率传感器用于检测人体的心率信号并发送；

应急处理装置包括语音交互装置，语音交互装置用于在异常情况下与人进行语言交互并发出提醒信号；

语音交互装置包括扬声器和话筒，进行语音的输入输出，语音交互装置用于在采集不到人体信息时，对拍摄对象进行语音提醒；语音交互装置还用于在老年人进行不利于自身健康情况下的动作时进行语音提醒，提醒老人目前身体状况不允许做该动作；

处理器用于接收心率信号并进行信号识别：当心率大于或小于预设正常心率阈值时，判断为心率异常，处理器控制应急处理装置发送求助信号及提醒信号；

所述处理器用于控制摄像机定位装置将摄像机定向在标签装置的方向上，所述标签装置设于摄像机的正中心；

所述摄像装置还包括触摸屏，触摸屏用于显示接收输入的指令和显示拍摄的视频。

2.根据权利要求1所述的一种基于机器人的视频直播系统，其特征在于：所述摄像装置还包括通讯模块，通讯模块还用于发送远程视频请求信号及视频信号。

3.根据权利要求1所述的一种基于机器人的视频直播系统，其特征在于：所述摄像装置还包括人脸识别单元，人脸识别单元用于识别人脸。

Images