CN114979611A - 一种双目感知系统和方法 - Google Patents

Abstract

本发明实施例公开了一种双目感知系统和方法。该系统包括：云台、固定于云台上的双目摄像机及与双目摄像机连接的处理器；其中，双目摄像机的结构包括仿人眼双可见光相机结构；云台，用于基于接收到的控制指令，确定当前的转动参数，并按照转动参数控制自身转轴转动以使双目摄像机移动至与控制指令对应的目标位置；双目摄像机，用于通过双目摄像机的左摄像头和右摄像头分别采集与目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将左目视频和右目视频发送至处理器；处理器，用于接收左目视频和右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。本发明实施例能够准确地识别作业人员的行为。

Description

一种双目感知系统和方法

技术领域

本发明实施例涉及摄像机监控技术领域，尤其涉及一种双目感知系统和方法。

背景技术

电力作业环境复杂，作业流程繁琐，同时周围存在带电设备，作业人员的安全存在一定风险，通常需要专职人员作为现场的安全监理人员，查看现场作业过程是否有违规操作。

随着视频技术的发展，可以在现场部署监控相机，将视频传输到远端，由远端的监控人员辅助分析现场情况。但是，监控相机仅能采集到二维平面的现场信息，监控人员无法准确地对作业人员的行为进行确定；并且，监控人员确定作业人员行为时，存在主观影响大、易出错等问题，无法有效地保证现场作业的安全性。

发明内容

本发明实施例提供了一种双目感知系统和方法，以实现通过左目视频和右目视频得到现场的三维立体信息，能够更精准地了解现场的情况；基于行为识别模型确定作业行为是否合格，避免人工识别主观因素导致的误差，提高识别结果的准确性，能够更好地确保现场作业的安全性。

第一方面，本发明实施例提供了一种双目感知系统，包括：云台、固定于所述云台上的双目摄像机及与所述双目摄像机连接的处理器；其中，所述双目摄像机的结构包括仿人眼双可见光相机结构；

所述云台，用于基于接收到的控制指令，确定当前的转动参数，并按照所述转动参数控制自身转轴转动以使所述双目摄像机移动至与所述控制指令对应的目标位置；

所述双目摄像机，用于通过所述双目摄像机的左摄像头和右摄像头分别采集与所述目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将所述左目视频和所述右目视频发送至所述处理器；

所述处理器，用于接收所述左目视频和所述右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。

第二方面，本发明实施例还提供了一种双目感知方法，应用于双目感知系统，所述双目感知系统包括云台、固定于所述云台上的双目摄像机及与所述双目摄像机连接的处理器；其中，所述双目摄像机的结构包括仿人眼双可见光相机结构；所述方法包括：

通过所述云台基于接收到的控制指令，确定当前的转动参数，并按照所述转动参数控制自身转轴转动以使所述双目摄像机移动至与所述控制指令对应的目标位置；

通过所述双目摄像机的左摄像头和右摄像头分别采集与所述目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将所述左目视频和所述右目视频发送至所述处理器；

通过所述处理器接收所述左目视频和所述右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。

本发明实施例所提供的双目感知系统，通过双自由度、双可见光相机结构的双目摄像机，实时获取现场三维环境信息，环境感知能力更强，将现场双目作业视频实时传输到后台，操作人员通过沉浸式显示模块，可以获取作业现场的具有立体感的视频，增加后台监控人员的临场感。采用前端智能识别技术，可实现人员识别定位、作业人员行为的实时跟踪和识别，实时作业人员违章行为的实时判别，与传统智能相机相比较，智能分析能力更强。并且，通过设计的机器人交互模块，利用前端识别分析，实时输出现场设备位置三维坐标，可实现机器人的视觉伺服控制，引导机器人自动完成相关作业内容。

此外，本发明所提供的一种双目感知方法与上述系统对应，具有同样的有益效果。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种双目感知系统的结构图；

图2为本发明实施例提供的另一种双目感知系统的结构图；

图3为本发明实施例提供的一种双目感知方法的流程图；

图4为本发明实施例提供的一种现场作业分析示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

实施例一

图1为本发明实施例提供的一种双目感知系统的结构图。如图1所示，本实施例的系统具体可包括：云台10、固定于云台10上的双目摄像机11及与双目摄像机11连接的处理器12。

云台10，用于基于接收到的控制指令，确定当前的转动参数，并按照转动参数控制自身转轴转动以使双目摄像机11移动至与控制指令对应的目标位置。

需要说明的是，云台10可为双自由度运动云台，可以满足俯仰角和偏航角同时运转。可通过多种方式控制云台10转动，如通过连接外部485总线与云台建立通信连接，向云台10发送控制指令等方式。

在具体实施中，可预先确定出需要监控的电力现场的位置信息，基于电力现场的位置信息确定出云台需要转动的转动参数，从而通过云台控制器向云台10发送控制指令。控制指令中包含有设定的云台的转动参数和云台标识等信息。转动参数包括云台的转动角度、转动时刻、转动速度、转动加速度和转动方向等数据。其中，云台10可从俯仰角和偏航角两个方向进行转动，转动角度包括转动俯仰角和/或转动偏航角。

进一步的，云台10可根据接收到的控制指令，确定出当前的转动参数；并基于转动参数中的转动角度和转动方向控制云台10的转轴进行转动，带动固定于云台10上的双目摄像机11移动至控制指令中指定的转动参数对应的目标位置。

双目摄像机11，用于通过双目摄像机11的左摄像头和右摄像头分别采集与目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将左目视频和右目视频发送至处理器12。

可选的，双目摄像机11的结构包括仿人眼双可见光相机结构；仿人眼双可见光相机结构中，双目基线距离与人眼基线距离一致，可获取到三维的电力现场信息，除电力现场的平面信息外，进一步获取到电力现场的深度信息，仿人眼双可见光相机结构对电力现场环境的感知能力更强。示例性的，双目摄像机11可采用双可见光相机结构，内置惯性传感器，最高可输出2K15FPS的视频，可以用于空间物体检测、3D位置跟踪等场景。可通过比较双目摄像机11的两个摄像头的不同角度测量拍摄到的不同图像，构建场景的深度图。

在具体实施中，双目摄像机11包括左摄像头和右摄像头，两个摄像头均可用于采集电力现场的图像信息，将左摄像头采集到的视频，作为左目视频；将右摄像头采集到的目标位置的视频，作为右目视频；将左目视频和右目视频均发送至处理器12。示例性的，双目摄像机11和处理器12之间可进行无线通信，连接方式包括蓝牙连接，WiFi连接、4G连接和5G连接等方式。

处理器12，用于接收左目视频和右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。

具体的，处理器12将接收到的左目视频和右目视频输入至预先建立的行为识别模型中，行为识别模型融合左目视频提供的电力现场信息和右目视频的电力现场信息，基于融合后的信息，确定目标位置对应的作业人员的作业行为是否合格。

可选的，处理器包括确定空间坐标模块和行为分析模块；其中，

确定空间坐标模块，与双目摄像机连接，用于接收左目视频和右目视频，基于左目视频和右目视频，确定作业人员的人工关键点，基于双目立体几何算法，确定各人工关键点对应的空间坐标，将空间坐标发送至行为分析模块。

具体的，可对接收到的左目视频和右目视频进行融合处理，基于融合后的到的电力现场信息，确定出电力现场中的作业人员的人工关键点的平面坐标。示例性的，人工关键点包括头、颈、腕关节、膝关节和手部等人体部位。可基于双目立体几何算法，确定出各人工关键点对应的空间坐标。基于各人工关键点对应的空间坐标，组成特征序列，并将特征序列发送至行为分析模块。

行为分析模块，与确定空间坐标模块连接，用于接收各人工关键点对应的空间坐标，基于空间坐标和预先建立的行为识别模型，确定作业人员的作业行为，并基于预先存储的行为规范标准确定作业行为是否合格。

在具体实施中，行为分析模块可接收确定空间坐标模块发送的特征序列，将包含有各人工关键点的空间坐标的特征序列输入至预先建立的行为识别模型中。行为识别模型可确定出该特征序列对应的行为动作。行为动作包括跌倒、翻越围栏、作业常规动作和臂下站人等。基于行为识别模型的输出的行为动作和预先存储的规范标准，确定当前作业的作业人员的行为动作是否为规范标准中禁止的危险动作；若为危险动作，则确定作业人员的作业行为不合格；若为安全动作，则确定作业人员的作业行为合格。

示例性的，结合人工关键点的特征序列，确定当前作业人员的行为。例如，当进行人员翻越围栏的判断时，将人工关键点的空间坐标组成的特征序列输入至行为识别模型中，确定作业人员当前的动作是否为翻越动作。如果是，可进一步确定当前与围栏之间的第一深度信息和与人工关键点之间的第二深度信息。示例性的，深度信息包括距离信息。当第一深度信息和第二深度信息之间的差值小于预设阈值时，说明当前作业人员正在围栏的上方，则可确定作业人员当前在进行翻越围栏的行为。

可选的，处理器还包括：模型建立模块，用于获取样本行为中各人工关键点的空间坐标构成的样本特征序列，基于样本特征序列和卷积神经网络算法，训练行为识别模型。

具体的，处理器还包括模型建立模块。可预先存储各种类型的样本行为。例如，样本行为包括跌倒、蹲下、跳起、站立、弯腰、翻越、躺倒和趴下等行为。确定样本行为中的人工关键点的空间坐标，基于各人工关键点的空间坐标构成样本特征序列，基于样本特征序列和卷积神经网络算法，训练行为识别模型。示例性的，卷积神经网络算法包括VGG16网络算法。

具体的，可通过卷积神经网络算法预先确定卷积神经网络，基于样本特征序列对卷积神经网络进行训练，将训练完成的卷积神经网络确定为行为识别模型。在训练行为识别模型过程中，可基于双目摄像机采集到的历史影像中进行抽帧操作，从而基于抽取出的视频帧中的样本人员的行为，组成样本行为。

示例性的，可按照预设时间间隔对历史影像进行抽帧操作，在操作过程中，可对同一时刻的历史影像抽取两张或两张以上的视频帧，将抽取出的视频帧进行比较，基于各视频帧之间的相似性，选择各视频帧之间相似性差距较大的视频帧中的行为作为样本行为。

可选的，处理器包括与云台连接的位置跟踪模块；其中，

位置跟踪模块，用于基于左目视频和右目视频，确定在视频时间内作业人员的人员坐标变化信息，基于人员坐标变化信息，确定作业人员在下一时刻的人员坐标，基于下一时刻的人员坐标生成位置调整指令发送至云台。

云台，还用于基于接收到的位置调整指令，确定下一时刻的转动参数，并按照下一时刻的转动参数控制自身转轴转动。

具体的，由于作业人员在作业过程中可能偏离目标位置，为了能继续准确地检测到作业人员的作业动作，可通过位置跟踪模块确定作业人员的人员坐标变化信息。人员坐标变化信息可包括坐标位置、动作加速度、动作速度和动作方向等变化信息。由于作业人员做动作过程中具有连续性，基于人员坐标变化信息可确定出作业人员的动作趋势，预测出作业人员在下一时刻的人员坐标，并将预测结果发送至云台。

进一步的，云台可根据人员坐标，相应的转动转轴，使双目摄像机仍能采集到包含有作业人员的图像信息。具体的，云台可基于接收到的包含有人员坐标的位置调整指令，确定与人员坐标对应的下一时刻的转动参数，按照转动参数控制自身转轴再次转动，并带动双目摄像机移动，使双目摄像机能够采集到人员坐标对应位置的图像。

本发明实施例所提供的双目感知系统，包括云台、固定于云台上的双目摄像机及与双目摄像机连接的处理器；双目摄像机的结构包括仿人眼双可见光相机结构；云台按照转动参数控制自身转轴转动以使双目摄像机移动至与控制指令对应的目标位置；双目摄像机的左摄像头和右摄像头分别采集与目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将左目视频和右目视频发送至处理器；通过处理器接收左目视频和右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。本发明实施例通过左目视频和右目视频得到现场的三维立体信息，能够更精准地了解现场的情况；并且，基于行为识别模型确定作业行为是否合格，避免了人工识别主观因素导致的误差，提高识别结果的准确性，能够更好地确保现场作业的安全性。

实施例二

图2为本发明实施例提供的另一种双目感知系统的结构图。如图2所示，本发明实施例提供的一种双目感知系统，还包括：与所述处理器12连接的显示设备13，所述处理器包括信息传输模块；其中，

信息传输模块，用于将左目视频和右目视频发送至显示设备13；显示设备13，用于接收左目视频和右目视频，基于左目视频和右目视频，显示目标位置对应的电力现场信息。

具体的，为进一步提高确定电力现场的作业行为的准确性，可将左目视频和右目视频发送至显示设备。显示设备与处理器可通过无线方式连接。显示设备可基于接收到的左目视频和右目视频，显示目标位置对应的电力现场信息，电力现场信息可为电力现场视频。通过显示设备，安全人员可无需到达电力现场即可了解电力现场的情况。

进一步的，可将显示设备接收到的左目视频和右目视频进行存储，基于安全人员对显示设备的操作，选择出当前安全人员需要查看的对应时间段的电力现场信息，提高了视频展示过程的便利性。

可选的，显示设备包括：虚拟现实显示器，用于接收左目视频和右目视频，将左目视频显示于虚拟现实显示器内与左眼位置对应的第一显示器中，将右目视频显示于虚拟现实显示器内与右眼位置对应的第二显示器中。

具体的，为了更生动、形象的为安全人员展示电力现场的图像信息，显示设备包括虚拟现实显示器。虚拟现实现实器中包含有两个显示器，第一显示器用于展示左眼位置对应的左目视频，第二显示器用于展示右眼位置对应的由目视频，从而使安全人员通过虚拟现实显示器，能够感受到身临其境的感觉，实现沉浸式查看电力现场视频。

进一步的，为了提高安全人员查看电力现场视频的便利性，虚拟现实器包括沉浸式头戴式虚拟现实显示器。通过头戴式虚拟现实显示器，能够方便安全人员穿戴，节省显示器占用的空间，提高了查看电力现场视频的效率。可见，本发明设计了双自由度、双可见光相机结构，实时获取现场三维环境信息，环境感知能力更强，将现场双目作业视频实时传输到后台，操作人员通过沉浸式显示模块，可以获取作业现场的具有立体感的视频，增加后台监控人员的临场感。

在本发明实施例中任一可选技术方案的基础上，可选的，显示设备包括：声控模块，用于基于接收到的目标用户的声音控制信息，确定声音控制信息指定的第一显示方式，按照第一显示方式对目标位置对应的电力现场信息进行显示。

具体的，为了便于满足用户的多样性要求，更好的为用户展示电力现场信息，显示设备中可包括声控模块，通过声控模块可监测当前场景下的产生的声音控制信息，根据声音控制信息控制电力现场信息的显示。

进一步的，为了避免显示过程受到其它声音的干扰而产生误操作，可在控制电力现场信息的显示之前，判断声音控制信息是否为目标用户发出的。具体的，判断方式可为预先存储目标用户的比对声音信息，将监测到的声音控制信息和比对声音信息进行比较，判断二者之间的音色、音调等声音特征是否一致，如果一致，则说明当前监测到的声音控制信息为目标用户发出的，可基于声音控制信息中指定的第一显示方式，对电力现场信息进行显示。

如果声音控制信息和比对声音信息之间的声音特征不一致，则说明当前发出声音的用户并非目标用户，则对于监测到的声音控制信息可认定为干扰信息，无需按照声音控制信息进行操作。

进一步的，目标用户的数量可为两个或两个以上，可预先存储各目标用户的比对声音信息，当监测到的声音控制信息与任一的比对声音信息的声音特征一致时，即可确定声音控制新为目标用户发出的。

示例性的，第一显示方式包括对所述电力现场信息进行放大显示、缩小显示、旋转显示、翻转显示、变换显示画面的色调、变换显示画面的明暗、调整显示画面的对比度、调整显示画面的锐度等显示方式。

在本发明实施例中任一可选技术方案的基础上，可选的，显示设备包括：手势识别模块，用于识别目标用户展示的手势动作，基于识别结果确定手势动作对应的第二显示方式，按照第二显示方式对目标位置对应的电力现场信息进行显示。

具体的，为了便于满足用户的多样性要求，更好的为用户展示电力现场信息，显示设备还可包括手势识别模块。需要说明的是，手势识别模块中可预先存储各手势动作对应的显示方式之间的关系，当手势识别模块检测到目标用户展示的手势动作时，可通过预先存储的各手势动作对应的显示方式之间的关系，确定当前检测到的手势动作对应的第二显示方式，按照第二显示方式对电力现场信息进行显示。

示例性的，第二显示方式包括对所述电力现场信息进行放大显示、缩小显示、旋转显示、翻转显示、变换显示画面的色调、变换显示画面的明暗、调整显示画面的对比度、调整显示画面的锐度等显示方式。

进一步的，当监测到的手势动作与预先存储的各手势动作均不一致时，可生成包含监测到的手势动作的提示信息，以提示当前识别失败。

在本发明实施例中任一可选技术方案的基础上，可选的，云台包括温度检测设备和与温度检测设备连接的散热设备，其中，温度检测设备，用于监测云台在工作情况下的运行温度，当运行温度大于预设温度阈值时，生成散热指令发送至散热设备；散热设备，用于在接收到散热指令，调整当前工作模式为启动模式。

具体的，为使云台能够稳定、正常地运转，可在云台中设置温度检测设备和与温度检测设备连接的散热设备。示例性的，温度检测设备包括温度传感器，散热设备包括风扇，风扇的数量可为两个。进一步的，还可在云台外壳体设有散热孔，便于更好地进行空气流通。

进一步的，温度检测设备可采用定时检测或实时监测的方式，检测云台在工作情况下的运行温度。将运行温度与预设温度阈值进行比较，预设温度阈值可根据实际应用中，云台运行情况与环境温度之间的关系进行设定。当运行温度大于预设温度阈值时，生成散热指令发送至散热设备，散热设备接收到散热指令后，可调整自身的当前工作模式为启动模式，从而为云台进行散热操作，确保云台的运行温度不影响云台正常工作。

进一步的，当温度检测设备检测到云台当前的运行温度小于预设温度阈值，且散热设备处于启动模式时，说明当前的运行温度并不影响云台的正常工作，而散热设备仍处于工作状态，则可向散热设备发送停止指令。当散热设备接收到停止指令后，可调整当前的工作模式为待机模式，从而停止为云台进行散热工作。

可选的，双目摄像机11还用于通过双目摄像机的左摄像头和右摄像头分别采集与目标位置对应的电力设备信息，分别生成左目视频和右目视频，并将左目视频和右目视频发送至处理器12。

处理器12，还用于接收左目视频和右目视频，确定电力设备的设备状态，确定设备状态是否和预先存储的电力设备的标准状态一致，如果否，则确定设备状态为异常状态。

具体的，电力现场中通常包含隔离器、变压器和继电器等电力设备，为确保各电力设备的安全性，可通过双目摄像机的左摄像头和右摄像头分别采集目标位置对应的各电力设备信息，电力设备信息包括各电力设备的图像信息，可基于电力设备信息生成左目视频和右目视频，将左目视频和右目视频发送至处理器。

进一步的，处理器可基于接收到的左目视频和右目视频，确定电力设备的设备状态。设备状态包括工作状态和空闲状态。可预先存储在当前工作场景下，电力现场的电力设备的标准状态，并基于标准状态，确定电力设备的设备状态是否为异常状态。具体的，设备状态与标准状态一致，则说明设备处于正常状态；若不一致，则说明当前电力设备的设备状态出现异常，当前的设备状态无法保证电力现场的工作正常运行。

进一步的，当确定出电力设备的设备状态异常时，可生成提示信息发送至安全人员终端，及时提示安全人员当前的异常情况，便于安全人员了解电力现场的情况，及时做出维护。

可选的，本发明实施例提供的双目感知系统，还包括：与处理器12连接的机器人14；其中，

处理器12，还用于当设备状态为异常状态时，基于左目视频和右目视频，确定电力设备的当前位置，并生成包含有当前位置和调整操作信息的操作指令，并将操作指令发送至机器人14。

机器人14，用于接收操作指令，移动至当前位置，并按照调整操作信息对电力设备执行对应的调整操作，以使电力设备处于标准状态。

具体的，当确定出设备状态为异常状态时，需要及时对电力设备进行维护和修正，使电力设备的设备状态与标准状态一致，为了提高操作过程的安全性可效率，可基于左目视频和右目视频确定电力设备的当前位置，生成包含当前位置和调整操作信息的操作指令，将操作指令发送至机器人。

需要说明的是，机器人的数量可为两个或两个以上。处理器在发送操作指令之前，还可监测当前处于空闲状态的机器人的数量，当数量为1时，可直接将操作指令发送至该机器人；当数量大于1时，则可确定各机器人与当前位置之间的距离，将距离最近的机器人确定为执行操作指令的机器人，将操作指令发送至该机器人。

机器人接收到操作指令后，可移动至设备状态异常的电力设备的位置处，按照调整操作信息对电力设备执行对应的调整操作。示例性的，调整操作信息中包括有指示机器人执行的操作，如“将继电器的开关由关闭状态调整为断开状态”。

本发明实施例提供的双目感知系统，提供了一种双目感知系统，采用双目+云台结构形式，实现作业现场视频的实时获取，通过立体视觉分析技术，获取现场的三维立体信息，并将信息回传远端，增加后台监控人员的临场感。并基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格，攻克了当前作业人员违章识别准确性低，现场作业危险程度高的问题。通过显示设备及时显示电力现场的各作业人员的工作状态，方便安全人员进行查看；并且系统中包括机器人，对于状态异常的电力设备，可通过控制机器人对电力设备的状态进行调整，使电力设备能够正常工作，提高了调整电力设备的安全性和有效性。

值得注意的是，上述双目感知系统的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例三

图3为本发明实施例提供的一种双目感知方法的流程图，如图3所示，本发明实施例提供的双目感知方法，应用于双目感知系统，双目感知系统包括云台、固定于云台上的双目摄像机及与双目摄像机连接的处理器；其中，双目摄像机的结构包括仿人眼双可见光相机结构；该方法包括：

S101、通过云台基于接收到的控制指令，确定当前的转动参数，并按照转动参数控制自身转轴转动以使双目摄像机移动至与控制指令对应的目标位置。

S102、通过双目摄像机的左摄像头和右摄像头分别采集与目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将左目视频和右目视频发送至处理器。

S103、通过处理器接收左目视频和右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。

在本发明实施例中任一可选技术方案的基础上，可选的，双目感知系统还包括与处理器连接的显示设备，处理器包括信息传输模块；其中，

通过信息传输模块将左目视频和右目视频发送至显示设备；

通过显示设备接收左目视频和右目视频，基于左目视频和右目视频，显示目标位置对应的电力现场信息。

在本发明实施例中任一可选技术方案的基础上，可选的，显示设备包括虚拟现实显示器；

通过虚拟现实显示器接收左目视频和右目视频，将左目视频显示于虚拟现实显示器内与左眼位置对应的第一显示器中，将右目视频显示于虚拟现实显示器内与右眼位置对应的第二显示器中。

在本发明实施例中任一可选技术方案的基础上，可选的，虚拟现实器包括头戴式虚拟现实显示器。

在本发明实施例中任一可选技术方案的基础上，可选的，处理器包括与云台连接的位置跟踪模块；其中，

通过位置跟踪模块基于左目视频和右目视频，确定在视频时间内作业人员的人员坐标变化信息，基于人员坐标变化信息，确定作业人员在下一时刻的人员坐标，基于下一时刻的人员坐标生成位置调整指令发送至云台；

通过云台基于接收到的位置调整指令，确定下一时刻的转动参数，并按照下一时刻的转动参数控制自身转轴转动。

在本发明实施例中任一可选技术方案的基础上，可选的，处理器包括与双目摄像机连接的确定空间坐标模块和与确定空间坐标模块连接的行为分析模块；其中，

通过确定空间坐标模块接收左目视频和右目视频，基于左目视频和右目视频，确定作业人员的人工关键点，基于双目立体几何算法，确定各人工关键点对应的空间坐标，将空间坐标发送至行为分析模块；

通过行为分析模块接收各人工关键点对应的空间坐标，基于空间坐标和预先建立的行为识别模型，确定作业人员的作业行为，并基于预先存储的行为规范标准确定作业行为是否合格。

在本发明实施例中任一可选技术方案的基础上，可选的，还包括：

通过处理器中的模型建立模块获取样本行为中各人工关键点的空间坐标构成的样本特征序列，基于样本特征序列和卷积神经网络算法，训练行为识别模型。

在本发明实施例中任一可选技术方案的基础上，可选的，通过双目摄像机的左摄像头和右摄像头分别采集与目标位置对应的电力设备信息，分别生成左目视频和右目视频，并将左目视频和右目视频发送至处理器；

通过处理器接收左目视频和右目视频，确定电力设备的设备状态，确定设备状态是否和预先存储的电力设备的标准状态一致，如果否，则确定设备状态为异常状态。

在本发明实施例中任一可选技术方案的基础上，可选的，双目感知系统还包括与处理器连接的机器人；其中，

通过处理器当设备状态为异常状态时，基于左目视频和右目视频，确定电力设备的当前位置，并生成包含有当前位置和调整操作信息的操作指令，并将操作指令发送至机器人；

通过机器人接收操作指令，移动至当前位置，并按照调整操作信息对电力设备执行对应的调整操作，以使电力设备处于标准状态。

在本发明实施例中任一可选技术方案的基础上，可选的，所述显示设备包括声控模块，通过声控模块基于接收到的目标用户的声音控制信息，确定所述声音控制信息指定的第一显示方式，按照所述第一显示方式对所述目标位置对应的所述电力现场信息进行显示。

在本发明实施例中任一可选技术方案的基础上，可选的，所述显示设备包括手势识别模块，通过手势识别模块识别目标用户展示的手势动作，基于识别结果确定所述手势动作对应的第二显示方式，按照所述第二显示方式对所述目标位置对应的所述电力现场信息进行显示。

在本发明实施例中任一可选技术方案的基础上，可选的，所述云台包括温度检测设备和与所述温度检测设备连接的散热设备，其中，

通过所述温度检测设备监测所述云台在工作情况下的运行温度，当所述运行温度大于预设温度阈值时，生成散热指令发送至所述散热设备；

通过所述散热设备在接收到所述散热指令，调整当前工作模式为启动模式。

在本发明实施例中任一可选技术方案的基础上，可选的，所述散热设备包括风扇，所述风扇的数量可为两个。

本发明实施例所提供的双目感知方法，云台按照转动参数控制自身转轴转动以使双目摄像机移动至与控制指令对应的目标位置；双目摄像机的左摄像头和右摄像头分别采集与目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将左目视频和右目视频发送至处理器；通过处理器接收左目视频和右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。本发明实施例通过左目视频和右目视频得到现场的三维立体信息，能够更精准地了解现场的情况；并且，基于行为识别模型确定作业行为是否合格，避免了人工识别主观因素导致的误差，提高识别结果的准确性，能够更好地确保现场作业的安全性。

实施例四

图4为本发明实施例提供的一种现场作业分析示意图，如图4所示，本发明实施例提供的双目感知方法，通过双目摄像机采集现场的实时视频。对于作业人员来说，可依次实现作业人员的检测、跟踪、人体关键点定位、行为分析及位置定位等检测；对于电力设备，可实现设备识别、跟踪及位置定位等操作。

(1)人员检测：根据双目摄像机采集到的视频，检测作业人员的位置，并跟踪其运动轨迹；根据检测出作业人员的头、肩、关节等人工关键点位置信息，实现作业人员的人工关键位置点的定位分析。具体的，根据电力现场作业的行为规范标准，检测作业人员在工作过程中是否存在违规操作，如未戴安全帽、未穿工装等行为。进一步的，可根据识别作业人员的空间坐标、距离、相对位置等信息，实现作业人员位置的确定。

(2)设备检测：通过双目摄像机采集到的视频，对视频中的电力设备进行识别、跟踪其运动轨迹及位置确定操作。

(3)对电力现场作业分析包括：

基于双目摄像机采集到的电力现场的视频，确定电力现场当前的作业人员的人工关键点的平面坐标。利用双目立体几何算法，获取人工关键点的三维空间坐标，由各人工关键点的三维空间坐标构建作业人员的特征序列。

可将确定出的三维空间坐标发送至安全人员终端，安全人员通过安全人员终端查看工作人员的动作，并向现场发送操作指令。本发明设计机器人交互模块，利用前端识别分析，实时输出现场设备位置三维坐标，并可实现机器人的视觉伺服控制，引导机器人自动完成相关作业内容。

预先存储各种类型的样本行为，例如，样本行为包括跌倒、蹲下、跳起、站立、弯腰、翻越、躺倒和趴下等行为。确定样本行为中的人工关键点的空间坐标，基于各人工关键点的空间坐标构成样本特征序列，基于样本特征序列和卷积神经网络算法，训练行为识别模型。示例性的，卷积神经网络算法包括VGG16网络算法。

将当前确定出的作业人员的特征序列输入至预先建立的行为识别模型中，分析当前作业人员的行为。进一步的，基于对设备状态的识别，确定出设备特征信息。示例性的，设备可为围栏，设备特征信息包括设备的深度信息和位置信息。当进行人员翻越围栏的判断时，加入人体三维坐标与围栏设备的三维坐标的校核功能，当人工关键点的深度信息和围栏的深度信息接近时，可以理解为作业人员在围栏上方时，同时做出了翻越的动作，从而确定出作业人员当前在进行翻越围栏的操作，实现了对作业人员的状态的识别。

本发明采用能前端智能识别技术，可实现人员识别定位、作业人员行为的实时跟踪和识别，实时作业人员违章行为的实时判别，与传统智能相机相比较，智能分析能力更强。提供了一种双目感知方法，基于人体关键点的行为识别模型，实现人员行为的智能客观分析，避免人工识别主观因素导致的误差，提高人员违章识别准确性，能够更好地确保现场作业的安全性。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种双目感知系统，其特征在于，包括：云台、固定于所述云台上的双目摄像机及与所述双目摄像机连接的处理器；其中，所述双目摄像机的结构包括仿人眼双可见光相机结构；

所述云台，用于基于接收到的控制指令，确定当前的转动参数，并按照所述转动参数控制自身转轴转动以使所述双目摄像机移动至与所述控制指令对应的目标位置；

所述双目摄像机，用于通过所述双目摄像机的左摄像头和右摄像头分别采集与所述目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将所述左目视频和所述右目视频发送至所述处理器；

所述处理器，用于接收所述左目视频和所述右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括与所述处理器连接的显示设备，所述处理器包括信息传输模块；其中，

所述信息传输模块，用于将所述左目视频和所述右目视频发送至所述显示设备；

所述显示设备，用于接收所述左目视频和所述右目视频，基于所述左目视频和所述右目视频，显示所述目标位置对应的电力现场信息。

3.根据权利要求2所述的系统，其特征在于，所述显示设备包括：

虚拟现实显示器，用于接收所述左目视频和所述右目视频，将所述左目视频显示于所述虚拟现实显示器内与左眼位置对应的第一显示器中，将所述右目视频显示于所述虚拟现实显示器内与右眼位置对应的第二显示器中。

4.根据权利要求3所述的系统，其特征在于，所述虚拟现实器包括头戴式虚拟现实显示器。

5.根据权利要求1所述的系统，其特征在于，所述处理器包括与所述云台连接的位置跟踪模块；其中，

所述位置跟踪模块，用于基于所述左目视频和所述右目视频，确定在视频时间内所述作业人员的人员坐标变化信息，基于所述人员坐标变化信息，确定所述作业人员在下一时刻的人员坐标，基于下一时刻的所述人员坐标生成位置调整指令发送至所述云台；

所述云台，还用于基于接收到的所述位置调整指令，确定下一时刻的转动参数，并按照所述下一时刻的转动参数控制自身转轴转动。

6.根据权利要求1所述的系统，其特征在于，所述处理器包括确定空间坐标模块和行为分析模块；其中，

所述确定空间坐标模块，与所述双目摄像机连接，用于接收所述左目视频和所述右目视频，基于所述左目视频和所述右目视频，确定所述作业人员的人工关键点，基于双目立体几何算法，确定各所述人工关键点对应的空间坐标，将所述空间坐标发送至所述行为分析模块；

所述行为分析模块，与所述确定空间坐标模块连接，用于接收各所述人工关键点对应的空间坐标，基于所述空间坐标和预先建立的所述行为识别模型，确定所述作业人员的作业行为，并基于预先存储的行为规范标准确定所述作业行为是否合格。

7.根据权利要求6所述的系统，其特征在于，所述处理器还包括：

模型建立模块，用于获取样本行为中各人工关键点的空间坐标构成的样本特征序列，基于所述样本特征序列和卷积神经网络算法，训练所述行为识别模型。

8.根据权利要求1所述的系统，其特征在于，包括：

所述双目摄像机，还用于通过所述双目摄像机的左摄像头和右摄像头分别采集与所述目标位置对应的电力设备信息，分别生成左目视频和右目视频，并将所述左目视频和所述右目视频发送至所述处理器；

所述处理器，还用于接收所述左目视频和所述右目视频，确定电力设备的设备状态，确定所述设备状态是否和预先存储的所述电力设备的标准状态一致，如果否，则确定所述设备状态为异常状态。

9.根据权利要求8所述的系统，其特征在于，还包括：与所述处理器连接的机器人；其中，

所述处理器，还用于当所述设备状态为异常状态时，基于所述左目视频和所述右目视频，确定所述电力设备的当前位置，并生成包含有所述当前位置和调整操作信息的操作指令，并将所述操作指令发送至所述机器人；

所述机器人，用于接收所述操作指令，移动至所述当前位置，并按照所述调整操作信息对所述电力设备执行对应的调整操作，以使所述电力设备处于所述标准状态。

10.根据权利要求2所述的系统，其特征在于，所述显示设备包括：

声控模块，用于基于接收到的目标用户的声音控制信息，确定所述声音控制信息指定的第一显示方式，按照所述第一显示方式对所述目标位置对应的所述电力现场信息进行显示。

11.根据权利要求2所述的系统，其特征在于，所述显示设备包括：

手势识别模块，用于识别目标用户展示的手势动作，基于识别结果确定所述手势动作对应的第二显示方式，按照所述第二显示方式对所述目标位置对应的所述电力现场信息进行显示。

12.根据权利要求1所述的系统，其特征在于，所述云台包括温度检测设备和与所述温度检测设备连接的散热设备，其中，

所述温度检测设备，用于监测所述云台在工作情况下的运行温度，当所述运行温度大于预设温度阈值时，生成散热指令发送至所述散热设备；

所述散热设备，用于在接收到所述散热指令，调整当前工作模式为启动模式。

13.根据权利要求12所述的系统，其特征在于，所述散热设备包括风扇，所述风扇的数量可为两个。

14.一种双目感知方法，其特征在于，应用于双目感知系统，所述双目感知系统包括云台、固定于所述云台上的双目摄像机及与所述双目摄像机连接的处理器；其中，所述双目摄像机的结构包括仿人眼双可见光相机结构；所述方法包括：

通过所述云台基于接收到的控制指令，确定当前的转动参数，并按照所述转动参数控制自身转轴转动以使所述双目摄像机移动至与所述控制指令对应的目标位置；

通过所述双目摄像机的左摄像头和右摄像头分别采集与所述目标位置对应的电力现场信息，分别生成左目视频和右目视频，并将所述左目视频和所述右目视频发送至所述处理器；

通过所述处理器接收所述左目视频和所述右目视频，基于预先建立的行为识别模型，确定电力现场的作业人员的作业行为是否合格。

Images