CN115205502B

CN115205502B - 刀闸操作方法及装置、电子设备

Info

Publication number: CN115205502B
Application number: CN202211125477.3A
Authority: CN
Inventors: 吴海腾; 玉正英; 承永宏; 毛泽庆; 邹治银
Original assignee: Hangzhou Shenhao Technology Co Ltd
Current assignee: Hangzhou Shenhao Technology Co Ltd
Priority date: 2022-09-16
Filing date: 2022-09-16
Publication date: 2022-12-27
Anticipated expiration: 2042-09-16
Also published as: CN115205502A

Abstract

本申请提供一种刀闸操作方法及装置、电子设备，所述方法应用于机器人，机器人上配置有操作装置以及图像采集装置，所述方法包括：获取导航路径并根据导航路径移动到指定柜体前，柜体上设有刀闸；通过图像采集装置采集刀闸区域内指定对象的图像信息，并对图像信息进行数据处理，以获得刀闸与所述操作装置的位置关系信息；根据位置关系信息，调整操作装置的状态，对刀闸进行分闸或合闸操作；输出柜体的最新分闸或合闸操作状态信息。本申请的方法可以快速准确识别柜体状态，快速准确定位出刀闸的空间位置，引导操作机器人正确进行接地刀闸的分闸、合闸操作，保证了操作具有更好的适应性和精确性。

Description

刀闸操作方法及装置、电子设备

技术领域

本申请涉及变电站技术领域，具体而言，涉及一种刀闸操作方法及装置、电子设备。

背景技术

作为电网中的关键一环，变电站的安全稳定运行有着极其重要的意义。变电站开关室涉及电力设备状态识别和电力设备操作，在操作设备之前需要确保当前的状态符合正确操作的要求。当前的操作方法大多采用人工判断和操作，有较大的安全风险。

当前已有用于开关室电力设备操作的机器人，但对于接地刀闸操作，仍存在操作前状态判断不够准确，操作时达不到精度要求，现场情况复杂多变、操作可靠性不高等弊端。

发明内容

本申请的目的是提供一种刀闸操作方法，能够快速准确识别柜体状态，防止错误操作；使用深度相机和内窥镜相机相融合的识别定位技术，能够快速准确定位出接地刀闸的空间位置，引导操作机器人正确进行接地刀闸的分闸、合闸操作，保证了操作具有更好的适应性和精确性。

本申请实施例第一方面提供一种刀闸操作方法，所述方法应用于机器人，所述机器人上配置有操作装置以及图像采集装置，所述方法包括：

获取导航路径并根据所述导航路径移动到指定柜体前，所述柜体上设有刀闸；

通过所述图像采集装置采集所述刀闸区域内指定对象的图像信息，并对所述图像信息进行数据处理，以获得所述刀闸与所述操作装置的位置关系信息；

根据所述位置关系信息，调整所述操作装置的状态，对所述刀闸进行分闸或合闸操作；

输出所述柜体的最新分闸或合闸操作状态信息。

于一实施例中，在对所述图像信息进行数据处理，获得所述刀闸与所述操作装置的位置关系信息之前，所述方法还包括：

获取刀闸指示仪图像，所述刀闸指示仪图像用于指示所述柜体的当前状态；

判断所述柜体的当前状态是否符合执行当前所下操作任务的要求；

若是，对所述操作装置进行校正处理；

若否，停止执行当前所下操作任务，生成停止执行任务消息并上报，按照所述导航路径返回起始点。

于一实施例中，所述对所述操作装置进行校正处理，包括：

获取所述刀闸附近柜体的柜面点云信息；

对所述柜面点云进行滤波处理；

对滤波处理后的目标点云数据按照预设计算方式进行拟合，获得柜体表面拟合模型；

根据所述柜体表面拟合模型，计算所述图像采集装置的目标旋转角度；

基于所述目标旋转角度，以及所述图像采集装置与所述操作装置的位置参数对应关系，获得所述操作装置的目标校正角度。

于一实施例中，在所述对所述操作装置进行校正处理之后，所述方法还包括：

获取所述机器人当前距离所述刀闸的位置信息；

根据所述位置信息，以及预设的所述图像采集装置与所述刀闸的位置信息，调整所述机器人的工作位置。

于一实施例中，所述对所述图像信息进行数据处理，获得所述刀闸与所述操作装置的位置关系信息，包括：

按照预设分割模型，将所述图像信息分割成不同目标区域的图像信息；

获取每个所述目标区域的图像信息对应的质心数据；

根据所述质心数据所在坐标系与所述图像采集装置所在坐标系之间的转换关系，以及所述图像采集装置和所述操作装置的位置关系，获得所述刀闸与所述操作装置的位置关系信息。

于一实施例中，所述根据所述位置关系信息，调整所述操作装置的状态，对所述刀闸进行分闸或合闸操作，包括：

获取内窥镜采集的所述刀闸的图像信息，所述内窥镜设置在所述操作装置上；

根据所述刀闸与所述操作装置的位置关系信息，获取所述操作装置的旋转角度；

按照所述旋转角度旋转所述操作装置，使所述操作装置中心与所述刀闸中心对准；

控制所述操作装置移动并伸入到所述刀闸内，与所述刀闸卡合，对所述刀闸进行分闸或合闸操作。

于一实施例中，在所述对所述刀闸进行分闸或合闸操作之后，所述方法还包括：

控制所述操作装置退出所述刀闸；

获取所述刀闸指示仪图像；

判断所述柜体的最新状态信息是否指示分闸或合闸操作成功；

若是，生成分闸或合闸操作成功任务消息并上报；

若否，生成分闸或合闸操作失败任务消息并上报，重新执行分闸或合闸操作。

于一实施例中，在所述输出柜体的最新分闸或合闸操作状态信息之后，所述方法还包括：

控制所述操作装置复位；

按照所述导航路径返回起始点。

本申请实施例第二方面提供一种刀闸操作装置，包括：

获取模块，用于获取导航路径并根据所述导航路径移动到指定柜体前，所述柜体上设有刀闸；

数据处理模块，用于提供图像采集装置采集所述刀闸区域内指定对象的图像信息，并对所述图像信息进行数据处理，以获得所述刀闸与所述操作装置的位置关系信息；

操作模块，用于根据所述位置关系信息，调整所述操作装置的状态，对所述刀闸进行分闸/合闸操作；

输出模块，用于输出所述柜体的最新分闸或合闸操作状态信息。

本申请实施例第三方面提供一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行本申请第一方面任意一项实施例所述的方法。

本申请与现有技术相比的有益效果是：本申请通过图像采集装置采集刀闸区域内指定对象的图像信息，对像信息进行数据处理，获得刀闸与操作装置的位置关系信息后，再通过调整操作装置的倾斜状态以及位置状态，使操作装置与刀闸处于对准状态，驱动机构驱动操作装置完成对刀闸的分闸或合闸操作，最后通过柜体显示最新分闸或合闸操作状态信息。采用该方法可以快速准确识别柜体状态，快速准确定位出刀闸的空间位置，引导操作机器人正确进行接地刀闸的分闸、合闸操作，保证了操作具有更好的适应性和精确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的电子设备的结构示意图；

图2为本申请一实施例提供的机器人的结构示意图；

图3为本申请一实施例提供的刀闸操作方法的流程示意图；

图4为本申请一实施例提供的柜体的结构示意图；

图5为图4中A处的刀闸分闸的放大示意图；

图6为图4中A处的刀闸合闸的放大示意图；

图7为本申请另一实施例提供的刀闸操作方法的流程示意图；

图8为本申请一实施例提供的机器人进行刀闸分闸或合闸操作状态示意图；

图9为图7中步骤S620的细节流程示意图；

图10为图7中步骤S630的细节流程示意图；

图11为图7中步骤S640的细节流程示意图；

图12为图7中步骤S650的细节流程示意图；

图13为图7中步骤S660的细节流程示意图；

图14为图7中步骤S680的细节流程示意图；

图15为本申请一实施例提供的刀闸操作装置的结构示意图。

图标：

1-机器人；11-操作装置；111-底座；1121-驱动机构；1122-垂直升降电机；1123-平移电机；1124-旋转电机；113-批头；114-挡片拨头；12-图像采集装置；2-柜体；3-刀闸；31-地刀孔；32-挡片；33-凹槽；34-六角轴杆。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，其为本申请一实施例提供的电子设备100的结构示意图。该电子设备100包括：一个或多个处理器120、一个或多个存储处理器120可执行指令的存储器104。其中，所述处理器120被配置为执行本申请下述实施例提供的刀闸操作方法。

所述处理器120可以是网关，也可以为智能终端，或者是包含中央处理单元（CPU）、图像处理单元（GPU）或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子设备100中的其它组件的数据进行处理，还可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器120可以运行所述程序指令，以实现下文所述的刀闸操作方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

在一实施例中，图1所示电子设备100还可以包括输入装置106、输出装置108以及数据采集装置110，这些组件通过总线系统112和/或其它形式的连接机构（未示出）互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备100也可以具有其他组件和结构。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。所述输出装置108可以向外部（例如，用户）输出各种信息（例如，图像或声音），并且可以包括显示器、扬声器等中的一个或多个。所述数据采集装置110可以采集对象的图像，并且将所采集的图像存储在所述存储器104中以供其它组件使用。示例性地，该数据采集装置110可以为摄像头。

在一实施例中，用于实现本申请实施例的刀闸操作方法的示例电子设备100中的各器件可以集成设置，也可以分散设置，诸如将处理器120、存储器104、输入装置106和输出装置108集成设置于一体，而将数据采集装置110分离设置。

在一实施例中，用于实现本申请实施例的刀闸操作方法的示例电子设备100可以是搭载有操作装置11以及图像采集装置12的机器人1。请参照图2，该图像采集装置12可以为具有摄像或者拍照功能的相机，例如RGBD深度相机；操作装置11包括底座111，批头113以及挡片拨头114设于底座111上，驱动机构1121设于底座111上，驱动机构1121与批头113以及挡片拨头114连接。驱动机构1121可以包括垂直升降电机1122、平移电机1123以及旋转电机1124，通过垂直升降电机1122调整批头113以及挡片拨头114的垂直高度位置，同时还可以调整挡片拨头114的上移或下移，通过平移电机1123和丝杆组成的驱动件来调整挡片拨头114的前进伸缩，通过旋转电机1124调整批头113转动，完成对电力柜体2上的刀闸3的分闸/合闸操作。

请参照图3，其为本申请一实施例提供的刀闸操作方法的流程示意图，如图3所示，该方法可由机器人1来执行，包括以下步骤S310-步骤S340。

步骤S310：获取导航路径并根据导航路径移动到指定柜体2前，柜体2上设有刀闸3。

请参照图4，预先在每台电力柜体2 前设置导航点位，生成包含每个导航点位的导航路径，每台电力柜体2上均设有刀闸3。执行任务时，机器人1首先从充电位置出发，按照导航路径移动到指定需要进行操作的电力柜体2前。

在一实施例中，导航路径可传输到上位机中，机器人1直接从上位机获取导航路径，并依据导航路径前进。

步骤S320：通过图像采集装置12采集刀闸3区域内指定对象的图像信息，并对图像信息进行数据处理，以获得刀闸3与操作装置11的位置关系信息。

当机器人1移动到指定柜体2前，图像采集装置12对准柜体2上的刀闸3并进行拍照，采集刀闸3上的指定对象的图像信息。

请参照图5，刀闸3包括设置在柜体2上的地刀孔31，挡片32可活动地设于地刀孔31上，地刀孔31内设有六角轴杆34，在地刀孔31底部设有凹槽33，凹槽33用于当挡片32拨动到下方时对挡片32进行限位。本步骤中，刀闸3区域上的指定对象指的是地刀孔31、挡片32、凹槽33。通过图像采集装置12采集地刀孔31、挡片32、凹槽33的图像信息，并对地刀孔31、挡片32、凹槽33的图像信息进行数据处理，获得刀闸3与操作装置11的位置关系信息。对指定对象的图像信息进行数据处理的方法将在下文详细描述。

步骤S330：根据位置关系信息，调整操作装置11的状态，对刀闸3进行分闸或合闸操作。

在获得刀闸3和操作装置11的位置关系信息后，通过调整操作装置11的状态，包括倾斜状态以及位置状态，调整后使操作装置11处于非倾斜状态（即校正状态），并使操作装置11与刀闸3对准，提供操作装置11实现刀闸3的分闸或合闸操作。具体分闸或合闸的操作方式将在下文详细描述。

步骤S340：输出柜体2的最新分闸或合闸操作状态信息。

在机器人1完成对刀闸3的分闸或合闸操作后，在柜体2上会输出最终刀闸3的操作状态信息，例如，是显示已经完成分闸操作还是显示已经完成合闸操作。

上述刀闸操作方法，应用于机器人1，通过图像采集装置12采集刀闸3区域内地刀孔31、挡片32、凹槽33的图像信息，对地刀孔31、挡片32、凹槽33的图像信息进行数据处理，获得刀闸3与操作装置11的位置关系信息后，再通过调整操作装置11的倾斜状态以及位置状态，使操作装置11与刀闸3处于对准状态，驱动机构1121驱动操作装置11完成对刀闸3的分闸或合闸操作，最后通过柜体2显示最新分闸或合闸操作状态信息。采用该方法可以快速准确识别柜体2状态，快速准确定位出刀闸3的空间位置，引导操作机器人1正确进行接地刀闸3的分闸、合闸操作，保证了操作具有更好的适应性和精确性。

请参照图2、图5-图8，本申请另一实施例提供了一种刀闸操作方法，该方法包括步骤S610-步骤S6100。

步骤S610：获取导航路径并根据导航路径移动到指定柜体2前，柜体2上设有刀闸3。详细参见上述实施例中对步骤S310的描述。

步骤S620：识别柜体2符合执行当前所下操作任务要求的当前状态。具体包括步骤S621-步骤S623，详见图9。

步骤S621：获取刀闸3指示仪图像，刀闸3指示仪图像用于指示柜体2的当前状态。本步骤中，通过可见光相机获取刀闸3指示仪图像，使用图像匹配检测技术对图像做纠偏，例如，当检测到刀闸3指示仪显示为绿灯时，则表明当前刀闸3为分闸状态；当检测到刀闸3指示仪显示为红灯时，则表明当前刀闸3为合闸状态。本步骤中的图像匹配检测技术采用现有技术，在此不再赘述。

步骤S622：判断柜体2的当前状态是否符合执行当前所下操作任务的要求。

步骤S623：若是，对操作装置11进行校正处理；若否，停止执行当前所下操作任务，生成停止执行任务消息并上报，按照导航路径返回起始点。

在步骤S622-步骤S623中，识别当前柜体2状态并判断是否可以执行当前所下的操作任务，若不能执行任务则将结果生成停止执行任务消息，并反馈给后台任务下发系统，由后台确认后，终止当前任务，机器人1按照导航路线返航；若当前状态可以继续执行任务，则继续执行下述步骤630，对操作装置11进行校正处理。

步骤S630：对操作装置11进行校正处理。此步骤的目的是为了保障操作装置11的轴心垂直于柜体2表面。具体包括步骤S631-步骤S635，详见图10。

步骤S631：获取刀闸3附近柜体2的柜面点云信息。

本步骤中，通过RGBD深度相机获取接地刀闸3附近柜体2的柜面点云信息。

步骤S632：对柜面点云进行滤波处理。

本步骤中，首先对点云做条件滤波处理，以RGBD深度相机中心建立空间坐标系，从RGBD深度相机中心向前的方向作为z方向，水平方向为x方向，设置符合条件的点云为0.15m<z<0.6m，x<0.1m，即选取符合z范围内的点云和符合x范围内的点云，剔除距离太远和太近的离群点。然后使用体素滤波对处理后的点云降采样，降采样的体素网格大小设置为0.005m。

步骤S633：对滤波处理后的目标点云数据按照预设计算方式进行拟合，获得柜体2表面拟合模型。

本步骤中，对滤波处理后的目标点云数据使用RANSAC方法拟合柜体2表面。具体步骤为：

（1）首先以平面方程Ax+By+Cz+D=0作为预设计算方式，初选平面方程Ax+By+Cz+D=0的参数，将所有目标点云数据点集合Pd中的数据依次代入初选平面方程计算偏差，设置偏差阈值0.003m，计算的偏差中小于该阈值的对应的点成为内点，其点集记为pd；

（2）使用pd中的数据重新拟合平面模型参数；

（3）然后再次将Pd中的数据代入初选平面方程计算偏差，根据偏差阈值更新点集pd，再使用pd中的数据重新拟合并更新平面模型参数。

如此反复，经过多次更新，选取内点数目最多的平面模型作为最终的柜体2表面模型，此时向量（A，B，C）为该柜体2表面的法向量。

本步骤中的RANSAC方法采用现有技术，其原理和方法在此不再赘述。

步骤S634：根据柜体2表面拟合模型，计算图像采集装置12的目标旋转角度。

本步骤中，计算RGBD深度相机光轴调整至平行于平面法向量需要的旋转角度，即绕x轴所需旋转角度

，绕y轴所需旋转角度为

，上述旋转角度即为RGBD深度相机的目标旋转角度。

步骤S635：基于目标旋转角度，以及图像采集装置12与操作装置11的位置参数对应关系，获得操作装置11的目标校正角度。

本步骤中，通常在出厂设计时，RGBD深度相机与操作装置11的位置参数就是已知的。因此，在确定了RGBD深度相机的目标旋转角度以及图像采集装置12与操作装置11的位置参数对应关系，就可以将操作装置11的位置调整至垂直于刀闸3，调整至垂直与刀闸3所要旋转的角度即为目标校正角度。

步骤S640：机器人1自身工作位置调整。此步骤的目的是机器人1工作位置做调整，使其工作距离能够满足操作装置11的垂直升降电机以及平移电机设计的行程。具体包括步骤S641-步骤S642，详见图11。

步骤S641：获取机器人1当前距离刀闸3的位置信息。

本步骤中，根据训练的YOLO目标检测模型检测地刀孔31，借助RGBD深度相机红外测距功能测出当前机器人1位置，RGBD深度相机到地刀孔31的距离。YOLO目标检测模型采用现有技术，其原理和检测方法在此不再赘述。

步骤S642：根据位置信息，以及预设的图像采集装置12与刀闸3的位置信息，调整机器人1的工作位置。

本步骤中，根据RGBD深度相机与机器人1车体位置关系以及操作装置11最佳工作距离，当RGBD深度相机距离地刀孔31所在柜体2的柜面距离不超过0.28m时，前后左右移动机器人1所在的车体，使机器人1工作距离能够满足操作装置11的垂直升降电机1122以及平移电机1123设计的行程。即当RGBD深度相机距离地刀孔31所在柜体2的柜面距离不超过0.28m时，可满足平移电机的伸缩长度的最大工作行程。

在本步骤完成后，由于机器人1车体的移动，会导致操作装置11的位置和状态发生变动，所以还需要采用步骤S631-步骤S635的方法，再次对操作装置11的偏移角度进行校正。

步骤S650：通过图像采集装置12采集刀闸3区域内指定对象的图像信息，并对图像信息进行数据处理，以获得刀闸3与操作装置11的位置关系信息。具体包括步骤S651-步骤S652，详见图12。

步骤S651：获取刀闸3的RGB图像和深度图像信息。通过RGBD深度相机拍摄刀闸3，采集刀闸3区域内地刀孔31、挡片32、凹槽33的图像信息。

步骤S652：检测刀闸3。基于yolov5的目标检测算法检测刀闸3区域，检测区域内包括地刀孔31、挡片32、凹槽33的特征，通过增加不同光照条件以及不同柜体2类型的刀闸3装置图像，使检测器具有较强的泛化能力。本步骤中，yolov5的目标检测算法采用现有技术，其原理和算法在此不再赘述。

步骤S653：按照预设分割模型，将图像信息分割成不同目标区域的图像信息。

为了进一步定位目标的中心位置，设计了目标分割算法，分别分割出地刀孔31中心、挡片32中心、凹槽33中心。基于HRNet分割模型分割出地刀孔31、挡片32、凹槽33的二值化图像，使用全局阈值分割将目标区域分割为三部分，即地刀孔区域ROI_1、凹槽区域ROI_2和挡片区域ROI_3。HRNet分割模型采用现有技术，其原理和方法在此不再赘述。

步骤S654：获取每个目标区域的图像信息对应的质心数据。

对地刀孔区域ROI_1做Blob分析，检测地刀孔31的圆心，分别设置区域面积条件、圆度条件、惯性率条件和凸度条件。Blob分析采用现有技术，其原理和方法在此不再赘述。

其中，圆度条件计算方式为：

，S表示面积，P表示周长。当C等于1时，该形状为正圆形，C等于0时，该形状为矩形或者多边形。

惯性率满足条件：

，其中E表示偏心率，I表示惯性率。圆形的偏心率E等于0，椭圆的偏心率介于0和1之间，直线的偏心率接近于无穷。

凸度表示该几何图形是凸多边形还是凹多边形。

对凹槽区域ROI_2和挡片区域ROI_3做矩分析，计算出区域质心。其中，几何矩计算方式为：

其中I(x,y)是像素(x,y)处的像素值。区域形状质心可以用零阶矩表示，即：

步骤S655：根据质心数据所在坐标系与图像采集装置12所在坐标系之间的转换关系，以及图像采集装置12和操作装置11的位置关系，获得刀闸3与操作装置11的位置关系信息。

本步骤中，RGBD深度相机测出地刀孔31中心p1点的深度depth1，挡片32中心点p2的深度depth2，凹槽33中心点p3的深度为depth3。已知图像信息的中心坐标center，标定过的RGBD深度相机内参K，根据相机成像原理可以依次将图像坐标系坐标转换到相机坐标系下的坐标。然后分别计算点p1与点center的欧式距离、点p2与点p3的欧氏距离以及地刀孔31直径大小。其中，图像坐标系到RGBD深度相机坐标系转换关系如下：

其中x，y为p1点图像坐标系下的坐标，Xc、Yc、Zc为点p1对应的深度相机坐标系下的坐标，当Zc=depth1，可以解得点p1与点center的欧式距离Xc、点p2与点p3的欧氏距离Yc。

通过上述步骤S651-步骤S655，获得了刀闸3与操作装置11的位置关系信息后，以及刀闸3与操作装置11上批头113的距离，通过驱动机构1121驱动操作装置11上的批头113移动到刀闸3位置处，使批头113对准地刀孔31中心。

步骤S660：根据位置关系信息，调整操作装置11的状态，对刀闸3进行分闸或合闸操作。具体包括步骤S661-步骤S664，详见图13。

步骤S661：获取内窥镜采集的刀闸3的图像信息，内窥镜设置在操作装置11上。

本步骤中，内窥镜具有拍照功能，内窥镜可具体设置在批头113上，用于采集刀闸3的图像信息。

步骤S662：根据刀闸3与操作装置11的位置关系信息，获取操作装置11的旋转角度。

本步骤中，由于内窥镜可以随着批头113转动，每次旋转后内窥镜角度都会发生偏转，为保证计算的准确性，需要先对内窥镜角度进行纠偏。在纠偏前，需要先通过内窥镜获取刀闸3的图像信息。再计算刀闸3在内窥镜图像中的偏转角度。其中，获取内窥镜采集的刀闸3的图像的方法，可参照步骤S650，分割出挡片32中心点p2和凹槽33中心点p3，计算p2、p3连线所在直线的斜率，将斜率转换为角度值之后即为内窥镜所要调整的旋转角度。

步骤S663：按照旋转角度旋转操作装置11，使操作装置11中心与刀闸3中心对准。

本步骤中，对内窥镜纠偏之后，采用步骤S653-步骤S655所述的目标分割方法分割批头113中心和地刀孔31中心区域，在水平方向计算批头113中心与地刀孔31中心的水平方向距离。

批头113中心与地刀孔31中心的水平方向距离即为地刀孔31的圆直径，根据直径占据的像素点数，计算单位像素距离，即可得到批头113中心与地刀孔31中心的水平方向距离。根据该距离，通过驱动机构1121驱动批头113移动至内窥镜，使批头113中心与地刀孔31中心对准。

采用步骤S653-步骤S655所述的目标分割方法分割挡片32中心，计算批头113中心到挡片32中心的垂直方向距离，即可得到竖直方向批头113中心与挡片32中心的距离。通过驱动机构1121调整挡片拨头114按照该垂直方向距离下移，使挡片拨头114中心与挡片32中心对准。

步骤S664：控制操作装置11移动并伸入到刀闸3内，与刀闸3卡合，对刀闸3进行分闸或合闸操作。

驱动机构1121驱动批头113前进到刀闸3的地刀孔31所在位置处，其中，前进深度即为深度相机测出的地刀孔31中心p1点的深度depth1减去深度相机到批头113末端（即靠近刀闸3的一端）的长度。

驱动机构1121在移动并伸入到刀闸3前，先要将挡片32移开，驱动机构1121驱动挡片拨头114将挡片32向上移动或向下移开的距离为步骤S655中的点p2与点p3的欧氏距离。当挡片拨头114下压挡片32，可将其压入到凹槽33中，当挡片拨头114抬起挡片32时，挡片32可被限位在地刀孔31内。

当挡片拨头114抬起挡片32后，露出六角轴杆34，由于地刀孔31和六角轴杆34存在偏心，需要再次调整批头113状态和位置。具体地，可借助内窥镜相机，识别批头113中心和六角轴杆34中心，计算二者在水平方向距离dx和竖直方向的距离dy。通过对批头113进行微调，使其对准六角轴杆34。具体步骤为：

（1）使用HRNet模型分别分割出刀闸3中心轴和批头113中心，记为刀闸3中心轴区域ROI_4和批头113中心区域ROI_5，分别对这两个区域做Blob分析提取，具体可参照步骤S654的描述。由此得到刀闸3中心轴像素坐标和直径像素数目，以及批头113中心像素坐标。HRNet模型为现有技术，其原理和方法在此不再赘述。

（2）计算批头113中心与六角轴杆34中心的位置关系。已知刀闸3中心轴实际直径尺寸L为17.5mm，根据提取出的Blob直径像素数目num_pixel，图像单像素距离为

，刀闸3中心轴的圆心像素坐标和批头113中心像素坐标，由此可以计算出批头113中心与刀闸3中心轴的距离。

驱动机构1121按照计算出的批头113中心与刀闸3中心轴的距离，驱动批头113前进，当批头113中心伸进地刀孔31内，借助内部弹性力，使批头113卡进六角轴杆34。通过驱动机构1121的旋转电机控制批头113顺时针转动带动六角轴杆34，刀闸3切换为合闸，请参照图6；再通过驱动机构1121的旋转电机控制批头113逆时针转动带动六角轴杆34，刀闸3由合闸切换为分闸，请参照图5。

步骤S670：控制操作装置11退出刀闸3。

本步骤中，通过驱动机构1121驱动批头113反向转动脱离六角轴杆34，由此退出六角轴杆34。

步骤S680：输出柜体2的最新分闸或合闸操作状态信息。具体包括步骤S681-步骤S683，详见图14。

步骤S681：获取刀闸指示仪图像。

步骤S682：判断柜体2的最新状态信息是否指示分闸或合闸操作成功。

步骤S683：若是，生成分闸或合闸操作成功任务消息并上报；若否，生成分闸或合闸操作失败任务消息并上报，重新执行分闸或合闸操作。

步骤S682-步骤S683中，需要再次识别柜体2的最新状态，通过可见光相机获取接地刀闸指示仪图像，再次判定是否操作成功，若不成功反馈后台并提示是否再次从步骤S630开始执行；若操作成功，则将成功后的最新状态的指示仪图像反馈至后台，继续执行步骤S690。

步骤S690：控制操作装置11复位。控制操作装置11中各个电机复位。

步骤S6100：按照导航路径返回起始点。机器人1按照导航路径由当前电力柜体2返回至初始充电位置。

请参照图15，其为本申请一实施例提供的一种刀闸操作装置的结构示意图，该装置包括获取模块700、数据处理模块800、操作模块900以及输出模块1000。

获取模块700，用于获取导航路径并根据导航路径移动到指定柜体2前，柜体2上设有刀闸3。

数据处理模块800，用于通过图像采集装置12采集刀闸3区域内指定对象的图像信息，并对图像信息进行数据处理，以获得刀闸3与操作装置11的位置关系信息。

操作模块900，用于根据位置关系信息，调整操作装置11的状态，对刀闸3进行分闸/合闸操作；

输出模块1000，用于输出柜体2的最新分闸或合闸操作状态信息。

上述装置中各个模块的功能和作用的实现过程具体详见上述刀闸操作方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种刀闸操作方法，其特征在于，所述方法应用于机器人，所述机器人上配置有操作装置以及图像采集装置，所述方法包括：

通过所述图像采集装置采集所述刀闸区域内指定对象的图像信息，并对所述图像信息进行数据处理，以获得所述刀闸与所述操作装置的位置关系信息，包括：

按照预设分割模型，将所述图像信息分割成不同目标区域的图像信息，所述目标区域包括：地刀孔区域、挡片区域、凹槽区域；

获取每个所述目标区域的图像信息对应的质心数据；

根据所述质心数据所在坐标系与所述图像采集装置所在坐标系之间的转换关系，以及所述图像采集装置和所述操作装置的位置关系，获得所述刀闸与所述操作装置的位置关系信息；

根据所述位置关系信息，调整所述操作装置的状态，对所述刀闸进行分闸或合闸操作，包括：

控制所述操作装置移动并伸入到所述刀闸内，与所述刀闸卡合，对所述刀闸进行分闸或合闸操作，包括：

识别批头中心和六角轴杆中心，计算所述批头中心和所述六角轴杆中心在水平方向距离和竖直方向距离；

对所述批头进行微调，使所述批头对准所述六角轴杆，并卡进所述六角轴杆；

控制所述批头顺时针转动带动所述六角轴杆，所述刀闸切换为合闸，控制所述批头逆时针转动带动所述六角轴杆，所述刀闸切换为分闸；

输出所述柜体的最新分闸或合闸操作状态信息。

2.根据权利要求1所述的方法，其特征在于，在对所述图像信息进行数据处理，获得所述刀闸与所述操作装置的位置关系信息之前，所述方法还包括：

若是，对所述操作装置进行校正处理；

3.根据权利要求2所述的方法，其特征在于，所述对所述操作装置进行校正处理，包括：

获取所述刀闸附近柜体的柜面点云信息；

对所述柜面点云进行滤波处理；

4.根据权利要求2所述的方法，其特征在于，在所述对所述操作装置进行校正处理之后，所述方法还包括：

获取所述机器人当前距离所述刀闸的位置信息；

5.根据权利要求1所述的方法，其特征在于，在所述对所述刀闸进行分闸或合闸操作之后，所述方法还包括：

控制所述操作装置退出所述刀闸；

获取所述刀闸指示仪图像；

若是，生成分闸或合闸操作成功任务消息并上报；

6.根据权利要求1所述的方法，其特征在于，在所述输出柜体的最新分闸或合闸操作状态信息之后，所述方法还包括：

控制所述操作装置复位；

按照所述导航路径返回起始点。

7.一种刀闸操作装置，其特征在于，包括：

数据处理模块，用于通过图像采集装置采集所述刀闸区域内指定特征的图像信息，并对所述图像信息进行数据处理，以获得所述刀闸与所述操作装置的位置关系信息，包括：

获取每个所述目标区域的图像信息对应的质心数据；

操作模块，用于根据所述位置关系信息，调整所述操作装置的状态，对所述刀闸进行分闸或合闸操作，包括：

8.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-6任意一项所述的方法。