CN114866747B - 高空作业装置及作业图像的处理方法 - Google Patents

高空作业装置及作业图像的处理方法 Download PDF

Info

Publication number
CN114866747B
CN114866747B CN202210791363.6A CN202210791363A CN114866747B CN 114866747 B CN114866747 B CN 114866747B CN 202210791363 A CN202210791363 A CN 202210791363A CN 114866747 B CN114866747 B CN 114866747B
Authority
CN
China
Prior art keywords
image acquisition
image
module
acquisition module
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210791363.6A
Other languages
English (en)
Other versions
CN114866747A (zh
Inventor
姚健
张宇
李帅
任青亭
孙楠楠
张云强
董文旭
郭猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Ruijia Tianjin Intelligent Robot Co ltd
Original Assignee
State Grid Ruijia Tianjin Intelligent Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Ruijia Tianjin Intelligent Robot Co ltd filed Critical State Grid Ruijia Tianjin Intelligent Robot Co ltd
Priority to CN202210791363.6A priority Critical patent/CN114866747B/zh
Publication of CN114866747A publication Critical patent/CN114866747A/zh
Application granted granted Critical
Publication of CN114866747B publication Critical patent/CN114866747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

本发明提供了一种高空作业装置及作业图像的处理方法，包括：高空作业设备和多个图像采集模组；其中，高空作业设备设置有机械臂，高空作业设备用于驱动机械臂执行高空作业；图像采集模组部署于机械臂的基座处，图像采集模组包括多个图像采集设备，每个图像采集设备用于按照不同的子视角采集高空作业的作业图像，以得到图像采集模组对应的总视角下的作业全景影像。本发明可以有效简化装置结构的复杂程度，还可以降低对作业场地的要求，还可以显著提高高空作业状态的观察视角的完整性。

Description

高空作业装置及作业图像的处理方法
技术领域
本发明涉及高空作业技术领域，尤其是涉及一种高空作业装置及作业图像的处理方法。
背景技术
机器人在高空作业时，操作人员需要对机械臂状态、工具状态以及作业对象的状态进行观看，以确认作业是否达到的预期的效果。目前的实现方式主要有以下三种：一是在机器人上升起全景相机进行俯视观察，二是在地面远处布置高清摄像机，三是在作业工具上安装相机进行观察。然而上述实现方式存在装置结构复杂，或对作业场地要求较高且部署难度较高，或观察视角完整性较差等诸多问题。
发明内容
本发明的目的在于提供一种高空作业装置及作业图像的处理方法，可以有效简化装置结构的复杂程度，还可以降低对作业场地的要求，还可以显著提高高空作业状态的观察视角的完整性。
第一方面，本发明实施例提供了一种高空作业装置，包括：高空作业设备和多个图像采集模组；其中，所述高空作业设备设置有机械臂，所述高空作业设备用于驱动所述机械臂执行高空作业；所述图像采集模组部署于所述机械臂的基座处，所述图像采集模组包括多个图像采集设备，每个所述图像采集设备用于按照不同的子视角采集所述高空作业的作业图像，以得到所述图像采集模组对应的总视角下的作业全景影像。
在一种实施方式中，所述机械臂包括前机械臂和后机械臂，所述前机械臂的基座前板布置有第一图像采集设备和第二图像采集设备，所述后机械臂的基座侧板边缘处布置有第三图像采集设备，所述后机械臂的基座顶部布置有第四图像采集设备；所述图像采集模组包括第一采集模组和第二采集模组，所述第一采集模组包括所述第一图像采集设备、所述第二图像采集设备和所述第三图像采集设备，所述第二采集模组包括第三图像采集设备和所述第四图像采集设备。
在一种实施方式中，所述第一图像采集设备设置于所述第二图像采集设备的上方，所述第一图像采集设备向上倾斜，所述第二图像采集设备向下倾斜，所述第三图像采集设备向左倾斜或向右倾斜，所述第四图像采集设备向上倾斜。
在一种实施方式中，所述前机械臂包括左前机械臂和/或右前机械臂，所述后机械臂包括左后机械臂和/或右后机械臂。
在一种实施方式中，所述高空作业设备还设置有下位控制器、网络交换机和无线路由器，每个所述图像采集设备、所述下位控制器和所述无线路由器均接入至所述网络交换机。
在一种实施方式中，所述下位控制器还设置有图形卡插槽，所述图形卡插槽内放置有图形处理芯片。
在一种实施方式中，所述高空作业设备还设置有编解码模块、图像标定模块、图像拼合模块、图像推流模块和流媒体模块，所述编解码模块、所述图像标定模块、所述图像拼合模块、所述图像推流模块和所述流媒体模块均与所述下位控制器连接。
在一种实施方式中，所述高空作业设备还设置有显示屏，所述显示屏与所述下位控制器连接，所述显示屏用于展示所述作业图像和/或所述作业全景影像。
在一种实施方式中，每个所述图像采集设备与所述基座之间通过金属结构件刚性连接。
第二方面，本发明实施例还提供一种作业图像的处理方法，应用于第一方面提供的任一项所述的高空作业装置，包括：控制所述高空作业装置中的高空作业设备驱动机械臂执行高空作业；获取所述高空作业装置中每个所述图像采集模组针对所述高空作业采集的作业图像；其中，所述作业图像是通过每个所述图像采集模组中各个图像采集设备按照不同的子视角采集的；对所述作业图像进行图像拼合处理，得到每个所述图像采集模组对应的总视角下的作业全景图像。
在一种实施方式中，所述对所述作业图像进行图像拼合处理，得到每个所述图像采集模组对应的总视角下的作业全景图像的步骤，包括：对于每个所述图像采集模组对应的作业图像，获取该图像采集模组对应的拼合参数，并基于所述拼合参数对该图像采集模组中各个所述图像采集设备采集的所述作业图像进行图像拼合处理，得到该图像采集模组对应的总视角下的作业全景图像。
在一种实施方式中，在所述获取该图像采集模组对应的拼合参数的步骤之前，所述方法还包括：对于每个所述图像采集模组，当所述高空作业装置位于指定标定场景时，通过该图像采集模组中各个所述图像采集设备按照不同的所述子视角采集标定图像；对该图像采集模组对应的多个标定图像进行特征匹配得到特征匹配结果，并基于所述特征匹配结果确定该图像采集模组对应的拼合参数。
在一种实施方式中，在所述对所述作业图像进行图像拼合处理，得到每个所述图像采集模组对应的总视角下的作业全景图像的步骤之后，所述方法还包括：对每个所述作业全景图像分别进行图像处理得到多个作业全景视频流；其中，所述图像处理包括编解码处理、封装处理和协议转换处理；将每个所述作业全景视频流发送至指定呈现终端，以通过所述指定呈现终端播放至少一个目标作业全景视频流。
本发明提供的一种高空作业装置及作业图像的处理方法，包括：高空作业设备和多个图像采集模组。其中，高空作业设备设置有机械臂，高空作业设备用于驱动机械臂执行高空作业；图像采集模组部署于机械臂的基座处，图像采集模组包括多个图像采集设备，每个图像采集设备用于按照不同的子视角采集高空作业的作业图像，以得到图像采集模组对应的总视角下的作业全景影像。上述高空作业装置通过在高空作业设备的机械臂基座处设置多个不同总视角的图像采集模组，并利用每个图像采集模组中各个图像采集设备按照各自的子视角采集作业图像，即可得到每个图像采集模组对应的总视角下的作业全景图像，可以有效避开高空作业设备自身和机械臂的遮挡，从而显著提高高空作业状态的观察视角的完整性，而且本发明实施例提供的高空作业装置结构简单，还无需在作业现场周边布置一个或多个高清摄像机，从而显著降低了对作业场地的要求。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种高空作业装置的结构示意图；
图2为本发明实施例提供的一种高空作业设备的俯视图；
图3a为本发明实施例提供的一种前机械臂的前视图；
图3b为本发明实施例提供的一种前机械臂的侧视图；
图4a为本发明实施例提供的一种前机械臂的俯视图；
图4b为本发明实施例提供的一种前机械臂的仰视图；
图5为本发明实施例提供的一种图像采集设备的布局图；
图6为本发明实施例提供的另一种图像采集设备的布局图；
图7为本发明实施例提供的另一种图像采集设备的布局图；
图8为本发明实施例提供的一种高空作业设备的结构示意图；
图9为本发明实施例提供的另一种高空作业设备的结构示意图；
图10为本发明实施例提供的一种作业图像的处理方法的流程示意图；
图11为本发明实施例提供的一种作业图像的处理方法的交互示意图；
图12为本发明实施例提供的另一种作业图像的处理方法的交互示意图。
图标：1-高空作业设备；2-图像采集模组；3-图像采集设备；4-机械臂。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，对机器人高空作业状态进行全景观察主要包括以下三种方案：（一）在机器人上升起全景相机进行俯视观察，（二）在地面远处布置高清摄像机，（三）在作业工具上安装相机进行观察。
（一）在机器人上升起全景相机进行俯视观察。需要在机器人上布置全景相机和伸缩支架，在机器人作业过程中，将全景相机升高到作业位置之上，通过网络拉取流媒体的方式进行影像的获取和观看。受限于行业安全规范要求（如电力行业为防止触碰到线路引发安全事故，对举高的高度进行限制）往往不能获取到足够高的视角进行全景观看。此外，对于一些被机械臂遮挡的部位，无法进行观看。因此该方式会存在以下问题：（1）装置复杂：需要为全景相机配备伸缩支架、动力装置、支撑底座等配套装置，复杂度较高且使用过程中容易损坏；（2）成本昂贵：市面上专业级全景相机的成本在数万元左右，将大大增加机器人的制造成本；（3）很难获得合适的视角：受限于行业规范要求，全景相机升起的高度不能过高，如电力作业机器人，相机升起过高时将增加挂到线缆的风险，因此很难获得一个合适的视角进行有效观察；（4）受限于相机只能在机器人的上方，对于特定位置的影像，如机器人前方被机械臂挡住的部分，无法观察到。
（二）在地面远处布置高清摄像机。在作业现场周边斜下方，寻找开阔地带布置一个或多个高清摄像机，通过网络拉取流媒体进行观看。该方式解决了（一）的部分问题，避免了在机器人上添加全景相机及其配套装置，也可以通过灵活地调整视角，获取全面的观察范围。但对作业场地要求较高，首先要足够开阔，方便部署摄像机，其次不能有树木之类的遮挡物对影像采集进行干扰。因此该方式会存在以下问题：（1）部署复杂：在每次开始作业之前，都需要人工进行摄像机点位的选取、清理遮挡物，以及摄像机的布置、角度调整、配置网络等，并在作业结束之后进行相应的回收。和使用机器人进行作业减少人员工作量的初衷不符；（2）对作业场地的要求较高：摄像机需要部署在作业区域的斜下方，以获取合适的视角，因此要求作业场地要足够开阔、没有遮挡，不适应一些复杂场景下作业使用；（3）成本同样较高：对相机和镜头的性能要求高，由于影像采集的距离较远，需要对作业位置进行放大显示，普通相机不能获得足够的清晰度。
（三）在作业工具上安装相机进行观察。通过在作业工具上安装相机进行影像采集，此方式可以有效观察到当前作业的局部，并且由于是近距离观察，对相机和镜头的要求较低，该方式会存在以下问题：视角不够完整，安装在作业工具上的相机只能观察到当前工具作业的局部细节，无法看到整体的状态，如线缆、线杆、工具台等。
基于此，本发明实施例提供了一种高空作业装置及作业图像的处理方法，可以有效简化装置结构的复杂程度，还可以降低对作业场地的要求，还可以显著提高高空作业状态的观察视角的完整性。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种高空作业装置进行详细介绍。
本发明实施例提供了一种高空作业装置，包括：高空作业设备和多个图像采集模组。其中，高空作业设备设置有机械臂，高空作业设备用于驱动机械臂执行高空作业；图像采集模组部署于机械臂的基座处，图像采集模组包括多个图像采集设备，每个图像采集设备用于按照不同的子视角采集高空作业的作业图像，以得到图像采集模组对应的总视角下的作业全景影像。
为便于理解，图1示意出了一种高空作业装置的结构示意图，图1示意出该高空作业装置包括高空作业设备1和多个图像采集模组2。
在一种实施方式中，高空作业设备1设置有机械臂4，高空作业设备1用于驱动机械臂4执行高空作业。其中，高空作业设备可以为高空作业机器人。在一种实施方式中，机械臂4可以包括前机械臂和/或后机械臂，进一步的，前机械臂又可以包括左前机械臂和/或右前机械臂，后机械臂又可以包括左后机械臂和/或右后机械臂，在实际应用中，可以通过各个机械臂4协同进行高空作业。
在一种实施方式中，图像采集模组2部署于机械臂4的基座处，图像采集模组2包括多个图像采集设备3，每个图像采集设备3用于按照不同的子视角采集高空作业的作业图像，以得到图像采集模组2对应的总视角下的作业全景影像。其中，图像采集设备3可以为相机或镜头，诸如采用低成本的普通网络相机。在实际应用中，每个图像采集设备3的子视角均不同，控制每个图像采集设备3按照各自对应的子视角采集作业图像，通过对图像采集模组2内每个图像采集设备3采集的作业图像进行拼合，即可得到该图像采集模组2对应的总视角下的作业全景影像。本发明实施例使用低成本的普通网络相机，通过多组视角拼合的方式实现类似全景相机的效果，避免了使用价格昂贵的专业级全景相机及其配套的其他装置，从而有效简化了装置结构的复杂程度，还可以显著降低成本。
本发明实施例提供的高空作业装置，通过在高空作业设备的机械臂基座处设置多个不同总视角的图像采集模组，并利用每个图像采集模组中各个图像采集设备按照各自的子视角采集作业图像，即可得到每个图像采集模组对应的总视角下的作业全景图像，可以有效避开高空作业设备自身和机械臂的遮挡，从而显著提高高空作业状态的观察视角的完整性，而且本发明实施例提供的高空作业装置结构简单，还无需在作业现场周边布置一个或多个高清摄像机，从而显著降低了对作业场地的要求。
为便于对上述实施例提供的高空作业装置进行理解，请继续参见图1，本发明实施例提供的机械臂包括前机械臂和后机械臂，前机械臂的基座前板布置有第一图像采集设备P1和第二图像采集设备P2，后机械臂的基座侧板边缘处布置有第三图像采集设备P3，后机械臂的基座顶部布置有第四图像采集设备P4。进一步的，第一图像采集设备P1设置于第二图像采集设备P2的上方，第一图像采集设备P1向上倾斜，第二图像采集设备P2向下倾斜，第三图像采集设备P3向左倾斜或向右倾斜，第四图像采集设备P4向上倾斜。
在此基础上，确定图像采集模组包括第一采集模组和第二采集模组，第一采集模组包括第一图像采集设备P1、第二图像采集设备P2和第三图像采集设备P3，第二采集模组包括第三图像采集设备P3和第四图像采集设备P4。在实际应用中，第一图像采集设备P1、第二图像采集设备P2和第三图像采集设备P3各自的子视角存在部分重叠，第三图像采集设备P3和第四图像采集设备P4各自的子视角也存在部分重叠，以便于后续对第一采集模组中各个图像采集设备采集的作业图像进行拼合，以及对第二采集模组中各个图像采集设备采集的作业图像进行拼合。
本发明实施例通过在高空作业机器人上的不同位置和角度上部署多个图像采集设备，然后按照视角重叠规则对图像采集设备进行分组，同一个分组代表一个总视角，将分组内的多个图像采集设备的画面通过软件算法进行拼合，最终形成多个总视角的作业全景影像，通过子视角的组合和总视角的切换，可以有效避开高空作业机器人本身和机械臂的遮挡，实现对高空作业全流程的有效观察，为作业人员提供有力的参考。从外。本发明实施例通过对多个低成本普通相机画面进行拼合，以模拟全景相机的部分效果，节约了昂贵的全景相机成本，同时避免了为高空作业机器人加装支撑底座、升降支架、动力装置等额外结构，有效降低了高空作业机器人结构的复杂度。
为便于理解，本发明实施例以前机械臂包括左前机械臂和右前机械臂，后机械臂包括左后机械臂和右后机械臂为例，提供了如图2所示的一种高空作业设备的俯视图，其中，左前机械臂的基座前板布置有相机L1和相机L2，右前机械臂的基座前板布置有相机R1和相机R2，左后机械臂的基座侧板边缘处布置有相机L3，左后机械臂的基座顶部布置有相机L4，右后机械臂的基座侧板边缘处布置有相机R3，右后机械臂的基座顶部布置有相机R4。
进一步的，参见图3a所示的一种前机械臂的前视图和图3b所示的一种前机械臂的侧视图，该前机械臂可以为上述左前机械臂或右前机械臂任一机械臂，以左前机械臂为例，图3a示意出相机L1位于相机L2上方，图3b示意出相机L1向上倾斜，相机L2向下倾斜，且相机L1的子视角与相机L2的子视角存在部分重叠。另外，本发明实施例还提供了如图4a所示的一种前机械臂的俯视图和如图4b所示的一种前机械臂的仰视图。
在前述实施例的基础上，本发明实施例还提供了一种图像采集设备的具体布局，参见图5所示的一种图像采集设备的布局图，图5示意出相机L1和相机R1均向上倾斜，相机L2和相机R2均向下倾斜，相机L4和相机R4与塔架斜坡面平行且嵌入内部安装，相机L3和相机R3在边缘处，具体的，相机L3向左倾斜，相机R3向右倾斜。
本发明实施例通过8个2mm焦距的相机可以实现避开作业过程中的死角，进行全景监控。在实际应用中，图像采集模组1包括相机R1、相机R2和相机R3，其观察范围包括正前方、上方、右工作台、左机械臂工器具和右侧面；图像采集模组2包括相机L1、相机L2和相机L3，其观察范围包括正前方、上方、左工作台、右机械臂工器具和左侧面；图像采集模组3包括相机R3和相机R4，其观察范围包括正上方、左机械臂工器具；图像采集模组4包括相机L3和相机L4，其观察范围包括正上方、右机械臂工器具。
在另一种实施方式中，也可以选择图像采集模组1包括相机R1和相机R2，图像采集模组2包括相机L1和相机L2，图像采集模组3包括相机R3和相机R4，图像采集模组4包括相机L3和相机L4，具体可基于实际需求进行设置，本发明实施例对此不进行限制。
进一步的，参见图6所示的另一种图像采集设备的布局图和图7所示的另一种图像采集设备的布局图，图6和图7均示意出了后机械臂上图像采集设备的布局。
在实际应用中，图像采集设备的线束可以通过基座及主安装板（铝合金主安装板开孔）和核心控制板（也即，下位控制器）连接。另外，每个图像采集设备与基座之间通过金属结构件刚性连接，保证每个图像采集设备的位置和角度保持不变，从而保证每个图像采集设备的成像范围不再发生变化。因此，对图像采集设备的标定和接缝计算只在初始时做一次，后续无需重复进行。金属结构件采用绝缘漆涂层，外部安装10kV 绝缘外壳，防止因10kV 高压电伤害硬件系统而导致的系统工作异常。
在一种实施方式中，上述高空作业设备1还设置有下位控制器、网络交换机和无线路由器，每个图像采集设备、下位控制器和无线路由器均接入至网络交换机。其中，网络交换机可以采用POE交换机。进一步的，还可以包括图形处理芯片（GPU，graphics processingunit）、流媒体服务和显示屏（或呈现终端），参见图8所示的一种高空作业设备的结构示意图，提9示意出每个图像采集设备、下位控制器和无线路由器均接入至POE交换机，下位控制器还分别与流媒体服务和GPU连接，流媒体服务还与呈现终端连接。在具体实现时，下位控制器设置有图形卡插槽，图形卡插槽内放置有GPU。
考虑到在确定图像采集设备的安装位置和安装角度前，需要对图像设备进行标定，以便于后续对图像采集设备采集的作业图像进行拼合，因此，本发明实施例提供的高空作业设备还设置有编解码模块、图像标定模块、图像拼合模块、图像推流模块和流媒体模块，编解码模块、图像标定模块、图像拼合模块、图像推流模块和流媒体模块均与下位控制器连接，诸如图9所示的另一种高空作业设备的结构示意图。
在实际应注意，（1）相机：采集所在位置的视频画面（也即，上述作业图像），以RTSP（Real Time Streaming Protocol，实时流传输协议）协议提供网络视频流服务。通过在高空作业机器人的不同位置和角度进行布置，采集不同的视频画面，为拼合全景视频提供原始素材。（2）机器人工控机（也即，上述下位控制器）：为各软件模块的运行环境。（3）POE交换机：机器人工控机、相机、无线路由器都接入交换机，组建局域网络，所有的网络通信，如拉流、推流等都通过此局域网络进行，同时POE交换机上的POE网口可以为相机进行供电。（4）无线路由器：为局域网络提供wifi（无线通信技术）功能，主要作用是给呈现终端接入局域网络进行作业全景影像的拉取和观看。（5）GPU：提供图形计算的加速能力，在进行作业全景影像的拼合时，如果使用通用计算资源（CPU，central processing unit），将会造成较大的消耗，对机器人工控机硬件配置要求较高，使用GPU进行图形计算可有效地提升计算效率和降低硬件成本。（6）视频编解码模块：提供视频的编码和解码功能，视频编码可有效降低传输过程中对网络的压力，视频编解码模块对从相机上拉取的原始视频流进行解码，解码后的视频帧提供给图像标定模块或图像拼合模块进行后续处理，视频编码模块对图像拼合模块输出的原始视频帧进行编码压缩，提供给视频推流模块进行传输推流。（7）图像标定模块：首次运行时，对于每一组相机的画面，根据特征匹配计算重合部分的拼合方式，计算结果中包括各个画面的变换和拼合的参数，将计算结果以文件的形式保存到文件系统，给图像拼合模块使用。（8）图像拼合模块：加载图像标定模块保存的计算结果，按照文件配置的参数进行多画面合成，最终输出一个全景视频画面。（9）视频推流模块：将视频编解码模块编码后的原始视频进行封装和协议转换，通过网络推送给流媒体服务。（10）流媒体服务模块：以RTSP、RTMP（Real Time Messaging Protocol，实时消息传输协议）、webRTC（WebReal-Time Communication，源自网页即时通信）等协议，通过网络对外发布流媒体拉流服务。（11）呈现终端：播放呈现的终端设备，与下位控制器连接，，展示作业图像和/或作业全景影像，可以是智能手机、平板电脑等，具体可通过网络从流媒体服务模块拉取流媒体，进行播放呈现。
在前述实施例的基础上，本发明实施例中硬件部分包括机器人工控机、GPU、相机、POE交换机、无线路由器和呈现终端，软件模块包括视频编解码模块、图像标定模块、图像拼合模块、视频推流模块和流媒体服务模块。其中，机器人工控机做为整个高空作业机器人的核心，连接各硬件装置和运行各软件模块。
对于前述实施例提供的高空作业装置，本发明实施例还提供了一种作业图像的处理方法，参见图10的流程示意图，该方法主要包括以下步骤S1002至步骤S1006：
步骤S1002，控制高空作业装置中的高空作业设备驱动机械臂执行高空作业。
步骤S1004，获取高空作业装置中每个图像采集模组针对高空作业采集的作业图像。其中，作业图像是通过每个图像采集模组中各个图像采集设备按照不同的子视角采集的。本发明实施例获取作业图像的过程可参见前述实施例，本发明实施例对此不再进行赘述。
步骤S1006，对作业图像进行图像拼合处理，得到每个图像采集模组对应的总视角下的作业全景图像。在一种实施方式中，对于每个图像采集模组，可以通过编解码模块从网络相机中拉取编码的作业图像，并对该编码的作业图像进行解码处理，以得到原始的作业图像，再通过图像拼合模块对作业图像进行拼合处理，即可得到该图像采集模组对应的总视角下的作业全景图像。
本发明实施例提供的高空作业系统，采用前述实施例提供的高空作业装置，通过在高空作业设备的机械臂基座处设置多个不同总视角的图像采集模组，并利用每个图像采集模组中各个图像采集设备按照各自的子视角采集作业图像，即可得到每个图像采集模组对应的总视角下的作业全景图像，可以有效避开高空作业设备自身和机械臂的遮挡，从而显著提高高空作业状态的观察视角的完整性，而且本发明实施例提供的高空作业装置结构简单，还无需在作业现场周边布置一个或多个高清摄像机，从而显著降低了对作业场地的要求。
为便于对前述步骤S1006进行理解，本发明实施例还提供了一种对作业图像进行图像拼合处理的实施方式，具体的，对于每个图像采集模组对应的作业图像，获取该图像采集模组对应的拼合参数，并基于拼合参数对该图像采集模组中各个图像采集设备采集的作业图像进行图像拼合处理，得到该图像采集模组对应的总视角下的作业全景图像。
在确定作业全景图像的之后，还可以：（1）对每个作业全景图像分别进行图像处理得到多个作业全景视频流。其中，图像处理包括编解码处理、封装处理和协议转换处理。在一种实施方式中，可以通过编解码模块对作业全景图像进行编码处理，以压缩作业全景图像的大小，再通过图像推流模块将编码后的作业全景视频流进行封装和协议转换，并推送到流媒体模块，通过流媒体模块对外提供流媒体服务，可以使用RTSP、RTMP、webRTC等协议。（2）将每个作业全景视频流发送至指定呈现终端，以通过指定呈现终端播放至少一个目标作业全景视频流。在一种实施方式中，呈现终端通过无线路由器提供的wifi，从流媒体服务拉取作业全景视频流，根据机器人的作业阶段，动态切换最合适的视角进行视频影像的展示呈现。
为便于对前述实施例进行理解，本发明实施例提供了图11所示的一种作业图像的处理方法的交互示意图，首先相机进行初始化并连接网络，以及向编解码模块提供作业图像；编解码模块拉流获取作业图像，并对其进行解封装/解码处理，如果解码未成功在直接结束，如果解码成功则图像拼合模块加载拼合参数，对作业图像进行画面拼合；编解码模块将对拼合后的作业全景图像进行编码；视频推流模块将对作业全景图像进行封装/推流，流媒体模块提供流媒体服务；呈现终端拉流以获取作业全景视频流，并播放该作业全景视频流。
对于前述拼合参数（也可称之为接缝参数），本发明实施例提供了一种确定拼合参数的实施方式，具体的：（1）对于每个图像采集模组，当高空作业装置位于指定标定场景时，通过该图像采集模组中各个图像采集设备按照不同的子视角采集标定图像。其中，指定标定场景可以为背景比较简单的环境下（如白墙的室内），在每组相机的画面交界处放置一些特征比较明显的物体，如标定板、线条比较复杂的挂画等，并在该环境下利用相机采集图像。（2）对该图像采集模组对应的多个标定图像进行特征匹配得到特征匹配结果，并基于特征匹配结果确定该图像采集模组对应的拼合参数。在相机标定过程中，根据每一组相机画面的特征匹配结果进行联合标定。利用标定靶板的共面性质，获得相机在内外参数与单个相机坐标系至目标全景视频坐标系的变换矩阵：
Figure P_220706140913633_633006001
。
其中，（u，v）标识图像像素坐标，fx、fy表示x方向和y方向等效焦距，（u0，v0）表示图像像素的中心坐标，R3*3为3*3的坐标变换矩阵。参见图12所示另一种作业图像的处理方法的交互示意图，相机初始化并连接网络，向编解码模块提供视频流，编解码模块拉流，并对其进行解封装、解码处理，如果解码成功则进行图像特征匹配，并在匹配成功时进行接缝参数计算处理和接缝参数存储处理，如果解码失败或匹配失败则结束。
进一步的，本发明实施例还提供了一种标定高空作业装置的具体操作步骤，参见如下步骤1至步骤10：
步骤1，组建局域网络。具体的，将机器人工控机、相机、无线路由器均接入POE交换机，供后续网络通信使用，呈现终端接入无线路由器提供的wifi。
步骤2，将GPU插入工控机的图形卡插槽内，开启工控机并安装相应的显卡驱动。
步骤3，部署网络相机，确保每一组相机的画面都有重叠的部分。将机器人放置到背景比较简单的环境下（如白墙的室内），在每组相机的画面交界处放置一些特征比较明显的物体，如标定板、线条比较复杂的挂画等。相机布局可参见前述实施例，本发明实施例对此不在进行赘述。
步骤4，从网络相机拉取视频流，通过编解码模块进行对视频流解码，获得原始的视频帧。
步骤5，图像标定。对于每一组相机画面，使用图像标定模块计算拼合时的变换拼接参数，保存到配置文件。具体的，运行图像标定模块，匹配每组相机画面的边界，计算生成画面接缝的拼合位置、变换拼接参数等，保存拼合位置和变换拼接参数形成标定文件。
步骤6，视频拼合。图像拼合模块加载步骤5中保存下来的标定文件，根据变换拼接参数，调用GPU的图形计算能力进行画面变换、拼合、输出。
步骤7，视频编解码模块对拼合之后的画面进行编解码处理。编码的目的是有效压缩空间，降低内存及IO（Input/Output，输入/输出）的消耗，以及后续传输的网络消耗。
步骤8，视频推流模块将编码后的视频进行封装和协议转换，推送到流媒体模块；
步骤9，流媒体模块流媒对视频流进行关键帧缓存，并对外发布流媒体服务，使用的协议可以是RTSP、RTMP、webRTC等。
步骤10，呈现终端通过无线路由器提供的wifi网络，从流媒体服务拉取视频流，根据作业阶段和机械臂状态，进行不同组视频流的动态切换最合适的视角进行作业全景影像的展示呈现，以达到视角切换，避开遮挡的目的。
本发明实施例提供的高空作业装置至少具备以下特点：
（1）使用8个低成本的普通网络相机，通过多组视角拼合的方式实现类似全景相机的效果，避免了使用价格昂贵的专业级全景相机，及其配套的其他装置；
（2）不需要在作业现场周边进行人工部署摄像机，确保全局观察的同时避免了高性能摄像机的使用和人工部署的成本；
（3）可从多个角度进行观察，绕过作业过程中机器人本身和机械臂的遮挡；
（4）GPU加速图形计算，不需要消耗大量的通用计算资源；
（5）视角接近的一组相机的画面拼合成一个全景视频，减少画面数量的同时可扩大视野范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的作业图像的处理方法的具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。
在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种高空作业装置，其特征在于，包括：高空作业设备和多个图像采集模组；其中，
所述高空作业设备设置有机械臂，所述高空作业设备用于驱动所述机械臂执行高空作业；
所述图像采集模组部署于所述机械臂的基座处，所述图像采集模组包括多个图像采集设备，每个所述图像采集设备用于按照不同的子视角采集所述高空作业的作业图像，以得到所述图像采集模组对应的总视角下的作业全景影像；所述图像采集设备采用普通网络相机；
所述机械臂包括前机械臂和后机械臂，所述前机械臂的基座前板布置有第一图像采集设备和第二图像采集设备，所述后机械臂的基座侧板边缘处布置有第三图像采集设备，所述后机械臂的基座顶部布置有第四图像采集设备；
所述图像采集模组包括第一采集模组和第二采集模组，所述第一采集模组包括所述第一图像采集设备、所述第二图像采集设备和所述第三图像采集设备，所述第二采集模组包括第三图像采集设备和所述第四图像采集设备；
所述第一图像采集设备设置于所述第二图像采集设备的上方，所述第一图像采集设备向上倾斜，所述第二图像采集设备向下倾斜，所述第三图像采集设备向左倾斜或向右倾斜，所述第四图像采集设备向上倾斜；
所述第一图像采集设备、所述第二图像采集设备和所述第三图像采集设备各自的子视角存在部分重叠，所述第三图像采集设备和所述第四图像采集设备各自的子视角存在部分重叠。
2.根据权利要求1所述的高空作业装置，其特征在于，所述前机械臂包括左前机械臂和/或右前机械臂，所述后机械臂包括左后机械臂和/或右后机械臂。
3.根据权利要求1所述的高空作业装置，其特征在于，所述高空作业设备还设置有下位控制器、网络交换机和无线路由器，每个所述图像采集设备、所述下位控制器和所述无线路由器均接入至所述网络交换机。
4.根据权利要求3所述的高空作业装置，其特征在于，所述下位控制器还设置有图形卡插槽，所述图形卡插槽内放置有图形处理芯片。
5.一种作业图像的处理方法，其特征在于，应用于权利要求1-4任一项所述的高空作业装置，包括：
控制所述高空作业装置中的高空作业设备驱动机械臂执行高空作业；
获取所述高空作业装置中每个所述图像采集模组针对所述高空作业采集的作业图像；其中，所述作业图像是通过每个所述图像采集模组中各个图像采集设备按照不同的子视角采集的；
对所述作业图像进行图像拼合处理，得到每个所述图像采集模组对应的总视角下的作业全景图像。
6.根据权利要求5所述的方法，其特征在于，所述对所述作业图像进行图像拼合处理，得到每个所述图像采集模组对应的总视角下的作业全景图像的步骤，包括：
对于每个所述图像采集模组对应的作业图像，获取该图像采集模组对应的拼合参数，并基于所述拼合参数对该图像采集模组中各个所述图像采集设备采集的所述作业图像进行图像拼合处理，得到该图像采集模组对应的总视角下的作业全景图像。
7.根据权利要求6所述的方法，其特征在于，在所述获取该图像采集模组对应的拼合参数的步骤之前，所述方法还包括：
对于每个所述图像采集模组，当所述高空作业装置位于指定标定场景时，通过该图像采集模组中各个所述图像采集设备按照不同的所述子视角采集标定图像；
对该图像采集模组对应的多个标定图像进行特征匹配得到特征匹配结果，并基于所述特征匹配结果确定该图像采集模组对应的拼合参数。
8.根据权利要求5所述的方法，其特征在于，在所述对所述作业图像进行图像拼合处理，得到每个所述图像采集模组对应的总视角下的作业全景图像的步骤之后，所述方法还包括：
对每个所述作业全景图像分别进行图像处理得到多个作业全景视频流；其中，所述图像处理包括编解码处理、封装处理和协议转换处理；
将每个所述作业全景视频流发送至指定呈现终端，以通过所述指定呈现终端播放至少一个目标作业全景视频流。
CN202210791363.6A 2022-07-07 2022-07-07 高空作业装置及作业图像的处理方法 Active CN114866747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210791363.6A CN114866747B (zh) 2022-07-07 2022-07-07 高空作业装置及作业图像的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210791363.6A CN114866747B (zh) 2022-07-07 2022-07-07 高空作业装置及作业图像的处理方法

Publications (2)

Publication Number Publication Date
CN114866747A CN114866747A (zh) 2022-08-05
CN114866747B true CN114866747B (zh) 2022-09-30

Family

ID=82625692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210791363.6A Active CN114866747B (zh) 2022-07-07 2022-07-07 高空作业装置及作业图像的处理方法

Country Status (1)

Country Link
CN (1) CN114866747B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040601A (zh) * 2018-09-05 2018-12-18 清华-伯克利深圳学院筹备办公室 一种多尺度非结构化的十亿像素vr全景摄影系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103085084B (zh) * 2013-01-29 2015-03-04 山东电力集团公司电力科学研究院 一种用于高压带电作业机器人的视觉系统及工作方法
CN108582044B (zh) * 2018-05-23 2024-04-23 北京华信智航科技有限公司 一种基于双手爪的8自由度一体化机械臂
CN110197455B (zh) * 2019-06-03 2023-06-16 北京石油化工学院 二维全景图像的获取方法、装置、设备和存储介质
CN112884710A (zh) * 2021-01-19 2021-06-01 上海三一重机股份有限公司 作业机械的辅助影像生成方法、远程操控方法及其装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040601A (zh) * 2018-09-05 2018-12-18 清华-伯克利深圳学院筹备办公室 一种多尺度非结构化的十亿像素vr全景摄影系统

Also Published As

Publication number Publication date
CN114866747A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN107438152B (zh) 一种运动摄像机对全景目标快速定位捕捉方法及系统
CA2530187A1 (en) Panoramic video system with real-time distortion-free imaging
CN102801963A (zh) 基于高清数字摄像头监控的电子ptz方法及装置
CN100557905C (zh) 电弧监视系统
CN103442177A (zh) 一种基于手势识别的ptz摄像机控制系统及方法
CN103916632A (zh) 一种飞机跑道实时全景视频远程监控系统
CN106303571A (zh) 图像采集过程中实现自适应屏幕旋转的方法及系统
US20190268595A1 (en) Panoramic video compression method and device
KR101838961B1 (ko) 영상처리보드를 이용한 외부기기 제어와 아날로그/디지털 데이터 저장 및 트렌드 표출 영상감시장치
CN114866747B (zh) 高空作业装置及作业图像的处理方法
CN110807413B (zh) 目标显示方法以及相关装置
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
CN109996003B (zh) 一种自动化岸桥智能视频监控系统
US20190325553A1 (en) Method and apparatus for decoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
CN107580228B (zh) 一种监控视频处理方法、装置及设备
JPWO2017013986A1 (ja) 情報処理装置、端末、遠隔通信システム、および、情報処理プログラム
KR102501749B1 (ko) 가상 원격 촬영 시스템 및 방법
CN2483913Y (zh) 复眼式全方位摄像装置
CN103716528A (zh) 一种基于触控终端的ptz摄像机远程控制的系统和方法
WO2023115685A1 (zh) 一种基于全向摄像头的监控方法及其系统
CN216291234U (zh) 第三人称视角拍摄系统
CN103458230A (zh) 一种基于状态地图的ptz控制系统及方法
CN209002109U (zh) 基于配电网施工现场的态势感知系统
CN105278901B (zh) 远程管理方法
CN110913161B (zh) 一种竖屏录制横幅视频的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant