CN110536074A - 一种智能巡检系统、巡检方法 - Google Patents

Abstract

本发明公开了一种智能巡检系统、巡检方法。其中，所述系统包括视频子系统、服务器子系统、控制处理子系统和显示子系统；通过所述视频子系统中的相机获得全景视频流和至少两路局部视频流，并且经过融合得到全景融合视频流；然后将上述视频流上传至服务器子系统；所述控制处理子系统通过识别和计算获得告警数据和/或统计数据；最后经过所述显示子系统中比如VR设备对视频流和数据流分别进行显示。通过该技术方案，可以融合红外或高清相机等高分辨率的视频到全景视频中，便于用户对比查看；通过获得的告警数据或统计数据对巡检对象进行相应的维护和调整；对于从全景视频中识别出的关键组件，还可以自适应调整红外或高清相机的拍摄参数进行再次拍摄；进一步地，通过VR设备沉浸式体验，为用户提供亲临其境的视觉感受和更直观的数据展示，从而提升了用户的体验。

Description

一种智能巡检系统、巡检方法

技术领域

本发明涉及智能巡检领域，具体涉及一种基于全景视频融合的智能巡检系统、巡检方法。

背景技术

目前市场上的自动巡检装置大都采用机器人或无人机装载红外等光源相机或高清相机的方式，依照规划的路线进行巡检和视频拍摄，从而达到对诸如变电站、光伏发电站等场所进行监控和检测的目的。然而当前的装置存在如下问题：a)采用的相机视角比较窄，不能监控到场景全貌；b)其相机工作在一个预先规划的路线和角度下，存在着有些关键组件检测不到的情况。因此，如何解决现有的自动巡检装置不能全景查看场所环境和相机不能自适应检测等问题成为当前的技术难点。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种智能巡检系统、巡检方法。

依据本发明的一个方面，提供了一种智能巡检系统，该系统包括：

视频子系统、服务器子系统、控制处理子系统和显示子系统；

所述视频子系统，用于获取一路由全景相机采集的全景视频流、至少两路由非全景相机采集的局部视频流；还用于将所述全景视频流和至少一路局部视频流进行融合，得到全景融合视频流；以及用于将所述全景视频流、所述局部视频流和所述全景融合视频流发送给所述服务器子系统；

所述服务器子系统，用于接收并存储所述全景视频流、所述局部视频流和所述全景融合视频流；

所述控制处理子系统，用于从所述局部视频流中识别出目标对象的参数，在所述参数满足告警条件时生成告警数据，和/或根据所述参数生成相应的统计数据；

所述显示子系统，用于从所述服务器子系统获取所述全景视频流、所述局部视频流和所述全景融合视频流中的至少一种，通过至少一类显示设备进行显示。

可选的，所述非全景相机包括光源相机和/或高清相机。

可选的，所述视频子系统，根据块匹配算法确定各局部视频流在所述全景视频流中的对应块；将各局部视频流融合到全景视频流的对应块上并进行配准；按照规划线路进行遍历拍摄，形成全景融合视频流。

可选的，所述控制处理子系统，还用于识别出全景视频中的目标对象，并生成对所述目标对象进行拍摄的控制指令。

可选的，所述非全景相机设置在自动巡检设备上，所述控制指令包括如下的至少一种：所述自动巡检设备的巡检路线调整指令、所述非全景相机的位姿调整指令、所述非全景相机的拍摄参数调整指令。

可选的，所述自动巡检设备包括地面式巡检机器人和/或巡检无人机。

可选的，所述显示设备包括如下的一种或多种：VR设备、PC、手机、平板电脑。

可选的，所述系统还包括：交互子系统，用于接收通过交互设备输入的交互信息；所述交互信息包括如下的至少一种：是否进行视频融合的控制信息、视频尺寸调整信息、视频融合位置信息。

可选的，所述交互设备包括下述中的一种或几种：VR手柄、麦克风、位置追踪仪、数据手套、三维鼠标、动作捕捉设备、眼动仪、力反馈设备。

本发明的另一方面，还提供了一种如上述智能巡检系统的巡检方法，所述方法包括：

所述视频子系统接收自动巡检设备指令，通过各所述相机采集视频图像，分别获得局部视频流、全景视频流以及全景融合视频流；

将各所述视频流上传至所述服务器子系统；

所述控制处理子系统识别出全景视频中的目标对象，并生成控制指令以调整非全景相机参数进行再次拍摄；

所述控制处理子系统还根据所述局部视频流生成所述告警数据和/或统计数据；

所述显示子系统获取各所述视频流和/或各所述数据，通过交互设备在所述显示子系统中的VR设备上进行显示。

由上述可知，本发明的技术方案，提供了一种智能巡检系统，所述系统包括视频子系统、服务器子系统、控制处理子系统和显示子系统；通过所述视频子系统中的相机获得全景视频流和至少两路局部视频流，并且经过融合得到全景融合视频流；然后将上述视频流上传至服务器子系统；所述控制处理子系统通过识别和计算获得告警数据和/或统计数据；最后经过所述显示子系统中比如VR设备进行显示。通过该技术方案，1)可以融合红外或高清相机等高分辨率的视频到全景视频中，便于用户对比查看；2)可以通过获得的告警数据或统计数据对巡检对象进行相应的维护和调整；3)对于全景视频中的关键组件，还可以自适应调整红外或高清相机的拍摄参数进行再次拍摄；4)进一步地，通过VR设备沉浸式体验，为用户提供亲临其境的视觉感受和更直观的数据展示，从而提升了用户的体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的智能巡检系统的结构示意图；

图2示出了根据本发明一个实施例的智能巡检系统中各子系统的具体结构示意图；

图3示出了根据本发明一个实施例的视频子系统的流程示意图；

图4示出了根据本发明一个实施例的控制处理子系统的流程示意图；

图5示出了根据本发明一个实施例的显示子系统的流程示意图；

图6示出了根据本发明一个实施例的服务器子系统的流程示意图；

图7示出了根据本发明一个实施例的显示子系统的显示设备示意图；

图8示出了根据本发明一个实施例的交互子系统的交互方式示意图；

图9示出了根据本发明一个实施例的巡检方法的流程示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的智能巡检系统100的结构示意图；该系统100包括：视频子系统110、服务器子系统120、控制处理子系统130和显示子系统140。

在图1的实施例中，为了至少部分地解决本发明要解决的上述技术问题，首先设计了实现本发明的一个系统框架，具体设置了如下的子系统：视频子系统110主要利用一个全景相机和其他局部光源相机采集视频，并且融合各视频数据形成全景融合视频；服务器子系统120主要用于为其他子系统提供存储安装空间和数据流转控制等支持，其中可以分别设置视频服务器和数据服务器，当然也可以不分别设置，其具体的组成和结构不作具体限定；控制处理子系统130主要用于提供控制、运算等服务，主要包括控制与反馈单元、图像识别处理单元、视频检测与告警单元等，并可接收其他子系统的反馈信息；而显示子系统140则可以将各视频流和数据流向用户等进行展示，并且提供了人机交互的途径。如图2所示，给出了一种能够实现上述各子系统功能的优选结构。

具体地，视频子系统110，用于获取一路由全景相机采集的全景视频流、至少两路由非全景相机采集的局部视频流；还用于将全景视频流和至少一路局部视频流进行融合，得到全景融合视频流。然后将全景视频流、所述局部视频流和所述全景融合视频流发送给所述服务器子系统。

其中全景融合视频流的获取至少存在两种方式，一种是通过系统配置信息和简单算法结合的方式，该信息包括局部视频流在全景视频流中的位置、像素大小和控制方面的信息等，然后利用控制处理子系统的运算服务通过简单算法将局部视频流融合到全景视频流中；第二种方式是全自动的方式，采用图像识别和匹配算法结合的方式实现它们的融合。图3示出了第一种融合方式的流程图。

服务器子系统120，用于接收并存储所述全景视频流、所述局部视频流和所述全景融合视频流。

在该实施例中，服务器子系统120可接受并存储各视频流，当控制处理子系统以及显示子系统等需要提取视频流进行运算处理或者进行显示时，向其他各子系统提供相应的数据。

控制处理子系统130，用于从局部视频流中识别出目标对象的参数；以及在所述参数满足告警条件时生成告警数据，和/或根据所述参数生成相应的统计数据。

其中，目标对象是智能巡检系统的主要对象，比如光伏发电站巡检中的一些关键器件包含：光伏板，支架，接线盒，汇流箱，逆变器，电缆，塔线等等；采集的关键信息包含拍摄图像，仪表参数例如电流电压值、温度值、压力值、开关状态等数据。由于局部视频流一般像素较高，比全景视频流更加清晰，所以针对局部视频流利用控制处理子系统提供的图像处理功能识别出系统预设的目标对象的参数值，并且将该参数值与系统配置信息中参数值的阈值或范围进行比较，当参数值超过一定范围后，生成告警数据；或者可以对上述的参数进行统计分析，形成图表、列表等提供给相关人员，其流程可参见图4。

显示子系统140，用于从服务器子系统获取全景视频流、局部视频流和全景融合视频流中的至少一种，通过至少一类显示设备进行显示。

在该实施例中，当视频显示的指令下达后，显示子系统向服务器子系统请求与指令响应的视频流，在获取该视频流后，相关人员可以通过比如VR设备、PC、移动终端等进行观看。

可见，本发明该实施例中提供了一种智能巡检系统，所述系统包括视频子系统、服务器子系统、控制处理子系统和显示子系统；通过所述视频子系统中的相机获得全景视频流和至少两路局部视频流，并且经过融合得到全景融合视频流；然后将上述视频流上传至服务器子系统；所述控制处理子系统通过识别和计算获得告警数据和/或统计数据；最后经过所述显示子系统中比如VR设备进行显示。通过该技术方案，该系统可以融合红外或高清相机等高分辨率的视频到全景视频中，便于用户对比查看；还可以通过获得的告警数据或统计数据对巡检对象进行相应的维护和调整；进一步地，通过比如VR等显示设备沉浸式体验，为用户提供亲临其境的视觉感受和更直观的数据展示，从而提升了用户的体验。

在一个具体实施例中，所述非全景相机包括光源相机和/或高清相机。

其中光源相机包括红外相机或紫外相机，而高清相机是像素比较高的高分辨率相机，可选的，选择相机的类型和个数以及需要融合的视频流并不作具体限定，可以根据需要进行调节。非全景相机的焦距比全景相机的焦距要大几倍以上，一般其拍摄角度等参数可调节。

在一个具体实施例中，所述视频子系统，根据块匹配算法确定各局部视频流在所述全景视频流中的对应块；将各局部视频流融合到全景视频流的对应块上并进行配准；按照规划线路进行遍历拍摄，形成全景融合视频流。

在利用自动识别技术将局部视频流匹配融合到全景视频流时，可以选择块匹配算法比如零均值归一化互相关块匹配算法，其具体步骤包括：对局部视频流以及对应块进行特征点提取和匹配，提取中对应的特征点对，基于提取到的特征点对计算单应性矩阵，然后根据单应性矩阵将所述局部视频流变换到相应的对应块上，对获得的变换图像进行时间和空间的平滑变换，得到局部高分辨率的图像。当然为了改善匹配，可以选择提取更多或不同的特征点，进行多次提取和单应性矩阵的迭代计算。

如果被监控的场所宽度较大，所述视频子系统需要根据规划线路往复遍历拍摄其中的关键组件，此时，需要将往复拍摄的视频流进行拼接才能获得最终的全景融合视频流。

在一个具体实施例中，所述控制处理子系统，还用于识别出全景视频中的目标对象，并生成对所述目标对象进行拍摄的控制指令。

在该实施例中，进一步为所述的智能巡检系统提供了自适应调整拍摄的功能。通过图像识别与处理技术，所述控制处理子系统识别出全景视频中的任一目标对象,特别是未被拍摄到或者未被清晰拍摄的目标对象，比如某些目标对象拍摄的比较模糊，不能识别出其中的参数，利用局部相机仍不能识别出其参数值。此种情形下，所述控制处理子系统通过计算获得控制指令，通过该指令调整再次拍摄时的参数或路径，从而实现对上述拍摄目标的全面巡检工作。

在一个具体实施例中，所述非全景相机设置在自动巡检设备上，所述控制指令包括如下的至少一种：所述自动巡检设备的巡检路线调整指令、所述非全景相机的位姿调整指令、所述非全景相机的拍摄参数调整指令。

在使用巡检设备拍摄的情况下，为了实现对拍摄目标的准确拍摄，上述的控制指令可以包括：对于巡检路线进行调整的指令，非全景相机的拍摄角度、拍摄的位置等位姿参数调整的指令，以及对非全景相机拍摄的内外参数进行调整的指令等。

在一个具体实施例中，所述自动巡检设备包括地面式巡检机器人和/或巡检无人机。

根据巡检场所对象的特点，可以选择地面巡检机器人或巡检无人机对关键组件进行巡检拍摄。在需要立体拍摄巡检的情况下，为了获得精确度更高、拍摄角度更全面的巡检，也可以同时使用上述两者进行巡检。

在一个具体实施例中，所述显示设备包括如下的一种或多种：VR设备、PC、手机、平板电脑。

为了全面显示获得的视频流，可以选择VR设备、PC、手机、平板电脑等任一形式，其中还可以在PC或移动终端中通过安装APP或使用Web网页的方式向用户等展示存储在服务器子系统的视频或数据，而上述设备与服务器子系统连接可以选择有线或者无线(如WiFi)等方式。其中与服务器子系统相关的显示与处理处理可参见图5-7所示。

在一个具体实施例中，所述系统还包括：交互子系统，用于接收通过交互设备输入的交互信息；所述交互信息包括如下的至少一种：是否进行视频融合的控制信息、视频融合位置信息、视频尺寸调整信息。

在该实施例中，为了提升用户的观看体验，还设置了交互子系统与显示子系统进行人机交互。人机交互包含了对系统的配置以及对视频观看参数的设置，而其中的交互信息至少可以包括如下的一种：对视频融合的控制信息比如融合像素大小、融合方式等，融合位置信息包括比如进行相应块的替换或其他位置选择，以及视频尺寸调整、视频的快进、缩放等。

在一个具体实施例中，所述交互设备包括下述中的一种或几种：VR手柄、麦克风、位置追踪仪、数据手套、三维鼠标、动作捕捉设备、眼动仪、力反馈设备。

在利用VR设备进行展示时，可以通过如下的方式对VR设备进行控制：VR手柄、麦克风、位置追踪仪、数据手套、三维鼠标、动作捕捉设备、眼动仪、力反馈设备。其中交互设备的使用状态参见图8。

图9示出了根据本发明一个实施例的巡检方法的流程示意图；该巡检方法采用上述的智能巡检系统进行巡检，其中该方法包括：

步骤S210，所述视频子系统接收自动巡检设备指令，通过各所述相机采集视频图像，分别获得局部视频流、全景视频流以及全景融合视频流；

步骤S220，将各所述视频流上传至所述服务器子系统；

步骤S230所述控制处理子系统识别出全景视频中的目标对象，并生成控制指令以调整非全景相机参数进行再次拍摄；

步骤S240所述控制处理子系统还根据所述局部视频流生成所述告警数据和/或统计数据；

步骤S250，所述显示子系统获取各所述视频流和/或各所述数据，通过交互设备在所述显示子系统中的VR设备上进行显示。

在该实施例中示出了一种利用本发明公开的巡检系统的优选的方法实施例。其中包括了视频融合、视频上传、自适应调整拍摄、告警/统计数据生成、VR设备显示的具体步骤，各步骤具体的流程可参见图3-6。

综上所述，本发明的技术方案，提供了一种智能巡检系统，所述系统包括视频子系统、服务器子系统、控制处理子系统和显示子系统；通过所述视频子系统中的相机获得全景视频流和至少两路局部视频流，并且经过融合得到全景融合视频流；然后将上述视频流上传至服务器子系统；所述控制处理子系统通过识别和计算获得告警数据和/或统计数据；最后经过所述显示子系统中比如VR设备进行显示。通过该技术方案，1)可以融合红外或高清相机等高分辨率的视频到全景视频中，便于用户对比查看；2)可以通过获得的告警数据或统计数据对巡检对象进行相应的维护和调整；3)对于图像中的关键组件，还可以自适应调整红外或高清相机的拍摄参数进行再次拍摄；4)进一步地，通过VR设备沉浸式体验，为用户提供亲临其境的视觉感受和更直观的数据展示，从而提升了用户的体验。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的智能巡检系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种智能巡检系统，其特征在于，该系统包括：

视频子系统、服务器子系统、控制处理子系统和显示子系统；

所述视频子系统，用于获取一路由全景相机采集的全景视频流、至少两路由非全景相机采集的局部视频流；还用于将所述全景视频流和至少一路局部视频流进行融合，得到全景融合视频流；以及用于将所述全景视频流、所述局部视频流和所述全景融合视频流发送给所述服务器子系统；

所述服务器子系统，用于接收并存储所述全景视频流、所述局部视频流和所述全景融合视频流；

所述控制处理子系统，用于从所述局部视频流中识别出目标对象的参数，在所述参数满足告警条件时生成告警数据，和/或根据所述参数生成相应的统计数据；

所述显示子系统，用于从所述服务器子系统获取所述全景视频流、所述局部视频流和所述全景融合视频流中的至少一种，通过至少一类显示设备进行显示。

2.如权利要求1所述的系统，其特征在于，所述非全景相机包括光源相机和/或高清相机。

3.如权利要求1所述的系统，其特征在于，所述视频子系统，根据块匹配算法确定各局部视频流在所述全景视频流中的对应块；将各局部视频流融合到全景视频流的对应块上并进行配准；按照规划线路进行遍历拍摄，形成全景融合视频流。

4.如权利要求1所述的系统，其特征在于，所述控制处理子系统，还用于识别出全景视频中的目标对象，并生成对所述目标对象进行拍摄的控制指令。

5.如权利要求4所述的系统，其特征在于，所述非全景相机设置在自动巡检设备上，所述控制指令包括如下的至少一种：所述自动巡检设备的巡检路线调整指令、所述非全景相机的位姿调整指令、所述非全景相机的拍摄参数调整指令。

6.如权利要求5所述的系统，其特征在于，所述自动巡检设备包括地面式巡检机器人和/或巡检无人机。

7.如权利要求1所述的系统，其特征在于，所述显示设备包括如下的一种或多种：VR设备、PC、手机、平板电脑。

8.如权利要求1所述的系统，其特征在于，所述系统还包括：交互子系统，用于接收通过交互设备输入的交互信息；所述交互信息包括如下的至少一种：是否进行视频融合的控制信息、视频尺寸调整信息、视频融合位置信息。

9.如权利要求8所述的系统，其特征在于，所述交互设备包括下述中的一种或几种：VR手柄、麦克风、位置追踪仪、数据手套、三维鼠标、动作捕捉设备、眼动仪、力反馈设备。

10.一种如权利要求1所述智能巡检系统的巡检方法，其特征在于，所述方法包括：

所述视频子系统接收自动巡检设备指令，通过各所述相机采集视频图像，分别获得局部视频流、全景视频流以及全景融合视频流；

将各所述视频流上传至所述服务器子系统；

所述控制处理子系统识别出全景视频中的目标对象，并生成控制指令以调整非全景相机参数进行再次拍摄；

所述控制处理子系统还根据所述局部视频流生成所述告警数据和/或统计数据；

所述显示子系统获取各所述视频流和/或各所述数据，通过交互设备在所述显示子系统中的VR设备上进行显示。