CN115442523B - 巡检机器人的高清全景深图像获取方法、系统、介质及设备 - Google Patents

巡检机器人的高清全景深图像获取方法、系统、介质及设备 Download PDF

Info

Publication number
CN115442523B
CN115442523B CN202210991777.3A CN202210991777A CN115442523B CN 115442523 B CN115442523 B CN 115442523B CN 202210991777 A CN202210991777 A CN 202210991777A CN 115442523 B CN115442523 B CN 115442523B
Authority
CN
China
Prior art keywords
image
variable
frequency signal
images
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210991777.3A
Other languages
English (en)
Other versions
CN115442523A (zh
Inventor
刘祥勰
樊绍胜
欧阳峰
刘康
黄明星
宋运团
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yutuo Intelligent Co ltd
Original Assignee
Shenzhen Yutuo Intelligent Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yutuo Intelligent Co ltd filed Critical Shenzhen Yutuo Intelligent Co ltd
Priority to CN202210991777.3A priority Critical patent/CN115442523B/zh
Publication of CN115442523A publication Critical patent/CN115442523A/zh
Application granted granted Critical
Publication of CN115442523B publication Critical patent/CN115442523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种巡检机器人的高清全景深图像获取方法、系统、介质及设备，所述方法包括步骤：S1、建立巡检机器人云台的变聚焦图像库；其中变聚焦图像库中的图像为巡检机器人云台在预设拍摄点，预设云台倍镜以及预设初始对焦距离下，以固定的焦距变化率进行拍照而得到的；S2、筛选变聚焦图像库中对焦清晰的图像而得到变焦图像子集；S3、对变焦图像子集中的图像进行图像融合得到高清全景深图像。本发明能够在复杂背景环境下获取对焦精晰的高清全景深图像，便于后续的仪表值读取。

Description

巡检机器人的高清全景深图像获取方法、系统、介质及设备
技术领域
本发明主要涉及仪表测量技术领域，具体涉及一种巡检机器人的高清全景深图像获取方法、系统、介质及设备。
背景技术
在电力巡检机器人巡检过程中，对于远距离的各种仪表进行高倍镜拍摄时云台对焦，由于并不清楚拍摄目标的具体对焦点，并且高倍镜下景深较小，故对焦可能在其他背景物上，从而导致景深错误，拍摄出目标物模糊而背景清楚的图像，影响后期的仪表值读取。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的问题，本发明提供一种实现复杂背景干扰下对焦清晰的巡检机器人的巡检机器人的高清全景深图像获取方法、系统、介质及设备。
为解决上述技术问题，本发明提出的技术方案为：
一种巡检机器人的高清全景深图像获取方法，包括步骤：
S1、建立巡检机器人云台的变聚焦图像库；其中变聚焦图像库中的图像为巡检机器人云台在预设拍摄点，预设云台倍镜以及预设初始对焦距离下，以固定的焦距变化率进行拍照而得到的；
S2、筛选变聚焦图像库中对焦清晰的图像而得到变焦图像子集；
S3、对变焦图像子集中的图像进行图像融合得到高清全景深图像。
优选地，步骤S2的具体过程为：
S201、对变聚焦图像库M中各元素进行高斯模糊处理，得到模糊图像库G；
S202、对M中各元素的水平方向分别进行多次卷积运算，多次卷积结果叠加后生成高频信号图Mf；对G中各元素的水平方向分别进行多次卷积运算，多次卷积结果叠加后生成高频信号图Gf；
S203、对Mf和Gf中各元素按照索引号配对的方式进行交叉熵计算，获得集合H；
S204、对集合H按熵值的绝对值进行大到小排序，取前n个索引对应到变聚焦图像库M中，获得变焦图像子集。
优选地，步骤S3的具体过程为：
S301、对变焦图像子集中的各元素进行小波变换分离出高频信号与低频信号；
S302、对高频信号进行处理得到小波系数高阶分量；对低频信号进行处理得到小波系数低阶分量；
S303、对各图像的小波系数高阶分量和小波系数低阶分量进行合并，再做小波反变换，得到对应的高清全景深图像。
优选地，所述步骤S302中，对高频信号进行处理得到小波系数高阶分量的具体过程为：
对每层高阶谐波信号的每一个level1的水平、垂直、对角三个方向的分量图进行领域方差计算，获得各方向对应的局部方差图像集合VarFeq；
对各个方向的局部方差图像集合VarFeq中的各个元素分别做最大值索引提取，获得每个图像的小波系数高阶分量。
优选地，所述步骤S302中，对低频信号进行处理得到小波系数低阶分量的具体过程为：
获取低频信号的方差；
根据低频信号的方差得到平均加权系数；
根据平均加权系数得到对应图像的小波系数低阶分量。
本发明还公开了一种巡检机器人的高清全景深图像获取系统，包括：
第一程序模块，用于建立巡检机器人云台的变聚焦图像库；其中变聚焦图像库中的图像为巡检机器人云台在预设拍摄点，预设云台倍镜以及预设初始对焦距离下，以固定的焦距变化率进行拍照而得到的；
第二程序模块，用于筛选变聚焦图像库中对焦清晰的图像而得到变焦图像子集；
第三程序模块，用于对变焦图像子集中的图像进行图像融合得到高清全景深图像。
本发明进一步公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。
本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。
与现有技术相比，本发明的优点在于：
本发明的巡检机器人的高清全景深图像获取方法，通过建立机器人云台的变聚焦图像库；构建评价机制筛选局部对焦清晰的变焦图像子集；再对变焦图像子集进行图像融合从而获得高清全景深图像，解决目标物受复杂背景干扰导致高倍镜下自动对焦模糊的问题，从而便于后续读取图像中的仪表值。
附图说明
图1为本发明的获取方法在实施例的流程图。
图2为本发明方法中步骤S2在实施例的流程图。
图3为本发明方法中步骤S3在实施例的流程图。
具体实施方式
以下结合说明书附图和具体实施例对本发明作进一步描述。
如图1所示，本发明实施例提供了一种巡检机器人的高清全景深图像获取方法，包括步骤：
S1、建立巡检机器人云台的变聚焦图像库；其中变聚焦图像库中的图像为巡检机器人云台在预设拍摄点，预设云台倍镜以及预设初始对焦距离下，以固定的焦距变化率进行拍照而得到的；
S2、筛选变聚焦图像库中对焦清晰的图像而得到变焦图像子集；
S3、对变焦图像子集中的图像进行图像融合得到高清全景深图像。
本发明的巡检机器人的高清全景深图像获取方法，通过建立机器人云台的变聚焦图像库，构建评价机制筛选局部对焦清晰的变焦图像子集，再对变焦图像子集进行图像融合从而获得高清全景深图像，解决目标物受复杂背景干扰导致高倍镜下自动对焦模糊的问题，从而便于读取图像中的仪表值。
在一具体实施例中，步骤S2的具体过程为：
S201、对变聚焦图像库M中各元素进行高斯模糊处理，得到模糊图像库G；
S202、对M中各元素的水平方向分别进行多次卷积运算，多次卷积结果叠加后生成高频信号图Mf；对G中各元素的水平方向分别进行多次卷积运算，多次卷积结果叠加后生成高频信号图Gf；
S203、对Mf和Gf中各元素按照索引号配对的方式进行交叉熵计算，获得集合H；
S204、对集合H按熵值的绝对值进行大到小排序，取前n个索引对应到变聚焦图像库M中，获得变焦图像子集；其中n取3～5。
在一具体实施例中，步骤S3的具体过程为：
S301、对变焦图像子集中的各元素进行小波变换分离出高频信号与低频信号；
S302、对高频信号进行处理得到小波系数高阶分量；对低频信号进行处理得到小波系数低阶分量；
S303、对各图像的小波系数高阶分量和小波系数低阶分量进行合并，再做小波反变换，得到对应的高清全景深图像。
具体地，在步骤S302中，其中对高频信号进行处理得到小波系数高阶分量的具体过程为：
对每层高阶谐波信号的每一个level1的水平、垂直和对角三个方向的分量图进行领域方差计算，获得各方向对应的局部方差图像集合VarFeq；
对各个方向的局部方差图像集合VarFeq中的各个元素分别做最大值索引提取，获得每个图像的小波系数高阶分量。
其中对低频信号进行处理得到小波系数低阶分量的具体过程为：
获取低频信号的方差；
根据低频信号的方差得到平均加权系数；
根据平均加权系数得到对应图像的小波系数低阶分量。
上述得到小波系数高阶分量和小波系数低阶分量的具体过程操作简便且易于实现。
本发明实施例还提供了一种巡检机器人的高清全景深图像获取系统，包括：
第一程序模块，用于建立巡检机器人云台的变聚焦图像库；其中变聚焦图像库中的图像为巡检机器人云台在预设拍摄点，预设云台倍镜以及预设初始对焦距离下，以固定的焦距变化率进行拍照而得到的；
第二程序模块，用于筛选变聚焦图像库中对焦清晰的图像而得到变焦图像子集；
第三程序模块，用于对变焦图像子集中的图像进行图像融合得到高清全景深图像。
本发明的获取系统与获取方法相对应，同样具有如上获取方法对应的优点。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。本发明实施例进一步提供了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。
下面通过一个完整的具体实施例来对本发明作进一步详细说明：
S1、建立机器人云台的变聚焦图像库：巡检机器人云台在预设拍摄点，机器人本体与云台均保持静止状态，在预设云台倍镜，预设初始对焦距离下，以固定的焦距变化步长，如0.1mm进行焦距调整，按增加焦距与减少焦距两个方向均拍摄一定数量的图像，保存至临时的图像库M中，作为变聚焦图像库；该图像库中包含三种图像：背景清晰目标模糊图像、背景模糊目标清晰图像、背景与目标均模糊图像；
S2、筛选机器人云台的变聚焦图像库获得变焦图像子集：由于M{P1,P2,...,P3}中包含大量的背景与目标均模糊图像，该类图像会影响该方法的运算效率，故需要剔除，具体步骤如下：
S201、对M{P1,P2,...,P3}各元素进行5×5的Gaussblur平滑(高斯模糊处理)，得到模糊图像库G{q1,q2,...,q3}；
S202、对M各元素以及G中各元素的水平方向分别进行两次卷积运算，卷积核分别为两次卷积结果叠加后生成高频信号图Mf和Gf；
S203、对Mf和Gf中个元素按照索引号配对的方式进行交叉熵计算，如{Mf(pm),Gf(pm)}作为一组输入，Mf(pm)中像素矩阵展平为pm{a1,a2,...,an}，Gf(qm)中像素矩阵展平为qm{a1,a2,...,an}，则交叉熵获得集合H{h1,h2,……hm}；
S204、对H集合按熵值的绝对值进行大到小排序，取前3～5个索引对应到M集合，获得变焦图像子集Mselect。
S3、对变焦图像子集Mselect进行图像融合。该集合包括3～5个背景或者目标对焦清楚的图像；以3个元素为例，需要对该集合的各元素进行小波变换分离出高频信号Fhigh{fh1,fh2,fh3}和低频信号Flow{fl1,fl2,fl3}。
其中对该元素任意通道的低频信号Flow做如下处理：
(1)获取Flow{fl1,fl2,fl3}的方差var1、var2、var3；
(2)由var1、var2、var3获得平均加权系数weight1、Weight2、weight3，故低频分类的融合信号获得小波系数低阶分量
Freqlow＝weight1×fl1+weight2×fl2+weight3×fl3
其中对该元素任意通道的Fhigh做如下处理：
(1)对每层高阶谐波信号Fhigh{fhi(level1,level2,level3,level4)}的每一个level1的水平、垂直、对角分量图进行10×10的领域方差计算，获得对应的局部方差图像集合:VarFeq{fhh,fhv,fhd}＝Fhigh{fhh(var(level1),var(level2),var(level3),var(level4)),.....,fhd(var(level1),var(level2),var(level3),var(level4))}，
(2)三个方向的局部方差图像矩阵各个元素分别做最大值索引提取，该索引对应的leveli作为该方向的小波系数，以水平方向为例：
其中
保留该index集合作为三个通道的小波系数索引，从而获得每个通道的小波系数高阶分量
S3、每个通道均合并高低小波信号分量，分别做小波反变换获得该通道的高清图像，再做三通道融合，就此可获得最终的高清全景深图像。
如本公开和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种巡检机器人的高清全景深图像获取方法，其特征在于，包括步骤：
S1、建立巡检机器人云台的变聚焦图像库；其中变聚焦图像库中的图像为巡检机器人云台在预设拍摄点，预设云台倍镜以及预设初始对焦距离下，以固定的焦距变化率进行拍照而得到的；
S2、筛选变聚焦图像库中对焦清晰的图像而得到变焦图像子集；
S3、对变焦图像子集中的图像进行图像融合得到高清全景深图像；
步骤S2的具体过程为：
S201、对变聚焦图像库M中各元素进行高斯模糊处理，得到模糊图像库G；
S202、对M中各元素的水平方向分别进行多次卷积运算，多次卷积结果叠加后生成高频信号图Mf；对G中各元素的水平方向分别进行多次卷积运算，多次卷积结果叠加后生成高频信号图Gf;
S203、对Mf和Gf中各元素按照索引号配对的方式进行交叉熵计算，获得集合H；
S204、对集合H按熵值的绝对值进行大到小排序，取前n个索引对应到变聚焦图像库M中，获得变焦图像子集。
2.根据权利要求1所述的巡检机器人的高清全景深图像获取方法，其特征在于，步骤S3的具体过程为：
S301、对变焦图像子集中的各元素进行小波变换分离出高频信号与低频信号；
S302、对高频信号进行处理得到小波系数高阶分量；对低频信号进行处理得到小波系数低阶分量；
S303、对各图像的小波系数高阶分量和小波系数低阶分量进行合并，再做小波反变换，得到对应的高清全景深图像。
3.根据权利要求2所述的巡检机器人的高清全景深图像获取方法，其特征在于，所述步骤S302中，对高频信号进行处理得到小波系数高阶分量的具体过程为：
对每层高阶谐波信号的每一个level1的水平、垂直、对角三个方向的分量图进行领域方差计算，获得各方向对应的局部方差图像集合VarFeq；
对各个方向的局部方差图像集合VarFeq中的各个元素分别做最大值索引提取，获得每个图像的小波系数高阶分量。
4.根据权利要求2所述的巡检机器人的高清全景深图像获取方法，其特征在于，所述步骤S302中，对低频信号进行处理得到小波系数低阶分量的具体过程为：
获取低频信号的方差；
根据低频信号的方差得到平均加权系数；
根据平均加权系数得到对应图像的小波系数低阶分量。
5.一种巡检机器人的高清全景深图像获取系统，用于执行如权利要求1～4中任意一项所述方法的步骤，其特征在于，包括：
第一程序模块，用于建立巡检机器人云台的变聚焦图像库；其中变聚焦图像库中的图像为巡检机器人云台在预设拍摄点，预设云台倍镜以及预设初始对焦距离下，以固定的焦距变化率进行拍照而得到的；
第二程序模块，用于筛选变聚焦图像库中对焦清晰的图像而得到变焦图像子集；
第三程序模块，用于对变焦图像子集中的图像进行图像融合得到高清全景深图像。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器运行时执行如权利要求1～4中任意一项所述方法的步骤。
7.一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序在被处理器运行时执行如权利要求1～4中任意一项所述方法的步骤。
CN202210991777.3A 2022-08-17 2022-08-17 巡检机器人的高清全景深图像获取方法、系统、介质及设备 Active CN115442523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210991777.3A CN115442523B (zh) 2022-08-17 2022-08-17 巡检机器人的高清全景深图像获取方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210991777.3A CN115442523B (zh) 2022-08-17 2022-08-17 巡检机器人的高清全景深图像获取方法、系统、介质及设备

Publications (2)

Publication Number Publication Date
CN115442523A CN115442523A (zh) 2022-12-06
CN115442523B true CN115442523B (zh) 2023-09-05

Family

ID=84243234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210991777.3A Active CN115442523B (zh) 2022-08-17 2022-08-17 巡检机器人的高清全景深图像获取方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN115442523B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110113592A (zh) * 2019-05-05 2019-08-09 云南兆讯科技有限责任公司 基于相机阵列技术的电力设备巡检图影像采集处理系统
CN112184606A (zh) * 2020-09-24 2021-01-05 南京晓庄学院 一种基于拉普拉斯金字塔的可见光图像与红外图像融合方法
CN114594770A (zh) * 2022-03-04 2022-06-07 深圳市千乘机器人有限公司 一种巡检机器人不停车的巡检方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107666606B (zh) * 2016-07-29 2019-07-12 东南大学 双目全景图像获取方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110113592A (zh) * 2019-05-05 2019-08-09 云南兆讯科技有限责任公司 基于相机阵列技术的电力设备巡检图影像采集处理系统
CN112184606A (zh) * 2020-09-24 2021-01-05 南京晓庄学院 一种基于拉普拉斯金字塔的可见光图像与红外图像融合方法
CN114594770A (zh) * 2022-03-04 2022-06-07 深圳市千乘机器人有限公司 一种巡检机器人不停车的巡检方法

Also Published As

Publication number Publication date
CN115442523A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
Zamir et al. Cycleisp: Real image restoration via improved data synthesis
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
US8432479B2 (en) Range measurement using a zoom camera
CN103020903B (zh) 图像处理装置和图像拾取装置
CA2577735A1 (en) Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and centrally obscured aperture
CN109447930B (zh) 小波域光场全聚焦图像生成算法
WO2021017588A1 (zh) 一种基于傅立叶频谱提取的图像融合方法
US20120274627A1 (en) Self calibrating stereo camera
CN112651911B (zh) 一种基于偏振图像的高动态范围成像生成方法
JP2017010095A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
Nieuwenhuizen et al. Deep learning for software-based turbulence mitigation in long-range imaging
CN115442523B (zh) 巡检机器人的高清全景深图像获取方法、系统、介质及设备
Zhou et al. Parameter-free Gaussian PSF model for extended depth of field in brightfield microscopy
Yue et al. Efficient method for high-quality removal of nonuniform blur in the wavelet domain
Zhang et al. Computational Super-Resolution Imaging With a Sparse Rotational Camera Array
Yao et al. Digital imaging with extreme zoom: system design and image restoration
Wang et al. A computational super-resolution technique based on coded aperture imaging
Bhagat et al. Novel Approach to Estimate Motion Blur Kernel Parameters and Comparative Study of Restoration Techniques
CN108681988B (zh) 一种基于多幅图像的鲁棒的图像分辨率增强方法
Zhou et al. DR-UNet: dynamic residual U-Net for blind correction of optical degradation
CN115967852B (zh) 一种基于光学补偿优化算法的图像处理方法
Yin et al. Physical panoramic pyramid and noise sensitivity in pyramids
Sanipour et al. A new method for eliminating blur caused by the rotational motion of the images
El-Henawy et al. Blind image deblurring using sparse dictionary and orthogonal projections of filtered patches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant