CN110163823B - 基于胶囊机器人面向排水管的多视角图像矫正方法及系统 - Google Patents
基于胶囊机器人面向排水管的多视角图像矫正方法及系统 Download PDFInfo
- Publication number
- CN110163823B CN110163823B CN201910411230.XA CN201910411230A CN110163823B CN 110163823 B CN110163823 B CN 110163823B CN 201910411230 A CN201910411230 A CN 201910411230A CN 110163823 B CN110163823 B CN 110163823B
- Authority
- CN
- China
- Prior art keywords
- image
- view
- fisheye
- point
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 88
- 238000003702 image correction Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012937 correction Methods 0.000 claims abstract description 36
- 230000000007 visual effect Effects 0.000 claims abstract description 31
- 238000009432 framing Methods 0.000 claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 3
- 238000001514 detection method Methods 0.000 abstract description 17
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000010865 sewage Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明公开了基于胶囊机器人面向排水管的多视角图像矫正方法及系统，获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；接收点击鱼眼图像需要观测位置的操作指令，确定观测视角并执行点击得到入射视角角度参数；根据入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。本发明采用鱼眼镜头进行管道内视频拍摄，对任意视角进行图像矫正，提高了管道视频检测的效率与质量。
Description
技术领域
本发明涉及排水管道机器人检测技术领域，尤其涉及一种基于胶囊机器人面向排水管的多视角图像矫正方法及系统。
背景技术
随着城市的建设，城市排水管道铺设范围逐年增大，城市中排放的废水和废物越来越多，其中，这些物质还具有腐蚀性，会造成城市排水管道的堵塞和泄露。因此需要对排水管道进行及时检测，人工对排水管道的检测方式非常复杂，同时使检测人员具有安全隐患，所以需要一种机器检测方式来取代人工检测方式；在国际社会中管道机器人的应用越来越泛，涉及到方方面面，所以对城市排水管道检测机器人的研究成为一个热门的方向。
当今主流的管道机器人管道检测是在安装在机器人上的摄像头，并通过其拍摄的影像进行病害排查。摄像头随机器人在管道内的移动捕捉到管道内的影像信息，极大提高了管道检测的效率与质量。
例如，日本的横滨国立大学研究了一种对污水排放管道检测的机器人，此管道检测机器人是由四个部分组成，包括行走装置，作业操控装置，污水采集系统和控制系统。此管道检测机器人使用视觉伺服定位方式，摄像头拍摄管道内的视频信息，并把图像信息传送的主控计算机进行数据处理，来对管道内的情况进行实时检测并判断机器人所在位置。俄罗斯的TARIS公司为城市排水管道研究了一款能够实现自动检测和清理的管道机器人，此机器人使用电机驱动和轮式行走的方式，能源供给和通信是电缆的方式，机器人配有电机控制旋转的摄像头，使用防水材料制作。
但是，现有技术的缺点是：上述管道机器人的摄像头采用标准镜头，需要借助转动轴(摄像头调整视角受转动轴限制，很难做到大范围多视角的视频检测)和电机的辅助才能调整视角，其在作业过程中操作十分繁琐，严重降低管道作业效率，对于一些视角中出现的管道病害很难快速排查，降低了管道作业的质量，由于摄像头采用标准镜头，其成像画面单一，不能将分幅多视角图像一次性呈现到用户的眼前，图像观感欠佳。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于：现有技术中摄像头调整视角受转动轴限制，很难做到大范围多视角的视频检测，成像画面单一，不能将分幅多视角图像一次性呈现到用户的眼前，严重降低管道作业效率，对于一些视角中出现的管道病害很难快速排查，降低了管道作业的质量。本发明提供一种基于胶囊机器人面向排水管的多视角图像矫正方法及系统，采用鱼眼镜头进行管道内视频拍摄，可以多角度充分捕捉管道内的细节，通过对鱼眼镜头的任意视角进行图像矫正，可以更完整地复原出管道内的图像信息，更进一步提高管道视频检测的效率与质量。
本发明解决技术问题所采用的技术方案如下：
一种基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述基于胶囊机器人面向排水管的多视角图像矫正方法包括：
获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；
接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述鱼眼图像的矫正包括：矫正图像与鱼眼图像的空间映射关系的建立和图像坐标矫正。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述矫正图像与鱼眼图像的空间映射关系的建立包括：
定义矫正图像与鱼眼图像的空间映射关系，点s为矫正图像上点p到鱼眼图像上的映射点，为球面点p1到鱼眼图像平面的垂直映射，p1是鱼眼图像中心点o和点p的连线op与映射球的交点；
当映射关系确定后，获取矫正图像平面的空间位置和矫正图像的大小。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述矫正图像与鱼眼图像的空间映射关系的建立还包括：
矫正图像中心c与鱼眼图像中心o的距离变化等效于图像的放大与缩小；直线oc的角度变化产生不同视角下的矫正图像，通过调整直线oc的角度来得到全方位视角的视图。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述鱼眼图像进行多个方向的分幅矫正的视图包括：顶视图、左视图、右视图、前视图和后视图。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述图像坐标矫正具体包括：
从矫正平面中的任一像素点p(j，k)开始，计算点p在鱼眼图像中对应点s的图像坐标(x，y)；
确定任意视角的角度参数α角与β角；
确定任意视角向量
确定矫正图像的自旋方向，以确定u轴和v轴的单位向量
与
点p在o-xyz三维坐标系中坐标(u，v，w)的计算；
点s在xoy平面中坐标(x1，y1)的计算；
点s的图像坐标(x，y)的计算。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述确定任意视角的角度参数α角与β角包括：
令α角为向量
与xoy平面的夹角，其取值范围[0，π/2]；
令β角为向量
在xoy平面上的投影向量
与X轴的逆时针正向夹角，故其取值范围为[0，2π]；
所述确定任意视角向量
包括：
假设
则由α角与β角得到：(a，b，c)＝(cosβ，sinβ，tanα)；
当α＝90°时，(a，b，c)＝(0，0，1)；
所述确定矫正图像的自旋方向，以确定u轴和v轴的单位向量
与
包括：
假设
令
垂直于空间Y轴，则
故
所述点p在o-xyz三维坐标系中坐标(u，v，w)的计算包括：
由上述推到结果可知，对于任意观测角度
有：
其中R为鱼眼透镜圆形图像的半径；
当用户选择5个固定视角视图时，其为任意视角的特殊情况，故
顶视图为：u＝j-R，v＝k-R，w＝R；
前视图为：u＝j-R，v＝R，w＝R-k；
后视图为：u＝j-R，v＝-R，w＝k-R；
左视图为：u＝-R，v＝k-R,w＝j-R；
右视图为：u＝R，v＝k-R，w＝R-j；
所述点s在xoy平面中坐标(x1，y1)的计算包括：
(x1，y1)等效于映射球上点p1的X坐标分量和Y坐标分量，因此
由几何关系可得
所述点s的图像坐标(x，y)的计算包括：
x＝x1+xc；
y＝y1+yc；
其中，(xc，yc)为坐标中心点o在鱼眼图像中的图像坐标，即为鱼眼图像圆心的图像坐标。
一种基于胶囊机器人面向排水管的多视角图像矫正系统，其中，所述基于胶囊机器人面向排水管的多视角图像矫正系统包括：
数据获取模块，用于获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
图像筛选模块，用于将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
图像矫正模块，用于将所述鱼眼图像进行所有方向的分幅矫正，并将所述鱼眼镜头所有方向的矫正图像整合为一张图片；
指令接收模块，用于接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
图像保存模块，用于根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
一种基于胶囊机器人面向排水管的多视角图像矫正装置，其中，所述基于胶囊机器人面向排水管的多视角图像矫正装置包括如上所述的基于胶囊机器人面向排水管的多视角图像矫正系统，还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于胶囊机器人面向排水管的多视角图像矫正程序，所述基于胶囊机器人面向排水管的多视角图像矫正程序被所述处理器执行时实现如上所述的基于胶囊机器人面向排水管的多视角图像矫正方法的步骤。
一种存储介质，其中，所述存储介质存储有基于胶囊机器人面向排水管的多视角图像矫正程序，所述基于胶囊机器人面向排水管的多视角图像矫正程序被处理器执行时实现如上所述基于胶囊机器人面向排水管的多视角图像矫正方法的步骤。
本发明通过获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。本发明采用鱼眼镜头进行管道内视频拍摄，可以多角度充分捕捉管道内的细节，通过对鱼眼镜头的任意视角进行图像矫正，可以更完整地复原出管道内的图像信息，更进一步提高管道视频检测的效率与质量。
附图说明
图1是本发明基于胶囊机器人面向排水管的多视角图像矫正方法的较佳实施例的流程图；
图2是本发明基于胶囊机器人面向排水管的多视角图像矫正方法的较佳实施例中鱼眼图像的球面投影模型示意图；
图3是本发明基于胶囊机器人面向排水管的多视角图像矫正方法的较佳实施例中鱼眼多视角矫正模型示意图；
图4是本发明基于胶囊机器人面向排水管的多视角图像矫正方法的较佳实施例中鱼眼镜头拍摄的管道图像的示意图；
图5是本发明基于胶囊机器人面向排水管的多视角图像矫正方法的较佳实施例中鱼眼图像多视角分幅矫正图像的示意图；
图6是本发明基于胶囊机器人面向排水管的多视角图像矫正系统的较佳实施例的原理图；
图7为本发明基于胶囊机器人面向排水管的多视角图像矫正装置的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的基于胶囊机器人面向排水管的多视角图像矫正方法，如图1所示，一种基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述基于胶囊机器人面向排水管的多视角图像矫正方法包括以下步骤：
步骤S10、获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
步骤S20、将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
步骤S30、将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；
步骤S40、接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
步骤S50、根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
其中，所述预设大小的鱼眼图像可以为分辨率800*800的鱼眼图像。
本发明所使用的管道胶囊机器人采用鱼眼镜头进行市政排水管内视频拍摄，可视角度超过180°，可以充分捕捉管道内的细节；其中，鱼眼镜头由于成像原理较为特殊，其所得图像往往存在较大畸变，视觉观感欠佳，需要对图像进行矫正。而为了突显出鱼眼镜头可视角度的优越性，若指定正视角度(指图2中的顶视图)矫正，矫正图像则会遗漏约40％的原鱼眼图像细节信息，因此任意角度与多方位的鱼眼图像矫正可以更完整地复原出管道内的图像信息，更进一步提高管道视频检测的效率与质量。
本发明中胶囊机器人采用固定式鱼眼镜头，无需转动摄像头，极大简化了操作流程，并通过鱼眼视频数据矫正获得大范围多视角的管道图像，解决了以往机器人摄像头视角受限的问题。
通过本发明可以得到鱼眼镜头方向的顶视图、前视图、后视图、左视图、右视图，并将其整合在一幅屏幕内显示，极大提高了用户观感体验，同时，用户可以自行选择任意视角的视图进行矫正，增加了操作的灵活性。
具体地，鱼眼图像的矫正归属于图像的几何变换应用，几何变换包含两个基本操作:矫正图像与鱼眼图像的空间映射关系的建立和图像坐标矫正。
其中，矫正图像与鱼眼图像的空间映射关系，即矫正图像(目标图像)的某个像素点在鱼眼图像(源图像)中的空间位置，但这个映射的空间位置可能不一定为整数。
典型的灰度插值按计算复杂度从低到高依次为最近邻插值、双线性插值和二次插值，本发明为同时保证矫正图像效率与质量，选用双线性插值法(双线性插值作为数值分析中的一种插值算法，广泛应用在信号处理，数字图像和视频处理等方面)作为图像矫正中灰度插值的主要方法。
进一步地，鱼眼图像的投影模型定义了矫正图像与鱼眼图像的空间映射关系。图2为鱼眼图像的球面投影模型，其中：点s为矫正目标图像上点p到鱼眼图像上的映射点，是球面点p1到鱼眼图像平面的垂直映射；p1是鱼眼图像中心点o和点p的连线op与映射球的交点。映射关系确定后，要实现图像的矫正，还需要获取矫正图像平面的空间位置和矫正图像的大小。
矫正图像中心c与鱼眼图像中心o的距离变化等效于图像的放大与缩小，不影响最终矫正图像的视觉效果；直线oc的角度变化产生了不同视角下的矫正图像，因此可通过调整直线oc的角度来得到全方位视角的视图。因此，为了充分展现鱼眼图像的视觉信息，并减少矫正图像由于球面映射导致的图像畸变，本发明在用户可以自由调整视图视角的基础上，另外添加了以包围半球最小长方体的5个面为矫正平面的功能，分别命名为顶视图、左视图、右视图、前视图和后视图，如图3所示。
进一步地，所述图像坐标矫正具体包括：从矫正平面中的任一像素点p(j，k)开始，计算点p在鱼眼图像中对应点s的图像坐标(x，y)。
具体地，实现过程如下：
(1)确定任意视角的角度参数α角与β角：
令α角为向量
与xoy平面的夹角，其取值范围[0，π/2]；
令β角为向量
在xoy平面上的投影向量
与X轴的逆时针正向夹角，故其取值范围为[0，2π]；
(2)确定任意视角向量
假设
则由α角与β角得到：(a，b，c)＝(cosβ，sinβ，tanα)；
当α＝90°时，(a，b，c)＝(0，0，1)；
(3)确定矫正图像的自旋方向，以确定u轴和v轴的单位向量
与
假设
令
垂直于空间Y轴，则
故
(4)点p在o-xyz三维坐标系中坐标(u，v，w)的计算：
由上述推到结果可知，对于任意观测角度
有：
其中R为鱼眼透镜圆形图像的半径；
当用户选择5个固定视角视图时，其为任意视角的特殊情况，故
顶视图为：u＝j-R，v＝k-R，w＝R；
前视图为：u＝j-R，v＝R，w＝R-k；
后视图为：u＝j-R，v＝-R，w＝k-R；
左视图为：u＝-R，v＝k-R，w＝j-R；
右视图为：u＝R，v＝k-R，w＝R-j；
(5)点s在xoy平面中坐标(x1，y1)的计算：
(x1，y1)等效于映射球上点p1的X坐标分量和Y坐标分量，因此
由几何关系可得
(6)点s的图像坐标(x，y)的计算：
x＝x1+xc；
y＝y1+yc；
其中，(xc，yc)为坐标中心点o在鱼眼图像中的图像坐标，即为鱼眼图像圆心的图像坐标。
如图4所示，为通过管道胶囊机器人摄像头拍摄的未经矫正的管道图像，通过图像矫正后，如图5所示，为通过矫正后的多视角分幅管道图像。
本发明将鱼眼图像多视角分幅矫正技术与任意视角矫正技术应用到排水管道胶囊机器人的影像中，通过管道影像多视角分幅的方式，完整包含了机器人四周的管道图像信息，提高了管道胶囊机器人视频作业效率与质量；通过管道影像任意视角矫正的方法，代替了以往机器人摄像头通过机器转动轴调整镜头视角的问题，简化了操作流程。
进一步地，本发明还可以从管道胶囊机器人方向扩展，其他类型的管道机器人若使用鱼眼镜头记录影像，则亦可使用本发明的方案；另外，具有一定倾斜角度的多视角分幅管道影像，在这种变形方案中，多个视角并不完全垂直，但依旧可以覆盖鱼眼图像全部信息，例如将左视图倾斜一定角度后变为左上视图，再将各个视图整合在一个屏幕内分幅显示。
进一步地，如图6所示，基于上述基于胶囊机器人面向排水管的多视角图像矫正方法，本发明还相应提供了一种基于胶囊机器人面向排水管的多视角图像矫正系统，所述基于胶囊机器人面向排水管的多视角图像矫正系统包括：
数据获取模块101，用于获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
图像筛选模块102，用于将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
图像矫正模块103，用于将所述鱼眼图像进行所有方向的分幅矫正，并将所述鱼眼镜头所有方向的矫正图像整合为一张图片；
指令接收模块104，用于接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
图像保存模块105，用于根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
进一步地，如图7所示，基于上述基于胶囊机器人面向排水管的多视角图像矫正方法和系统，本发明还相应提供了一种基于胶囊机器人面向排水管的多视角图像矫正装置，所述基于胶囊机器人面向排水管的多视角图像矫正装置包括如上所述的基于胶囊机器人面向排水管的多视角图像矫正系统，还包括处理器10、存储器20及显示器30。图7仅示出了基于胶囊机器人面向排水管的多视角图像矫正装置的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述基于胶囊机器人面向排水管的多视角图像矫正装置的内部存储单元，例如基于胶囊机器人面向排水管的多视角图像矫正装置的硬盘或内存。所述存储器20在另一些实施例中也可以是所述基于胶囊机器人面向排水管的多视角图像矫正装置的外部存储设备，例如所述基于胶囊机器人面向排水管的多视角图像矫正装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所基于胶囊机器人面向排水管的多视角图像矫正装置的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述基于胶囊机器人面向排水管的多视角图像矫正装置的应用软件及各类数据，例如所述安装基于胶囊机器人面向排水管的多视角图像矫正装置的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于胶囊机器人面向排水管的多视角图像矫正程序40，该基于胶囊机器人面向排水管的多视角图像矫正程序40可被处理器10所执行，从而实现本申请中基于胶囊机器人面向排水管的多视角图像矫正方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于胶囊机器人面向排水管的多视角图像矫正方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述基于胶囊机器人面向排水管的多视角图像矫正装置的信息以及用于显示可视化的用户界面。所述基于胶囊机器人面向排水管的多视角图像矫正装置的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于胶囊机器人面向排水管的多视角图像矫正程序40时实现以下步骤：
获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；
接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
本发明还提供一种存储介质，其中，所述存储介质存储有基于胶囊机器人面向排水管的多视角图像矫正程序，所述基于胶囊机器人面向排水管的多视角图像矫正程序被处理器执行时实现所述基于胶囊机器人面向排水管的多视角图像矫正方法的步骤；具体如上所述。
综上所述，本发明提供基于胶囊机器人面向排水管的多视角图像矫正方法及系统，所述方法包括：获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。本发明采用鱼眼镜头进行管道内视频拍摄，可以多角度充分捕捉管道内的细节，通过对鱼眼镜头的任意视角进行图像矫正，可以更完整地复原出管道内的图像信息，更进一步提高管道视频检测的效率与质量。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (9)
1.一种基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述基于胶囊机器人面向排水管的多视角图像矫正方法包括：
获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；
接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存；
定义矫正图像与鱼眼图像的空间映射关系，点s为矫正图像上点p到鱼眼图像上的映射点，为球面点p1到鱼眼图像平面的垂直映射，p1是鱼眼图像中心点o和点p的连线op与映射球的交点；
当映射关系确定后，获取矫正图像平面的空间位置和矫正图像的大小；
确定任意视角的角度参数α角与β角；
确定任意视角向量
确定矫正图像的自旋方向，以确定u轴和v轴的单位向量
与
点p在o-xyz三维坐标系中坐标(u，v，w)的计算；
点s在xoy平面中坐标(x1，y1)的计算；
点s的图像坐标(x，y)的计算；
所述确定任意视角的角度参数α角与β角包括：
令α角为向量
与xoy平面的夹角，其取值范围[0，π/2]；
令β角为向量
在xoy平面上的投影向量
与X轴的逆时针正向夹角，故其取值范围为[0，2π]；
所述确定任意视角向量
包括：
假设
则由α角与β角得到：(a，b，c)＝(cosβ，sinβ，tanα)；
当α＝90°时，(a，b，c)＝(0，0，1)；
所述确定矫正图像的自旋方向，以确定u轴和v轴的单位向量
与
包括：
假设
令
垂直于空间Y轴，则
故
所述点p在o-xyz三维坐标系中坐标(u，v，w)的计算包括：
由上述推导结果可知，对于任意观测角度
有：
其中R为鱼眼透镜圆形图像的半径；
将鱼眼图像多视角分幅矫正技术与任意视角矫正技术应用到排水管道胶囊机器人的影像中，通过管道影像多视角分幅的方式，完整包含了机器人四周的管道图像信息。
2.根据权利要求1所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述鱼眼图像的矫正包括：矫正图像与鱼眼图像的空间映射关系的建立和图像坐标矫正。
3.根据权利要求2所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述矫正图像与鱼眼图像的空间映射关系的建立还包括：
矫正图像中心c与鱼眼图像中心o的距离变化等效于图像的放大与缩小；直线oc的角度变化产生不同视角下的矫正图像，通过调整直线oc的角度来得到全方位视角的视图。
4.根据权利要求3所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述鱼眼图像进行多个方向的分幅矫正的视图包括：顶视图、左视图、右视图、前视图和后视图。
5.根据权利要求4所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述图像坐标矫正具体包括：
从矫正平面中的任一像素点p(j，k)开始，计算点p在鱼眼图像中对应点s的图像坐标(x，y)。
6.根据权利要求5所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，
当用户选择5个固定视角视图时，其为任意视角的特殊情况，故
顶视图为：u＝j-R，v＝k-R，w＝R；
前视图为：u＝j-R，v＝R，w＝R-k；
后视图为：u＝j-R，v＝-R，w＝k-R；
左视图为：u＝-R，v＝k-R，w＝j-R；
右视图为：u＝R，v＝k-R，w＝R-j；
所述点s在xoy平面中坐标(x1，y1)的计算包括：
(x1，y1)等效于映射球上点p1的X坐标分量和Y坐标分量，因此由几何关系可得
所述点s的图像坐标(x，y)的计算包括：
x＝x1+xc；
y＝y1+yc；
其中，(xc，yc)为坐标中心点o在鱼眼图像中的图像坐标，即为鱼眼图像圆心的图像坐标。
7.一种基于胶囊机器人面向排水管的多视角图像矫正系统，其特征在于，所述基于胶囊机器人面向排水管的多视角图像矫正系统包括：
数据获取模块，用于获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
图像筛选模块，用于将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
图像矫正模块，用于将所述鱼眼图像进行所有方向的分幅矫正，并将所述鱼眼镜头所有方向的矫正图像整合为一张图片；
指令接收模块，用于接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
图像保存模块，用于根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存；
定义矫正图像与鱼眼图像的空间映射关系，点s为矫正图像上点p到鱼眼图像上的映射点，为球面点p1到鱼眼图像平面的垂直映射，p1是鱼眼图像中心点o和点p的连线op与映射球的交点；
当映射关系确定后，获取矫正图像平面的空间位置和矫正图像的大小；
确定任意视角的角度参数α角与β角；
确定任意视角向量
确定矫正图像的自旋方向，以确定u轴和v轴的单位向量
与
点p在o-xyz三维坐标系中坐标(u，v，w)的计算；
点s在xoy平面中坐标(x1，y1)的计算；
点s的图像坐标(x，y)的计算；
所述确定任意视角的角度参数α角与β角包括：
令α角为向量
与xoy平面的夹角，其取值范围[0，π/2]；
令β角为向量
在xoy平面上的投影向量
与X轴的逆时针正向夹角，故其取值范围为[0，2π]；
所述确定任意视角向量
包括：
假设
则由α角与β角得到：(a，b，c)＝(cosβ，sinβ，tanα)；
当α＝90°时，(a，b，c)＝(0，0，1)；
所述确定矫正图像的自旋方向，以确定u轴和v轴的单位向量
与
包括：
假设
令
垂直于空间Y轴，则
故
所述点p在o-xyz三维坐标系中坐标(u，v，w)的计算包括：
由上述推导结果可知，对于任意观测角度
有：
其中R为鱼眼透镜圆形图像的半径；
将鱼眼图像多视角分幅矫正技术与任意视角矫正技术应用到排水管道胶囊机器人的影像中，通过管道影像多视角分幅的方式，完整包含了机器人四周的管道图像信息。
8.一种基于胶囊机器人面向排水管的多视角图像矫正装置，其特征在于，所述基于胶囊机器人面向排水管的多视角图像矫正装置包括如权利要求7所述的基于胶囊机器人面向排水管的多视角图像矫正系统，还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于胶囊机器人面向排水管的多视角图像矫正程序，所述基于胶囊机器人面向排水管的多视角图像矫正程序被所述处理器执行时实现如权利要求1-6任一项所述的基于胶囊机器人面向排水管的多视角图像矫正方法的步骤。
9.一种存储介质，其特征在于，所述存储介质存储有基于胶囊机器人面向排水管的多视角图像矫正程序，所述基于胶囊机器人面向排水管的多视角图像矫正程序被处理器执行时实现如权利要求1-6任一项所述基于胶囊机器人面向排水管的多视角图像矫正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411230.XA CN110163823B (zh) | 2019-05-17 | 2019-05-17 | 基于胶囊机器人面向排水管的多视角图像矫正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411230.XA CN110163823B (zh) | 2019-05-17 | 2019-05-17 | 基于胶囊机器人面向排水管的多视角图像矫正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110163823A CN110163823A (zh) | 2019-08-23 |
| CN110163823B true CN110163823B (zh) | 2023-05-12 |
Family
ID=67631158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910411230.XA Active CN110163823B (zh) | 2019-05-17 | 2019-05-17 | 基于胶囊机器人面向排水管的多视角图像矫正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163823B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942026B (zh) * | 2019-11-26 | 2023-12-19 | 深圳大学 | 基于深度学习的胶囊机器人排水管病害检测方法及系统 |
| CN110991929B (zh) * | 2019-12-18 | 2020-12-08 | 深圳大学 | 一种基于管道胶囊进行城市管网协同检测的方法及系统 |
| CN112308792A (zh) * | 2020-10-15 | 2021-02-02 | 深圳一块互动网络技术有限公司 | 预设参数的图像输出方法、终端、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107504319A (zh) * | 2017-07-20 | 2017-12-22 | 西安理工大学 | 一种螺旋式驱动管道机器人 |
| CN108413180A (zh) * | 2018-03-22 | 2018-08-17 | 中国水利水电科学研究院 | 埋地输水管道检测装置及方法 |
| CN108830810A (zh) * | 2018-06-07 | 2018-11-16 | 辽宁工业大学 | 一种基于正交投影的鱼眼镜头图像畸变矫正方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5029645B2 (ja) * | 2008-12-24 | 2012-09-19 | 株式会社富士通ゼネラル | 画像データ変換装置 |
| CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
| CN104537616A (zh) * | 2014-12-20 | 2015-04-22 | 中国科学院西安光学精密机械研究所 | 鱼眼图像畸变的校正方法 |
| CN106981050A (zh) * | 2016-01-18 | 2017-07-25 | 深圳岚锋创视网络科技有限公司 | 对鱼眼镜头拍摄的图像矫正的方法和装置 |
| CN106023070B (zh) * | 2016-06-14 | 2017-10-03 | 北京岚锋创视网络科技有限公司 | 实时全景拼接方法和装置 |
| CN107845056A (zh) * | 2016-09-21 | 2018-03-27 | 西安英诺视通信息技术有限公司 | 基于柱面模型的鱼眼图像全景生成方法 |
-
2019
- 2019-05-17 CN CN201910411230.XA patent/CN110163823B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107504319A (zh) * | 2017-07-20 | 2017-12-22 | 西安理工大学 | 一种螺旋式驱动管道机器人 |
| CN108413180A (zh) * | 2018-03-22 | 2018-08-17 | 中国水利水电科学研究院 | 埋地输水管道检测装置及方法 |
| CN108830810A (zh) * | 2018-06-07 | 2018-11-16 | 辽宁工业大学 | 一种基于正交投影的鱼眼镜头图像畸变矫正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110163823A (zh) | 2019-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163823B (zh) | 基于胶囊机器人面向排水管的多视角图像矫正方法及系统 | |
| CN110570477B (zh) | 一种标定相机和旋转轴相对姿态的方法、装置和存储介质 | |
| US11586218B2 (en) | Method and apparatus for positioning vehicle, electronic device and storage medium | |
| US20120300020A1 (en) | Real-time self-localization from panoramic images | |
| US8355565B1 (en) | Producing high quality depth maps | |
| CN107563959B (zh) | 全景图生成方法及装置 | |
| US20160295108A1 (en) | System and method for panoramic imaging | |
| WO2018068719A1 (zh) | 一种图像拼接方法及装置 | |
| CN104778656B (zh) | 基于球面透视投影的鱼眼图像校正方法 | |
| JP5135380B2 (ja) | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム | |
| US10063792B1 (en) | Formatting stitched panoramic frames for transmission | |
| JP5090496B2 (ja) | 画像生成装置及び操作支援システム | |
| CN105635551A (zh) | 一种球型摄像机生成全景图像的方法及球型摄像机 | |
| CN111801198A (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
| EP3998580B1 (en) | Camera calibration method and apparatus, electronic device, storage medium, program product, and road side device | |
| CN112686877A (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| CN111627070B (zh) | 一种对旋转轴进行标定的方法、装置和存储介质 | |
| CN102999891A (zh) | 一种基于装订参数的全景图像拼接方法 | |
| CN114998406B (zh) | 一种自监督多视图深度估计方法、装置 | |
| CN114549666A (zh) | 一种基于agv的环视图像拼接标定方法 | |
| CN113496503B (zh) | 点云数据的生成及实时显示方法、装置、设备及介质 | |
| CN107644394B (zh) | 一种3d图像的处理方法及装置 | |
| CN107507133A (zh) | 一种基于圆管作业机器人的实时图像拼接方法 | |
| CN103489165A (zh) | 一种面向视频拼接的小数查找表生成方法 | |
| US20180376130A1 (en) | Image processing apparatus, image processing method, and image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220208 Address after: 518000 301-l016, block 4, manjinghua Yiluan building, No. 230, Xixiang Avenue, Longteng community, Xixiang street, Bao'an District, Shenzhen, Guangdong Applicant after: Shenzhen Zhiyuan space Innovation Technology Co.,Ltd. Address before: 518060 No. 3688 Nanhai Road, Shenzhen, Guangdong, Nanshan District Applicant before: SHENZHEN University |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |