CN110163823A - 基于胶囊机器人面向排水管的多视角图像矫正方法及系统 - Google Patents
基于胶囊机器人面向排水管的多视角图像矫正方法及系统 Download PDFInfo
- Publication number
- CN110163823A CN110163823A CN201910411230.XA CN201910411230A CN110163823A CN 110163823 A CN110163823 A CN 110163823A CN 201910411230 A CN201910411230 A CN 201910411230A CN 110163823 A CN110163823 A CN 110163823A
- Authority
- CN
- China
- Prior art keywords
- image
- fish eye
- angle
- view
- eye images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 95
- 239000000729 antidote Substances 0.000 title claims abstract description 37
- 241000251468 Actinopterygii Species 0.000 claims abstract description 110
- 230000000007 visual effect Effects 0.000 claims abstract description 65
- 238000012937 correction Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000009432 framing Methods 0.000 claims abstract description 20
- 238000004321 preservation Methods 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims description 16
- 238000003702 image correction Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 5
- 239000003292 glue Substances 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000007873 sieving Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims 1
- 238000012216 screening Methods 0.000 claims 1
- 229940075522 antidotes Drugs 0.000 abstract 1
- 238000000034 method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000007599 discharging Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000010865 sewage Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 244000062793 Sorghum vulgare Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 235000019713 millet Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了基于胶囊机器人面向排水管的多视角图像矫正方法及系统，获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；接收点击鱼眼图像需要观测位置的操作指令，确定观测视角并执行点击得到入射视角角度参数；根据入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。本发明采用鱼眼镜头进行管道内视频拍摄，对任意视角进行图像矫正，提高了管道视频检测的效率与质量。
Description
技术领域
本发明涉及排水管道机器人检测技术领域，尤其涉及一种基于胶囊机器人面向排水管的多视角图像矫正方法及系统。
背景技术
随着城市的建设，城市排水管道铺设范围逐年增大，城市中排放的废水和废物越来越多，其中，这些物质还具有腐蚀性，会造成城市排水管道的堵塞和泄露。因此需要对排水管道进行及时检测，人工对排水管道的检测方式非常复杂，同时使检测人员具有安全隐患，所以需要一种机器检测方式来取代人工检测方式；在国际社会中管道机器人的应用越来越泛，涉及到方方面面，所以对城市排水管道检测机器人的研究成为一个热门的方向。
当今主流的管道机器人管道检测是在安装在机器人上的摄像头，并通过其拍摄的影像进行病害排查。摄像头随机器人在管道内的移动捕捉到管道内的影像信息，极大提高了管道检测的效率与质量。
例如，日本的横滨国立大学研究了一种对污水排放管道检测的机器人，此管道检测机器人是由四个部分组成，包括行走装置，作业操控装置，污水采集系统和控制系统。此管道检测机器人使用视觉伺服定位方式，摄像头拍摄管道内的视频信息，并把图像信息传送的主控计算机进行数据处理，来对管道内的情况进行实时检测并判断机器人所在位置。俄罗斯的TARIS公司为城市排水管道研究了一款能够实现自动检测和清理的管道机器人，此机器人使用电机驱动和轮式行走的方式，能源供给和通信是电缆的方式，机器人配有电机控制旋转的摄像头，使用防水材料制作。
但是，现有技术的缺点是：上述管道机器人的摄像头采用标准镜头，需要借助转动轴(摄像头调整视角受转动轴限制，很难做到大范围多视角的视频检测)和电机的辅助才能调整视角，其在作业过程中操作十分繁琐，严重降低管道作业效率，对于一些视角中出现的管道病害很难快速排查，降低了管道作业的质量，由于摄像头采用标准镜头，其成像画面单一，不能将分幅多视角图像一次性呈现到用户的眼前，图像观感欠佳。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于：现有技术中摄像头调整视角受转动轴限制，很难做到大范围多视角的视频检测，成像画面单一，不能将分幅多视角图像一次性呈现到用户的眼前，严重降低管道作业效率，对于一些视角中出现的管道病害很难快速排查，降低了管道作业的质量。本发明提供一种基于胶囊机器人面向排水管的多视角图像矫正方法及系统，采用鱼眼镜头进行管道内视频拍摄，可以多角度充分捕捉管道内的细节，通过对鱼眼镜头的任意视角进行图像矫正，可以更完整地复原出管道内的图像信息，更进一步提高管道视频检测的效率与质量。
本发明解决技术问题所采用的技术方案如下：
一种基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述基于胶囊机器人面向排水管的多视角图像矫正方法包括：
获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；
接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述鱼眼图像的矫正包括：矫正图像与鱼眼图像的空间映射关系的建立和图像坐标矫正。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述矫正图像与鱼眼图像的空间映射关系的建立包括：
定义矫正图像与鱼眼图像的空间映射关系，点s为矫正图像上点p到鱼眼图像上的映射点，为球面点p1到鱼眼图像平面的垂直映射，p1是鱼眼图像中心点o和点p的连线op与映射球的交点；
当映射关系确定后，获取矫正图像平面的空间位置和矫正图像的大小。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述矫正图像与鱼眼图像的空间映射关系的建立还包括：
矫正图像中心c与鱼眼图像中心o的距离变化等效于图像的放大与缩小；直线oc的角度变化产生不同视角下的矫正图像，通过调整直线oc的角度来得到全方位视角的视图。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述鱼眼图像进行多个方向的分幅矫正的视图包括：顶视图、左视图、右视图、前视图和后视图。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述图像坐标矫正具体包括：
从矫正平面中的任一像素点p(j，k)开始，计算点p在鱼眼图像中对应点s的图像坐标(x，y)；
确定任意视角的角度参数α角与β角；
确定任意视角向量
确定矫正图像的自旋方向，以确定u轴和v轴的单位向量与
点p在o-xyz三维坐标系中坐标(u，v，w)的计算；
点s在xoy平面中坐标(x1，y1)的计算；
点s的图像坐标(x，y)的计算。
所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述确定任意视角的角度参数α角与β角包括：
令α角为向量与xoy平面的夹角，其取值范围[0，π/2]；
令β角为向量在xoy平面上的投影向量与X轴的逆时针正向夹角，故其取值范围为[0，2π]；
所述确定任意视角向量包括：
假设
则由α角与β角得到：(a，b，c)＝(cosβ，sinβ，tanα)；
当α＝90°时，(a，b，c)＝(0，0，1)；
所述确定矫正图像的自旋方向，以确定u轴和v轴的单位向量与包括：
假设
令垂直于空间Y轴，则
故
所述点p在o-xyz三维坐标系中坐标(u，v，w)的计算包括：
由上述推到结果可知，对于任意观测角度有：
其中R为鱼眼透镜圆形图像的半径；
当用户选择5个固定视角视图时，其为任意视角的特殊情况，故
顶视图为：u＝j-R，v＝k-R，w＝R；
前视图为：u＝j-R，v＝R，w＝R-k；
后视图为：u＝j-R，v＝-R，w＝k-R；
左视图为：u＝-R，v＝k-R,w＝j-R；
右视图为：u＝R，v＝k-R，w＝R-j；
所述点s在xoy平面中坐标(x1，y1)的计算包括：
(x1，y1)等效于映射球上点p1的X坐标分量和Y坐标分量，因此
由几何关系可得
所述点s的图像坐标(x，y)的计算包括：
x＝x1+xc；
y＝y1+yc；
其中，(xc，yc)为坐标中心点o在鱼眼图像中的图像坐标，即为鱼眼图像圆心的图像坐标。
一种基于胶囊机器人面向排水管的多视角图像矫正系统，其中，所述基于胶囊机器人面向排水管的多视角图像矫正系统包括：
数据获取模块，用于获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
图像筛选模块，用于将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
图像矫正模块，用于将所述鱼眼图像进行所有方向的分幅矫正，并将所述鱼眼镜头所有方向的矫正图像整合为一张图片；
指令接收模块，用于接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
图像保存模块，用于根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
一种基于胶囊机器人面向排水管的多视角图像矫正装置，其中，所述基于胶囊机器人面向排水管的多视角图像矫正装置包括如上所述的基于胶囊机器人面向排水管的多视角图像矫正系统，还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于胶囊机器人面向排水管的多视角图像矫正程序，所述基于胶囊机器人面向排水管的多视角图像矫正程序被所述处理器执行时实现如上所述的基于胶囊机器人面向排水管的多视角图像矫正方法的步骤。
一种存储介质，其中，所述存储介质存储有基于胶囊机器人面向排水管的多视角图像矫正程序，所述基于胶囊机器人面向排水管的多视角图像矫正程序被处理器执行时实现如上所述基于胶囊机器人面向排水管的多视角图像矫正方法的步骤。
本发明通过获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。本发明采用鱼眼镜头进行管道内视频拍摄，可以多角度充分捕捉管道内的细节，通过对鱼眼镜头的任意视角进行图像矫正，可以更完整地复原出管道内的图像信息，更进一步提高管道视频检测的效率与质量。
附图说明
图1是本发明基于胶囊机器人面向排水管的多视角图像矫正方法的较佳实施例的流程图；
图2是本发明基于胶囊机器人面向排水管的多视角图像矫正方法的较佳实施例中鱼眼图像的球面投影模型示意图；
图3是本发明基于胶囊机器人面向排水管的多视角图像矫正方法的较佳实施例中鱼眼多视角矫正模型示意图；
图4是本发明基于胶囊机器人面向排水管的多视角图像矫正方法的较佳实施例中鱼眼镜头拍摄的管道图像的示意图；
图5是本发明基于胶囊机器人面向排水管的多视角图像矫正方法的较佳实施例中鱼眼图像多视角分幅矫正图像的示意图；
图6是本发明基于胶囊机器人面向排水管的多视角图像矫正系统的较佳实施例的原理图；
图7为本发明基于胶囊机器人面向排水管的多视角图像矫正装置的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的基于胶囊机器人面向排水管的多视角图像矫正方法，如图1所示，一种基于胶囊机器人面向排水管的多视角图像矫正方法，其中，所述基于胶囊机器人面向排水管的多视角图像矫正方法包括以下步骤：
步骤S10、获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
步骤S20、将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
步骤S30、将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；
步骤S40、接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
步骤S50、根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
其中，所述预设大小的鱼眼图像可以为分辨率800*800的鱼眼图像。
本发明所使用的管道胶囊机器人采用鱼眼镜头进行市政排水管内视频拍摄，可视角度超过180°，可以充分捕捉管道内的细节；其中，鱼眼镜头由于成像原理较为特殊，其所得图像往往存在较大畸变，视觉观感欠佳，需要对图像进行矫正。而为了突显出鱼眼镜头可视角度的优越性，若指定正视角度(指图2中的顶视图)矫正，矫正图像则会遗漏约40％的原鱼眼图像细节信息，因此任意角度与多方位的鱼眼图像矫正可以更完整地复原出管道内的图像信息，更进一步提高管道视频检测的效率与质量。
本发明中胶囊机器人采用固定式鱼眼镜头，无需转动摄像头，极大简化了操作流程，并通过鱼眼视频数据矫正获得大范围多视角的管道图像，解决了以往机器人摄像头视角受限的问题。
通过本发明可以得到鱼眼镜头方向的顶视图、前视图、后视图、左视图、右视图，并将其整合在一幅屏幕内显示，极大提高了用户观感体验，同时，用户可以自行选择任意视角的视图进行矫正，增加了操作的灵活性。
具体地，鱼眼图像的矫正归属于图像的几何变换应用，几何变换包含两个基本操作:矫正图像与鱼眼图像的空间映射关系的建立和图像坐标矫正。
其中，矫正图像与鱼眼图像的空间映射关系，即矫正图像(目标图像)的某个像素点在鱼眼图像(源图像)中的空间位置，但这个映射的空间位置可能不一定为整数。
典型的灰度插值按计算复杂度从低到高依次为最近邻插值、双线性插值和二次插值，本发明为同时保证矫正图像效率与质量，选用双线性插值法(双线性插值作为数值分析中的一种插值算法，广泛应用在信号处理，数字图像和视频处理等方面)作为图像矫正中灰度插值的主要方法。
进一步地，鱼眼图像的投影模型定义了矫正图像与鱼眼图像的空间映射关系。图2为鱼眼图像的球面投影模型，其中：点s为矫正目标图像上点p到鱼眼图像上的映射点，是球面点p1到鱼眼图像平面的垂直映射；p1是鱼眼图像中心点o和点p的连线op与映射球的交点。映射关系确定后，要实现图像的矫正，还需要获取矫正图像平面的空间位置和矫正图像的大小。
矫正图像中心c与鱼眼图像中心o的距离变化等效于图像的放大与缩小，不影响最终矫正图像的视觉效果；直线oc的角度变化产生了不同视角下的矫正图像，因此可通过调整直线oc的角度来得到全方位视角的视图。因此，为了充分展现鱼眼图像的视觉信息，并减少矫正图像由于球面映射导致的图像畸变，本发明在用户可以自由调整视图视角的基础上，另外添加了以包围半球最小长方体的5个面为矫正平面的功能，分别命名为顶视图、左视图、右视图、前视图和后视图，如图3所示。
进一步地，所述图像坐标矫正具体包括：从矫正平面中的任一像素点p(j，k)开始，计算点p在鱼眼图像中对应点s的图像坐标(x，y)。
具体地，实现过程如下：
(1)确定任意视角的角度参数α角与β角：
令α角为向量与xoy平面的夹角，其取值范围[0，π/2]；
令β角为向量在xoy平面上的投影向量与X轴的逆时针正向夹角，故其取值范围为[0，2π]；
(2)确定任意视角向量
假设
则由α角与β角得到：(a，b，c)＝(cosβ，sinβ，tanα)；
当α＝90°时，(a，b，c)＝(0，0，1)；
(3)确定矫正图像的自旋方向，以确定u轴和v轴的单位向量与
假设
令垂直于空间Y轴，则
故
(4)点p在o-xyz三维坐标系中坐标(u，v，w)的计算：
由上述推到结果可知，对于任意观测角度有：
其中R为鱼眼透镜圆形图像的半径；
当用户选择5个固定视角视图时，其为任意视角的特殊情况，故
顶视图为：u＝j-R，v＝k-R，w＝R；
前视图为：u＝j-R，v＝R，w＝R-k；
后视图为：u＝j-R，v＝-R，w＝k-R；
左视图为：u＝-R，v＝k-R，w＝j-R；
右视图为：u＝R，v＝k-R，w＝R-j；
(5)点s在xoy平面中坐标(x1，y1)的计算：
(x1，y1)等效于映射球上点p1的X坐标分量和Y坐标分量，因此
由几何关系可得
(6)点s的图像坐标(x，y)的计算：
x＝x1+xc；
y＝y1+yc；
其中，(xc，yc)为坐标中心点o在鱼眼图像中的图像坐标，即为鱼眼图像圆心的图像坐标。
如图4所示，为通过管道胶囊机器人摄像头拍摄的未经矫正的管道图像，通过图像矫正后，如图5所示，为通过矫正后的多视角分幅管道图像。
本发明将鱼眼图像多视角分幅矫正技术与任意视角矫正技术应用到排水管道胶囊机器人的影像中，通过管道影像多视角分幅的方式，完整包含了机器人四周的管道图像信息，提高了管道胶囊机器人视频作业效率与质量；通过管道影像任意视角矫正的方法，代替了以往机器人摄像头通过机器转动轴调整镜头视角的问题，简化了操作流程。
进一步地，本发明还可以从管道胶囊机器人方向扩展，其他类型的管道机器人若使用鱼眼镜头记录影像，则亦可使用本发明的方案；另外，具有一定倾斜角度的多视角分幅管道影像，在这种变形方案中，多个视角并不完全垂直，但依旧可以覆盖鱼眼图像全部信息，例如将左视图倾斜一定角度后变为左上视图，再将各个视图整合在一个屏幕内分幅显示。
进一步地，如图6所示，基于上述基于胶囊机器人面向排水管的多视角图像矫正方法，本发明还相应提供了一种基于胶囊机器人面向排水管的多视角图像矫正系统，所述基于胶囊机器人面向排水管的多视角图像矫正系统包括：
数据获取模块101，用于获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
图像筛选模块102，用于将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
图像矫正模块103，用于将所述鱼眼图像进行所有方向的分幅矫正，并将所述鱼眼镜头所有方向的矫正图像整合为一张图片；
指令接收模块104，用于接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
图像保存模块105，用于根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
进一步地，如图7所示，基于上述基于胶囊机器人面向排水管的多视角图像矫正方法和系统，本发明还相应提供了一种基于胶囊机器人面向排水管的多视角图像矫正装置，所述基于胶囊机器人面向排水管的多视角图像矫正装置包括如上所述的基于胶囊机器人面向排水管的多视角图像矫正系统，还包括处理器10、存储器20及显示器30。图7仅示出了基于胶囊机器人面向排水管的多视角图像矫正装置的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述基于胶囊机器人面向排水管的多视角图像矫正装置的内部存储单元，例如基于胶囊机器人面向排水管的多视角图像矫正装置的硬盘或内存。所述存储器20在另一些实施例中也可以是所述基于胶囊机器人面向排水管的多视角图像矫正装置的外部存储设备，例如所述基于胶囊机器人面向排水管的多视角图像矫正装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所基于胶囊机器人面向排水管的多视角图像矫正装置的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述基于胶囊机器人面向排水管的多视角图像矫正装置的应用软件及各类数据，例如所述安装基于胶囊机器人面向排水管的多视角图像矫正装置的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于胶囊机器人面向排水管的多视角图像矫正程序40，该基于胶囊机器人面向排水管的多视角图像矫正程序40可被处理器10所执行，从而实现本申请中基于胶囊机器人面向排水管的多视角图像矫正方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于胶囊机器人面向排水管的多视角图像矫正方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述基于胶囊机器人面向排水管的多视角图像矫正装置的信息以及用于显示可视化的用户界面。所述基于胶囊机器人面向排水管的多视角图像矫正装置的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于胶囊机器人面向排水管的多视角图像矫正程序40时实现以下步骤：
获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；
接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
本发明还提供一种存储介质，其中，所述存储介质存储有基于胶囊机器人面向排水管的多视角图像矫正程序，所述基于胶囊机器人面向排水管的多视角图像矫正程序被处理器执行时实现所述基于胶囊机器人面向排水管的多视角图像矫正方法的步骤；具体如上所述。
综上所述，本发明提供基于胶囊机器人面向排水管的多视角图像矫正方法及系统，所述方法包括：获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。本发明采用鱼眼镜头进行管道内视频拍摄，可以多角度充分捕捉管道内的细节，通过对鱼眼镜头的任意视角进行图像矫正，可以更完整地复原出管道内的图像信息，更进一步提高管道视频检测的效率与质量。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述基于胶囊机器人面向排水管的多视角图像矫正方法包括：
获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
将所述鱼眼图像进行多个方向的分幅矫正，并将所述鱼眼镜头多个方向的矫正图像整合为一张图片；
接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
2.根据权利要求1所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述鱼眼图像的矫正包括：矫正图像与鱼眼图像的空间映射关系的建立和图像坐标矫正。
3.根据权利要求2所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述矫正图像与鱼眼图像的空间映射关系的建立包括：
定义矫正图像与鱼眼图像的空间映射关系，点s为矫正图像上点p到鱼眼图像上的映射点，为球面点p1到鱼眼图像平面的垂直映射，p1是鱼眼图像中心点o和点p的连线op与映射球的交点；
当映射关系确定后，获取矫正图像平面的空间位置和矫正图像的大小。
4.根据权利要求3所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述矫正图像与鱼眼图像的空间映射关系的建立还包括：
矫正图像中心c与鱼眼图像中心o的距离变化等效于图像的放大与缩小；直线oc的角度变化产生不同视角下的矫正图像，通过调整直线oc的角度来得到全方位视角的视图。
5.根据权利要求4所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述鱼眼图像进行多个方向的分幅矫正的视图包括：顶视图、左视图、右视图、前视图和后视图。
6.根据权利要求5所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述图像坐标矫正具体包括：
从矫正平面中的任一像素点p(j，k)开始，计算点p在鱼眼图像中对应点s的图像坐标(x，y)；
确定任意视角的角度参数α角与β角；
确定任意视角向量
确定矫正图像的自旋方向，以确定u轴和v轴的单位向量与
点p在o-xyz三维坐标系中坐标(u，v，w)的计算；
点s在xoy平面中坐标(x1，y1)的计算；
点s的图像坐标(x，y)的计算。
7.根据权利要求6所述的基于胶囊机器人面向排水管的多视角图像矫正方法，其特征在于，所述确定任意视角的角度参数α角与β角包括：
令α角为向量与xoy平面的夹角，其取值范围[0，π/2]；
令β角为向量在xoy平面上的投影向量与X轴的逆时针正向夹角，故其取值范围为[0，2π]；
所述确定任意视角向量包括：
假设
则由α角与β角得到：(a，b，c)＝(cosβ，sinβ，tanα)；
当α＝90°时，(a，b，c)＝(0，0，1)；
所述确定矫正图像的自旋方向，以确定u轴和v轴的单位向量与包括：
假设
令垂直于空间Y轴，则
故
所述点p在o-xyz三维坐标系中坐标(u，v，w)的计算包括：
由上述推到结果可知，对于任意观测角度有：
其中R为鱼眼透镜圆形图像的半径；
当用户选择5个固定视角视图时，其为任意视角的特殊情况，故
顶视图为：u＝j-R，v＝k-R，w＝R；
前视图为：u＝j-R，v＝R，w＝R-k；
后视图为：u＝j-R，v＝-R，w＝k-R；
左视图为：u＝-R，v＝k-R，w＝j-R；
右视图为：u＝R，v＝k-R，w＝R-j；
所述点s在xoy平面中坐标(x1，y1)的计算包括：
(x1，y1)等效于映射球上点p1的X坐标分量和Y坐标分量，因此由几何关系可得
所述点s的图像坐标(x，y)的计算包括：
x＝x1+xc；
y＝y1+yc；
其中，(xc，yc)为坐标中心点o在鱼眼图像中的图像坐标，即为鱼眼图像圆心的图像坐标。
8.一种基于胶囊机器人面向排水管的多视角图像矫正系统，其特征在于，所述基于胶囊机器人面向排水管的多视角图像矫正系统包括：
数据获取模块，用于获取胶囊机器人通过鱼眼镜头对市政排水管拍摄的视频数据，将所述视频数据转换为视频文件格式；
图像筛选模块，用于将所述视频文件格式进行逐帧截图，保存需要矫正的图像，并进行筛选后将其中的有效图像截取出来保存为预设大小的鱼眼图像；
图像矫正模块，用于将所述鱼眼图像进行所有方向的分幅矫正，并将所述鱼眼镜头所有方向的矫正图像整合为一张图片；
指令接收模块，用于接收用户点击鱼眼图像需要观测位置的操作指令，确定观测视角，并执行点击得到入射视角角度参数；
图像保存模块，用于根据所述入射视角角度参数矫正鱼眼图像，得到用户指定视角的矫正图像并保存。
9.一种基于胶囊机器人面向排水管的多视角图像矫正装置，其特征在于，所述基于胶囊机器人面向排水管的多视角图像矫正装置包括如权利要求8所述的基于胶囊机器人面向排水管的多视角图像矫正系统，还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于胶囊机器人面向排水管的多视角图像矫正程序，所述基于胶囊机器人面向排水管的多视角图像矫正程序被所述处理器执行时实现如权利要求1-7任一项所述的基于胶囊机器人面向排水管的多视角图像矫正方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有基于胶囊机器人面向排水管的多视角图像矫正程序，所述基于胶囊机器人面向排水管的多视角图像矫正程序被处理器执行时实现如权利要求1-7任一项所述基于胶囊机器人面向排水管的多视角图像矫正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411230.XA CN110163823B (zh) | 2019-05-17 | 2019-05-17 | 基于胶囊机器人面向排水管的多视角图像矫正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411230.XA CN110163823B (zh) | 2019-05-17 | 2019-05-17 | 基于胶囊机器人面向排水管的多视角图像矫正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110163823A true CN110163823A (zh) | 2019-08-23 |
| CN110163823B CN110163823B (zh) | 2023-05-12 |
Family
ID=67631158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910411230.XA Active CN110163823B (zh) | 2019-05-17 | 2019-05-17 | 基于胶囊机器人面向排水管的多视角图像矫正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163823B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942026A (zh) * | 2019-11-26 | 2020-03-31 | 深圳大学 | 基于深度学习的胶囊机器人排水管病害检测方法及系统 |
| CN110991929A (zh) * | 2019-12-18 | 2020-04-10 | 深圳大学 | 一种基于管道胶囊进行城市管网协同检测的方法及系统 |
| CN112308792A (zh) * | 2020-10-15 | 2021-02-02 | 深圳一块互动网络技术有限公司 | 预设参数的图像输出方法、终端、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010170514A (ja) * | 2008-12-24 | 2010-08-05 | Fujitsu General Ltd | 画像データ変換装置 |
| CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
| CN104537616A (zh) * | 2014-12-20 | 2015-04-22 | 中国科学院西安光学精密机械研究所 | 鱼眼图像畸变的校正方法 |
| CN106023070A (zh) * | 2016-06-14 | 2016-10-12 | 北京岚锋创视网络科技有限公司 | 实时全景拼接方法和装置 |
| CN106981050A (zh) * | 2016-01-18 | 2017-07-25 | 深圳岚锋创视网络科技有限公司 | 对鱼眼镜头拍摄的图像矫正的方法和装置 |
| CN107504319A (zh) * | 2017-07-20 | 2017-12-22 | 西安理工大学 | 一种螺旋式驱动管道机器人 |
| CN107845056A (zh) * | 2016-09-21 | 2018-03-27 | 西安英诺视通信息技术有限公司 | 基于柱面模型的鱼眼图像全景生成方法 |
| CN108413180A (zh) * | 2018-03-22 | 2018-08-17 | 中国水利水电科学研究院 | 埋地输水管道检测装置及方法 |
| CN108830810A (zh) * | 2018-06-07 | 2018-11-16 | 辽宁工业大学 | 一种基于正交投影的鱼眼镜头图像畸变矫正方法 |
-
2019
- 2019-05-17 CN CN201910411230.XA patent/CN110163823B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010170514A (ja) * | 2008-12-24 | 2010-08-05 | Fujitsu General Ltd | 画像データ変換装置 |
| CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
| CN104537616A (zh) * | 2014-12-20 | 2015-04-22 | 中国科学院西安光学精密机械研究所 | 鱼眼图像畸变的校正方法 |
| CN106981050A (zh) * | 2016-01-18 | 2017-07-25 | 深圳岚锋创视网络科技有限公司 | 对鱼眼镜头拍摄的图像矫正的方法和装置 |
| CN106023070A (zh) * | 2016-06-14 | 2016-10-12 | 北京岚锋创视网络科技有限公司 | 实时全景拼接方法和装置 |
| CN107845056A (zh) * | 2016-09-21 | 2018-03-27 | 西安英诺视通信息技术有限公司 | 基于柱面模型的鱼眼图像全景生成方法 |
| CN107504319A (zh) * | 2017-07-20 | 2017-12-22 | 西安理工大学 | 一种螺旋式驱动管道机器人 |
| CN108413180A (zh) * | 2018-03-22 | 2018-08-17 | 中国水利水电科学研究院 | 埋地输水管道检测装置及方法 |
| CN108830810A (zh) * | 2018-06-07 | 2018-11-16 | 辽宁工业大学 | 一种基于正交投影的鱼眼镜头图像畸变矫正方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吕耀文等: ""鱼眼视频图像畸变的实时校正方法"", 《吉林大学学报（理学版）》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942026A (zh) * | 2019-11-26 | 2020-03-31 | 深圳大学 | 基于深度学习的胶囊机器人排水管病害检测方法及系统 |
| CN110942026B (zh) * | 2019-11-26 | 2023-12-19 | 深圳大学 | 基于深度学习的胶囊机器人排水管病害检测方法及系统 |
| CN110991929A (zh) * | 2019-12-18 | 2020-04-10 | 深圳大学 | 一种基于管道胶囊进行城市管网协同检测的方法及系统 |
| CN110991929B (zh) * | 2019-12-18 | 2020-12-08 | 深圳大学 | 一种基于管道胶囊进行城市管网协同检测的方法及系统 |
| CN112308792A (zh) * | 2020-10-15 | 2021-02-02 | 深圳一块互动网络技术有限公司 | 预设参数的图像输出方法、终端、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110163823B (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10488198B2 (en) | Surveying system | |
| Schöps et al. | Large-scale outdoor 3D reconstruction on a mobile device | |
| CA3019163C (en) | Generating intermediate views using optical flow | |
| US20170363949A1 (en) | Multi-tier camera rig for stereoscopic image capture | |
| KR101265667B1 (ko) | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 | |
| JP5357902B2 (ja) | 撮像装置向き検出装置および当該装置を備える移動体 | |
| US9250510B2 (en) | Panoramic stereo catadioptric imaging | |
| EP3410388A2 (en) | Capture and render of panoramic virtual reality content | |
| CN103971375B (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
| CN103852243B (zh) | 检测广角镜头的光学中心的方法以及光学中心检测装置 | |
| CN110163823A (zh) | 基于胶囊机器人面向排水管的多视角图像矫正方法及系统 | |
| CN106485753B (zh) | 用于无人驾驶汽车的摄像机标定的方法和装置 | |
| KR100914211B1 (ko) | 왜곡 영상 보정 장치 및 방법 | |
| CN104361603B (zh) | 枪机图像目标标定方法及其系统 | |
| JP2017021328A (ja) | カメラの空間特性を決定する方法及びシステム | |
| CN106846409A (zh) | 鱼眼相机的标定方法及装置 | |
| CN115841487B (zh) | 一种沿输电线路的隐患定位方法及终端 | |
| CN107633489A (zh) | 鱼眼镜头圆心重提取映射法畸变矫正方法 | |
| GB2555908A (en) | Multi-tier camera rig for stereoscopic image capture | |
| CN107563959A (zh) | 全景图生成方法及装置 | |
| CN107845056A (zh) | 基于柱面模型的鱼眼图像全景生成方法 | |
| CN110631556A (zh) | 一种异构立体视觉系统的测距方法 | |
| CN115601501A (zh) | 基于视频融合的特高压换流站的智能巡检系统及巡检方法 | |
| 이희석 | Simultaneous 3D Reconstruction, Deblurring, and Super-resolution using a Single Moving Camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220208 Address after: 518000 301-l016, block 4, manjinghua Yiluan building, No. 230, Xixiang Avenue, Longteng community, Xixiang street, Bao'an District, Shenzhen, Guangdong Applicant after: Shenzhen Zhiyuan space Innovation Technology Co.,Ltd. Address before: 518060 No. 3688 Nanhai Road, Shenzhen, Guangdong, Nanshan District Applicant before: SHENZHEN University |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |