CN108279677B - 基于双目视觉传感器的轨道机器人检测方法 - Google Patents
基于双目视觉传感器的轨道机器人检测方法 Download PDFInfo
- Publication number
- CN108279677B CN108279677B CN201810130052.9A CN201810130052A CN108279677B CN 108279677 B CN108279677 B CN 108279677B CN 201810130052 A CN201810130052 A CN 201810130052A CN 108279677 B CN108279677 B CN 108279677B
- Authority
- CN
- China
- Prior art keywords
- binocular vision
- coordinate system
- vision sensor
- infrared binocular
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 59
- 238000013519 translation Methods 0.000 claims description 29
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003750 conditioning effect Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 abstract description 11
- 238000004891 communication Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
基于双目视觉传感器的轨道机器人检测方法,本发明涉及轨道机器人检测方法。本发明的目的是为了解决现有隧道道路路程长,封闭性强,构造物多,通讯不便,一旦出现突发事故,将对巡检人员的人身安全造成极大的威胁的问题。基于双目视觉传感器的轨道机器人检测方法过程为:步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统;步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标。本发明用于双目视觉传感器的轨道机器人检测领域。
Description
技术领域
本发明涉及轨道机器人检测方法。
背景技术
随着社会经济技术的发展,交通发展四通八达,越来越多的交通轨道涉及到了隧道。隧道的搭建是现代化大型城市交通发展的特色和发展方向,地铁,公路都是隧道化交通的实例。巡检是确保地下隧道安全稳定运行的主要手段。目前传统的交通隧道巡检方法主要依靠人工及少量环境监控器实现。但是由于隧道道路路程长,封闭性强,构造物多,通讯不便,一旦出现突发事故,将对巡检人员的人身安全造成极大的威胁。
发明内容
本发明的目的是为了解决现有隧道道路路程长,封闭性强,构造物多,通讯不便,一旦出现突发事故,将对巡检人员的人身安全造成极大的威胁的问题,而提出基于双目视觉传感器的轨道机器人检测方法。
基于双目视觉传感器的轨道机器人检测方法具体过程为:
步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统,具体过程为:
两台红外双目视觉传感器对隧道内部图像进行采样,得到同一场景下同时在两种不同角度拍摄的视频图像;
采用图像处理法对视频图像中的目标特征进行识别,得到目标特征在两幅图像中的视差;
红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号,位于红外双目视觉传感器中的信号调理单元将电信号采样,量化成数字,图像重构形成数字图像;
数字图像以m*n维矩阵的形式储存,数字图像矩阵中的每一个元素为数字图像的一个像素;
红外传感器将三维空间场景中的每一点构建成二维图像,采用数学公式对二维图像进行构建,实现不同坐标系之间的转换,构成红外双目立体视觉系统;
步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标。
本发明的有益效果为:
本发明使用机器人代替人类进行隧道巡检,相对于人工巡检而言,隧道机器人具有以下优势:本发明使用机器人可以全天候运行,不会出现疲劳;对恶劣环境的适应性更强;即使在巡检过程中发生危险,也无需担心人身伤害事故,不会对巡检人员的人身安全造成威胁;此外,通常人工巡检方式所能获得的所有信息,机器人皆可以在隧道内检测,通过通信方式反馈给控制站巡检人员获得。因此隧道机器人可以代替人工方式,成为一种有效的隧道施工,检修手段。本发明机器人能够准确的识别在隧道环境下的事故位置,在恶劣环境下进行定位,提高了人工寻找故障点的效率和安全性。并且可以自主对事故点进行处理,预防事故的蔓延。增加隧道监巡检系统的智能性与安全性,本发明采用通过基于双目视觉传感器的轨道机器人检测方法预计在典型应用场景中自主避障错误率低于5%,提高识别精度。
附图说明
图1为本发明双目视觉传感器的指示模型示意图;
图2为本发明红外双目视觉传感器成像模型示意图。
具体实施方式
具体实施方式一:本实施方式的基于双目视觉传感器的轨道机器人检测方法具体过程为:
步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统,具体过程为:
两台红外双目视觉传感器对隧道内部图像进行采样,得到同一场景下同时在两种不同角度拍摄的视频图像;
采用图像处理法对视频图像中的目标特征进行识别,得到目标特征在两幅图像中的视差;(对比两张针对相同物体不同角度的拍摄图像可以获得视差。不同角度是指双目处于不同角度,分别对相同物体进行拍摄。视差就是两张图片中不同的地方);
红外双目定位系统作为隧道检测定位机器人的识别系统,能够在隧道内出现异常情况时,及时发现异常情况发生位置,准确定位机器人的操作目标。利用双目立体定位算法准确获得机器人目标位置,将目标位置信息反馈给机器人,再对目标进行准确动作。
红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号,位于红外双目视觉传感器中的信号调理单元将电信号采样,量化成数字,图像重构形成数字图像;
红外双目视觉传感器焦平面为焦距点所在的平面,过第一焦点(前焦点或物方焦点)且垂直于系统主光轴的平面称第一焦平面,又称前焦面或物方焦面。
数字图像在计算机中以m*n维矩阵的形式储存,数字图像矩阵中的每一个元素为数字图像的一个像素;m、n为矩阵的维度,取值为正整数;
红外双目视觉传感器将三维空间场景中的每一点构建成二维图像,采用数学公式对二维图像进行构建,实现不同坐标系之间的转换,构成红外双目立体视觉系统;
步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标。
具体实施方式二:本实施方式与具体实施方式一不同的是:所述步骤一中红外双目视觉传感器将三维空间场景中的每一点构建成二维图像,采用数学公式对二维图像进行构建,实现不同坐标系之间的转换,构成红外双目立体视觉系统;具体过程为:
1)、像素平面坐标系:
建立像素平面坐标系O-UV;
所述O表示像素平面坐标系原点,U为数字图像中像素点位置所对应的长的分辨率的值,上限等于红外双目视觉传感器分辨率的长;V为数字图像中像素点位置所对应的宽的分辨率的值,上限等于红外双目视觉传感器分辨率的宽;
将数字图像像素在像素平面坐标系中表示为(u,v);
图中的O-UV是像素平面坐标系;像素平面坐标系是在数字图形处理中十分常见和广泛应用的坐标系。
2)、成像平面坐标系:
成像平面坐标系与像素平面坐标系截然不同,像素平面坐标系中的变化值意味着单个像素在数字化图形中所在的位置。与之不同的是,成像平面坐标系使用的是像素点在成像器件上的长度坐标。成像平面坐标系使用的是二维坐标系,横坐标与纵坐标的取值范围表示成像靶面的大小尺寸。在图1中,o1-xy被称为成像平面坐标系。
建立成像平面坐标系O1-XY;
所述X表示成像平面坐标系x轴,Y表示成像平面坐标系y轴;O1点表示数字图像的主点(摄影中心与像平面的垂线与像平面的交点,称为像主点),由红外双目视觉传感器的光轴和数字图像平面交叉而成;
将数字图像像素在成像平面坐标系成像靶面(靶面指的是在相机镜头上的平面)中表示为(x,y);
成像平面坐标系与像素平面坐标系之间的关系式表示如下:
其中,数字图像的主点O1在像素平面坐标系中的焦平面阵列几何中心,表示为(u0,v0),dx,dy分别表示数字图像像素在成像平面坐标系中的x轴和y轴的位置;
3)、红外双目视觉传感器坐标系:
红外视觉传感器所在的位置设定为原点,用原点来描述投影到视觉传感器成像平面上的空间坐标点;在图1中,oc-XcYcZc是红外视觉传感器所在的坐标系;
建立红外双目视觉传感器坐标系oc-XcYcZc;
所述oc表示红外双目视觉传感器的光心;Xc表示红外双目视觉传感器坐标系的x轴,平行于成像平面坐标系的x轴;Yc表示红外双目视觉传感器坐标系的y轴,平行于成像平面坐标系的y轴;Zc表示红外视觉传感器的光轴主轴;
将图像像素在红外双目视觉传感器坐标系中表示为(xc,yc,zc);
红外双目视觉传感器坐标系与像素平面坐标系之间的关系式表示如下:
其中,f为红外双目视觉传感器的焦距;λ为两个坐标系之间的倾斜因子,表示红外双目视觉传感器坐标系与像素平面坐标系之间不正交的角度;
4)、世界坐标系:
将数字二维图像和空间三维中的点建立对应的关系;确立视觉传感器在世界坐标系下的位姿与方向。针对视觉传感器建一个世界坐标系,该坐标系以视觉传感器为基础。图1中,
建立世界坐标系ow-XwYwZw;
所述ow为世界坐标系圆心,Xw为世界坐标系的x轴,Yw为世界坐标系的y轴,Zw为世界坐标系的z轴;
将图像像素在世界坐标系中表示为(xw,yw,zw);
设定世界坐标系ow-XwYwZw为双目视觉系统的理想成像模型所在的坐标系;
红外双目视觉传感器在世界坐标系中的位姿和方向用世界坐标系的旋转矩阵R和平移矩阵t表示;
三维空间中任意一个点Pt在红外双目视觉传感器坐标系中表示为(xc,yc,zc),在世界坐标系下,则表示成为(xw,yw,zw);
世界坐标系与红外双目视觉传感器坐标系之间的转换关系式如下:
其中,R表示旋转矩阵,tab表示平移矩阵;
像素平面坐标系与世界坐标系之间的转换关系式如下:
其中K为红外双目视觉传感器的内参矩阵;
红外双目视觉传感器的内参矩阵K包含了传感器的镜头焦距,像素尺寸,主点位置等重要参数;将[R t]定义为红外双目视觉传感器的外参矩阵,外参矩阵是红外双目视觉传感器转换到世界坐标系的转换因子。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是:所述旋转矩阵R为3*3阶正交旋转矩阵;平移矩阵tab为1*3阶平移矩阵。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是:所述步骤二中根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标;具体过程为:
双目视觉原理:
双目视觉识别是一项从数字图像中提取三维空间坐标信息的技术。和生物视觉原理类似,计算机视觉技术通过对比在两个不同的拍摄点对于同一场景所捕获到的信息,研究目标物体在两幅图像中的相对位置,进而提取出目标在三维场景中的位置信息。双目成像模型可以看成是由两个单目成像模型组合而成。
红外双目视觉模型的空间坐标关系如图2所示。
将两个红外双目视觉传感器编号为a和b,在两个红外双目视觉传感器所放置的位置分别建立红外双目视觉传感器坐标系oca-XcaYcaZca和ocb-XcbYcbZcb;在两个红外双目视觉传感器所放置的位置分别建立成像平面坐标系O1a-XaYa和O1b-XbYb;在两个红外双目视觉传感器所放置的位置分别建立像素平面坐标系Oa-UaVa和Ob-UbVb;P和P′是三维空间中的任意两点;
空间点P(xw,yw,zw)(世界坐标系ow-XwYwZw上的点)投影到红外双目视觉传感器a像素平面坐标系中,双目视觉系统的理想成像模型表达式如下:
这个公式求出空间点P(xw,yw,zw);公式中除xw,yw,zw都为已知;
其中,fa为红外双目视觉传感器a的焦距;(u0a,v0a)为红外双目视觉传感器a的光心;Zac是坐标计算式中的比例因子;ua表示像素点在红外双目视觉传感器a中对应的像素点长,va表示像素点在红外双目视觉传感器a中对应的像素点宽,r1a、r2a、r3a、r4a、r5a、r6a、r7a、r8a、r9a表示在红外双目视觉传感器坐标系oca-XcaYcaZca下的旋转参数,txa表示像素平面坐标系Oa-UaVa的u轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数,tya表示像素平面坐标系Oa-UaVa的v轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数,tza表示像素平面坐标系Oa-UaVa的i轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数,Ma为红外双目视觉传感器a的投影矩阵;像素平面坐标系Ob-UbVb的i轴为垂直于像素平面坐标系Ob-UbVb的轴;
将空间点P(xw,yw,zw)投射到红外双目视觉传感器b像素平面的坐标系中,双目视觉系统的理想成像模型表达式如下:
这个公式求出空间点P(xw,yw,zw);公式中除xw,yw,zw都为已知;
其中,fb为红外双目视觉传感器b的焦距;(u0b,v0b)为红外双目视觉传感器b的光心,Zbc是坐标计算式中的比例因子;ub表示像素点在红外双目视觉传感器b中对应的像素点长,vb表示像素点在红外双目视觉传感器b中对应的像素点宽,r1b、r2b、r3b、r4b、r5b、r6b、r7b、r8b、r9b表示在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的旋转参数,txb表示像素平面坐标系Ob-UbVb的u轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数,tyb表示像素平面坐标系Ob-UbVb的v轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数,tzb表示像素平面坐标系Ob-UbVb的i轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数,Mb为红外双目视觉传感器b的投影矩阵;
将以上两个公式统称为双目视觉系统的理想成像模型,Ma作为红外双目视觉传感器A的投影矩阵,Mb是红外双目视觉传感器B的投影矩阵。相机内参矩阵与外参矩阵乘积可以得到投影矩阵。假设双目视觉传感器系统内部参数矩阵,有效焦距,光心坐标恒定不变。双目视觉传感器之间的相对位置关系也保持不变。
计算两台红外双目视觉传感器之间的相对位置关系,通过a,b两台红外双目视觉传感器之间的旋转平移矩阵Mab实现两台红外双目视觉传感器之间的转换,旋转平移矩阵Mab包括旋转矩阵和平移矩阵:
Mab=[Rab tab]
其中,Rab表示a,b两台红外双目视觉传感器之间的旋转矩阵,tab表示A,B两台红外双目视觉传感器之间的平移矩阵;
红外双目视觉传感器a和红外双目视觉传感器b之间的转换关系表达式为:
其中,Xb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的X坐标,Yb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的Y坐标,Zb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的Z坐标,
Xa表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的X坐标,Ya表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的Y坐标,Za表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的Z坐标;
在进行实际的双目视觉测定时,指定红外双目视觉传感器a作为全局坐标系,那么空间点P(xw,yw,zw)投射到红外双目视觉传感器a坐标系中的理想成像模型表示为:
这个公式求出空间点(Xa,Ya,Za);公式中除Xa、Ya、Za都为已知;
其中,Ka为红外双目视觉传感器a的内部参数矩阵,Xg=(Xa Ya Za)T为空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的坐标(Xg为待测量值);T为转置;
结合a,b矩阵之间的旋转平移矩阵Mab,将空间点P(xw,yw,zw)投射到红外双目视觉传感器b坐标系中的理想成像模型表示为:
这个公式求出空间点(Xa,Ya,Za);公式中除Xa、Ya、Za都为已知;
其中,Kb表示红外视觉传感器B的内部参数矩阵;
根据视差和四个理想成像模型得到数字图像的三维空间位置坐标Pa和Pb;
Pa=[ua va 1]T和Pb=[ub vb 1]T分别是A,B两台红外双目视觉传感器坐标系对应于三维空间同一投影点的像素坐标值。Pa,Pb通过双目立体匹配确定;Zac,Zbc表示两个投影变换比例因子的数值。
完成以上所有参量的确定就可以实现红外双目视觉传感器从数字图像恢复到三维场景信息的目的,本发明所描述的红外双目视觉传感器定位系统基于此方法实现定位。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是:所述红外双目视觉传感器a的内部参数矩阵Ka为红外双目视觉传感器的焦距和红外双目视觉传感器的光心坐标。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六:本实施方式与具体实施方式一至五之一不同的是:所述红外双目视觉传感器a的内部参数矩阵Ka、红外视觉传感器b的内部参数矩阵Kb和旋转平移矩阵Mab的参数矩阵通过相机标定获得。
其它步骤及参数与具体实施方式一至五之一相同。
Claims (4)
1.基于双目视觉传感器的轨道机器人检测方法,其特征在于:所述方法具体过程为:
步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统,具体过程为:
两台红外双目视觉传感器对隧道内部图像进行采样,得到同一场景下同时在两种不同角度拍摄的视频图像;采用图像处理法对视频图像中的目标特征进行识别,得到目标特征在两幅图像中的视差;
视差是指两幅图像中不同的地方;
红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号,位于红外双目视觉传感器中的信号调理单元将电信号采样,量化成数字,图像重构形成数字图像;数字图像以m*n维矩阵的形式储存,数字图像矩阵中的每一个元素为数字图像的一个像素;
红外双目视觉传感器将三维空间场景中的每一点构建成二维图像,采用数学公式对二维图像进行构建,实现不同坐标系之间的转换,构成红外双目立体视觉系统;
所述红外双目视觉传感器将三维空间场景中的每一点构建成二维图像,采用数学公式对二维图像进行构建,实现不同坐标系之间的转换,构成红外双目立体视觉系统;具体过程为:
1)、建立像素平面坐标系O-UV;
所述O表示像素平面坐标系原点,U为数字图像中像素点位置所对应的长的分辨率的值,上限等于红外双目视觉传感器分辨率的长;V为数字图像中像素点位置所对应的宽的分辨率的值,上限等于红外双目视觉传感器分辨率的宽;
将数字图像像素在像素平面坐标系中表示为(u,v);
2)、建立成像平面坐标系O1-XY;
所述X表示成像平面坐标系x轴,Y表示成像平面坐标系y轴;O1点表示数字图像的主点,由红外双目视觉传感器的光轴和数字图像平面交叉而成;
将数字图像像素在成像平面坐标系中表示为(x,y);
成像平面坐标系与像素平面坐标系之间的关系式表示如下:
其中,数字图像的主点O1在像素平面坐标系中的焦平面阵列几何中心,表示为(u0,v0),dx,dy分别表示数字图像像素在成像平面坐标系中的x轴和y轴的位置;
3)、建立红外双目视觉传感器坐标系oc-XcYcZc;
所述oc表示红外双目视觉传感器的光心;Xc表示红外双目视觉传感器坐标系的x轴,平行于成像平面坐标系的x轴;Yc表示红外双目视觉传感器坐标系的y轴,平行于成像平面坐标系的y轴;Zc表示红外视觉传感器的光轴主轴;
将图像像素在红外双目视觉传感器坐标系中表示为(xc,yc,zc);
红外双目视觉传感器坐标系与像素平面坐标系之间的关系式表示如下:
其中,f为红外双目视觉传感器的焦距;λ为两个坐标系之间的倾斜因子,表示红外双目视觉传感器坐标系与像素平面坐标系之间不正交的角度;
4)、建立世界坐标系ow-XwYwZw;
所述ow为世界坐标系圆心,Xw为世界坐标系的x轴,Yw为世界坐标系的y轴,Zw为世界坐标系的z轴;
将图像像素在世界坐标系中表示为(xw,yw,zw);
设定世界坐标系ow-XwYwZw为双目视觉系统的理想成像模型所在的坐标系;
世界坐标系与红外双目视觉传感器坐标系之间的转换关系式如下:
其中,R表示旋转矩阵,tab表示平移矩阵;
像素平面坐标系与世界坐标系之间的转换关系式如下:
其中K为红外双目视觉传感器的内参矩阵;
步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标;
所述步骤二中根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标;具体过程为:
将两个红外双目视觉传感器编号为a和b,在两个红外双目视觉传感器所放置的位置分别建立红外双目视觉传感器坐标系oca-XcaYcaZca和ocb-XcbYcbZcb;在两个红外双目视觉传感器所放置的位置分别建立成像平面坐标系O1a-XaYa和O1b-XbYb;在两个红外双目视觉传感器所放置的位置分别建立像素平面坐标系Oa-UaVa和Ob-UbVb;P和P′是三维空间中的任意两点;
空间点P(xw,yw,zw)投影到红外双目视觉传感器a像素平面坐标系中,双目视觉系统的理想成像模型表达式如下:
其中,fa为红外双目视觉传感器a的焦距;(u0a,v0a)为红外双目视觉传感器a的光心;Zac是坐标计算式中的比例因子;ua表示像素点在红外双目视觉传感器a中对应的像素点长,va表示像素点在红外双目视觉传感器a中对应的像素点宽,r1a、r2a、r3a、r4a、r5a、r6a、r7a、r8a、r9a表示在红外双目视觉传感器坐标系oca-XcaYcaZca下的旋转参数,txa表示像素平面坐标系Oa-UaVa的u轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数,tya表示像素平面坐标系Oa-UaVa的v轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数,tza表示像素平面坐标系Oa-UaVa的i轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数,Ma为红外双目视觉传感器a的投影矩阵;
将空间点P(xw,yw,zw)投射到红外双目视觉传感器b像素平面的坐标系中,双目视觉系统的理想成像模型表达式如下:
其中,fb为红外双目视觉传感器b的焦距;(u0b,v0b)为红外双目视觉传感器b的光心,Zbc是坐标计算式中的比例因子;ub表示像素点在红外双目视觉传感器b中对应的像素点长,vb表示像素点在红外双目视觉传感器b中对应的像素点宽,r1b、r2b、r3b、r4b、r5b、r6b、r7b、r8b、r9b表示在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的旋转参数,txb表示像素平面坐标系Ob-UbVb的u轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数,tyb表示像素平面坐标系Ob-UbVb的v轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数,tzb表示像素平面坐标系Ob-UbVb的i轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数,Mb为红外双目视觉传感器b的投影矩阵;像素平面坐标系Ob-UbVb的i轴为垂直于像素平面坐标系Ob-UbVb的轴;
计算两台红外双目视觉传感器之间的相对位置关系,通过a,b两台红外双目视觉传感器之间的旋转平移矩阵Mab实现两台红外双目视觉传感器之间的转换,旋转平移矩阵Mab包括旋转矩阵和平移矩阵:
Mab=[Rab tab]
其中,Rab表示a,b两台红外双目视觉传感器之间的旋转矩阵,tab表示A,B两台红外双目视觉传感器之间的平移矩阵;
红外双目视觉传感器a和红外双目视觉传感器b之间的转换关系表达式为:
其中,Xb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的X坐标,Yb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的Y坐标,Zb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的Z坐标,Xa表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的X坐标,Ya表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的Y坐标,Za表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的Z坐标;
指定红外双目视觉传感器a作为全局坐标系,那么空间点P(xw,yw,zw)投射到红外双目视觉传感器a坐标系中的理想成像模型表示为:
其中,Ka为红外双目视觉传感器a的内部参数矩阵,Xg=(Xa Ya Za)T为空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的坐标;T为转置;
结合旋转平移矩阵Mab,将空间点P(xw,yw,zw)投射到红外双目视觉传感器b坐标系中的理想成像模型表示为:
其中,Kb表示红外视觉传感器b的内部参数矩阵;
根据视差和四个理想成像模型得到数字图像的三维空间位置坐标Pa和Pb;
Pa=[ua va 1]T和Pb=[ub vb 1]T分别是A,B两台红外双目视觉传感器坐标系对应于三维空间同一投影点的像素坐标值。
2.根据权利要求1所述基于双目视觉传感器的轨道机器人检测方法,其特征在于:所述旋转矩阵R为3*3阶正交旋转矩阵;平移矩阵tab为1*3阶平移矩阵。
3.根据权利要求2所述基于双目视觉传感器的轨道机器人检测方法,其特征在于:所述红外双目视觉传感器a的内部参数矩阵Ka为红外双目视觉传感器的焦距和红外双目视觉传感器的光心坐标。
4.根据权利要求3所述基于双目视觉传感器的轨道机器人检测方法,其特征在于:所述红外双目视觉传感器a的内部参数矩阵Ka、红外视觉传感器b的内部参数矩阵Kb和旋转平移矩阵Mab的参数矩阵通过相机标定获得。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810130052.9A CN108279677B (zh) | 2018-02-08 | 2018-02-08 | 基于双目视觉传感器的轨道机器人检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810130052.9A CN108279677B (zh) | 2018-02-08 | 2018-02-08 | 基于双目视觉传感器的轨道机器人检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108279677A CN108279677A (zh) | 2018-07-13 |
CN108279677B true CN108279677B (zh) | 2022-05-17 |
Family
ID=62808151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810130052.9A Active CN108279677B (zh) | 2018-02-08 | 2018-02-08 | 基于双目视觉传感器的轨道机器人检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108279677B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344882B (zh) * | 2018-09-12 | 2021-05-25 | 浙江科技学院 | 基于卷积神经网络的机器人控制目标位姿识别方法 |
CN110672212A (zh) * | 2019-09-19 | 2020-01-10 | 珠海格力电器股份有限公司 | 一种空间三维温度场检测方法、计算机可读存储介质及智能家电 |
CN110820447A (zh) * | 2019-11-22 | 2020-02-21 | 武汉纵横天地空间信息技术有限公司 | 一种基于双目视觉的轨道几何状态测量系统及其测量方法 |
CN110989664A (zh) * | 2019-11-29 | 2020-04-10 | 北京特种机械研究所 | 一种基于多目视觉的无人机夜间植保方法 |
CN115880687A (zh) * | 2023-02-09 | 2023-03-31 | 北京东方瑞丰航空技术有限公司 | 目标物体的红外特征自动生成方法、装置、设备和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400392A (zh) * | 2013-08-19 | 2013-11-20 | 山东鲁能智能技术有限公司 | 基于变电站巡检机器人的双目视觉导航系统及方法 |
CN103926927A (zh) * | 2014-05-05 | 2014-07-16 | 重庆大学 | 一种室内移动机器人双目视觉定位与三维建图方法 |
CN104122891A (zh) * | 2013-04-24 | 2014-10-29 | 山东轻工业学院 | 一种城市地下轨道检测的智能机器人巡检系统 |
CN106610666A (zh) * | 2015-10-22 | 2017-05-03 | 沈阳新松机器人自动化股份有限公司 | 一种基于双目视觉的助理机器人及其控制方法 |
-
2018
- 2018-02-08 CN CN201810130052.9A patent/CN108279677B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104122891A (zh) * | 2013-04-24 | 2014-10-29 | 山东轻工业学院 | 一种城市地下轨道检测的智能机器人巡检系统 |
CN103400392A (zh) * | 2013-08-19 | 2013-11-20 | 山东鲁能智能技术有限公司 | 基于变电站巡检机器人的双目视觉导航系统及方法 |
CN103926927A (zh) * | 2014-05-05 | 2014-07-16 | 重庆大学 | 一种室内移动机器人双目视觉定位与三维建图方法 |
CN106610666A (zh) * | 2015-10-22 | 2017-05-03 | 沈阳新松机器人自动化股份有限公司 | 一种基于双目视觉的助理机器人及其控制方法 |
Non-Patent Citations (4)
Title |
---|
《双目立体视觉图像匹配与目标定位方法研究》;王莹;《万方学位论文》;20140331;第1-72页 * |
《双目立体视觉测距系统的研究》;刘建坡;《万方学位论文》;20101229;第1-16页 * |
《基于双目视差的测距系统研究与实现》;白爽;《万方学位论文》;20160623;第1-42页 * |
《基于双目视觉的图像三维重建》;马林;《万方学位论文》;20081229;第1-57页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108279677A (zh) | 2018-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108279677B (zh) | 基于双目视觉传感器的轨道机器人检测方法 | |
CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
US10909395B2 (en) | Object detection apparatus | |
CN109035309A (zh) | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 | |
CN108733039A (zh) | 一种机器人室内导航定位的方法与装置 | |
CN106444837A (zh) | 一种无人机避障方法及系统 | |
WO2018046617A1 (en) | Method and system for calibrating multiple cameras | |
CN111260773A (zh) | 小障碍物的三维重建方法、检测方法及检测系统 | |
CN109345587B (zh) | 一种基于全景与单目视觉的混合视觉定位方法 | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
CN103852060A (zh) | 一种基于单目视觉的可见光图像测距方法 | |
CN110136047B (zh) | 一种车载单目图像中静止目标三维信息获取方法 | |
CN107885224A (zh) | 基于三目立体视觉的无人机避障方法 | |
CN110595433A (zh) | 一种基于双目视觉的输电杆塔倾斜的测量方法 | |
US9373175B2 (en) | Apparatus for estimating of vehicle movement using stereo matching | |
CN111260715A (zh) | 深度图的处理方法、小障碍物检测方法及系统 | |
Horanyi et al. | Generalized pose estimation from line correspondences with known vertical direction | |
Knyaz et al. | Joint geometric calibration of color and thermal cameras for synchronized multimodal dataset creating | |
KR101597163B1 (ko) | 스테레오 카메라 교정 방법 및 장치 | |
Wang et al. | Corners positioning for binocular ultra-wide angle long-wave infrared camera calibration | |
CN111145260A (zh) | 一种基于车载的双目标定方法 | |
CN103260008A (zh) | 一种影像位置到实际位置的射影转换方法 | |
CN110992291A (zh) | 基于三目视觉的测距方法、系统及存储介质 | |
WO2011054040A1 (en) | System and method for integration of spectral and 3-dimensional imaging data | |
CN112860946B (zh) | 一种视频图像信息转换为地理信息的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |