CN106296698B - 一种基于立体视觉的闪电三维定位方法 - Google Patents
一种基于立体视觉的闪电三维定位方法 Download PDFInfo
- Publication number
- CN106296698B CN106296698B CN201610668514.3A CN201610668514A CN106296698B CN 106296698 B CN106296698 B CN 106296698B CN 201610668514 A CN201610668514 A CN 201610668514A CN 106296698 B CN106296698 B CN 106296698B
- Authority
- CN
- China
- Prior art keywords
- lightning
- image
- point
- pixel
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000007670 refining Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000004807 localization Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 6
- 238000011161 development Methods 0.000 abstract description 4
- 230000018109 developmental process Effects 0.000 abstract description 4
- 239000000523 sample Substances 0.000 abstract description 3
- 210000003205 muscle Anatomy 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30192—Weather; Meteorology
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出了一种基于立体视觉的闪电三维定位方法，适用于闪电的空间重建和三维定位，涉及计算机视觉和航空航天等领域。该方法采用立体视觉技术对空间中的闪电进行三维定位，根据闪电的二维图像直观展示闪电的发展过程，以便于进一步探究和预警闪电活动。该方案包括：A、搭建双目立体视觉硬件系统，标定摄像机相关参数；B、采集闪电图像并进行预处理；C、分割提取闪电骨架线；D、匹配左右图像闪电序列点；E、利用双目立体视觉测量模型计算闪电的空间三维坐标。
Description
技术领域
本发明提出了一种基于立体视觉的闪电三维定位方法，适用于闪电的空间重建和三维定位，涉及计算机视觉和航空航天等领域。
背景技术
闪电是大气中瞬时的强放电过程，根据是否接地可分为地闪和云闪两种。闪电是我国最严重的自然灾害之一，由于其具有大电流、强电磁辐射等特性，常常引起森林火灾、供电中断、通讯故障、设备破坏等事故，尤其影响空中飞行器的安全。据保守估计，我国每年因雷灾造成的人员伤亡上千人，直接经济损失超过数亿元，而由此造成的间接经济损失和影响难以估计，雷电灾害已经波及到各行各业和生活的方方面面。
闪电定位数据是对将要发生闪电活动的区域进行预警以提前采取应对措施、减少闪电灾害损失的重要基础。另外，闪电定位数据也是进行灾害事故成因调查的重要依据。目前闪电定位主要采用VLF和LF两种方法，这两种方法难以直接观测闪电的发生和发展过程。
发明内容
本发明所要解决的技术问题是：提出一种基于立体视觉的闪电三维定位方法，采用立体视觉技术对空间中的闪电进行三维定位，根据闪电的二维图像直观展示闪电的发展过程，以便于进一步探究和预警闪电活动。
本发明解决上述技术问题所采用的方案是：
一种基于立体视觉的闪电三维定位方法，包括以下步骤：
A、搭建双目立体视觉硬件系统，标定摄像机相关参数；
B、采集闪电图像并进行预处理；
C、分割提取闪电骨架线；
D、匹配左右图像闪电序列点；
E、利用双目立体视觉测量模型计算闪电的空间三维坐标。
作为进一步优化，步骤A中所述搭建双目立体视觉硬件系统，标定摄像机相关参数，具体包括：
A1、搭建双目立体视觉硬件系统：将两台相同型号的摄像机以一定的基线距离固定在光学平台上，保证闪电在两台摄像机成像范围之内；
A2、拍摄标定板图像组：将棋盘格标定板放置于双目平台前方，使标定板在两个相机中完整成像；通过旋转、平移标定板方式拍摄多组不同姿态下的标定板图像；
A3、以左相机坐标系为世界坐标系，提取标定板图像角点，用最小二乘法获得左右相机的内部参数矩阵、外部参数矩阵以及左右相机镜头的畸变参数。
作为进一步优化，步骤B中，所述采集闪电图像并进行预处理，具体包括：
用标定好的双目相机采集闪电图像，左摄像机采集的图像为原始左图像，右摄像机采集的图像为原始右图像，然后，根据标定参数对左右图像进行消除畸变和极线校正处理，并对原始左、右图像进行滤波、增强操作。
作为进一步优化，步骤C中，所述分割提取闪电骨架线，具体包括：
C1、利用阈值法或边缘检测分割方法二值化闪电图像；
C2、采用两步迭代法细化二值化图像，得到只含一个像素点的闪电轮廓线；
C3、提取细化后闪电轮廓的起始点和分支点；
C4、分割闪电初始骨架线。
作为进一步优化，步骤C2中，细化二值化图像的方法具体包括：
扫描整幅二值化图像，定义待删除的像素为p1，p1周围的近邻像素位置关系为：以p1为中心，p2、p6、p8、p4分别位于p1的上、下、左、右位置，p9、p3、p7、p5分别位于p1的左上、右上、左下、右下位置；
定义n(p1)和s(p1)两个参数，其中n(p1)表示与p1相邻的非零像素个数，s(p1)表示沿p2p3p4p5p6p7p8p9p2顺序由像素值0过渡到像素值1的总次数；
对于某点p1＝1，如果同时满足下面四个条件，则将p1标记为“可删除”，将全部图像扫描一遍后再统一删除：
条件1:2<＝n(p1)<＝6；
条件2：s(p1)＝1；
条件3：p2*p4*p6＝0；
条件4：p4*p6*p8＝0。
作为进一步优化，步骤C3中，所述提取细化后闪电轮廓的起始点和分支点，具体包括：闪电轮廓的起始点是闪电的端点，用TopPoint表示；闪电轮廓的分支点是闪电的分支处的结点，用BranchPoint表示：
C31、遍历图像中的非零像素点p1；
C32、计算以像素点p1为中心的3×3大小窗口的近邻像素非零个数pcount，以及在所述p1周围的近邻像素位置关系下，沿p9p2p3p4p5p6p7p8p9顺序由像素值1过渡到像素值1的总次数A；
C33、根据pcount和A的关系判断该像素点的属性：当pcount-A>＝3时，该点为闪电分支点BranchPoint；当pcount-A＝1时，像素点p1为闪电起始点TopPoint；
C34、当遍历完整幅图像后，结束搜索，完成闪电轮廓起始点和分支点的提取。
作为进一步优化，步骤C4中，所述分割闪电初始骨架线，是指将细化后图像中的闪电分割成多条骨架线L(m,k)，其中，m表示图像中第m条闪电分支骨架线，k表示这条骨架线上的第k个数据点，每条骨架线上的轮廓点不重复；具体分割步骤包括：
C41、以闪电的TopPoint为起始点开始搜索属于同一分支的闪电序列点，遇到分支点即停止搜索，直到遍历完所有TopPoint；
C42、以BranchPoint为起始点开始搜索属于同一分支的闪电序列点，遇到其他分支点即停止，直到遍历完所有分支点。
作为进一步优化，步骤D中，所述匹配左右图像闪电序列点，包括：
以左图像中的闪电序列点为待匹配点，根据极线约束原则和自适应支撑权重算法，采用胜者为王WTA原则在右图像中所有闪电序列点中找到相应匹配点，匹配步骤包括：
D1、根据双目相机实际所能测量的最小和最大物理距离Zmin,Zmax，得到左右相机匹配点对的最大和最小视差Maxdisp、Mindisp：
其中，B为相机间的基线距离，f为相机像素焦距，cx和cx′表示左右相机光心横坐标，均由标定所得；
D2、根据极线约束原则，以分割得到的闪电分支序列点为待匹配对象，在右图像的所有闪电序列点中找到与左图像闪电点横坐标相同且视差在最大和最小视差范围内的序列点为左图像的候选匹配点；
D3、计算左图像的闪电序列点和与之相对应的所有候选匹配点的能量代价，能量代价计算公式为：
其中，p表示左图像中的待匹配点，q表示左图像中以p为中心的邻域Np内的像素点，表示右图像中与序列点p视差为d的候选匹配点，表示右图像中以为中心的邻域内的像素点，Np和大小一致，通常为33×33或35×35大小的奇数方形窗口，表示像素点q和在RGB颜色空间的原始能量代价，ω(p,q)表示待匹配点p和像素点q的支撑权重；ω(p,q)的计算公式如下：
式(4)中，T表示能量代价的阈值，由经验值确定；Ic(q)和分别表示像素点q、在r、g、b三个颜色通道的亮度值；式(5)中，Δcpq、Δgpq分别表示像素点p和q在空间上的欧式距离及Lab空间的颜色距离，γc和γp表示Δcpq、Δgpq在支撑权重计算中的权重，根据经验值设定；Δcpq、Δgpq表达式如下：
D4、根据胜者为王WTA原则，将能量代价最小的候选点作为左图像中该序列点的匹配点，表达式如式(8)所示：
其中，Sd表示不同视差的待匹配点集合。
作为进一步优化，步骤E中，利用双目立体视觉测量模型计算闪电的空间三维坐标，具体包括：
E1、提取匹配后左右图像中闪电序列的亚像素坐标；
E2、利用视差原理结合标定参数得到闪电在空间中的三维坐标，
像素坐标与三维空间坐标(XW,YW,ZW)的关系如式(9)所示：
其中，xl和xr表示左右图像闪电匹配点对在像素坐标系下的横坐标，yl表示左图像中闪电匹配点在像素坐标系下的纵坐标，cx和cx'表示校正后左相机和右相机光心的横坐标，cy表示校正后左相机光心的纵坐标。B表示左右相机间的基线距离，f表示左相机像素焦距。cx、cx'、cy、B和f均由相机标定得到。
本发明的有益效果是：根据目标物体上在不同位置相机上成像点位置的差异(视差)，计算其空间坐标进行重建，在此过程中获取成像点的匹配信息，成为整个过程的关键问题。本发明采用极线约束和自适应支撑权重方法对闪电骨架点进行匹配，在匹配前通过二值化和骨架线提取处理使得匹配范围缩小，提高了整个方案的计算效率。其次，在计算闪电三维坐标前，将闪电坐标转换为亚像素坐标，使得闪电定位更加准确。此外，本发明采用机器视觉的测量技术，可通过相机成像直观表达闪电从发生到结束的外在形态，对闪电研究具有重要支撑作用。
附图说明
图1为像素的领域关系；
图2为闪电三维定位流程图；
图3为闪电骨架线分割流程图。
具体实施方式
本发明旨在提出一种基于立体视觉的闪电三维定位方法，采用立体视觉技术对空间中的闪电进行三维定位，根据闪电的二维图像直观展示闪电的发展过程，以便于进一步探究和预警闪电活动。
如图2所示，本发明中的闪电三维立体定位技术方案具体实现步骤如下：
1)相机参数标定：
在本发明中，相机参数是影响发明效果的关键因素之一，相机参数标定结果的准确性将决定闪电定位的精度。在标定过程中，一共涉及世界坐标系、相机坐标系、成像平面坐标系、图像坐标系4个坐标系，需要标定的参数包括相机的内部参数、相机相对于世界坐标系的旋转平移矩阵以及镜头的畸变。相机参数标定的具体实施步骤如下：
A、搭建双目立体视觉硬件系统。将两台相同型号的摄像机以一定的基线距离固定在光学平台上，保证闪电在两台摄像机成像范围之内，搭建完成后两相机之间的相对位置即固定不变。
B、拍摄标定板图像组。将棋盘格标定板放置于双目平台前方，使标定板在两个相机中完整成像。通过旋转、平移标定板等方式拍摄多组不同姿态下的标定板图像。
C、以左相机坐标系为世界坐标系，提取标定板图像角点，用最小二乘法获得左右相机的内部参数矩阵、外部参数矩阵以及左右相机镜头的畸变参数。
2)采集闪电图像并进行预处理操作：
用标定好的双目相机采集闪电图像，左摄像机采集的图像为原始左图像，右摄像机采集的图像为原始右图像。其次，根据标定参数对左右图像进行消除畸变和极线校正处理，使消除畸变后的两幅图像严格地行对应。最后，由于相机采集过程中会引入噪声等干扰，因此有必要对原始左、右图像进行滤波、增强等预处理操作。
3)分割提取闪电骨架线：
为准确实现闪电的三维定位，我们需要进一步提取图像中的闪电目标。以双目相机采集的左图像为例，具体实施步骤如下：
A、利用阈值法或边缘检测等分割方法二值化闪电图像。
B、采用两步迭代法细化二值图像，得到只含一个像素点的闪电轮廓线。具体细化过程如下：
扫描整幅二值图像，定义待删除的像素为p1，p1周围的近邻像素位置关系如图1所示。定义n(p1)和s(p1)两个参数。其中n(p1)表示与p1相邻的非零像素个数，s(p1)表示沿p2p3p4p5p6p7p8p9p2顺序由像素值0过渡到像素值1的总次数。
第一步：对于某点p1＝1，如果同时满足下面四个条件，则将p1标记为“可删除”，将全部图像扫描一遍后再统一删除。
条件1:2<＝n(p1)<＝6。如果p1只是一个邻点，它就是像素串的端点，不能删除。如果p1有7个邻点，删除p1就会删除一块区域并导致区域分裂。
条件2：s(p1)＝1。如果邻域中有多于一个的0-1过渡，则删除p1会导致区域分裂。
条件3：p2*p4*p6＝0。
条件4：p4*p6*p8＝0。
第二步：对于某点p1＝1,如果同时满足下面四个条件，则将p1标记为“可删除”，将全部图像扫描一遍后再统一删除。
条件1：2<＝n(p1)<＝6。
条件2：s(p1)＝1。
条件3：p2*p4*p8＝0。
条件4：p8*p2*p6＝0。
C、提取细化后闪电轮廓的起始点和分支点：
闪电轮廓的起始点是闪电的端点，用TopPoint表示；闪电轮廓的分支点是闪电的分支处的结点，用BranchPoint表示。具体步骤如下：
第一步：遍历图像中的非零像素点p1。
第二步：计算以像素点p1为中心的3×3大小窗口的近邻像素非零个数pcount，以及按图1所示的像素近邻关系沿p9p2p3p4p5p6p7p8p9顺序由1过渡到1的总次数A。
第三步：根据pcount和A的关系判断该像素点的属性。当pcount-A>＝3时，该点为闪电分支点BranchPoint；当pcount-A＝1时，像素点p1为闪电起始点TopPoint；
第四步：结束搜索。当遍历完整幅图像后，结束搜索，完成闪电轮廓起始点和分支点的提取。
D、分割闪电初始骨架线：
即将细化后图像中的闪电分割成多条骨架线L(m,k)，其中，m表示图像中第m条闪电分支骨架线，k表示这条骨架线上的第k个数据点。每条骨架线上的轮廓点不重复。具体实现步骤如下：
第一步：以闪电的TopPoint为起始点开始搜索属于同一分支的闪电序列点，遇到分支点即停止搜索，直到遍历完所有TopPoint。
第二步：以BranchPoint为起始点开始搜索属于同一分支的闪电序列点，遇到其他分支点即停止，直到遍历完所有分支点。
4)匹配左右图像闪电序列点：
以左图像中的闪电序列点为待匹配点，根据极线约束原则和自适应支撑权重算法，采用胜者为王WTA(Winner-take-all)原则在右图像中所有闪电序列点中找到相应匹配点。
第一步：根据双目相机实际所能测量的最小和最大物理距离Zmin,Zmax，得到左右相机匹配点对的最大和最小视差Maxdisp、Mindisp。
其中，B为相机间的基线距离，f为相机像素焦距，cx和cx′表示左右相机光心横坐标，均由标定所得。
第二步：根据极线约束原则，以步骤3)中分割得到的闪电分支序列点为待匹配对象，在右图像的所有闪电序列点中找到与左图像闪电点横坐标相同且视差在最大和最小视差范围内的序列点为左图像的候选匹配点。
第三步：计算左图像的闪电序列点和与之相对应的所有候选匹配点的能量代价。能量代价计算公式如式(3)所示：
其中，p表示左图像中的待匹配点，q表示左图像中以p为中心的邻域Np内的像素点。表示右图像中与序列点p视差为d的候选匹配点，表示右图像中以为中心的邻域内的像素点，Np和大小一致，通常为33×33或35×35大小的奇数方形窗口。表示像素点q和在RGB颜色空间的原始能量代价，ω(p,q)表示待匹配点p和像素点q的支撑权重。其表达式分别如式(4)、(5)所示。
式(4)中，T表示能量代价的阈值，由经验值确定。Ic(q)和分别表示像素点q、在r、g、b三个颜色通道的亮度值。式(5)中，Δcpq、Δgpq分别表示像素点p和q在空间上的欧式距离及Lab空间的颜色距离，γc和γp表示Δcpq、Δgpq在支撑权重计算中的权重，根据经验值设定。Δcpq、Δgpq表达式如下：
第四步：根据胜者为王WTA(Winner-take-all)原则，将能量代价最小的候选点作为左图像中该序列点的匹配点，具体表达式如式(8)所示。
其中，Sd表示不同视差的待匹配点集合。
5)利用双目立体视觉测量模型求出闪电的空间三维坐标：
在完成左右图像中闪电序列点的匹配后，我们得到多组匹配点对，根据匹配点对在左右图像中对应的像素坐标即可实现像素坐标系到世界坐标系的转换，完成闪电的三维坐标测量。具体步骤如下：
第一步：提取匹配后左右图像中闪电序列的亚像素坐标。在闪电的空间定位中，闪电的测量距离较远，像素坐标的一个微小变化也会引起巨大的测量误差，本发明选择在闪电序列点匹配完成后再提取亚像素坐标使得闪电的三维测量结果更加准确，闪电定位更精准。
第二步：利用视差原理结合标定参数得到闪电在空间中的三维坐标。
实施例：
1)相机标定：
本实例采用两台型号相同的CCD摄像机，固定在光学平台上，两相机镜头处于同一平面，两相机相距D，D的取值以能够使闪电所成像在图像中为原则。本例采用棋盘格法进行相机标定，具体步骤如下：
步骤一：将标定板放置于搭建的双目平台前方，使标定板在两个相机中完整成像。通过旋转、平移等手段拍摄6组不同姿态下的标定板图像。
步骤二：以左相机光心为原点建立世界坐标系，采用张正友标定发求取左右相机的内参矩阵以及相对于世界坐标系的旋转、平移矩阵。
2)采集闪电图像并进行预处理操作：
用双目相机采集同一时刻图像对，得到原始左图像L1，原始右图像R1。采用窗口大小为3×3的均值滤波算法对左右图像进行去噪处理，并根据标定得到的参数对滤波后的图像进行校正，得到imgL和imgR。
3)分别提取imgL和imgR中的闪电骨架线。以左图像为例，如图3所示，其包括：
a.采用局部自适应阈值法分割闪电图像，以闪电为前景，令像素值为1，背景部分像素值为0。
b.采用两步迭代法细化二值化后的闪电图像。
c.提取细化后二值图像中闪电的分支点和起始点。
d.分割闪电初始骨架线，将图像中的闪电分割成多条骨架线，每条骨架线上的轮廓点不重复。
4)设定匹配代价计算的邻域Np和的范围以及权重比例γc和γp，以左图像中的闪电骨架点为待匹配点，根据极线约束原则和自适应支撑权重算法，采用WTA原则在右图像中找到匹配代价最小的候选点作为左图像中该数据点的匹配点。
5)利用双目立体视觉测量模型求出闪电的空间三维坐标。
a.用重心法提取匹配后闪电的亚像素骨架线，以提升闪电的三维定位精度。
b.利用视差原理结合标定参数得到闪电在空间中的三维坐标。像素坐标与三维空间坐标(XW,YW,ZW)的关系如式(9)所示：
其中，xl和xr表示左右图像闪电匹配点对在像素坐标系下的横坐标，yl表示左图像中闪电匹配点在像素坐标系下的纵坐标，cx和cx'表示校正后左相机和右相机光心的横坐标，cy表示校正后左相机光心的纵坐标。B表示左右相机间的基线距离，f表示左相机像素焦距。cx、cx'、cy、B和f均由相机标定得到。
Claims (6)
1.一种基于立体视觉的闪电三维定位方法，其特征在于，包括以下步骤：
A、搭建双目立体视觉硬件系统，标定摄像机相关参数；
B、采集闪电图像并进行预处理；
C、分割提取闪电骨架线；
D、匹配左右图像闪电序列点；
E、利用双目立体视觉测量模型计算闪电的空间三维坐标；
步骤C中，所述分割提取闪电骨架线，具体包括：
C1、利用阈值法或边缘检测分割方法二值化闪电图像；
C2、采用两步迭代法细化二值化图像，得到只含一个像素点的闪电轮廓线；
C3、提取细化后闪电轮廓的起始点和分支点；
C4、分割闪电初始骨架线；
步骤C2中，细化二值化图像的方法具体包括：
扫描整幅二值化图像，定义待删除的像素为p1，p1周围的近邻像素位置关系为：以p1为中心，p2、p6、p8、p4分别位于p1的上、下、左、右位置，p9、p3、p7、p5分别位于p1的左上、右上、左下、右下位置；
定义n(p1)和s(p1)两个参数，其中n(p1)表示与p1相邻的非零像素个数，s(p1)表示沿p2p3p4p5p6p7p8p9p2顺序由像素值0过渡到像素值1的总次数；
对于某点p1＝1，如果同时满足下面四个条件，则将p1标记为“可删除”，将全部图像扫描一遍后再统一删除：
条件1:2<＝n(p1)<＝6；
条件2：s(p1)＝1；
条件3：p2*p4*p6＝0；
条件4：p4*p6*p8＝0；
步骤C3中，所述提取细化后闪电轮廓的起始点和分支点，具体包括：闪电轮廓的起始点是闪电的端点，用TopPoint表示；闪电轮廓的分支点是闪电的分支处的结点，用BranchPoint表示：
C31、遍历图像中的非零像素点p1；
C32、计算以像素点p1为中心的3×3大小窗口的近邻像素非零个数pcount，以及在所述p1周围的近邻像素位置关系下，沿p9p2p3p4p5p6p7p8p9顺序由像素值1过渡到像素值1的总次数A；
C33、根据pcount和A的关系判断该像素点的属性：当pcount-A>＝3时，该点为闪电分支点BranchPoint；当pcount-A＝1时，像素点p1为闪电起始点TopPoint；
C34、当遍历完整幅图像后，结束搜索，完成闪电轮廓起始点和分支点的提取。
2.如权利要求1所述的一种基于立体视觉的闪电三维定位方法，其特征在于，步骤A中所述搭建双目立体视觉硬件系统，标定摄像机相关参数，具体包括：
A1、搭建双目立体视觉硬件系统：将两台相同型号的摄像机以一定的基线距离固定在光学平台上，保证闪电在两台摄像机成像范围之内；
A2、拍摄标定板图像组：将棋盘格标定板放置于双目平台前方，使标定板在两个相机中完整成像；通过旋转、平移标定板方式拍摄多组不同姿态下的标定板图像；
A3、以左相机坐标系为世界坐标系，提取标定板图像角点，用最小二乘法获得左右相机的内部参数矩阵、外部参数矩阵以及左右相机镜头的畸变参数。
3.如权利要求2所述的一种基于立体视觉的闪电三维定位方法，其特征在于，步骤B中，所述采集闪电图像并进行预处理，具体包括：
用标定好的双目相机采集闪电图像，左摄像机采集的图像为原始左图像，右摄像机采集的图像为原始右图像，然后，根据标定参数对左右图像进行消除畸变和极线校正处理，并对原始左、右图像进行滤波、增强操作。
4.如权利要求1所述的一种基于立体视觉的闪电三维定位方法，其特征在于，步骤C4中，所述分割闪电初始骨架线，是指将细化后图像中的闪电分割成多条骨架线L(m,k)，其中，m表示图像中第m条闪电分支骨架线，k表示这条骨架线上的第k个数据点，每条骨架线上的轮廓点不重复；具体分割步骤包括：
C41、以闪电的TopPoint为起始点开始搜索属于同一分支的闪电序列点，遇到分支点即停止搜索，直到遍历完所有TopPoint；
C42、以BranchPoint为起始点开始搜索属于同一分支的闪电序列点，遇到其他分支点即停止，直到遍历完所有分支点。
5.如权利要求4所述的一种基于立体视觉的闪电三维定位方法，其特征在于，步骤D中，所述匹配左右图像闪电序列点，包括：
以左图像中的闪电序列点为待匹配点，根据极线约束原则和自适应支撑权重算法，采用胜者为王WTA原则在右图像中所有闪电序列点中找到相应匹配点，匹配步骤包括：
D1、根据双目相机实际所能测量的最小和最大物理距离Zmin,Zmax，得到左右相机匹配点对的最大和最小视差Maxdisp、Mindisp：
其中，B为相机间的基线距离，f为相机像素焦距，cx和cx′表示左右相机光心横坐标，均由标定所得；
D2、根据极线约束原则，以分割得到的闪电分支序列点为待匹配对象，在右图像的所有闪电序列点中找到与左图像闪电点横坐标相同且视差在最大和最小视差范围内的序列点为左图像的候选匹配点；
D3、计算左图像的闪电序列点和与之相对应的所有候选匹配点的能量代价，能量代价计算公式为：
其中，p表示左图像中的待匹配点，q表示左图像中以p为中心的邻域Np内的像素点，表示右图像中与序列点p视差为d的候选匹配点，表示右图像中以为中心的邻域内的像素点，Np和大小一致，通常为33×33或35×35大小的奇数方形窗口，表示像素点q和在RGB颜色空间的原始能量代价，ω(p,q)表示待匹配点p和像素点q的支撑权重；ω(p,q)的计算公式如下：
式(4)中，T表示能量代价的阈值，由经验值确定；Ic(q)和分别表示像素点q、在r、g、b三个颜色通道的亮度值；式(5)中，△cpq、△gpq分别表示像素点p和q在空间上的欧式距离及Lab空间的颜色距离，γc和γp表示△cpq、△gpq在支撑权重计算中的权重，根据经验值设定；△cpq、△gpq表达式如下：
D4、根据胜者为王WTA原则，将能量代价最小的候选点作为左图像中该序列点的匹配点，表达式如式(8)所示：
其中，Sd表示不同视差的待匹配点集合。
6.如权利要求5所述的一种基于立体视觉的闪电三维定位方法，其特征在于，步骤E中，利用双目立体视觉测量模型计算闪电的空间三维坐标，具体包括：
E1、提取匹配后左右图像中闪电序列的亚像素坐标；
E2、利用视差原理结合标定参数得到闪电在空间中的三维坐标，
像素坐标与三维空间坐标(XW,YW,ZW)的关系如式(9)所示：
其中，xl和xr表示左右图像闪电匹配点对在像素坐标系下的横坐标，yl表示左图像中闪电匹配点在像素坐标系下的纵坐标，cx和cx'表示校正后左相机和右相机光心的横坐标，cy表示校正后左相机光心的纵坐标，B表示左右相机间的基线距离，f表示左相机像素焦距，cx、cx'、cy、B和f均由相机标定得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610668514.3A CN106296698B (zh) | 2016-08-15 | 2016-08-15 | 一种基于立体视觉的闪电三维定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610668514.3A CN106296698B (zh) | 2016-08-15 | 2016-08-15 | 一种基于立体视觉的闪电三维定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106296698A CN106296698A (zh) | 2017-01-04 |
| CN106296698B true CN106296698B (zh) | 2019-03-29 |
Family
ID=57670979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610668514.3A Active CN106296698B (zh) | 2016-08-15 | 2016-08-15 | 一种基于立体视觉的闪电三维定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106296698B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133983B (zh) * | 2017-05-09 | 2019-07-02 | 河北科技大学 | 成捆圆钢端面双目视觉系统与空间定位及计数方法 |
| CN108876841B (zh) * | 2017-07-25 | 2023-04-28 | 成都通甲优博科技有限责任公司 | 一种视差图视差求精中插值的方法及系统 |
| CN107657624A (zh) * | 2017-09-26 | 2018-02-02 | 河北科技大学 | 圆钢端面双目图像视差求取方法 |
| CN110503760B (zh) * | 2019-08-27 | 2021-06-01 | 海信集团有限公司 | 门禁控制方法及门禁系统 |
| CN110796653B (zh) * | 2019-10-31 | 2022-08-30 | 北京市商汤科技开发有限公司 | 图像处理及神经网络训练方法、装置、设备和介质 |
| CN111062990B (zh) * | 2019-12-13 | 2023-06-02 | 哈尔滨工程大学 | 一种面向水下机器人目标抓取的双目视觉定位方法 |
| CN112396116B (zh) * | 2020-11-24 | 2021-12-07 | 武汉三江中电科技有限责任公司 | 一种雷电检测方法、装置、计算机设备及可读介质 |
| CN113592791B (zh) * | 2021-07-16 | 2024-02-13 | 华中科技大学 | 一种基于局部能量最小化的轮廓立体匹配方法及系统 |
| CN114742876B (zh) * | 2022-06-13 | 2022-09-06 | 菏泽市土地储备中心 | 一种土地视觉立体测量方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0901105A1 (en) * | 1997-08-05 | 1999-03-10 | Canon Kabushiki Kaisha | Image processing apparatus |
| CN101545777A (zh) * | 2009-04-29 | 2009-09-30 | 中国气象局气象探测中心 | 同步双成像闪电定位方法 |
| CN102609983A (zh) * | 2012-01-20 | 2012-07-25 | 华中科技大学 | 一种基于图像及立体视觉的闪电三维图像重建方法 |
| CN105044800A (zh) * | 2015-05-29 | 2015-11-11 | 中国人民解放军理工大学 | 一种基于光学观测的雷电定位装置及方法 |
| CN204855838U (zh) * | 2015-05-29 | 2015-12-09 | 中国人民解放军理工大学 | 一种基于光学观测的雷电定位装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7511467B2 (en) * | 2005-10-14 | 2009-03-31 | Nokia Corporation | Detection of lightning |
-
2016
- 2016-08-15 CN CN201610668514.3A patent/CN106296698B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0901105A1 (en) * | 1997-08-05 | 1999-03-10 | Canon Kabushiki Kaisha | Image processing apparatus |
| US6516099B1 (en) * | 1997-08-05 | 2003-02-04 | Canon Kabushiki Kaisha | Image processing apparatus |
| CN101545777A (zh) * | 2009-04-29 | 2009-09-30 | 中国气象局气象探测中心 | 同步双成像闪电定位方法 |
| CN102609983A (zh) * | 2012-01-20 | 2012-07-25 | 华中科技大学 | 一种基于图像及立体视觉的闪电三维图像重建方法 |
| CN105044800A (zh) * | 2015-05-29 | 2015-11-11 | 中国人民解放军理工大学 | 一种基于光学观测的雷电定位装置及方法 |
| CN204855838U (zh) * | 2015-05-29 | 2015-12-09 | 中国人民解放军理工大学 | 一种基于光学观测的雷电定位装置 |
Non-Patent Citations (4)
| Title |
|---|
| Adaptive Support-Weight Approach;Kuk-Jin Yoon 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20060430;第28卷(第4期);全文 |
| 基于8邻域编码逐像素跟踪法的指纹细节特征提取算法;陈艳平 等;《电脑知识与技术》;20081130;第4卷(第4期);全文 |
| 基于二进小波变换的多尺度边缘细化检测;刘继承 等;《化工自动化及仪表》;20140630;第41卷(第6期);全文 |
| 基于方向滤波分割的指纹自动识别系统算法;黄贤武 等;《中国图象图形学报》;20020831;第7卷(第8期);第832-833页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106296698A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106296698B (zh) | 一种基于立体视觉的闪电三维定位方法 | |
| CN109242954B (zh) | 基于模板变形的多视角三维人体重建方法 | |
| CN105528785B (zh) | 一种双目视觉图像立体匹配方法 | |
| CN104346608B (zh) | 稀疏深度图稠密化方法和装置 | |
| CN104156536B (zh) | 一种盾构机刀具磨损的可视化定量标定及分析方法 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN101443817B (zh) | 用于确定场景的三维重建时的对应关系的方法和装置 | |
| CN113192179B (zh) | 一种基于双目立体视觉的三维重建方法 | |
| KR101139389B1 (ko) | 스테레오 카메라를 이용한 영상인식장치 및 방법 | |
| CN107369204B (zh) | 一种从单幅照片恢复出场景基本三维结构的方法 | |
| CN106023230B (zh) | 一种适合变形图像的稠密匹配方法 | |
| CN111107337B (zh) | 深度信息补全方法及其装置、监控系统和存储介质 | |
| CN107133977A (zh) | 一种基于概率产生模型的快速立体匹配方法 | |
| CN106952262A (zh) | 一种基于立体视觉的船板加工精度分析方法 | |
| CN108021857B (zh) | 基于无人机航拍图像序列深度恢复的建筑物检测方法 | |
| CN114463521B (zh) | 一种面向空地影像数据融合的建筑目标点云快速生成方法 | |
| CN104301706A (zh) | 一种增强裸眼立体显示效果的合成方法 | |
| CN112465984A (zh) | 一种基于双层过滤的单目相机序列图像三维重构方法 | |
| CN117372647A (zh) | 一种建筑用三维模型的快速构建方法及系统 | |
| CN109029380B (zh) | 基于镀膜式多光谱相机的立体视觉系统及其标定测距方法 | |
| CN109712230B (zh) | 三维模型补充方法、装置、存储介质及处理器 | |
| CN108182727B (zh) | 基于多视点几何一致性的相位展开方法 | |
| Rossi et al. | Dynamic fire 3D modeling using a real-time stereovision system | |
| CN113674407B (zh) | 基于双目视觉图像的三维地形重建方法、装置及存储介质 | |
| CN102956031A (zh) | 一种三维场景信息获取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |