CN107341808A - 基于车辙图像的模拟月壤硬度视觉检测系统及测量方法 - Google Patents
基于车辙图像的模拟月壤硬度视觉检测系统及测量方法 Download PDFInfo
- Publication number
- CN107341808A CN107341808A CN201710425725.9A CN201710425725A CN107341808A CN 107341808 A CN107341808 A CN 107341808A CN 201710425725 A CN201710425725 A CN 201710425725A CN 107341808 A CN107341808 A CN 107341808A
- Authority
- CN
- China
- Prior art keywords
- image
- rut
- lunar soil
- simulative lunar
- simulative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002689 soil Substances 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 21
- 241001061260 Emmelichthys struhsakeri Species 0.000 claims abstract description 20
- 238000004088 simulation Methods 0.000 claims abstract description 19
- 238000003860 storage Methods 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000007373 indentation Methods 0.000 claims description 4
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000011049 filling Methods 0.000 claims description 2
- 238000002156 mixing Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 2
- 238000007665 sagging Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 abstract description 7
- 239000000203 mixture Substances 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000011844 contact investigation Methods 0.000 abstract description 2
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 3
- 235000011613 Pinus brutia Nutrition 0.000 description 3
- 241000018646 Pinus brutia Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 244000062793 Sorghum vulgare Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 235000019713 millet Nutrition 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N3/40—Investigating hardness or rebound hardness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N2203/0058—Kind of property studied
- G01N2203/0076—Hardness, compressibility or resistance to crushing
- G01N2203/0078—Hardness, compressibility or resistance to crushing using indentation
- G01N2203/008—Residual indentation measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N2203/02—Details not specific for a particular testing method
- G01N2203/06—Indicating or recording means; Sensing means
- G01N2203/0641—Indicating or recording means; Sensing means using optical, X-ray, ultraviolet, infrared or similar detectors
- G01N2203/0647—Image analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N2203/02—Details not specific for a particular testing method
- G01N2203/06—Indicating or recording means; Sensing means
- G01N2203/067—Parameter measured for estimating the property
- G01N2203/0682—Spatial dimension, e.g. length, area, angle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
Abstract
基于车辙图像的模拟月壤硬度视觉检测系统及测量方法,可以对月球车移动压出的车辙进行准确的提取与分析,通过算法快速的对车辙图像进行匹配计算与三维重建,确定车辙下陷量的数值。根据实验得出的经验公式结合测得的下陷量,自动计算出模拟月壤的硬度值。本发明的系统组成有硬件和软件两个部分,其中的硬件包括模拟月球车、图像采集装置、存储装置、处理器、控制器;软件部分包括图像处理程序与硬度测量程序。本发明的实现方法由ROI提取、灰度化、图像增强、图像分割、相机标定、图像极线校正、图像特征提取和匹配、三维重建以及模拟月壤硬度计算程序。打破了传统的精度较高的检测接触式探测深度方式,提高测量工作效率和能力。
Description
技术领域
本发明涉及利用图像处理技术测量模拟月壤硬度的测量技术领域,更具体地,涉及非接触式的基于车辙图像的模拟月壤硬度视觉检测系统及测量方法。
背景技术
随着太空探索和探月的高速发展,我国首辆月球车“玉兔号”成功驶抵月球表面。“玉兔号”搭载了四台全景相机、测月雷达、红外成像光谱仪、粒子激发X射线谱仪有效载荷。其中“玉兔号”可以依靠这四台有效载荷自主导航开展了一系列的科学探测任务,并把探测数据自动回传地球。这些科学探测数据为建立巡视探测区地形地貌、地质构造,物质成分和浅层结构于一体的综合地质剖面等,帮助人类直接准确地了解月球情况。
在太空探索和探月方面,月球车需要搭载多种有效载荷以便探测更多的数据。为此,本发明利用车载全景相机结合相关算法来测量月壤硬度,从而省去硬度测量装置,减少系统能耗,增加有效载荷。目前常见的土壤硬度测量方法都是接触式的,本发明首次提出了一种基于车辙图像的模拟月壤硬度方法。本方法是一种基于机器视觉的非接触式测量方式,是一种通过测量车辙下陷深度来估算模拟月壤硬度的测量方法,可以帮助月球车增加有效载荷,并降低系统功耗。
发明内容
本发明提出了基于车辙图像的模拟月壤硬度视觉检测系统及测量方法,该装置硬件组成简单易于实现,该方法可以对车辙图像进行准确的处理以及分析,并对车辙下陷量进行测量,最后根据经验公式估计出模拟月壤的硬度值。
本发明采取如下方案。本发明的系统组成主要有硬件和软件两部分,其中硬件包括以下几部分:模拟月球车,车辙图像采集装置,存储装置,处理器和控制器。
软件部分有图像处理程序,测量程序。
所述的硬件部分中的模拟月球车是重12.5Kg的六轮小车,每个轮子最高点与最低点之间高度为4mm,作用是将模拟月球车在模拟月壤上运动来模拟月面行进运动。在本发明中用的工业CCD双目摄像头,并将其安装在模拟月球车上。
所述的硬件部分中的车辙图像采集装置采用的是由两个工业CCD摄像机构组成的,用来对模拟月球车压成的车辙进行图像采集。
所述的硬件部分中的存储装置是用来存储车辙图像采集装置采集的图像,还用来存储图像处理程序的处理结果以及系统运行的实时数据记录等。
所述的硬件部分中的处理器主要用来对从存储装置中读取的图像文件进行处理,实现显示车辙下陷量深度测量数据以及传递数据。
控制器用于控制车辙图像采集装置采集图像,向处理器传输图像。
处理器为PC机。控制器为工业CCD摄像机对应的图像采集卡,插在PC机的扩展插槽内。
所述的软件部分中图像处理程序是用来对从存储装置中读取的图像进行预处理。
所述的软件部分中测量程序是用来对预处理后的图像提取目标并进行精准测量车辙下陷量的深度。
本发明还提供一种基于机器视觉的模拟月球车车辙图像测量其下陷量来估算模拟月壤硬度的方法,包括如下步骤:
1)用工业CCD双目摄像机对车辙图像进行采集,得到整体图像后,将左目和右目采集到的图像分别存储在存储装置中,并从存储装置中读取出这两幅图像;
2)对读取的左目和右目两幅图像分别进行预处理,提取出感兴趣的部分(ROI),判断图像中是否有车辙图像,如果没有就调整摄像头的位置,返回步骤1),如果有的话将其分割提取出来后进入步骤3);
3)对相机进行标定后对目标体匹配,以及去除误匹配,匹配成功的话,则进入步骤4),否则进入2);
4)对匹配好的目标体进行三维重建,最后确定目标体在图像中的位置以及获取准确的三维坐标;
5)将获取的位置与坐标信息传输给处理器,处理器再将处理后的数据通过反投影到三维平面形成三维点云,并且将以经标定好的工业CCD双目摄像机反投影到三维平面内。通过公式计算求得车辙下陷量的深度。
6)测得的车辙下陷量深度带入相应模拟月壤状态的月壤硬度经验公式当中,计算出相应的模拟月壤硬度值。
进一步,所述步骤2)具体包括如下几个步骤:
21)判断是否有模拟月球车车辙图像并分割;
22)对图像进行预处理并提取出ROI;
进一步,所述步骤3)具体包括如下几个步骤:
31)对工业CCD双目摄像机进行标定;
32)对两幅图像进行极线校正;
33)特征提取与匹配;
进一步,所述步骤4)具体包括如下:
41)对目标体进行三维重建;
42)获取目标体位置与三维坐标;
进一步,所述步骤22)具体包括如下几个步骤:
221)对图像进行灰度处理;
222)对图像滤波处理;
223)对图像进行形态学运算;
224)对图像进行灰度阈值处理;
225)对图像进行填充处理;
226)对图像二值化处理;
227)对图像进行连通域处理;
228)对图像进行对象移除;
229)对图像进行车辙提取;
进一步,所述步骤31)具体为:
本发明中的对工业CCD双目摄像机进行标定采用的方法是Tsai两步标定方法,这种标定方法可以达到较高的标定与测量精度。该算法分为两步进行:
第一步:基于图像点坐标只有径向畸变误差,通过建立和求解超定线性方程组,先计算出外部参数;
第二步,考虑畸变因素,利用一个三变量的优化搜索算法求解非线性方程组,以确定其他参数。
具体算法如下:
设(xw,yw,zw)是三维世界坐标系中点P的三维坐标,(xc,yc,zc)是P在相机坐标系中的三维坐标;相机坐标系原点定义在O点;OiXY是图像坐标系,其中心在Oi点(光轴与图像平面的交点);以长度单位表示的图像坐标系原点在图像中心;(Xu,Yu)是在理想针孔相机模型下以长度单位表示的P点的图像坐标;以像素表示的图像坐标系原点在左上角,u轴向右,v轴向下,(ui,vi)是以像素表示的图像坐标;X、Y分别平行于u和v轴;(Xd,Yd)是由透镜畸变引起的偏离(Xu,Yu)的实际图像坐标。
假定光心的图像坐标(u0,v0)已经求出,设
则有
1、确定外部参数:
(1)、采用多于7个标定点,根据最小二乘法,按照式(4)计算中间变量ty-1sxr11,ty - 1sxr12,ty -1sxr13,ty -1r21,ty -1r22,ty -1r23,Ty -1sxtx:
(2)、求解外部参数|ty|。设
a1=ty -1sxr11,a2=ty -1sxr12,a3=ty -1sxr13,a4=ty -1r21,a5=ty -1r22,a6=ty -1r23,a7=Ty -1sxtx,则有ty|=(a5 2+a6 2+a7 2)-1/2 (5)
(3)、确定ty的符号。利用任意一个远离图像中心的特征点的图像坐标(ui,vi)和世界坐标(xwi,ywi,zwi)做验证,即假设ty>0,求出r11,r12,r13,r21,r22,r23,tx,以及x=r11xwi+r12ywi+r13zwi+tx和y=r21xwi+r22ywi+r23zwi+ty,如果Xdi和x同号,Ydi和y同号,则ty为正,否则为负。
(4)、由式(6)确定sx:
sx=(a1 2+a2 2+a3 2)1/2|ty| (6)
(5)、计算r和t,具体为:
r11=a1ty/sx,r12=a2ty/sx,r13=a3ty/sx,r21=a5ty,r22=a6ty,r23=a7ty,tx=a4ty/sx,
r31=r12r23-r13r22,r32=r13r21-r11r23,r33=r11r22-r12r21
2、非线性变换计算内部参数:
(1)、忽略镜头畸变,计算f和tz的粗略值(设k1=0)对于n个标定点,可以采用最小二乘法求解f和tz的粗略值;
(2)、计算精确的f,tz,k1。利用上面计算得到的f和tz作为初始值(最小二乘法),取k1的初始值为0,则有
对式(7)做非线性优化,求解出f,tz,k1。优化函数为
即2n个方程的残差平方和。
进一步,所述步骤32)具体为:
本发明所用到的极线校正方法是基于基础矩阵的校正算法,它是将一对二维射影变换作用于图像对,使其对极线匹配且与图像的扫描线相重合,该算法仅利用了图像对的基础矩阵,而不需要知道相机的投影矩阵。
进一步,所述步骤33)具体为:
本发明所用到的特征提取和匹配的方法是基于Gensus变换的匹配算法,该算法的变换原则为以窗口中心元素的灰度值为阈值,将窗口中的其他元素与之相比,若其他元素的值比中心元素的值大,则将该元素设为0,否则将该元素设为1。基于Gensus变换的匹配算法的步骤如下:
(1)、读取两幅校正后的图像,将步骤2)特征提取出的车辙作为限制匹配条件,在车辙的区域内进行匹配。
(2)、分别将像素灰度值存入两个动态数组中,令总循环变量i=0;
(3)、以存储左图像像素灰度值数组的第i个元素为基准(保证以该点为中心的模板内的像素都在图像内部)进行窗口内部的秩变换,在算法设定的搜索空间内(一般为视差的变化范围)在右图像中通过计算海明距离搜索候选匹配点,并记录距离最小的点;
(4)、以刚才记录的右图像中最大分数值的点为基准进行窗口内部的秩变换,反过来在左图像中进行海明距离最小的候选匹配点的搜索并记录,判断该点与步骤(3)的左图像的基准点是否相同,相同则认为匹配正确并保存匹配点对。令i=i+1,判断i是否达到存储左图像像素灰度值数组的上限,达到了则转步骤(5),否则转步骤(3);
(5)、绘制视差图;
进一步,所述步骤41)具体为:
本发明所用到的三维重建方法是最小二乘法,在匹配后得到物体表面点后,三维物体的形状位置就是唯一确定的,即:
m=(KTK)-1KTU
K为4x3的已知向量和U为4x1已知向量,m即为点的三维坐标向量。
进一步,所述步骤5)具体为:
将以标定好的工业CCD双目摄像机在同一三维坐标系下,切将相机中心设为(0,0,0)。其Z轴方向即为高度,通过反投影的三维点云选取的点A为车辙深度的三维坐标为(XA,YA,ZA),选取点B为地面位置三维坐标为(XB,YB,ZB),所以得出车辙下陷量的深度为H。H=|ZB-ZA|。点A为车辙边缘的点,即为平面点。
进一步,所述步骤6)具体为:
在地面通过利用模拟月球车在模拟月壤上行进运动,获得模拟月球车车辙下陷量与模拟月壤硬度(Kg/cm2)之间的关系,来获得可信度高的经验公式。
在地面模拟实验详细来说,实验主要需要考虑:1),选择适合的模拟月壤进行月面环境的模拟;2),如何设计多组实验模拟月壤准静态承压试验;3),模拟月壤的不同层分析其硬度;4),分析车辙下陷量与模拟月壤硬度的关系。考虑这4个方面,才能获得比较贴合实际和具有可信性的经验公式。为此设计该实验如下:
(1)在选定的模拟月壤中对其进行5种操作:松散状态,较松散状态,自然状态,较紧实状态,紧实状态。
(2)松散状态,用尖锹将模拟月壤挖出,形成20-25cm的深坑,然后将模拟月壤重新填回,回填模拟月壤时,抖动尖锹使模拟月壤缓慢散落至深坑中,保证模拟月壤整备的均匀性。然后用刮板平整模拟月壤,刮板移动速度要保持匀速,速度缓慢为10cm/s。
(3)较松散状态,用尖锹将模拟月壤挖出,形成20-25cm的深坑,然后将模拟月壤重新填回,回填模拟月壤时,抖动尖锹使模拟月壤缓慢散落至深坑中,保证模拟月壤整备的均匀性。然后用多齿耙进行深松(10cm),沿纵向往复深松1-2次;沿着横向重复多齿耙进行深松模拟月壤1-2次;然后用刮板平整模拟月壤,刮板移动速度要保持匀速,速度缓慢为10cm/s。
(4)自然状态,用尖锹翻松模拟月壤(深20-25cm),沿纵向取出宽度小于5cm模拟月壤,翻松180°后填回完成的空隙中;用多齿耙进行深松(15cm),沿纵向往复深松4-5次;沿着横向重复多齿耙进行深松模拟月壤4-5次;用刮板平整2-3次,刮板速度适当为10cm/s。
(5)较紧实状态,用尖锹翻松(深20-25cm),沿纵向取出宽度小于5cm模拟月壤,翻松180°重新填回挖取形成的空隙中;沿着纵向方向拖拽振动压实机对模拟月壤进行压实;沿着横向重复拖拽振动压实机对模拟月壤进行压实操作;用多齿耙对模拟月壤进行浅松(深10cm);用刮板平整2-3次,刮板速度适当为10cm/s。拖拽振动压实机,速度为20cm/s,且振动压实区域不能重叠。
(6)紧实状态,用尖锹翻松(深20-25cm),沿纵向取出宽度小于5cm模拟月壤,翻松180°重新填回挖取形成的空隙中;沿着纵向方向拖拽振动压实机对模拟月壤进行压实;沿着横向重复拖拽振动压实机对模拟月壤进行压实操作;用多齿耙对模拟月壤进行浅松(深5cm);用刮板平整2-3次。均匀拖拽振动压实机,速度为10cm/s,且振动压实区域不能重叠。
(7)对以上松散状态,较松散状态,自然状态,较紧实状态,紧实状态五种模拟月壤进行承压实验。主要是通过固定载荷的模拟月球车对这五种状态的模拟月壤碾压,对这五种状态车辙深度和表面的模拟月壤硬度(Kg/cm2)进行测量数据记录,并多次重复实验。
(8)对这些测的数据进行数据拟合,获得车辙深度与模拟月壤硬度(Kg/cm2)两者之间的相应关系。
所述的沿纵向取出宽度小于5cm模拟月壤,需要宽度大于1cm。
进一步,所述步骤222)具体为:
本发明中使用到的图像滤波处理为高斯平滑滤波。高斯平滑滤波本质上和均值滤波器处理效果类似。在图像上对目标像素给定一个模板,该模板包括了周围的临近像素,再用模板中的全体像素的平均值来代替原来像素值。高斯滤波器由一维高斯滤分布等式:
3×3和5×5的经典模板:
和
由于高斯平滑滤波对于某些类型的随机噪声具有非常理想的降噪能力,所以在本发明中利用高斯平滑滤波去除图像干扰噪声。
进一步,所述步骤223)具体为:
本发明中使用到的形态学运算为闭运算,不仅使轮廓变得光滑,还能弥合狭窄的间隙,填充小的孔洞。膨胀是将与物体接触的所有背景点合并到该物体中,使边界向外部扩张。可以用来填补物体中的空洞,使分布不均匀的小区域的车辙连成区域。
其优点在于:
本视觉定位系统及测量方法,通过安装在车上的工业CCD双目摄像头,通过采集到的图像进行图像处理,通过一系列算法将车辙提取出来,并进行深度测量,最后将数据传输给系统,通过计算得出车辙下陷量处的深度。本发明是基于机器视觉的双目摄像头的视觉测量系统的设计及其实现方法,其硬件组成及相应算法简单,易于实现,且能充分利用现有资源实现车辙下陷量深度的测量,打破了传统的精度较高的基于检测接触式探测深度方式,提高了测量工作效率和工作能力。
利用基于图像处理技术测量模拟月壤硬度的测量方法。该方法可以对月球车移动压出的车辙进行准确的提取与分析,通过算法快速的对车辙图像进行匹配计算与三维重建,确定车辙下陷量的数值。根据实验得出的经验公式结合测得的下陷量,自动计算出模拟月壤的硬度值。本发明的系统组成有硬件和软件两个部分,其中的硬件包括模拟月球车、图像采集装置、存储装置、处理器、控制器;软件部分包括图像处理程序与硬度测量程序。本发明的实现方法由ROI提取、灰度化、图像增强、图像分割、相机标定、图像极线校正、图像特征提取和匹配、三维重建以及模拟月壤硬度计算程序。
附图说明
图1是车辙视觉检测系统的结构图。
图2是车辙视觉检测系统的图像处理算法实现的方法的流程图。
图中1.车辙图像,2.车辙图像采集装置,3.存储装置,4.图像处理程序,5.测量程序,6.处理器,7.控制器,8.显示装置。
具体实施方式
以下将结合附图,对本发明的优选实施例进行详细的描述。
各种装置的连接方式参见图1,本优选实施例的基于机器视觉的车辙视觉检测系统及方法,由于需要模拟人类的眼睛,即双目摄像头,而且需要较高的摄像机的配置要求,一般的摄像装置不能满足要求,所以需要一种车辙图像采集装置2,在本发明中选取的是工业CCD双目摄像头,将其安装在模拟月球车上,用于采集车辙图像1,并将其采集到的车辙图像存储到存储装置3中。处理器6中的图像处理程序4从存储装置3中读取左目和右目摄像机拍摄的两幅图像进行图像处理并将处理后把数据传递给测量程序5处理最后传给控制器7中以显示装置8显示车辙下陷量对应的模拟月壤硬度的结果。
软件算法及工艺流程实现方法的具体步骤见图2:
(1)分别用左目和右目相机采集车辙的图像;
(2)对采集到的车辙图像1进行预处理,判断图像中有没有车辙,若没有的话返回步骤(1)调整工业CCD双目摄像机的位置并继续采集图像,有的话进入步骤(3);
(3)将采集到的彩色图像转化成灰度图像,然后使用高斯平滑滤波对灰度图像进行图像增强;
(4)对增强后的图像进行图像分割,本发明中所采用的分割的方法先通过形态学的方法闭运算和膨胀的方法,填充小的孔洞和使单独分布不均匀的车辙连成同一区域。
(5)对形态学的处理后的图片进行灰度阈值处理,清除大部分车辙以外的区域。
(6)对阈值后的灰度图进行填充,将部分车辙区域继续连成同一区域,以便连通区域提取。
(7)对车辙图像分割后,进行相机标定,标定为后续的三维重建提供了必要的基础,标定精度的高低将直接影响到三维重建的精度和效果。本发明中采用的是Tsai两步法对相机进行标定。该算法分为两步进行,第一步,基于图像点坐标只有径向畸变误差,通过建立和求解超定线性方程组,先计算出外部参数;第二步,考虑畸变因素,利用一个三变量的优化搜索算法求解非线性方程组,以确定其他参数。
(8)标定完毕之后,对图像进行极线的校正,它是匹配的重要预备步骤,它是指对两幅图像分别进行一次平面射影变换,使两幅图像的对应极线在同一条水平线上,而对极点被映射到无穷远处,这样可以使两幅图像只存在水平方向上的视差,匹配问题则从二维降到一维,从而提高了匹配的速度,在实际应用中,必须通过极线校正才能满足理想的平行双目视觉系统成像特点,本发明中采用了基于基础矩阵的校正算法。
(9)对图像校正完成以后,就开始对左目和右目的两幅图像进行特征点的匹配,本发明采用的匹配方法是基于Gensus变换的匹配算法,该算法的变换原则为以窗口中心元素的灰度值为阈值,将窗口中的其他元素与之相比,若其他元素的值比中心元素的值大,则将该元素设为0,否则将该元素设为1。基于Gensus变换的匹配算法的步骤如下:
(一)、读取两幅校正后的图像,分别将像素灰度值存入两个动态数组中,令总循环变量i=0。
(二)、以存储左图像像素灰度值数组的第i个元素为基准(保证以该点为中心的模板内的像素都在图像内部)进行窗口内部的秩变换,在算法设定的搜索空间内(一般为视差的变化范围)在右图像中通过计算海明距离搜索候选匹配点,并记录距离最小的点。
(三)、以刚才记录的右图像中最大分数值的点为基准进行窗口内部的秩变换,反过来在左图像中进行海明距离最小的候选匹配点的搜索并记录,判断该点与步骤(二)的左图像的基准点是否相同,相同则认为匹配正确并保存匹配点对。令i=i+1,判断i是否达到存储左图像像素灰度值数组的上限,达到了则转步骤(四),否则转步骤(二)。
(四)、绘制视差图。
(10)通过前面的图像处理,最后对车辙区域进行三维的重建,本发明中采用的三维重建方法是运用了最小二乘法,其表达式为:
m=(KTK)-1KTU (2)
K为4x3的已知向量和U为4x1已知向量,m即为点的三维坐标向量。确定出车辙在图像中的深度。
(五)、计算得出模拟月壤硬度值
(11)通过计算出车辙的深度,判断模拟月壤状态(模拟月壤状态分为松散状态、较松散状态、自然状态、较紧实状态和紧实状态)。判断模拟月壤状态:1,车辙下陷量16mm~20mm判断为松散状态;2,车辙下陷量为12mm~16mm判断为较松散状态;3,车辙下陷量为8mm~12mm判断为自然状态;4,车辙下陷量为5.5mm~9.5mm判断为较紧实状态;5,车辙下陷量为2mm~6mm判断为紧实状态。
自然状态,较紧实状态,紧实状态3种状态因为下陷量相互交叉,需要将测量出来的车辙下陷量进行统计。统计方法为以提取的车辙图像1特征点周边以50×50像素矩形框统计,计算矩形框内的特征点的下陷量平均值_x。让平均值_x与3种状态下对应的阈值进行比较。
1)当将该区域的土壤状态确定为自然状态;
2)当将该区域的土壤状态确定为较紧实状态;
3)当将该区域的土壤状态确定为紧实状态。
当再次出现交叉混合的阈值时,将该区域的车辙深度将判断为共同的土壤状态。
4)当将该区域的土壤状态确定为自然状态与较紧实状态。
5)当将该区域的土壤状态确定为较紧实状态与紧实状态。
然后将车辙压痕表面深度设为0mm继续,在车辙压痕表面的硬度值为0Kg/cm2,带入深度值h(mm)与模拟月壤硬度y(Kg/cm2)的相应的经验公式中计算模拟月壤硬度,其中模拟月壤硬度分布经验公式为:
松散状态表达式:
y=-6.314×10-3-2.21×10-3h+4.7×10-3h2-2.071×10-4h3+3.03×10-6h4
较松散状态:
y=2.747×10-3+2.209×10-2h+7.792×10-4h2+7.459×10-6h3
自然状态表达式:
y=-1.158×10-2+1.49×10-2h+2.297×10-3h2-2.677×10-5h3
较紧实状态:
y=8.814×10-4+2.9×10-2h+5.648×10-3h2-3.226×10-4h3+6.979×10-6h4
紧实状态表达式:
y=-1.255×10-2+8.291×10-2h+2.294×10-3h2-2.694×10-5h3
将深度值h带入相应的经验公式,求取相应的土壤硬度值。一般考虑带入2~5mm以内的值来表达模拟月壤硬度值比较合理。为此可进行设定输出2~5mm处的5个值,计算出该5处模拟月壤硬度值,并把该数据传输给系统,将数据传递给控制器使显示装置显示车辙下陷量的模拟月壤硬度值,以便参考。
Claims (10)
1.基于车辙图像的模拟月壤硬度视觉检测系统,其特征在于:包括模拟月球车、车辙图像采集装置、存储装置、处理器和控制器;
车辙图像采集装置是用于采集模拟月球车在行进当中留下的车辙图像并将其存储于后面的存储装置中;
存储装置是用来存储车辙图像采集装置采集的图像,还用来存储图像处理程序的处理结果;
处理器主要用来对从存储装置中读取的图像文件进行处理,实现显示车辙下陷量深度测量数据以及传递数据;
控制器用于控制车辙图像采集装置采集图像,向处理器传输图像。
2.根据权利要求1所述的基于车辙图像的模拟月壤硬度视觉检测系统的测量方法,其特征在于包括下列步骤:图像处理程序和测量程序;
图像处理程序,是包括ROI提取,灰度化,图像滤波,闭运算,膨胀,灰度阈值处理,图像填充,图像二值化,连通域提取,对象移除和车辙提取。
3.根据权利要求1所述的基于车辙图像的模拟月壤硬度视觉检测系统的测量方法,其特征在于包括下列步骤:ROI提取的是双目工业CCD摄像头拍摄到的车辙图像里车辙所在的区域;所采取的图像增强方法是高斯平滑滤波方法;对图像的分割采取的是应用车辙连通域的方法和数学形态学法。
4.根据权利要求2所述的基于车辙图像的模拟月壤硬度视觉检测系统的测量方法,其特征在于包括下列步骤:测量程序,包括相机标定,极线校正,特征提取与匹配,三维重建计算车辙下陷量,判断模拟月壤状态和模拟月壤硬度计算程序。
5.根据权利要求4所述的基于车辙图像的模拟月壤硬度视觉检测系统的测量方法,其特征在于包括下列步骤:相机标定的方法为Tsai两步法的标定方法;特征提取与匹配的方法为基于Gensus变换的匹配算法;三维重建方法是运用了最小二乘法。
6.根据权利要求4所述的基于车辙图像的模拟月壤硬度视觉检测系统的测量方法,其特征在于包括下列步骤:判断模拟月壤状态方法在于:通过计算出的车辙下陷量与模拟月壤相应的关系,其相应的关系为:
1)16mm<x<20mm,模拟月壤判断为松散状态;
2)12mm<x<16mm,模拟月壤判断为较松散状态;
3)8mm<x<12mm,模拟月壤判断为自然状态;
4)5.5mm<x<9.5mm,模拟月壤判断为较紧实状态;
5)2mm<x<6mm,模拟月壤判断为紧实状态;
当模拟月壤自然状态,较紧实状态,紧实状态下陷量值出现交叉,无法对交叉处的值进行处理;需要将出现的特征匹配点周边50×50像素矩阵进行统计,计算矩形框内的平均值将平均值继续进行比较,相应的关系为:
6)模拟月壤判断为自然状态;
7)模拟月壤判断为较紧实状态;
8)模拟月壤判断为紧实状态;
再次出现交叉混合的阈值时,将该区域的车辙深度将判断为共同的模拟月壤状态;
9)模拟月壤判断为自然状态和较紧实状态;
10)模拟月壤判断为较紧实状态和紧实状态;
其中x代表的是计算出的车辙下陷量,代表x在50×50像素区域内的平均值。
7.根据权利要求4所述的基于车辙图像的模拟月壤硬度视觉检测系统的测量方法,其特征在于包括下列步骤:模拟月壤硬度计算方法在于:其计算公式的描述为:
1)松散状态表达式:
y=-6.314×10-3-2.21×10-3h+4.7×10-3h2-2.071×10-4h3+3.03×10-6h4
2)较松散状态:
y=2.747×10-3+2.209×10-2h+7.792×10-4h2+7.459×10-6h3
3)自然状态表达式:
y=-1.158×10-2+1.49×10-2h+2.297×10-3h2-2.677×10-5h3
4)较紧实状态:
y=8.814×10-4+2.9×10-2h+5.648×10-3h2-3.226×10-4h3+6.979×10-6h4
5)紧实状态表达式:
y=-1.255×10-2+8.291×10-2h+2.294×10-3h2-2.694×10-5h3
其中将车辙压痕表面深度设为0mm,车辙压痕表面的硬度值为0Kg/cm2;h为深度值,y代表硬度值;
将判断好的模拟月壤状态,带入到相应的模拟月壤硬度公式当中,计算车辙压痕处深度2~5mm以下的模拟月壤硬度值。
8.根据权利要求4所述的基于车辙图像的模拟月壤硬度视觉检测系统的测量方法,其特征在于包括下列步骤:相机的标定采取的是Tsai两步法的标定方法,通过两步算法,确定出相机的内部参数以及外部参数,以达到较高的标定与测量精度。
9.根据权利要求4所述的基于车辙图像的模拟月壤硬度视觉检测系统的测量方法,其特征在于包括下列步骤:特征提取及匹配采用的是基于Gensus变换的匹配算法,该算法的变换原则为以窗口中心元素的灰度值为阈值,将窗口中的其他元素与之相比,若其他元素的值比中心元素的值大,则将该元素设为0,否则将该元素设为1;基于Gensus变换的匹配算法的步骤如下:
1)、读取两幅校正后的图像,分别将像素灰度值存入两个动态数组中,令总循环变量i=0;
2)、以存储左图像像素灰度值数组的第i个元素为基准,保证以该点为中心的模板内的像素都在图像内部,进行窗口内部的秩变换,在算法设定的搜索空间内,一般为视差的变化范围,在右图像中通过计算海明距离搜索候选匹配点,并记录距离最小的点;
3)、以刚才记录的右图像中最大分数值的点为基准进行窗口内部的秩变换,反过来在左图像中进行海明距离最小的候选匹配点的搜索并记录,判断该点与步骤2)的左图像的基准点是否相同,相同则认为匹配正确并保存匹配点对;令i=i+1,判断i是否达到存储左图像像素灰度值数组的上限,达到了则转步骤4),否则转步骤2);
4)绘制视差图。
10.根据权利要求4所述的基于车辙图像的模拟月壤硬度视觉检测系统的测量方法,其特征在于包括下列步骤:三维重建方法是运用了最小二乘法,其表达公式为:
m=(KTK)-1KTU (1)
K为4x3的已知向量和U为4x1已知向量,m即为点的三维坐标向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710425725.9A CN107341808B (zh) | 2017-06-08 | 2017-06-08 | 基于车辙图像的模拟月壤硬度视觉检测系统及测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710425725.9A CN107341808B (zh) | 2017-06-08 | 2017-06-08 | 基于车辙图像的模拟月壤硬度视觉检测系统及测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107341808A true CN107341808A (zh) | 2017-11-10 |
CN107341808B CN107341808B (zh) | 2020-08-18 |
Family
ID=60220571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710425725.9A Active CN107341808B (zh) | 2017-06-08 | 2017-06-08 | 基于车辙图像的模拟月壤硬度视觉检测系统及测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107341808B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109235513A (zh) * | 2018-04-20 | 2019-01-18 | 周慧 | 铲斗动力可控式挖掘机 |
CN110288584A (zh) * | 2019-06-27 | 2019-09-27 | 常州固高智能装备技术研究院有限公司 | 基于机器视觉的陶瓷热浸镀铝表面缺陷检测方法及装置 |
CN111220391A (zh) * | 2020-01-16 | 2020-06-02 | 哈尔滨工业大学 | 一种行星车牵引性能测试系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1995987A (zh) * | 2007-02-08 | 2007-07-11 | 江苏大学 | 基于高光谱图像技术的农畜产品无损检测方法及装置 |
US20100128990A1 (en) * | 2006-04-05 | 2010-05-27 | Seppaelae Kari | Method for measuring/recognizing a shape |
CN102147353A (zh) * | 2009-12-22 | 2011-08-10 | 卡特彼勒路面机械公司 | 用于压实测量的方法和系统 |
CN103198477A (zh) * | 2013-03-25 | 2013-07-10 | 沈阳理工大学 | 一种苹果套袋机器人视觉定位方法 |
US20140279181A1 (en) * | 2013-03-12 | 2014-09-18 | Bryan Allen Wills | Bloomcube |
US20150012215A1 (en) * | 2000-06-14 | 2015-01-08 | Vermeer Corporation | Utility Mapping and Data Distribution System and Method |
WO2016205244A1 (en) * | 2015-06-15 | 2016-12-22 | New York University | Apparatus and method for assessing plant stem strength |
-
2017
- 2017-06-08 CN CN201710425725.9A patent/CN107341808B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150012215A1 (en) * | 2000-06-14 | 2015-01-08 | Vermeer Corporation | Utility Mapping and Data Distribution System and Method |
US20100128990A1 (en) * | 2006-04-05 | 2010-05-27 | Seppaelae Kari | Method for measuring/recognizing a shape |
CN1995987A (zh) * | 2007-02-08 | 2007-07-11 | 江苏大学 | 基于高光谱图像技术的农畜产品无损检测方法及装置 |
CN102147353A (zh) * | 2009-12-22 | 2011-08-10 | 卡特彼勒路面机械公司 | 用于压实测量的方法和系统 |
US20140279181A1 (en) * | 2013-03-12 | 2014-09-18 | Bryan Allen Wills | Bloomcube |
CN103198477A (zh) * | 2013-03-25 | 2013-07-10 | 沈阳理工大学 | 一种苹果套袋机器人视觉定位方法 |
WO2016205244A1 (en) * | 2015-06-15 | 2016-12-22 | New York University | Apparatus and method for assessing plant stem strength |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109235513A (zh) * | 2018-04-20 | 2019-01-18 | 周慧 | 铲斗动力可控式挖掘机 |
CN110288584A (zh) * | 2019-06-27 | 2019-09-27 | 常州固高智能装备技术研究院有限公司 | 基于机器视觉的陶瓷热浸镀铝表面缺陷检测方法及装置 |
CN110288584B (zh) * | 2019-06-27 | 2023-06-23 | 常州固高智能装备技术研究院有限公司 | 基于机器视觉的陶瓷热浸镀铝表面缺陷检测方法及装置 |
CN111220391A (zh) * | 2020-01-16 | 2020-06-02 | 哈尔滨工业大学 | 一种行星车牵引性能测试系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107341808B (zh) | 2020-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104063702B (zh) | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 | |
CN104574393B (zh) | 一种三维路面裂缝图像生成系统和方法 | |
CN105157609A (zh) | 基于两组相机的大型零件全局形貌测量方法 | |
CN104504671A (zh) | 一种用于立体显示的虚实融合图像生成方法 | |
CN103077559B (zh) | 基于序列图像的果穗三维重建方法 | |
CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
CN108280852B (zh) | 一种基于激光点云数据的门窗点云形状检测方法及系统 | |
CN113192206B (zh) | 基于目标检测和背景去除的三维模型实时重建方法及装置 | |
CN108596975A (zh) | 一种针对弱纹理区域的立体匹配算法 | |
CN107730519A (zh) | 一种人脸二维图像到人脸三维重建的方法及系统 | |
CN105608737A (zh) | 一种基于机器学习的人体足部三维重建方法 | |
CN103099623A (zh) | 一种人体运动学参数的提取方法 | |
CN102779354B (zh) | 基于光度立体技术的中医望诊信息表面三维重建方法 | |
CN107341808A (zh) | 基于车辙图像的模拟月壤硬度视觉检测系统及测量方法 | |
CN101673413A (zh) | 基于表面数据的植物枝体三维形态建模系统及方法 | |
CN106875443A (zh) | 基于灰度约束的三维数字散斑的整像素搜索方法及装置 | |
CN101246595A (zh) | 光学三维扫描系统中多视点云数据拼合方法 | |
CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
CN105277144A (zh) | 基于双目视觉的土地面积快速检测方法及其检测装置 | |
CN106023316A (zh) | 一种基于Kinect的动态序列捕捉方法 | |
CN104665107B (zh) | 一种足底三维数据采集处理系统及数据采集处理方法 | |
CN104732586B (zh) | 一种三维人体动态形体和三维运动光流快速重建方法 | |
CN101996415A (zh) | 眼球的三维建模方法 | |
CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、系统、电子设备及介质 | |
CN111696147A (zh) | 一种基于改进YOLOv3模型的深度估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |