发明内容
为了提高双目立体视觉系统的三维测量效率和精度,本发明提供一种基于双目立体视觉的三维测量装置及方法,依托多个机构的联合驱动实现测量过程的全自动化。
所述一种基于双目立体视觉的三维测量装置,主要由测量室、弧形运动机构、姿态调整机构、相机运动机构和灯带组成。测量室由铝合金型材和钢板搭建而成,弧形运动机构安装在测量室的侧板上,姿态调整机构安装在测量室的底板上,姿态调整机构的几何中心与弧形运动机构中弧形导轨的对称平面重合,相机运动机构安装在弧形运动机构的滑块上,在姿态调整机构周围布置有数个可调灯带,分别固定在测量室的侧板、顶板与门上。测量时,通过对弧形运动机构、姿态调整机构和相机运动机构的联合驱动实现对点云模型的自动化采集,同时提高点云模型的采集精度。
所述测量室整体呈现方盒形,由框架、侧板、顶板、底板和门组成。框架是标准的铝合金组件,整体为对称结构,由铝合金型材通过锁紧螺钉搭建而成;顶板、底板和三个侧板为普通矩形钢板,通过螺钉固定在框架上;门为标准的铝合金组件,通过铰链铰接在框架上。侧板、顶板、底板和门在框架上组成一个盒形的六面体测量空间,通过打开/关闭门实现对测量空间的开放/封闭。
所述弧形运动机构由内导轨、外导轨、滑块、定相电机、法兰、联轴器、滚轮轴和齿轮轴组成。内导轨整体为圆弧形,弧心角大于 180度,分为内外两圈,其内圈设计为轮槽结构、外圈设计为齿形结构,沿着内导轨的中心线开有一圈通孔,使用螺钉通过上述通孔将内导轨安装在测量室的侧板上;外导轨也分为内外两圈,其内外圈均设计为轮槽结构,沿着外导轨的中心线开有一圈通孔,使用螺钉通过上述通孔将外导轨安装在测量室的侧板上,另外使外导轨与内导轨的弧心重合;滑块整体为凹形,在其一侧开有两排螺纹孔,在其上表面的中部开有一个通孔和一圈螺纹孔,通孔位于螺纹孔分布中心线的圆心,在其两侧对称开有两组共四个通孔,滑块通过滚轮轴和齿轮轴安装在内导轨和外导轨上;滚轮轴共有两组四个,每个滚轮轴由滚轮和圆轴两部分结构组成,其中滚轮结构呈圆饼状,圆轴结构为普通光轴形状,滚轮结构加工在圆轴结构的末端,四个滚轮轴通过使圆轴结构嵌套在滑块两侧的通孔中完成在滑块中的对称安装,每个滚轮轴均可在滑块中自由旋转,另外两组滚轮轴的滚轮结构分别嵌合在内导轨和外导轨的轮槽中;齿轮轴由齿轮和转轴两部分结构组成,其中齿轮结构类似于普通平齿轮结构,其外圈加工有齿,转轴结构为普通光轴形状,齿轮结构加工在转轴结构的末端,齿轮轴通过使转轴结构嵌套在滑块中心的通孔中完成在滑块中的安装,齿轮轴可在滑块中自由旋转,齿轮轴的齿轮结构与内导轨外圈的齿啮合;法兰为普通圆法兰结构,在法兰两端分别开有两圈通孔用于螺钉连接滑块与定相电机;定相电机为普通伺服电机,电机一端开有螺纹孔,螺钉安装在法兰一端;联轴器为普通膜片联轴器,将齿轮轴的转轴结构与定相电机的输出轴连接在一起。工作时,定相电机按照指定角度驱动齿轮轴旋转,由于内导轨与齿轮轴啮合,齿轮轴带动滑块沿着弧形导轨方向移动。
所述姿态调整机构由转盘和升降机构成。升降机为普通剪式升降机结构,自带伺服电机,可以准确控制升降高度,升降机的上部钻有一圈螺纹孔,底部钻有两排通孔,其底部螺钉安装在测量室的底板上;转盘整体呈圆盘状,分为上下两层,上下两层均为圆饼状,上层可绕自身轴心定相旋转,其旋转的角度与速度均可远程调控,下层开有一圈通孔螺钉安装在升降机上部。工作时,将测量目标放置在转盘的上层,升降机调整测量目标的高度,转盘调整测量目标的测量角度。
所述相机运动机构由支架、直线模组、相机支座、相机和倾角传感器组成。支架整体为三角形焊件,背面焊接两条加强肋,在其背面上部开有两排螺纹孔,在其正面与底面分别开有两排螺纹孔和通孔,其底面螺钉安装在弧形运动机构中的滑块上;直线模组为普通直线滑台,主要由伺服电机、丝杠、导轨、滑块和防尘盖组成,通过底部导轨上的通孔螺钉安装在支架的正面;相机支座为一焊接件,主要分为上下两层,其上层截面形状为拱形,整体可绕相机支座的几何轴心旋转,在上层的中心另加工有一通孔,下层截面形状为凸形,在下部焊接一圈加强肋,底面钻有两排通孔螺钉安装在直线模组的滑块中;相机为普通双目立体相机,在其底部加工由两片支撑板,铰接于相机支座上层的通孔中,可绕相机支座自由旋转;倾角传感器为普通,可以检测相机运动机构在弧形运动机构上的整体运动速度和角度,其底部螺钉安装在支架的背面。工作时,驱动直线模组和相机支座调整相机与测量目标的相对位置,倾角传感器为普通姿态角度传感器,截面形状为凸形,在其底部加工有两排通孔,螺钉安装在支架的背面,用于实时反馈弧形运动机构4的整体运动速度和角度。
所述灯带为普通LED光带,整体为条形,可被远程调节开断与亮度,布置在姿态调整机构的周围,分别安装在测量室的顶板、侧板和门上,工作时用于调整测量目标的曝光角度与强度。
一种基于双目立体视觉的三维测量方法,包括如下步骤:
(1)在上述测量装置与上位机之间建立信号传输通道,测量前调整相机与测量目标的相对位置,具体为:将测量目标放置在姿态调整机构中的转盘上,通过姿态调整机构中的升降机调整测量目标的高度,使测量目标的几何中心与相机弧形运动的旋转中心轴重合;通过转盘调整测量目标的测量角度,并标记测量角度;驱动相机运动机构中的直线模组、相机支座,使相机镜头正对测量目标。
(2)创建稳定封闭的测量环境:关闭测量室中的门,将灯带全部打开。
(3)弧形运动机构驱动相机绕测量目标旋转半周以上,结合弧形运动机构上的定相电机和相机运动机构上的倾角传感器定相拍摄测量目标:已知相机在弧线运动过程中需要多次停顿来拍摄测量目标,在相机相邻的两次停顿位置上,以相机相对于运动轨迹弧心的圆心角作为拍摄相位角,相机运动前为相机设置拍摄相位角;弧形运动机构驱动相机绕测量目标旋转半周以上,相机在绕测量目标弧线运动的过程中每旋转一个相位角停顿一次,并对测量目标进行拍摄,直至获取测量目标在所有相位下的点云模型,倾角传感器实时检测相机运动的角度和速度。
(4)相机在每个指定相位上连续以固定的时间间隔拍摄测量目标,在每个时间间隔内调节测量目标周围的光源,具体为调节测量目标周围灯光的强弱、调节被开启灯带的分布位置和控制被开启灯带的数量,以获取测量目标在不同光照条件下的点云模型。
(5)在上位机中对不同光照条件下的模型进行滤波处理,滤波处理具体为:采用一种基于邻域搜索的滤波方法,指定搜索半径R与滤波阀值N,以数据点为中心、R为半径划定每个数据点的搜索域(形状为球体),统计搜索域内其他点的数量。当某个搜索域内其他点的数量大于N时保留该搜索域对应的数据点,当数量小于N时则剔除该搜索域对应的数据点,通过不断迭代直至消除模型中所有的离群噪点。
(6)计算滤波后每个模型中数据点的数量,筛选出每个相位上具有最多数据点的模型,称这批模型为降损模型:由于曝光强度与角度的不同,每个相位上所采集的模型完整性不一,滤波后模型中包含数据点的多少决定所采集模型的完整性优劣,筛选具有最多数据点模型的意义在于找出同相位采集模型中最完整的一个模型。
(7)控制转盘使测量目标旋转90度并标记测量角度,重复步骤 (3)~(6)获取测量目标其余部位的降损模型,将在不同相位上获取的降损模型依次命名为A1,A2,A3...An-1,An,其中n为降损模型的总数,将在第i个相位上获取的降损模型命名为Ai。
(8)在上位机中对相邻降损模型A
i与A
i+1进行粗配准:相机拍摄坐标系为包含原点和X、Y、Z轴的直角坐标系,A
i与A
i+1中的数据点均含有在相机拍摄坐标系中的坐标信息,在测量目标位置固定的前提下,粗配准的过程是将A
i+1中的数据点经过旋转变换配准到A
i中,在配准过程中A
i+1中的数据点分别绕相机拍摄坐标系中的X、Y、Z轴旋转了α、β、γ度,则有A
i+1中数据点的旋转矩阵
因为A
i与A
i+1是相机以固定的拍摄相位角定相拍摄而来,且相机的拍摄坐标系原点与测量目标的几何中心重合,在粗配准前辨别相机的旋转轴心,将拍摄相位角赋值给T中的α、β或γ,同时将其余角度设为零,进而获得真实旋转矩阵T′,在粗配准过程中令A
i+1中数据点的坐标乘以T′便可以将A
i+1整体旋转粗配准到A
i中。将粗配准后的降损模型依次命名为 A
1′,A
2′,A
3′...A
n-1′,A
n′,其中n为降损模型的总数,将在第i个相位上获取的降损模型命名为A
i′。
(9)计算配准后相邻降损模型A
i′与A
i+1′间的重叠率:设置距离阀值L,计算粗配准后A
i+1′中每个数据点与A
i′中所有数据点的距离,当两数据点的距离小于L,则判定这两点为重叠点,统计重叠点的数量Q,计算A
i′、A
i+1′数据点的总数M,则A
i′、A
i+1′间的重叠率为
(10)为重叠率设定目标范围[S
1,S
2],若重叠率在目标范围之内即δ∈[S
1,S
2],直接将满足重叠率要求的降损模型作为优化模型;若重叠率在目标范围之外即
则调整相机对测量目标的拍摄相位角,重复步骤(3)~(9)直至重叠率达到目标范围,并将满足重叠率要求的降损模型作为优化模型;
(11)对优化模型精配准:按照步骤(8)所述方式粗配准所有优化模型,提取所有优化模型中数据点的表面法线特征作为对应数据点的几何特征,筛选优化模型间具有相同几何特征的多对数据点作为对应点组,根据对应点组的坐标信息借助一种点云配准的ICP算法对所有优化模型进行精配准:在相邻降损模型A
i′、A
i+1′中存在对应点组K, K中包含两个点集G、H,G、H中的数据点根据几何特征一致性一一对应,G、H中的对应点分别为
和
计算出点集G、H的重心
精配准中使
旋转、平移的变换矩阵为F,G、H中对应点的数量为Z,则精配准后G、H中对应点间的距离之和为
以实现J 的最小化为优化目标迭代计算出对应的变换矩阵F′,利用F′逐次对所有优化模型进行配准进而获得配准模型。
(12)按照步骤(11)所述的方式将配准模型精配准到标准模型中,对比配准模型与标准模型的差距完成三维测量。
有益效果:
本发明提供一种基于双目立体视觉的三维测装置及方法,针对目前图像采集工作效率低下、所采集图像质量不高的问题,通过联合驱动测量装置内的多个运动机构实现对测量目标图像采集流程的全自动化,提高了图像采集的效率和精度;针对拍摄过程中相机容易受光照条件影响进而导致采集模型残缺的问题,本发明建立了封闭的测量环境,并在测量过程中不断调整光源,通过对不同光照条件下的模型进行筛选,保证所采集模型的结构完整;针对拍摄结束后所采集模型间重叠率无法保证的问题,本发明在单次拍摄结束后通过检测相邻模型间的重叠率不断调整拍摄相位角,进而实现对重叠率的有效控制。进一步,上述测量装置及方法提高了三维测量的精度和效率。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1至4所示一种基于双目立体视觉的三维测量装置,包括测量室1、弧形运动机构2、姿态调整机构3、相机运动机构4和灯带5。测量室1由铝合金型材和钢板搭建而成,弧形运动机构2安装在测量室1的侧板1.3上,姿态调整机构3安装在测量室1的底板1.4上,姿态调整机构3的几何中心与弧形运动机构2中内导轨2.1的对称平面重合,相机运动机构4安装在弧形运动机构2的滑块2.3上,在姿态调整机构3周围布置有数个可调灯带5,分别固定在测量室1的顶板1.2、侧板1.3与门1.5上。测量时,通过对弧形运动机构2、姿态调整机构3和相机运动机构4的联合驱动实现对点云模型的自动化采集,同时提高点云模型的采集精度。
测量室1整体呈现方盒形,由框架1.1、侧板1.3、顶板1.2、底板1.4和门1.5组成。框架1.1是标准的铝合金组件,整体为对称结构,由铝合金型材通过锁紧螺钉搭建而成;顶板1.2、底板1.4和三个侧板1.3为普通矩形钢板,通过螺钉固定在框架1.1上;门1.5为标准的铝合金组件,通过铰链铰接在框架1.1上。侧板1.3、顶板1.2、底板1.4和门1.5在框架1.1上组成一个盒形的六面体测量空间,通过打开/关闭门1.5实现对测量空间的开放/封闭。
如图4及图5所示,弧形运动机构2由内导轨2.1、外导轨2.2、滑块2.3、定相电机2.4、法兰2.5、联轴器2.6、滚轮轴2.7和齿轮轴2.8组成。内导轨2.1整体为圆弧形,弧心角大于180度,分为内外两圈,其内圈设计为轮槽结构、外圈设计为齿形结构,沿着内导轨 2.1的中心线开有一圈通孔,使用螺钉通过上述通孔将内导轨2.1安装在测量室1的侧板1.3上;外导轨2.2也分为内外两圈,其内外圈均设计为轮槽结构,沿着外导轨2.2的中心线开有一圈通孔,使用螺钉通过上述通孔将外导轨2.2安装在测量室1的侧板1.3上,另外使外导轨2.2与内导轨2.1的弧心重合;滑块2.3整体为凹形,在其一侧开有两排螺纹孔,在其上表面的中部开有一个通孔和一圈螺纹孔,通孔位于螺纹孔分布中心线的圆心,在其两侧对称开有两组共四个通孔,滑块2.3通过滚轮轴2.7和齿轮轴2.8安装在内导轨2.1和外导轨2.2上;滚轮轴2.7共有两组四个,每个滚轮轴2.7由滚轮和圆轴两部分结构组成,其中滚轮结构呈圆饼状,圆轴结构为普通光轴形状,滚轮结构加工在圆轴结构的末端,四个滚轮轴2.7通过使圆轴结构嵌套在滑块2.3两侧的通孔中完成在滑块2.3中的对称安装,每个滚轮轴2.7均可在滑块2.3中自由旋转,另外两组滚轮轴2.7的滚轮结构分别嵌合在内导轨2.1和外导轨2.2的轮槽中;齿轮轴2.8由齿轮和转轴两部分结构组成,其中齿轮结构为普通平齿轮结构,其外圈加工有齿,转轴结构为普通光轴形状,齿轮结构加工在转轴结构的末端,齿轮轴2.8通过使转轴结构嵌套在滑块2.3中心的通孔中完成在滑块 2.3中的安装,齿轮轴2.8可在滑块2.3中自由旋转,齿轮轴2.8的齿轮结构与内导轨2.1外圈的齿啮合;法兰2.5为普通圆法兰结构,在法兰两端分别开有两圈通孔用于螺钉连接滑块2.3与定相电机2.4;定相电机2.4为普通伺服电机,电机一端开有螺纹孔,螺钉安装在法兰2.5一端;联轴器2.6为普通膜片联轴器,将齿轮轴2.8的转轴结构与定相电机2.4的输出轴连接在一起。工作时,定相电机2.4按照指定角度驱动齿轮轴2.8旋转,由于内导轨2.1与齿轮轴2.8啮合,齿轮轴2.8带动滑块2.3沿着弧形导轨方向移动。
如图6所示姿态调整机构3由转盘3.1和升降机3.2构成。升降机3.2为普通剪式升降机结构,自带伺服电机,可以准确控制升降高度,升降机3.2的上部钻有一圈螺纹孔,底部钻有两排通孔,其底部螺钉安装在测量室1的底板1.4上;转盘3.1整体呈圆盘状,分为上下两层,上下两层均为圆饼状,上层可绕自身轴心定相旋转,其旋转的角度与速度均可远程调控,下层开有一圈通孔螺钉安装在升降机 3.2上部。工作时,将测量目标放置在转盘3.1的上层,升降机3.2 调整测量目标的高度,转盘3.1调整测量目标的测量角度。
如图7所示相机运动机构4由支架4.1、直线模组4.2、相机支座4.3、相机4.4和倾角传感器4.5组成。支架4.1整体为三角形焊件,背面焊接两条加强肋,在其背面上部开有两排螺纹孔,在其正面与底面分别开有两排螺纹孔和通孔,其底面螺钉安装在弧形运动机构 2中的滑块2.3上;直线模组4.2为普通直线滑台,主要由伺服电机、丝杠、导轨、滑块和防尘盖组成,通过底部导轨上的通孔螺钉安装在支架4.1的正面;相机支座4.3为一焊接件,主要分为上下两层,其上层截面形状为拱形,整体可绕相机支座4.3的几何轴心旋转,在上层的中心另加工有一通孔,下层截面形状为凸形,在下部焊接一圈加强肋,底面钻有两排通孔螺钉安装在直线模组4.2的滑块中;相机 4.4为普通双目立体相机,在其底部加工有两片支撑板,铰接于相机支座4.3上层的通孔中,可绕相机支座4.3自由旋转;倾角传感器 4.5可以检测相机运动机构4在弧形运动机构2上的整体运动速度和角度,其底部螺钉安装在支架4.1的背面。工作时,驱动直线模组 4.2和相机支座4.3调整相机4.4与测量目标的相对位置,倾角传感器4.5为普通姿态角度传感器,截面形状为凸形,在其底部加工有两排通孔,螺钉安装在支架4.1的背面,用于实时反馈弧形运动机构4 的整体运动速度和角度。
灯带5为普通LED光带,整体为条形,可被远程调节开断与亮度,布置在姿态调整机构3的周围,分别安装在测量室1的顶板1.2、侧板1.3和门1.5上,工作时用于调整测量目标的曝光角度与强度。
如图8所示,基于双目立体视觉的三维测量方法为:
本实施例选用的双目立体相机为小觅双目摄像头高精深度版,分辨率2560×720,深度测量误差低于1%,深度工作距离0.3-4m,测量目标为总体长宽高小于120×200×300的结构复杂、特征明显的工件,具体步骤为:
(1)在上述测量装置与上位机之间建立信号传输通道,测量前调整相机与测量目标的相对位置,具体为:将测量目标放置在姿态调整机构中的转盘上,通过姿态调整机构中的升降机调整测量目标的高度,使测量目标的几何中心与相机弧形运动的旋转中心轴重合;通过转盘调整测量目标的测量角度,并标记测量角度;驱动相机运动机构中的直线模组、相机支座,使相机镜头正对测量目标。
(2)创建稳定封闭的测量环境:关闭测量室中的门,将灯带全部打开。
(3)弧形运动机构驱动相机绕测量目标旋转半周以上,结合弧形运动机构上的定相电机和相机运动机构上的倾角传感器定相拍摄测量目标:已知相机在弧线运动过程中需要多次停顿来拍摄测量目标,在相机相邻的两次停顿位置上,以相机相对于运动轨迹弧心的圆心角作为拍摄相位角,相机运动前为相机设置拍摄相位角为30°;弧形运动机构驱动相机绕测量目标旋转半周以上,相机在绕测量目标弧线运动的过程中每旋转30°停顿一次,并对测量目标进行拍摄,直至获取测量目标在所有相位下的点云模型,倾角传感器实时检测相机运动的角度和速度,控制相机绕测量目标的旋转速度低于0.5r/min。
(4)相机在每个指定相位上连续以固定的时间间隔拍摄测量目标,在每个时间间隔内调节测量目标周围的光源,具体为调节测量目标周围灯光的强弱、调节被开启灯带的分布位置和控制被开启灯带的数量,以获取测量目标在不同光照条件下的点云模型。
(5)在上位机中对不同光照条件下的模型进行滤波处理:设置搜索半径R=1mm,滤波阀值N=10,以数据点为中心、R为半径划定每个数据点的搜索域(形状为球体),统计搜索域内其他点的数量。当某个搜索域内其他点的数量大于N时保留该搜索域对应的数据点,当数量小于N时则剔除该搜索域对应的数据点,通过不断迭代直至消除模型中所有的离群噪点。
(6)计算滤波后每个模型中数据点的数量,筛选出每个相位上具有最多数据点的模型,称这批模型为降损模型:由于曝光强度与角度的不同,每个相位上所采集的模型完整性不一,滤波后模型中包含数据点的多少决定所采集模型的完整性优劣,筛选具有最多数据点模型的意义在于找出同相位采集模型中最完整的一个模型。
(7)控制转盘使测量目标旋转90度并标记测量角度,重复步骤 (3)~(6)获取测量目标其余部位的降损模型,将在不同相位上获取的降损模型依次命名为A1,A2,A3...An-1,An,其中n为降损模型的总数,将在第i个相位上获取的降损模型命名为Ai。
(8)在上位机中对相邻降损模型A
i与A
i+1进行粗配准:以测量目标的几何中心为原点,竖直方向为Z轴建立相机拍摄的直角坐标系,粗配准的过程是将A
i+1中的数据点经过旋转变换配准到A
i中,在配准过程中A
i+1中的数据点分别绕相机拍摄坐标系中的X、Y、Z轴旋转了α、β、γ度,则有A
i+1中数据点的旋转矩阵
已知定相拍摄过程中相机绕X轴以30°为间隔定相旋转,将30°赋值给T 中的α,同时将β和γ设为零,进而获得真实旋转矩阵
在粗配准过程中令A
i+1中数据点的坐标乘以T′便可以将A
i+1整体旋转粗配准到A
i中。将粗配准后的降损模型依次命名为A
1′,A
2′,A
3′...A
n-1′,A
n′,其中n为降损模型的总数,将在第i个相位上获取的降损模型命名为A
i′。
(9)计算配准后相邻降损模型A
i′与A
i+1′间的重叠率:设置距离阀值L=0.05mm,计算粗配准后A
i+1′中每个数据点与A
i′中所有数据点的距离,当两数据点的距离小于L,则判定这两点为重叠点,统计重叠点的数量Q,计算A
i′、A
i+1′数据点的总数M,则A
i′、A
i+1′间的重叠率为
(10)为重叠率设定目标范围[0.25,0.35],若重叠率在目标范围之内即δ∈[0.25,0.35],直接将满足重叠率要求的降损模型作为优化模型;若重叠率在目标范围之外即
则调整相机对测量目标的拍摄相位角,重复步骤(3)~(9)直至重叠率达到目标范围,并将满足重叠率要求的降损模型作为优化模型;
(11)对优化模型精配准:按照步骤(8)所述方式粗配准所有优化模型,提取所有优化模型中数据点的表面法线特征作为对应数据点的几何特征,筛选优化模型间具有相同几何特征的多对数据点作为对应点组,根据对应点组的坐标信息借助一种点云配准的ICP算法对所有优化模型进行精配准:在相邻降损模型A
i′、A
i+1′中存在对应点组K,K中包含两个点集G、H,G、H中的数据点根据几何特征一致性一一对应,G、H中的对应点分别为
和
计算出点集G、H的重心
精配准中使
旋转、平移的变换矩阵为F,G、H中对应点的数量为Z,则精配准后G、H中对应点间的距离之和为
以实现J 的最小化为优化目标迭代计算出对应的变换矩阵F′,利用F′逐次对所有优化模型进行配准进而获得配准模型。
(12)按照步骤(11)所述的方式将配准模型精配准到标准模型中,对比配准模型与标准模型的差距完成三维测量。