CN107044830B - 分布式多目立体视觉系统及目标提取方法 - Google Patents

分布式多目立体视觉系统及目标提取方法 Download PDF

Info

Publication number
CN107044830B
CN107044830B CN201611225290.5A CN201611225290A CN107044830B CN 107044830 B CN107044830 B CN 107044830B CN 201611225290 A CN201611225290 A CN 201611225290A CN 107044830 B CN107044830 B CN 107044830B
Authority
CN
China
Prior art keywords
image
detected
image acquisition
images
field illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611225290.5A
Other languages
English (en)
Other versions
CN107044830A (zh
Inventor
李云鹏
张砚
张福根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Industrial Technology Research Institute of Zhejiang University
Original Assignee
Changzhou Industrial Technology Research Institute of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Industrial Technology Research Institute of Zhejiang University filed Critical Changzhou Industrial Technology Research Institute of Zhejiang University
Priority to CN201611225290.5A priority Critical patent/CN107044830B/zh
Publication of CN107044830A publication Critical patent/CN107044830A/zh
Application granted granted Critical
Publication of CN107044830B publication Critical patent/CN107044830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种分布式多目立体视觉系统及目标提取方法,本分布式多目立体视觉系统中多个立体图像采集模块和一个数据控制及处理平台,组网,即构建适于同时接入的数据传输网络、同步控制网络;其中数据控制及处理平台通过同步控制网络,控制所有的立体图像采集模块同步采集并拍摄被测物各个角度的二维图像和/或三维图像数据;之后,所有立体图像采集模块独立通过数据传输网络,将测量结果汇总至数据控制及处理平台,实现全角度下的三维测量。该组网方法既保证了各立体图像采集模块之间的同步性,又无需性能强大的图像采集设备,同时还保证了数据传输的效率,兼顾了高效率与低成本。

Description

分布式多目立体视觉系统及目标提取方法
技术领域
本发明涉及目标提取与三维测量技术领域,是一种针对中小型物体进行全角度下目标纹理与轮廓提取的装置和方法。
背景技术
立体视觉测量是获取物体三维信息的重要方法,在三维测量领域应用广泛。为测量物体整体三维形貌,需在全角度下对被测物进行测量。全角度测量一般分为两类方法:一类使用少量传感器,通过传感器与被测物之间的相对运动,实现在不同视角下对被测物的测量;一类在空间中布置多组位置固定的传感器,无需运动被测物,也可得到全角度下被测物的完整三维形貌。
通过传感器与被测物间的相对运动,实现三维测量的方法比较灵活,但是需要多次移动并测量,才能得到完整的三维数据,测量效率低;通过空间多组位置相对固定的三维传感器,进行三维测量的方法能够快速获取被测物各个方位的数据,测量速度快,但是多组三维传感器间需要有效同步协同工作,一般需要高性能的图像采集装置,整套系统成本高昂。此外,目前已有基于IP协议的网络摄像机监控系统,但是此类系统一般分布在较大范围内,仅靠IP协议和图像的时间戳,无法保证所有图像传感器的精密(微秒级)同步工作。
发明内容
本发明的目的是提供一种分布式多目立体视觉系统及目标提取方法,以实现在进行中小型物体的全角度三维测量时,确保立体视觉图像传感器模块工作的同步性。
为了解决上述技术问题,本发明提供了一种分布式多目立体视觉系统,包括:全角度拍摄装置,以及控制该全角度拍摄装置拍摄待测物及图像处理的数据控制及处理平台。
进一步,所述全角度拍摄装置包括若干立体图像采集模块,且以待测物为中心通过各立体图像采集模块对待测物进行全角度拍摄图像,并且将图像通过数据传输网络发送至数据控制及处理平台;以及所述数据控制及处理平台适于通过同步控制网络触发相应立体图像采集模块同步拍摄,并根据获得的图像对待测物进行目标提取,以获得全角度下的目标图像。
进一步,立体图像采集模块为六个,且分别位于待测物上、下,左、右和前、后六个方位;所述立体图像采集模块包括:两个构成双目的图像传感器,位于双目之间设有光源,以及主控单元;其中所述主控单元还连接有数据交互接口和同步触发接口;通过数据交互接口构建数据传输网络;以及通过同步触发接口获得数据控制及处理平台发送的同步采集信号;并且所述数据控制及处理平台还适于控制各立体图像采集模块中的光源组合点亮或关闭,以拍摄待测物相应方向的照明图像。
进一步,各立体图像采集模块中的光源组合点亮或关闭,即所有光源分别点亮,依次拍摄待测物各个方向上的明场照明图像;左、右和前、后四个方位的光源均点亮,上、下两个方位的光源关闭,通过上、下立体图像采集模块拍摄待测物在上、下方向上的暗场照明图像;上、下和前、后四个方位的光源均点亮,左、右两个方位的光源关闭,通过左、右立体图像采集模块拍摄待测物在左、右方向上的暗场照明图像;上、下和左、右四个方位的光源均点亮,前、后两个方位的光源关闭,通过前、后立体图像采集模块拍摄待测物在前、后方向上的暗场照明图像;其中将各照明图像发送至数据控制及处理平台。
进一步,所述数据控制及处理平台包括:上位机,与该上位机相连的网络交换机、同步控制模块;其中上位机控制同步控制模块通过同步控制网络触发相应立体图像采集模块同步拍摄;以及所述网络交换机连接数据传输网络且将各立体图像采集模块获得的图像发送至上位机。
进一步,所述上位机适于通过暗场照明图像得到黑白掩模图像,并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合,以得到同时包含纹理信息与轮廓信息的待测物提取图像;通过获取各角度的待测物提取图像,以得到全角度下的目标图像。
进一步,所述上位机适于通过暗场照明图像得到黑白掩模图像,即使用边缘提取算子对暗场照明图像进行预处理,得到含噪声的边缘图像;使用种子填充法找到边缘图像中的所有边缘轮廓,并去除长度较短的轮廓线,同时判定闭合轮廓;选取边缘图像的边界点作为起始种子点,使用区域生长算法依次标记所有连通区域;将起始连通区域涂黑,作为第一级连通区域;下一级连通区域涂白;如此交替直至所有连通区域都被访问,以形成待测物的黑白掩模图像。又一方面,本发明还提供了一种目标提取方法。
所述目标提取方法包括:
组网,即构建同步控制网络和数据传输网络;且通过同步控制网络控制全角度拍摄装置触发拍摄,以获得待测物全角度拍摄图像,并通过数据传输网络传输图像。
进一步,所述全角度拍摄装置以待测物为中心设有若干立体图像采集模块对待测物进行全角度拍摄,并且将图像通过数据传输网络发送至数据控制及处理平台;以及所述数据控制及处理平台适于通过同步控制网络触发相应立体图像采集模块同步拍摄,并通过图像对待测物进行目标提取,以获得全角度下的目标图像。
进一步,立体图像采集模块为六个,且分别位于待测物上、下,左、右和前、后六个方位;所述立体图像采集模块包括:两个构成双目的图像传感器,位于双目之间设有光源,以及主控单元;其中所述主控单元还连接有数据交互接口和同步触发接口;通过数据交互接口构建数据传输网络;以及通过同步触发接口获得数据控制及处理平台发送的同步采集信号;并且所述数据控制及处理平台还适于控制各立体图像采集模块中的光源组合点亮或关闭,以拍摄待测物相应方向的照明图像;各立体图像采集模块中的光源组合点亮或关闭,即所有光源分别点亮,依次拍摄待测物各个方向上的明场照明图像;左、右和前、后四个方位的光源均点亮,上、下两个方位的光源关闭,通过上、下立体图像采集模块拍摄待测物在上、下方向上的暗场照明图像;上、下和前、后四个方位的光源均点亮,左、右两个方位的光源关闭,通过左、右立体图像采集模块拍摄待测物在左、右方向上的暗场照明图像;上、下和左、右四个方位的光源均点亮,前、后两个方位的光源关闭,通过前、后立体图像采集模块拍摄待测物在前、后方向上的暗场照明图像;其中将各照明图像发送至数据控制及处理平台;以及所述数据控制及处理平台包括:上位机,与该上位机相连的网络交换机、同步控制模块;其中上位机控制同步控制模块通过同步控制网络触发相应立体图像采集模块同步拍摄;以及所述网络交换机连接数据传输网络且将各立体图像采集模块获得的图像发送至上位机;所述上位机适于通过暗场照明图像得到黑白掩模图像,并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合,以得到同时包含纹理信息与轮廓信息的待测物提取图像;通过获取各角度的待测物提取图像,以得到全角度下的目标图像;上位机获取各角度的待测物提取图像,以得到全角度下的目标图像的方法包括:所述上位机适于通过暗场照明图像得到黑白掩模图像,并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合,以得到同时包含纹理信息与轮廓信息的待测物提取图像;通过获取各角度的待测物提取图像,以得到全角度下的目标图像;以及通过暗场照明图像得到黑白掩模图像的方法包括:使用边缘提取算子对暗场照明图像进行预处理,得到含噪声的边缘图像;使用种子填充法找到边缘图像中的所有边缘轮廓,并去除长度较短的轮廓线,同时判定闭合轮廓;待测物均位于边缘图像中央区域,选取边缘图像的边界点作为起始种子点,使用区域生长算法依次标记所有连通区域;将起始连通区域涂黑,作为第一级连通区域;下一级连通区域涂白;如此交替直至所有连通区域都被访问,以形成待测物的黑白掩模图像。
本发明的有益效果是:本发明的分布式多目立体视觉系统中多个立体图像采集模块和一个数据控制及处理平台,组网,即构建适于同时接入的数据传输网络、同步控制网络;其中数据控制及处理平台通过同步控制网络,控制所有的立体图像采集模块同步采集并拍摄被测物各个角度的二维图像和/或三维图像数据;之后,所有立体图像采集模块独立通过数据传输网络,将测量结果汇总至数据控制及处理平台,实现全角度下的三维测量。该组网方法既保证了各立体图像采集模块之间的同步性,又无需性能强大的图像采集设备,同时还保证了数据传输的效率,兼顾了高效率与低成本;并且本发明采用立体图像采集模块和光源组成合理的空间布局,针对中小型物体,可有效实现对待测物的全角度测量;可以根据待测物的几何特点,增加或减少立体图像采集模块与光源的数量,以更好的配合待测物体从需要的方位对待测物进行目标提取;以及本发明的分布式多目立体视觉系统无运动机构,不会引入额外的机械误差等;本发明还通过主动光照明的方式提高了目标和背景的对比度,结合提出的一系列处理算法,能极大提高目标提取的稳定性;进一步,由于采用固定功率的光源,算法参数无需每次测量时人工调校,使用方便。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1本发明的分布式多目立体视觉系统的原理框图;
图2是本发明的分布式多目立体视觉系统的结构示意图;
图3立体视觉图像传感器模块组成结构的第一种实施方式示意图;
图4立体视觉图像传感器模块组成结构的第二种实施方式示意图;
图5本发明的分布式多目立体视觉系统的系统构成图;
图6是明场照明图像示例;
图7是暗场照明图像示例;
图8是初始的边缘图像;
图9是处理后的边缘图像;
图10是黑白掩模图像;
图11是最终提取结果。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
多个立体图像采集模块,在空间不同方位排布,使其测量范围覆盖以被测物为中心的4π立体角(称全角度),组合形成所述的分布式多目立体视觉系统。其中,立体图像采集模块是指由一对图像传感器(CMOS图像传感器)组成的立体视觉三维传感器。多个立体图像采集模块和一个数据控制及处理平台,同时接入数据传输网络与同步控制网络。数据控制及处理平台通过同步控制网络,控制所有的立体图像采集模块同步采集并测量被测物各个角度的二维图像与三维数据;之后,所有立体图像采集模块独立通过数据传输网络,将测量结果汇总至数据控制及处理平台,实现全角度下的三维测量。
该系统各立体图像采集模块相互独立工作,具有很高的数据处理与传输能力,可扩展、易维护且成本低廉;同时,立体图像采集模块之间具有良好的同步性,可测量动态物体。该系统在中小型物体三维形貌测量领域具有良好推广前景。
实施例1
如图1所示,本实施例1提供了一种分布式多目立体视觉系统,包括:
全角度拍摄装置,以及控制该全角度拍摄装置拍摄待测物及图像处理的数据控制及处理平台。
所述全角度拍摄装置包括若干立体图像采集模块,且以待测物为中心通过各立体图像采集模块对待测物进行全角度拍摄图像,并且将图像通过数据传输网络发送至数据控制及处理平台;以及所述数据控制及处理平台适于通过同步控制网络触发相应立体图像采集模块同步拍摄,并根据获得的图像对待测物进行目标提取,以获得全角度下的目标图像。
具体的,各立体图像采集模块同时与1套数据传输网络(基于IP协议的网络)和1套同步控制网络(基于实时电信号的网络)连接并通信。数据控制及处理平台,也同时连接到数据传输网络与同步控制网络上,通过同步控制网络实现各立体图像采集模块的精确同步采集,通过数据传输网络汇总立体图像采集模块的拍摄图像。
所述立体图像采集模块的个数和位置可根据待测物的具体特性进行更改,具体的,立体图像采集模块的数量,可根据被测物的几何特性,增加或减少;增加或减少的规律为:若待测物在上、下,左、右和前、后六个方向中的某一个方向上表面积较小,则可移除该方位上的立体图像采集模块;若待测物在上、下,左、右和前、后六个方向中的某两个方向间的朝向上,表面积较大,则在此朝向的方位上增加立体图像采集模块。
作为分布式多目立体视觉系统的一种可选的实施方式:
在图2中101、102、103、104、105、106分别为上、下、左、右、前、后位置的立体图像采集模块;401为待测物体;201、211、202、212、203、213、204、214、205、215、206、216均为图像传感器,301、302、303、304、305、306分别为光源。
立体图像采集模块为六个,且分别位于待测物上、下,左、右和前、后六个方位;所述立体图像采集模块包括:两个构成双目的图像传感器,位于双目之间设有光源,以及主控单元;其中所述主控单元还连接有数据交互接口和同步触发接口;通过数据交互接口构建数据传输网络;以及通过同步触发接口获得数据控制及处理平台发送的同步采集信号;并且所述数据控制及处理平台还适于控制各立体图像采集模块中的光源组合点亮或关闭,以拍摄待测物相应方向的照明图像。
作为立体图像采集模块可选的两种实施方式,第一种如图3所示,第二种如图4所示。
第一种立体图像采集模块的结构如图3所示,由两组相对独立的单目视觉传感系统组成。其中第一组单目视觉传感系统包含:主控单元,CMOS图像传感器,电源控制电路,数据处理单元,数据存储单元,数据交互接口,同步触发接口。其中第二组单目视觉传感系统包含:主控单元,CMOS图像传感器,电源控制电路,数据处理单元,数据存储单元,数据交互接口,同步触发接口。
以其中第一组单目视觉传感系统为例说明工作方式。工作时,电源控制电路对该组内所有部分供电。数据交互接口接入如图1所示的数据传输网络中(基于IP的网络),用于数据的传输;同步触发接口接入如图1所示的同步控制网络中(基于实时电信号的网络,该网络中的同步信号,可以电平的上升沿、下降沿、高电平或者低电平等形式存在)。同步触发接口在接到触发信号后,主控单元控制CMOS图像传感器采集图像,并将该图像发送至数据处理单元,经处理后,得到图像数据;数据存储单元负责储存该数据,并通过数据交互接口将数据独立传输至如图1所示的数据控制及处理平台中。如此即可完成数据的采集。
第二种立体图像采集模块的结构如图4所示,由主控单元同时控制两CMOS图像传感器。此外,该立体图像采集模块还包括电源控制电路,数据处理单元,数据存储单元,数据交互接口,同步触发接口。
工作时,数据交互接口接入如图1所示的数据传输网络中(基于IP的网络),用于数据的传输;同步触发接口接入如图1所示的同步控制网络中(基于实时电信号的网络,该网络中的同步信号,可以电平的上升沿、下降沿、高电平或者低电平等形式存在)。同步触发接口在接到触发信号后,主控单元控制两CMOS图像传感器采集图像,并将该图像发送至数据处理单元,经处理后,得到图像数据;数据存储单元负责储存该数据,并通过数据交互接口将数据独立传输至如图1所示的数据控制及处理平台中。如此即可完成数据的采集。
立体图像采集模块具备独立采集与处理数据的能力。多个立体图像采集模块组网形成分布式多目立体视觉系统,理论上可无限拓展立体图像采集模块的个数;同时,有效减小数据控制及处理平台的运算量,系统更为稳定。
其中,光源例如但不限于采用LED光源,且光源的发光角度与图像传感器的视场角相等或接近,以提高照明效率。
LED光源的开关可由数据控制及处理平台程序化控制,快速开启或关闭,即控制各个LED光源依次组合闪烁,同时所有图像传感器模块同步拍摄待测物的明场照明图像和暗场照明图像。光源的亮暗可控,通过快速序列闪光,结合立体视觉图像传感器的同步抓拍,可在不明显损失测量速度的前提下,将明场与暗场照明有机结合,实现全角度下待测目标表面纹理与边缘轮廓的同步提取。
本发明采用立体图像采集模块和光源组成合理的空间布局,针对中小型物体,可有效实现对待测物的全角度测量;可以根据待测物的几何特点,增加或减少立体图像采集模块与光源的数量,以更好的配合待测物体从需要的方位对待测物进行目标提取。
各立体图像采集模块中的光源组合点亮或关闭,即所有光源分别点亮,则依次拍摄待测物六个方向上的明场照明图像;左、右和前、后四个方位的光源均点亮,上、下两个方位的光源关闭,通过上、下立体图像采集模块拍摄待测物在上、下方向上的暗场照明图像;上、下和前、后四个方位的光源均点亮,左、右两个方向上的光源关闭,通过左、右立体图像采集模块拍摄待测物在左、右方向上的暗场照明图像;上、下和左、右四个方位的光源均点亮,前、后两个方向上的光源关闭,通过前、后立体图像采集模块拍摄待测物在前、后方向上的暗场照明图像;其中将各照明图像发送至数据控制及处理平台。
其中,由于一立体图像采集模块中含有两图像传感器,因此,对于各立体图像采集模块的每次拍摄均获得两张图像,故上述光源组合点亮或关闭拍摄后,获得12幅明场照明图像、12幅暗场照明图像。
如图5所示,所述数据控制及处理平台包括:上位机,与该上位机相连的网络交换机、同步控制模块;其中上位机控制同步控制模块通过同步控制网络触发相应立体图像采集模块同步拍摄;以及所述网络交换机连接数据传输网络且将各立体图像采集模块获得的图像发送至上位机。其中,同步控制模块例如通过基于STC89C52RC型号的C51单片机控制板实现,使用该芯片中P2.0至P2.5共六个TTL电平的IO管脚,以提供同步控制网络服务。
六个立体图像采集模块均通过相应信号线物理连接的方式与网络交换机、同步控制模块相连;以及上位机通过网线与网络交换机相连,同时上位机通过RS232串口与同步控制模块相连并通讯。
立体图像采集模块中的数据交互接口为标准的基于IP的网口;同步触发接口为单针通用IO口,可检测和发出TTL上升沿;主控单元采用基于ARM9架构的芯片;数据处理单元为主控单元内部自带的DSP处理器;数据存储单元为高速闪存芯片。
所述上位机适于通过暗场照明图像得到黑白掩模图像,并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合,以得到同时包含纹理信息与轮廓信息的待测物提取图像;通过获取各角度的待测物提取图像,以得到全角度下的目标图像。
所述上位机适于通过暗场照明图像得到黑白掩模图像,并使用边缘提取算子对暗场照明图像进行预处理,得到含噪声的边缘图像;使用种子填充法找到边缘图像中的所有边缘轮廓,并去除长度较短的轮廓线,同时判定闭合轮廓;选取边缘图像的边界点作为起始种子点,使用区域生长算法依次标记所有连通区域;将起始连通区域涂黑,作为第一级连通区域;下一级连通区域涂白;如此交替直至所有连通区域都被访问,以形成待测物的黑白掩模图像。
对整个系统的工作流程说明如下:
系统工作时,将待测物放置到如图2所示的位置上;
上位机使用基于TCP/IP协议的程序,通过网络交换机与6个立体图像采集模块通信,向它们发送准备采集测量的指令;
各立体图像采集模块接到指令后,进行采集测量的初始化工作(主要是立体图像采集模块开始检测同步控制网络上是否有同步采集信号发来),准备完成后,通过网络交换机向上位机发送初始化成功的信号;
上位机在接到所有立体图像采集模块的初始化成功信号后,通过同步控制模块,向各立体图像采集模块,发送同步采集指令;
该同步采集指令,以TTL上升沿的形式,由同步控制模块直接发送至6个立体图像采集模块;
各立体图像采集模块接到同步指令后,各自独立对待测物进行采集测量,并将得到的数据暂时存储在各立体图像采集模块内部的数据存储单元中;
上位机以轮询的方式,通过网络交换机依次与6个立体图像采集模块通信,逐一将每个立体图像采集模块得到的数据汇总在601处;
所有6组数据汇总至上位机处,此时一次测量完成;
上位机处的数据,可为后续其他用途所使用。如目标图像提取、3D显示、3D打印等。
实施例2
在实施例1基础上,本实施例2提供过了一种目标提取方法,包括:
组网,即构建同步控制网络和数据传输网络;且通过同步控制网络控制全角度拍摄装置触发拍摄,以获得待测物全角度拍摄图像,并通过数据传输网络传输图像。
可选的,目标提取方法还包括:据待测物各角度的图像提取出全角度下的目标图像。
具体的,所述全角度拍摄装置以待测物为中心设有若干立体图像采集模块对待测物进行全角度拍摄,并且将图像通过数据传输网络发送至数据控制及处理平台;以及所述数据控制及处理平台适于通过同步控制网络触发相应立体图像采集模块同步拍摄,并通过图像对待测物进行目标提取,以获得全角度下的目标图像。
具体的,步骤S2中根据待测物各角度的图像提取出全角度下的目标图像的方法包括:通过数据控制及处理平台根据多个图像对待测物进行目标提取,以获得全角度下的目标图像。
其中立体图像采集模块例如但不限于六个,且分别位于待测物上、下,左、右和前、后六个方位;立体图像采集模块的数量,可根据被测物的几何特性,增加或减少;增加或减少的规律为:若待测物在上、下,左、右和前、后六个方向中的某一个方向上表面积较小,则可移除该方位上的立体图像采集模块;若待测物在上、下,左、右和前、后六个方向中的某两个方向间的朝向上,表面积较大,则在此朝向的方位上增加立体图像采集模块。
所述立体图像采集模块包括:两个构成双目的图像传感器,以及位于双目之间的光源;所述图像处理器适于控制各立体图像采集模块中的光源组合点亮或关闭,以拍摄待测物相应方向的照明图像。
各立体图像采集模块中的光源组合点亮或关闭包括四种方式:
方式一:所有光源分别点亮,依次拍摄待测物六个方向上的明场照明图像;
方式二:左、右和前、后四个方位的光源均点亮,上、下两个方向的光源关闭,通过上、下立体图像采集模块拍摄待测物在上、下方向上的暗场照明图像;
方式三:上、下和前、后四个方位的光源均点亮,左、右两个方向的光源关闭,通过左、右立体图像采集模块拍摄待测物在左、右方向上的暗场照明图像;
方式四:前、后和左、右四个方位的光源均点亮,前、后两个方向的光源关闭,通过前、后立体图像采集模块拍摄待测物在前、后方向上的暗场照明图像;其中将各照明图像发送至数据控制及处理平台。
所述数据控制及处理平台包括:上位机,与该上位机相连的网络交换机、同步控制模块;其中上位机控制同步控制模块通过同步控制网络触发相应立体图像采集模块同步拍摄;以及所述网络交换机连接数据传输网络且将各立体图像采集模块获得的图像发送至上位机;所述上位机适于通过暗场照明图像得到黑白掩模图像,并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合,以得到同时包含纹理信息与轮廓信息的待测物提取图像;通过获取各角度的待测物提取图像,以得到全角度下的目标图像;
上位机获取各角度的待测物提取图像,以得到全角度下的目标图像的方法包括:
所述上位机适于通过暗场照明图像得到黑白掩模图像,并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合,以得到同时包含纹理信息与轮廓信息的待测物提取图像;
通过获取各角度的待测物提取图像,以得到全角度下的目标图像;以及
通过暗场照明图像得到黑白掩模图像的方法包括:
使用边缘提取算子对暗场照明图像进行预处理,得到含噪声的边缘图像;
使用种子填充法找到边缘图像中的所有边缘轮廓,并去除长度较短的轮廓线,同时判定闭合轮廓;
待测物均位于边缘图像中央区域,选取边缘图像的边界点作为起始种子点,使用区域生长算法依次标记所有连通区域;
将起始连通区域涂黑,作为第一级连通区域;下一级连通区域涂白;如此交替直至所有连通区域都被访问,以形成待测物的黑白掩模图像。
具体的,使用边缘提取算子,此处使用Canny算子对暗场照明图像(如图7所示)进行预处理,得到含噪声的边缘图像(如图8所示,黑色为背景,白色为边缘);
使用种子填充法对边缘图像进一步处理,找到图像中的所有边缘轮廓,并统计这些轮廓的像素长度;并去除轮廓线长度较短(如小于50像素)的轮廓线;
进一步的,判断这些轮廓是否为闭合轮廓。具体为,对该轮廓上的所有像素点,依次进行8连通区域内连通点个数的统计。若不存在连通点个数为1的点,判断该轮廓为闭合轮廓;否则为非闭合轮廓。
得益于暗场照明,有效的图像轮廓均为闭合轮廓(如图9所示)。
由于待测物均位于图像中央区域内,选取图像边界点作为起始种子点,使用区域生长算法依次标记所有连通区域;
将起始连通区域涂黑,作为第一级连通区域;下一级连通区域涂白(下一级连通区域指与上一级连通区域相邻的连通区域,待测物形状复杂时,可能存在多个同一级的连通区域);如此交替直至所有连通区域都被访问过,形成待测物的黑白掩模图像(如图10所示);
将同一图像传感器拍摄的明场照明图像(如图6所示例),与使用暗场照明图像处理后得到的黑白掩模图像进行融合(如使用与运算),得到同时包含纹理信息与轮廓信息的待测物提取图像(如图11所示)。
对所有图像传感器的12幅明场照明图像均进行上述融合的操作,完成在全角度下包含纹理与边缘信息的待测物目标提取,实现全角度下的目标图像。
本发明采用立体图像采集模块和光源组成合理的空间布局,针对中小型物体,可有效实现对待测物的全角度测量;可以根据待测物的几何特点,增加或减少立体图像采集模块与光源的数量,以更好的配合待测物体从需要的方位对待测物进行目标提取;本发明的分布式多目立体视觉系统无运动机构,不会引入额外的机械误差等;通过主动光照明的方式提高了目标和背景的对比度,结合提出的一系列处理算法,能极大提高目标提取的稳定性;由于采用固定功率的光源,算法参数无需每次测量时人工调校,使用方便。
进一步,所述上位机适于将同时包含纹理信息与轮廓信息的待测物提取图像,根据立体视觉原理,计算转化为待测物的三维表面轮廓,并以三维点云和三维网格面片的形式表述。
多目立体视觉系统,不仅可以得到纹理信息和轮廓信息,还可以根据立体视觉原理得到被测物的表面三维轮廓信息。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种分布式多目立体视觉系统,其特征在于,包括:
全角度拍摄装置,以及
控制该全角度拍摄装置拍摄待测物及图像处理的数据控制及处理平台;
所述全角度拍摄装置包括若干立体图像采集模块,且以待测物为中心通过各立体图像采集模块对待测物进行全角度拍摄图像,并且将图像通过数据传输网络发送至数据控制及处理平台;以及
所述数据控制及处理平台适于通过同步控制网络触发相应立体图像采集模块同步拍摄,并根据获得的图像对待测物进行目标提取,以获得全角度下的目标图像;
立体图像采集模块为六个,且分别位于待测物上、下,左、右和前、后六个方位;
所述立体图像采集模块包括:两个构成双目的图像传感器,位于双目之间设有光源,以及主控单元;其中
所述主控单元还连接有数据交互接口和同步触发接口;
通过数据交互接口构建数据传输网络;以及
通过同步触发接口获得数据控制及处理平台发送的同步采集信号;并且
所述数据控制及处理平台还适于控制各立体图像采集模块中的光源组合点亮或关闭,以拍摄待测物相应方向的照明图像;
所述数据控制及处理平台包括:上位机,与该上位机相连的网络交换机、同步控制模块;其中
上位机控制同步控制模块通过同步控制网络触发相应立体图像采集模块同步拍摄;以及
所述网络交换机连接数据传输网络且将各立体图像采集模块获得的图像发送至上位机;
所述上位机适于通过暗场照明图像得到黑白掩模图像,并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合,以得到同时包含纹理信息与轮廓信息的待测物提取图像;
通过获取各角度的待测物提取图像,以得到全角度下的目标图像;
所述上位机适于通过暗场照明图像得到黑白掩模图像,即
使用边缘提取算子对暗场照明图像进行预处理,得到含噪声的边缘图像;
使用种子填充法找到边缘图像中的所有边缘轮廓,并去除长度较短的轮廓线,同时判定闭合轮廓;
选取边缘图像的边界点作为起始种子点,使用区域生长算法依次标记所有连通区域;
将起始连通区域涂黑,作为第一级连通区域;下一级连通区域涂白;如此交替直至所有连通区域都被访问,以形成待测物的黑白掩模图像;
具体的,使用边缘提取算子,此处使用Canny算子对暗场照明图像进行预处理,得到含噪声的边缘图像;
使用种子填充法对边缘图像进一步处理,找到图像中的所有边缘轮廓,并统计这些轮廓的像素长度;并去除轮廓线长度较短的轮廓线;
判断这些轮廓是否为闭合轮廓,具体为,对该轮廓上的所有像素点,依次进行8连通区域内连通点个数的统计,若不存在连通点个数为1的点,判断该轮廓为闭合轮廓;否则为非闭合轮廓;
得益于暗场照明,有效的图像轮廓均为闭合轮廓;
由于待测物均位于图像中央区域内,选取图像边界点作为起始种子点,使用区域生长算法依次标记所有连通区域;
将起始连通区域涂黑,作为第一级连通区域;下一级连通区域涂白;如此交替直至所有连通区域都被访问过,形成待测物的黑白掩模图像;
将同一图像传感器拍摄的明场照明图像,与使用暗场照明图像处理后得到的黑白掩模图像进行融合,得到同时包含纹理信息与轮廓信息的待测物提取图像;
对所有图像传感器的12幅明场照明图像均进行上述融合的操作,完成在全角度下包含纹理与边缘信息的待测物目标提取,实现全角度下的目标图像。
2.根据权利要求1所述的分布式多目立体视觉系统,其特征在于,
各立体图像采集模块中的光源组合点亮或关闭,即
所有光源分别点亮,依次拍摄待测物各个方向上的明场照明图像;
左、右和前、后四个方位的光源均点亮,上、下两个方位的光源关闭,通过上、下立体图像采集模块拍摄待测物在上、下方向上的暗场照明图像;
上、下和前、后四个方位的光源均点亮,左、右两个方位的光源关闭,通过左、右立体图像采集模块拍摄待测物在左、右方向上的暗场照明图像;
上、下和左、右四个方位的光源均点亮,前、后两个方位的光源关闭,通过前、后立体图像采集模块拍摄待测物在前、后方向上的暗场照明图像;其中
将各照明图像发送至数据控制及处理平台。
3.一种用于如权利要求1或2项所述的分布式多目立体视觉系统的目标提取方法,包括:
组网,即构建同步控制网络和数据传输网络;且
通过同步控制网络控制全角度拍摄装置触发拍摄,以获得待测物全角度拍摄图像,并通过数据传输网络传输图像。
CN201611225290.5A 2016-12-27 2016-12-27 分布式多目立体视觉系统及目标提取方法 Active CN107044830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611225290.5A CN107044830B (zh) 2016-12-27 2016-12-27 分布式多目立体视觉系统及目标提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611225290.5A CN107044830B (zh) 2016-12-27 2016-12-27 分布式多目立体视觉系统及目标提取方法

Publications (2)

Publication Number Publication Date
CN107044830A CN107044830A (zh) 2017-08-15
CN107044830B true CN107044830B (zh) 2023-08-11

Family

ID=59543530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611225290.5A Active CN107044830B (zh) 2016-12-27 2016-12-27 分布式多目立体视觉系统及目标提取方法

Country Status (1)

Country Link
CN (1) CN107044830B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113446958A (zh) * 2021-06-02 2021-09-28 南京航空航天大学 基于对称布设的双目视觉系统及dic技术的曲面重构法
CN114280323A (zh) * 2021-12-24 2022-04-05 凌云光技术股份有限公司 一种轨道车辆矢量速度的测量设备、系统及方法
WO2024100979A1 (ja) * 2022-11-09 2024-05-16 信越半導体株式会社 ウェーハの深さ方向の欠陥位置の評価方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1375741A (zh) * 2002-04-30 2002-10-23 北京理工大学 基于多数字立体视觉头的物体完整表面三维恢复装置
CN201199315Y (zh) * 2008-05-21 2009-02-25 北京微视新纪元科技有限公司 多目相机

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7982868B2 (en) * 2004-07-30 2011-07-19 Eagle Vision Systems B.V. Apparatus and method for checking of containers
US20150304629A1 (en) * 2014-04-21 2015-10-22 Xiuchuan Zhang System and method for stereophotogrammetry

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1375741A (zh) * 2002-04-30 2002-10-23 北京理工大学 基于多数字立体视觉头的物体完整表面三维恢复装置
CN201199315Y (zh) * 2008-05-21 2009-02-25 北京微视新纪元科技有限公司 多目相机

Also Published As

Publication number Publication date
CN107044830A (zh) 2017-08-15

Similar Documents

Publication Publication Date Title
CN107202554B (zh) 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
US6664531B2 (en) Combined stereovision, color 3D digitizing and motion capture system
CN105222724B (zh) 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
WO2021203883A1 (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
CN110657785B (zh) 一种高效的场景深度信息获取方法及系统
CN110044300A (zh) 基于激光器的两栖三维视觉探测装置及探测方法
CN107044830B (zh) 分布式多目立体视觉系统及目标提取方法
CN206440244U (zh) 分布式多目立体视觉系统
CN107610185A (zh) 一种鱼眼相机快速标定装置及标定方法
CN105654547B (zh) 三维重建方法
CN106772431A (zh) 一种结合tof技术和双目视觉的深度信息获取装置及其方法
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
CN108053435A (zh) 基于手持移动设备的动态实时三维重建方法和系统
CN108332660B (zh) 机器人三维扫描系统和扫描方法
CN102316355A (zh) 3d机器视觉信号的生成方法及3d机器视觉传感器
CN111753799B (zh) 一种基于主动双目的视觉传感器及机器人
CN112291459B (zh) 一种摄影装置和三维扫描设备
CN110849269A (zh) 一种田间玉米棒几何尺寸测量系统及方法
CN106530315B (zh) 中小型物体全角度下目标提取系统及方法
CN106408614B (zh) 适于现场应用的摄像机内参数标校方法和系统
CN108592886A (zh) 图像采集设备和图像采集方法
CN111854636A (zh) 一种多相机阵列三维检测系统和方法
CN111105493A (zh) 基于多视角立体视觉的人体手部三维采集方法
CN210719062U (zh) 一种基于无线同步的跟踪装置及扫描系统
CN107564051A (zh) 一种深度信息采集方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181109

Address after: 213022 Huashan Middle Road, Xinbei District, Changzhou City, Jiangsu Province, No. 8

Applicant after: CHANGZHOU INDUSTRIAL TECHNOLOGY RESEARCH INSTITUTE OF ZHEJIANG University

Address before: 213022 -5 1-2, Huashan Road, Xinbei District, Changzhou, Jiangsu, 1-2

Applicant before: JIANGSU LIANGTAO DATA TECHNOLOGY CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant