CN111033566B - 用于对航空零件进行无损检查的方法及其系统 - Google Patents
用于对航空零件进行无损检查的方法及其系统 Download PDFInfo
- Publication number
- CN111033566B CN111033566B CN201880056003.3A CN201880056003A CN111033566B CN 111033566 B CN111033566 B CN 111033566B CN 201880056003 A CN201880056003 A CN 201880056003A CN 111033566 B CN111033566 B CN 111033566B
- Authority
- CN
- China
- Prior art keywords
- projector
- sensor
- illumination
- image
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000007689 inspection Methods 0.000 title claims abstract description 12
- 230000001066 destructive effect Effects 0.000 title claims abstract description 10
- 238000005286 illumination Methods 0.000 claims abstract description 59
- 230000004927 fusion Effects 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 description 6
- 239000000843 powder Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000000151 deposition Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及一种用于对航空零件进行无损检查的方法及其系统,该方法及其系统通过获取立体图像和确定航空零件的三维模型来实施,该方法及其系统用于熄灭对零件的照明的一个或多个部分,并且随后通过每个传感器来获取表面的立体图像,通过位于不同位置的至少两个投影仪来将光投射至表面以执行上述步骤。
Description
技术领域
本发明涉及一种用于通过获取立体图像和确定航空零件的三维模型来对航空零件进行无损检查的方法,以及一种用于获取此类图像并检查此类航空零件的系统。
背景技术
对表面的三维测量通常通过接触的方式来进行。零件表面被固定在测量台上并通过测量头进行移动,使得可以获取零件表面的空间坐标。但这种方法具有很强的侵入性,并且空间数据的获取速度会受限于测量头在零件表面上的移动时间。
为此,已知的是,通过立体显示可以无需通过接触而获取零件的三维图像。在立体测量期间,通过在空间内两个不同位置处的两个光学传感器来生成零件表面的两个图像。因此,可以通过比较两个图像来重建零件表面的三维结构。
为了便于对表面进行三维重建,同样已知的是,使用结构化的光投影方法。这种方法包括将已知的光图案投射至待测零件的表面上,然后使用一个或多个光学传感器对表面进行成像。然后,通过将原始图案与由表面漫射的图案进行比较后由每个传感器进行成像,或者,通过将成像后的图案彼此进行比较,来计算出表面的结构。但是仅当在待测零件的表面上的图案的反射为漫反射(或朗伯反射)时,才可以实现此方法:即在由该表面所界定的半空间的所有方向上,反射的亮度相同。因此,由该表面上的一个点发射的光线可以到达所有传感器,这使得可以将每个传感器的像素与表面上的同一点相关联。
这种测量方法并不适用于测量产生了高光反射的表面,即当入射至表面上的光线沿单个方向或更普遍地沿优选方向进行反射时。在这种情况下,由两个传感器所获取的图像无法可靠地和准确地进行匹配。而且,在高光反射之间的匹配会导致错误的重建,因为这些反射通常并不对应于表面上的同一点。
为此,在对表面进行立体测量之前对其进行哑光化是已知的。对表面所进行的哑光化包括在待测表面上沉积粉末,该粉末在表面上引起漫反射特性或朗伯反射特性。
粉末沉积时间长并且成本高。另外,待测表面上的粉末层的厚度在测量中引入了偏差。
为此,使用多个投影仪来对零件进行照明也是已知的。Sun等人(Sun,J.、Smith,M.、Smith,L.、Midha,S.和Bamber,J.(2007),“使用多光光度立体技术对受阴影和高光影响的非朗伯表面进行物体表面恢复”(Object surface recovery using a multi-lightphotometric stereo technique for non-Lambertian surfaces subject to shadowsand specularities),《图像和视觉计算》,25(7),1050-1057))描述了通过立体显示来确定零件的三维模型的方法,其中利用对零件所进行的不同照明来获取立体图像。因此,其可以获取呈现出高光的不同位置的立体图像。而且高光可以被数字化地消除。但是,此方法的准确性可能会受到限制,并且此方法的实现需要六个光源,其装置和检查可能会很复杂。
发明内容
本发明的目的在于提出一种能够获取立体图像的解决方案,使得无需与零件表面进行直接机械接触并且也无需光化步骤,就可以确定航空零件的三维模型。
特别地,本发明的一个目在于一种用于通过获取立体图像并确定零件的三维模型来对所述零件进行无损检查的方法,所述零件由表面所界定,所述方法实现如下:
a)通过第一投影仪将照明投射至所述表面上;
b)通过被布置在两个不同位置的第一传感器和第二传感器获取所述表面的立体图像;
c)检测所述传感器的所述图像中的每个上的一个或多个高光;
其特征在于,所述方法实现如下:
d)将所述照明中沿所述传感器的方向导致所述高光的一个或多个部分熄灭;然后
e)通过所述传感器中的每一个传感器获取所述表面的立体图像;
所述操作a)至e)还通过由第二投影仪将照明投射至所述表面上来实现,所述第二投影仪被布置在与所述第一投影仪不同的位置上;所述方法实现了根据以下两项来确定所述零件的三维模型:在所述第一投影仪的照明下在获取步骤e)中所获取的所述立体图像,以及在所述第二投影机的照明下在获取步骤e)中所获取的所述立体图像,根据在所述第一投影仪的照明下在获取步骤e)中所获取的所述立体图像来确定所述零件的第一三维模型,根据在所述第二投影仪的照明下在获取步骤e)中所获取的所述立体图像来确定所述零件的第二三维模型,以及通过融合所述第一模型和所述第二模型来确定所述零件的第三三维模型。
应当理解,使用这种方法,可以以非侵入性的方式获取立体图像并确定表面包括有高光的零件的模型,而无需与该零件进行交互作用(不同于已知的使用探针或粉末的测量方法)。
有利地,本发明通过以下特征来独立地或以其技术上可能的任何组合来完成:
-在获取步骤e)中,在不通过所述第一投影仪(3)对照明进行同步投射的情况下,通过所述第二投影仪将照明投射到所述表面上;
-在确定所述三维模型期间,对在熄灭步骤d)之后在不同的照明下所述第一传感器所获取的图像和在熄灭步骤d)之后在不同的照明下所述第二传感器所获取的图像进行融合,并且根据通过融合所获得的图像确定所述零件的所述三维模型;
-在所述熄灭步骤d)中通过以下步骤来确定所述照明的待关闭部分:
·通过所述第一投影仪和/或所述第二投影仪将光图案投射至所述表面上;
·将所述表面上的光图案的图像与被投射的所述光图案进行关联;
·关闭投影仪的一个或多个部分,所述投影仪的一个或多个部分与所述光图案的图像的对应于一个或多个高光(10)的一个或多个部分相关联;
-通过以下步骤来确定所述照明的待关闭部分:
·投射光图案的序列,所述序列的每个光图案均包括二进制光强的多个部分,光图案的每个部分的所述强度的序列使得可以识别出光图案的所述部分;
·在所述光图案的序列的投射过程中,利用传感器对所述表面进行拍摄,检测高光,并且通过包括所述高光的所述传感器的图像的一个部分的序列,来识别所述照明的一个所述待关闭部分;
-通过执行以下步骤来确定在高光性部分的一点处垂直于表面的直线:
-在工作空间中检查所述零件,并且其中所述第一投影仪和所述第二投影仪被布置成使得对于每个传感器以及整个工作空间,以所述第一投影仪和所述传感器为焦点的椭圆与以所述第二投影仪和所述传感器为焦点的椭圆的交角α大于10°。
本发明的另一个目的在于一种用于通过确定航空零件的三维模型来对所述零件进行无损检查的系统,所述零件由包括有高光性部分的表面所界定。所述系统至少包括:第一投影仪、被布置在两个不同位置的第一传感器和第二传感器、以及控制单元,其特征在于,所述系统还包括被布置在与所述第一投影仪不同的位置上的第二投影仪,并且所述控制单元被配置为:
-控制所述第一投影仪和/或所述第二投影仪对所述表面的照明;
-控制所述第一传感器和/或所述第二传感器对所述表面的立体图像的获取;
-检测所述传感器的图像上的一个或多个高光;
-控制所述第一投影仪和/或所述第二投影仪将所述照明中沿所述传感器的方向导致高光的至少一部分熄灭。
附图说明
通过阅读以下结合附图的非限制性和纯示例性详细描述,本发明的其他特征和优点将变得更清楚,在附图中:
图1示出了一种用于获取立体图像并确定零件的三维模型的方法;
图2示出了一种用于获取立体图像并确定零件的三维模型的方法;
图3至图7示出了一种用于获取零件的立体图像的方法的步骤;
图8示意性地示出了序列形式的光图案;
图9示意性地示出了零件表面、传感器和投影仪;以及
图10示意性地示出了零件表面、传感器和两个投影仪。
定义
术语“高光性(spéculaire)”是指表面沿优选方向(更具体地说是基本上唯一的方向),沿着由该表面所界定的半空间反射入射光线的能力。换而言之,入射光线不会或者几乎不会被表面所漫射:高光反射不同于漫反射或朗伯反射。
术语“高光(spécularité)”是指在表面的一点处的高光反射。其指向入射光线的优选反射方向。
术语“图像融合”是指一种图像处理,考虑到来自于多个输入图像的信息,并且产生一个数据或一组数据,其包含比单独考虑输入图像更多的信息。
在两个圆锥曲线的一个共同点上,术语“两个圆锥曲线的交角”,尤其是“两个椭圆的交角”,是指在该点处与圆锥曲线相切的直线所形成的最小角度。
具体实施方式
图1示出了一种用于航空零件5的无损检查以及用于确定零件5的三维模型的方法P1。在本发明的一个实施例中,所考虑的零件5的表面11包括高光性部分12。然而,在零件5的表面11上并不存在高光反射的情况下,仍可以获取立体图像以及确定零件5的三维模型。
在步骤101(如图3所示)中,用户可以使用第一投影仪3将照明20投射至零件5的表面11上。该照明可以有利地实现光图案7的投影或作为光图案7。
在步骤102(如图3所示)中,通过第一传感器1和第二传感器2来获取零件5的表面11的立体图像。传感器1和传感器2被布置在空间内的不同位置上。所使用的传感器1和传感器2可以为例如CCD,CMOS类型的标准拍摄传感器、工业相机、或形成所观察到的表面11的分辨图像的任何其他设备。
在图3的左侧示出了第一传感器1的图像8,并且在图3的右侧示出了第二传感器2的图像9。在这些图像中的每个图像上,高光10被成像。两个高光10由灰点示出。每个图像的高光10均不同:在第一传感器1的图像8中,所观察到的高光10对应于所观察到的被包含在零件5左侧部分中的高光性部分12,而在第二传感器2的图像9中,所观察到的高光10对应于所观察到的被包含在零件5右侧部分中的高光性部分12。
在步骤103中,用户和/或控制单元17检测在步骤102或步骤202中在所获得的传感器1和2的每个图像中的高光10。当在图像中存在一个或多个相邻像素的局部饱和时,可以在图像中检测到高光10。一般而言,可以在后处理中检测高光10,例如通过图像的分割、或通过对灰度或颜色级别阈值化来检测。图像8和9中的高光10的位置直接取决于投影仪、零件5的表面11、以及传感器1和2的相对位置。
在步骤104中,用户或照明控制单元17可以隐藏和/或关闭照明20中沿传感器1和2的方向在零件5的表面11上导致一个或多个高光10的部分。图4示出了将照明20投射至零件5的表面11上的第一投影仪3,其中从第一投影仪3到表面11的箭头表示的入射光线被选择性地关闭。控制单元17可以被电连接至第一传感器1和第二传感器2,以便将来自传感器1和2的数据加载到控制单元17中。根据由传感器1和2所获取的表面11的图像,来计算出由第一投影仪3所投射的照明中导致了高光10的部分。因此,与第一投影仪3电连接的控制单元17可以例如通过隐藏或关闭对应于高光10的像素,来检查所投影的照明的一个部分的操作状态。
因此,可以关闭表面11的高光10。投影仪的局部熄灭可使表面11上的一个或几个局部阴影区域18代替照明20的一个或多个部分。通过这种方式,可以至少部分地照亮该表面而不会引起高光10。
在该方法的步骤105(如图4所示)中,通过第一传感器1和第二传感器2来获取零件5的表面11的立体图像。图4示出了第一传感器1的图像8和第二传感器2的图像9,每个图像在表面11上包括两个阴影区域18。在图4的左侧,第一传感器1的图像8左侧的阴影区域18对应于关闭的高光10,由右侧的箭头所示,其开始于第一投影仪3,穿过表面11直至第二传感器2。图像8右侧的阴影区域对应于关闭的高光10,由左侧的箭头所示,其开始于第一投影仪3,穿过表面11直至第一传感器1。
在步骤111、112、113、114和115中,步骤101、102、103、104和105是通过在步骤111中由第二投影仪4(可能无需第一投影仪3)将照明投射至表面11上来执行。第二投影仪4被布置在与第一投影仪3不同的位置上,因此,其可以在表面11上的其他位置产生高光10,或者不产生高光。
图5示出了包括两个投影仪的系统。与第二投影仪4电连接的控制单元17可以例如通过隐藏或关闭对应于高光10的像素,来检查所投射的照明的一个部分的操作状态。
在图5的左上方,示出了在步骤101中所产生的第一传感器1的图像8。在图5的左下方,示出了在步骤111中所产生的第一传感器1的图像8。在图5的右上方,示出了在步骤101中所产生的第二传感器2的图像9。在图像5的右下方,示出了在步骤111中所产生的第二传感器2的图像9。
在图5所示的传感器1和2的四个图像8和9的每个图像上,不同的高光10被成像。由第一投影仪3所产生的两个高光10与图1所示的高光10相同。由第二投影仪4所产生的另外两个高光10在第一传感器1和第二传感器2的图像8和图像9中示出,其分别位于图5的左下方和右下方。
在步骤104和步骤114中,通过利用控制单元17检查第一投影仪3和/或第二投影仪4来关闭高光10。图6示出了第一传感器1的两个图像8。当表面11被第一投影仪3所照亮,并且在步骤104中由第一投影仪3所产生的高光10被关闭时,左上方的图像对应于第一传感器1的图像8。当表面11被第二投影仪4所照亮,并且在步骤114中由第二投影仪4所产生的高光10被关闭时,左下方的图像对应于第一传感器1的图像8。当表面11被第一投影仪3所照亮,并且在步骤104中由第一投影仪3所产生的高光10被关闭时,右上方的图像对应于第二传感器2的图像9。当表面11被第二投影仪4所照亮,并且在步骤114中由第一投影仪3所产生的高光10被关闭时,左下方的图像对应于第二传感器2的图像9。
在该方法的步骤106(如图7所示)中,第一传感器1的图像8被融合为一个图像19,并且第二传感器2的图像9也被融合为一个图像19。对由不同的投影仪在照明20的投射期间所产生的同一传感器1和2的多个图像进行融合,使得可以消除融合图像中的阴影区域18。该融合可以包括针对图像的每个像素,在两个图像的两个同一像素之间选择出具有最高值的像素的这一步骤。
在图7的左侧,通过在第一投影仪3投射照明20期间对第一传感器1的图像8所进行的融合,以及在第二投影仪4投射照明20期间对第一传感器1的图像8所进行的融合,来示出步骤106。由该融合所产生的图像不包括阴影区域。在图7的右侧,还通过在第一投影仪3投射照明20期间对第二传感器2的图像9所进行的融合,以及在第二投影仪4投射照明20期间对第二传感器2的图像9所进行的融合,来示出步骤106。由该融合所产生的图像不包括阴影区域。
然后,在图像融合步骤106之后获得两个图像:没有阴影区域或高光的图像,其信息来自于第一传感器1;以及没有阴影区域或高光的图像,其信息来自于第二传感器2。这两个图像形成了没有阴影或高光的立体图像对。
在该方法的步骤107中,从立体图像对推导出表面11的三维模型。通过使用在融合步骤106中所获得的两个图像19,可以使用已知的立体显示方法。这些图像尤其适用于立体显示,因为它们不包括任何阴影区域或高光。
图2示出了一种用于航空零件5的无损检查以及用于确定零件5的三维模型的方法P2。方法P2的步骤201至205以及步骤211至215,分别与方法P1的步骤101至105以及步骤111至115相同。
在步骤206和216中,根据在步骤205中所获取的图像(根据在第一投影仪的照明下的获取步骤期间所获得的图像),来确定零件5的第一三维模型,并且在步骤216中,根据在步骤215中所获取的图像(根据在第一投影仪的照明下的获取步骤期间所获得的图像),来确定零件5的第二三维模型。
表面11的一些区域并未被照亮,传感器1和2的每一传感器所获取的图像仅部分地表示表面11。在步骤206中,根据在步骤205中所获取的立体图像对,来确定零件的第一三维模型。该模型可由控制单元17确定。在该模型中,缺少与在步骤205中未被第一投影仪所照亮的表面11的部分相对应的信息。在步骤216中,根据在步骤215中所获取的立体图像对,来确定零件的第二三维模型。该模型可由控制单元17确定。在该模型中,缺少与在步骤215中未被第二投影仪所照亮的表面11的部分相对应的信息。
在步骤207中,对在步骤206和216中所获得的第一模型和第二模型进行融合,以便于确定零件5的第三三维模型,该模型比第一模型和第二模型更完整,其包括了在步骤205和/或215中未被照亮的表面11部分中与零件5的三维结构有关的信息。
在步骤104、114、204和/或214中关闭高光。在这些步骤中,照明20待关闭的部分由所获取的包括了高光的图像来确定。在步骤102、112、202和/或212中,可以在零件5上实现光图案7的投影。例如,在由传感器1和2之一获取图像期间,通过第一投影仪3和/或第二投影仪4可以将光图案7投射至表面11上。例如,在由传感器1、2之一获取图像期间,可以通过第一投影仪3和/或第二投影仪4将光图案7投射到表面11上。然后将表面11上的光图案7的图像与被投射的光图案进行关联。因此,可以将传感器1和2的像素与投影仪3和4的像素相关联。然后可以关闭投影仪3和4的一个或多个部分,例如关闭与对应于一个或多个高光10的光图案的图像的一个或多个部分相关联的投影仪3和4的一组像素。
图8示意性地示出了光图案7的序列22。在该方法的步骤104和114中,隐藏和/或关闭产生了一个或多个高光10的照明20的部分。根据由传感器1和2所产生的表面11的图像,来计算出所投射的照明的一个或多个部分的操作状态(例如,关闭状态或打开状态)。用户和/或控制单元17可以通过投射出光图案7的序列22,来确定待关闭和/或待隐藏的照明的部分。图8示出了连续投射出的三个光图案7的序列。光图案7的不同部分16对应于图8下方的图案7的黑色柱或白色柱:表示了八个部分16。对于该序列的每个图案7,被投影的部分16的光强度为二进制的,在图8中,其由每个部分16的黑色填充或白色填充示意性地进行表示。在该示例中,图案的每个部分16沿从000(完全在序列的图案7左侧的部分)到111(完全在序列的图像右侧的部分)的序列进行二进制编码。一般而言,每个部分16的所投射的序列不同,这使得能够识别每个部分16。本文中所给出的二进制编码是作为示例而给出的。根据目标的不同,存在各种具有有趣属性的编码。
在光图案7的序列的投射过程中,表面11可以由一个或多个传感器1和2进行拍摄。用户或控制单元17可以通过检测高光,然后通过识别出由被拍摄的包括有高光的图像的部分所发射的序列,来确定照明的待关闭和/或待隐藏的部分。控制单元17可以读取和翻译图像的这一部分的序列,以便于识别出照明的待关闭和/或待隐藏的部分。例如部分16可以为投影仪的像素或像素组。
图9示意性地示出了包括零件5的表面11、传感器1和2、以及投影仪3和4的装置。
在朝向传感器1和2的高光反射过程中,在产生了高光反射的点处垂直于表面11的直线与由入射光线的方向和反射光线的方向所形成的角的平分线对齐(Snell-Descartes定律的应用)。
此外,在椭圆13的一点处的法线与由椭圆13的焦点、所述点和椭圆13的第二焦点所形成的角的平分线重合。
由于这种特性,便知晓了如何建立一个非常简单的标准来确定表面元件11是否能够对于给定的投影仪-传感器配置产生高光反射,即:P1和P2为投影仪和传感器各自的光学中心,M为表面11上的一个点,如果以P1和P2为焦点并穿过点M的椭圆在点M处与表面11相切,则可以进行高光反射。图9示出了,在包括了光学中心P1和P2的平面中,在表面上仅有的适用于呈现高光反射的点。这些点为局部椭圆与该表面相切的点。
图10示出了一个包括传感器1以及多个投影仪3和4的系统。一般来说,第二投影仪4被布置在空间中,使得表面11上的任何点都不具有由第一投影仪3和第二投影仪4所导致的高光反射。
因此,如果在传感器1上,第一投影仪3的照明20在表面11的一点处产生高光反射,则表面11在该点处的部分与以投影仪3的中心和传感器1的中心为焦点的椭圆13相切。因此,在该点处,该椭圆与以投影仪4的中心和传感器1的中心为焦点的椭圆形成足够的角度,因此第二个投影仪4的照明20无法在传感器1上生成高光反射。
当实施两个传感器1和2时,投影仪3和4以及传感器1和2可以被布置为使得对于每个传感器,在检查零件5的整个工作空间中,以第一投影仪3和传感器为焦点的椭圆13和以第二投影仪4和传感器为焦点的椭圆13的交角α足够大,即大于10°。因此,当由投影仪3和投影仪4连续进行照明时,工作空间的任何区域都无法在传感器1和2上导致两次高光反射。因此,在检查零件5的过程中,尽管已有必要的熄灭措施,该零件的任何部分仍由所述投影仪中的至少一台投影仪进行照明。
Claims (7)
1.一种用于通过获取航空零件(5)的立体图像并确定航空零件(5)的三维模型来对所述航空零件(5)进行无损检查的方法(P1,P2),其中,所述航空零件(5)由表面(11)所界定,所述方法实现如下步骤:
a)通过第一投影仪(3)将照明(20)投射至所述表面(11)上;
b)通过被布置在两个不同位置的第一传感器(1)和第二传感器(2)获取所述表面的立体图像;
c)检测所述传感器的所述图像中的每个上的一个或多个高光(10);
其中,所述方法实现如下步骤:
d)将所述照明(20)中沿所述传感器的方向导致所述高光的一个或多个部分熄灭;然后
e)通过所述传感器中的每一个传感器获取所述表面的立体图像;
所述步骤a)至e)还通过由第二投影仪(4)将照明(20)投射至所述表面上来实现,所述第二投影仪被布置在与所述第一投影仪不同的位置上;所述方法实现了根据以下两项来确定所述航空零件(5)的三维模型:在所述第一投影仪(3)的照明下在获取步骤e)中所获取的所述立体图像,以及在所述第二投影仪(4)的照明下在获取步骤e)中所获取的所述立体图像,根据在所述第一投影仪(3)的照明下在获取步骤e)中所获取的所述立体图像来确定所述航空零件(5)的第一三维模型,根据在所述第二投影仪(4)的照明下在获取步骤e)中所获取的所述立体图像来确定所述航空零件(5)的第二三维模型,通过融合所述第一三维模型和所述第二三维模型来确定所述航空零件(5)的所述三维模型。
2.根据权利要求1所述的方法(P1,P2),其中,在获取步骤e)中,在不通过所述第一投影仪(3)对照明进行同步投射的情况下,通过所述第二投影仪(4)将照明(20)投射到所述表面上。
3.根据权利要求1或2所述的方法(P1,P2),其中,在确定所述三维模型期间,对在熄灭步骤d)之后在不同的照明下所述第一传感器(1)所获取的图像和在熄灭步骤d)之后在不同的照明下所述第二传感器(2)所获取的图像进行融合,并且根据通过融合所获得的图像确定所述航空零件(5)的所述三维模型。
4.根据权利要求1或2所述的方法(P1,P2),其中,在熄灭步骤d)中通过以下步骤来确定所述照明(20)的待关闭部分:
-通过所述第一投影仪(3)和/或所述第二投影仪(4)将光图案(7)投射至所述表面(11)上;
-将所述表面(11)上的光图案的图像与被投射的所述光图案(7)进行关联;
-关闭投影仪(3,4)的一个或多个部分,所述投影仪(3,4)的一个或多个部分与所述光图案(7)的图像的对应于一个或多个高光(10)的一个或多个部分相关联。
5.根据权利要求1或2所述的方法(P1,P2),其中,通过以下步骤来确定所述照明(20)的待关闭部分:
-投射光图案(7)的序列,所述序列的每个光图案均包括二进制光强的多个部分,光图案的每个部分的所述二进制光强的序列使得可以识别出光图案(7)的所述部分;
-在所述光图案(7)的序列的投射过程中,利用传感器对所述表面(11)进行拍摄,检测高光,并且通过包括所述高光的所述传感器的图像的一个部分的序列,来识别所述照明的一个所述待关闭部分。
6.根据权利要求1或2所述的方法(P1,P2),其中,在工作空间中检查所述航空零件(5),并且其中,所述第一投影仪(3)和所述第二投影仪(4)被布置成使得:对于每个传感器以及整个工作空间,以所述第一投影仪(3)和所述传感器为焦点的椭圆(13)与以所述第二投影仪(4)和所述传感器为焦点的椭圆(13)的交角α大于10°。
7.一种用于通过确定航空零件(5)的三维模型来对所述航空零件(5)进行无损检查的系统,所述航空零件(5)由包括有高光性部分(12)的表面(11)所界定,所述系统至少包括:第一投影仪(3)、被布置在两个不同位置的第一传感器(1)和第二传感器(2)、以及控制单元(17),所述系统还包括被布置在与所述第一投影仪不同的位置上的第二投影仪(4),并且所述控制单元(17)被配置为:
a)控制所述第一投影仪(3)在所述表面(11)上的照明(20)的投射;
b)控制所述第一传感器(1)对所述表面的立体图像的获取以及所述第二传感器(2)对所述表面的立体图像的获取;
c)检测由所述第一传感器(1)获取的所述表面的图像上的一个或多个高光(10)以及由所述第二传感器(2)获取的所述表面的图像上的一个或多个高光;
其中,所述控制单元(17)还被配置成:
d)将所述第一投影仪(3)的照明(20)中的一个或多个部分熄灭,所述熄灭是局部的并且使得在所述表面(11)上一个或多个局部阴影区域(18)代替所述照明中的一个或多个部分,所述照明中的一个或多个部分导致了由所述第一传感器(1)获取的所述表面的图像上的一个或多个高光(10)和/或由所述第二传感器(2)获取的所述表面的图像上的一个或多个高光;
e)通过所述第一传感器(1)和所述第二传感器(2)中的每一个来获取所述表面的立体图像;
步骤a)至e)是在由第二投影仪(4)将照明(20)投射在所述表面(11)上时实现的,所述第二投影仪(4)被布置在与所述第一投影仪(3)的位置不同的位置处;所述系统采用的方法实现了根据在所述第二投影仪(4)的照明下在获取步骤e)中所获取的所述立体图像,根据在所述第一投影仪(3)的照明下在获取步骤e)中所获取的图像来确定所述航空零件(5)的第一三维模型,根据在所述第二投影仪(4)的照明下在获取步骤e)中所获取的图像来确定所述航空零件(5)的第二三维模型,以及通过融合所述第一三维模型和所述第二三维模型来确定所述航空零件(5)的所述三维模型。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1757490A FR3069941B1 (fr) | 2017-08-03 | 2017-08-03 | Procede de controle non destructif d'une piece aeronautique et systeme associe |
FR1757490 | 2017-08-03 | ||
PCT/FR2018/052017 WO2019025745A1 (fr) | 2017-08-03 | 2018-08-03 | Procede de controle non destructif d'une piece aeronautique et systeme associe |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111033566A CN111033566A (zh) | 2020-04-17 |
CN111033566B true CN111033566B (zh) | 2023-11-28 |
Family
ID=60020138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880056003.3A Active CN111033566B (zh) | 2017-08-03 | 2018-08-03 | 用于对航空零件进行无损检查的方法及其系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11037314B1 (zh) |
EP (1) | EP3662447B1 (zh) |
CN (1) | CN111033566B (zh) |
FR (1) | FR3069941B1 (zh) |
WO (1) | WO2019025745A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6907277B2 (ja) * | 2018-08-30 | 2021-07-21 | コグネックス・コーポレイション | 歪みが低減された物体の3次元再構成を生成するための方法及び装置 |
CN111829456A (zh) * | 2019-04-19 | 2020-10-27 | 株式会社三丰 | 三维形状测定装置以及三维形状测定方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1512455A (zh) * | 2002-12-27 | 2004-07-14 | 中国科学院自动化研究所 | 基于主动视觉的物体三维模型快速获取方法 |
CN101504277A (zh) * | 2009-02-26 | 2009-08-12 | 浙江师范大学 | 一种光学三维传感获取物体三维图像的方法 |
CN102519391A (zh) * | 2011-12-28 | 2012-06-27 | 东南大学 | 基于弱饱和二维图像的物体表面三维立体图像重建方法 |
CN104937367A (zh) * | 2013-01-17 | 2015-09-23 | 赛博光学公司 | 用于电路板的三维成像的多照相机传感器 |
CN105357511A (zh) * | 2015-12-08 | 2016-02-24 | 上海图漾信息科技有限公司 | 深度数据检测系统 |
CN106546193A (zh) * | 2016-10-12 | 2017-03-29 | 上海大学 | 一种高反射物体表面三维测量方法和系统 |
CN106604016A (zh) * | 2017-01-26 | 2017-04-26 | 上海图漾信息科技有限公司 | 立体视频采集系统 |
CN106796721A (zh) * | 2014-09-11 | 2017-05-31 | 赛博光学公司 | 三维轮廓测量中根据多个相机和源的点云合并 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7315383B1 (en) * | 2004-07-09 | 2008-01-01 | Mohsen Abdollahi | Scanning 3D measurement technique using structured lighting and high-speed CMOS imager |
US7474415B2 (en) * | 2006-09-13 | 2009-01-06 | Chung Shan Institute Of Science And Technology, Armaments Bureau, M.N.D. | Measurement method of three-dimensional profiles and reconstruction system thereof using subpixel localization with color gratings and picture-in-picture switching on single display |
JP5631025B2 (ja) * | 2010-03-10 | 2014-11-26 | キヤノン株式会社 | 情報処理装置、その処理方法及びプログラム |
GB2497031A (en) * | 2010-09-08 | 2013-05-29 | Canon Kk | Method and apparatus for 3D-measurement by detecting a predetermined pattern |
US20140002610A1 (en) * | 2011-03-15 | 2014-01-02 | Board Of Trustees Of Michigan State University | Real-time 3d shape measurement system |
US20130287288A1 (en) * | 2012-04-25 | 2013-10-31 | General Electric Company | Method and device for determining the offset distance between two surfaces |
WO2014010251A1 (en) * | 2012-07-13 | 2014-01-16 | Panasonic Corporation | Hand and object tracking in three-dimensional space |
US9857166B2 (en) * | 2012-09-19 | 2018-01-02 | Canon Kabushiki Kaisha | Information processing apparatus and method for measuring a target object |
-
2017
- 2017-08-03 FR FR1757490A patent/FR3069941B1/fr not_active Expired - Fee Related
-
2018
- 2018-08-03 EP EP18762372.3A patent/EP3662447B1/fr active Active
- 2018-08-03 CN CN201880056003.3A patent/CN111033566B/zh active Active
- 2018-08-03 US US16/635,841 patent/US11037314B1/en active Active
- 2018-08-03 WO PCT/FR2018/052017 patent/WO2019025745A1/fr unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1512455A (zh) * | 2002-12-27 | 2004-07-14 | 中国科学院自动化研究所 | 基于主动视觉的物体三维模型快速获取方法 |
CN101504277A (zh) * | 2009-02-26 | 2009-08-12 | 浙江师范大学 | 一种光学三维传感获取物体三维图像的方法 |
CN102519391A (zh) * | 2011-12-28 | 2012-06-27 | 东南大学 | 基于弱饱和二维图像的物体表面三维立体图像重建方法 |
CN104937367A (zh) * | 2013-01-17 | 2015-09-23 | 赛博光学公司 | 用于电路板的三维成像的多照相机传感器 |
CN106796721A (zh) * | 2014-09-11 | 2017-05-31 | 赛博光学公司 | 三维轮廓测量中根据多个相机和源的点云合并 |
CN105357511A (zh) * | 2015-12-08 | 2016-02-24 | 上海图漾信息科技有限公司 | 深度数据检测系统 |
CN106546193A (zh) * | 2016-10-12 | 2017-03-29 | 上海大学 | 一种高反射物体表面三维测量方法和系统 |
CN106604016A (zh) * | 2017-01-26 | 2017-04-26 | 上海图漾信息科技有限公司 | 立体视频采集系统 |
Non-Patent Citations (1)
Title |
---|
SUN ET AL."Object surface recovery using a multi-light photometric stereo technique for non-Lambertian surfaces subject to shadows and specularities".《IMAGE AND VISION COMPUTING》.2007,第25卷(第7期),1050-1057页、摘要,图1-2. * |
Also Published As
Publication number | Publication date |
---|---|
WO2019025745A1 (fr) | 2019-02-07 |
EP3662447A1 (fr) | 2020-06-10 |
CN111033566A (zh) | 2020-04-17 |
EP3662447B1 (fr) | 2022-04-13 |
FR3069941A1 (fr) | 2019-02-08 |
US20210183084A1 (en) | 2021-06-17 |
FR3069941B1 (fr) | 2020-06-26 |
US11037314B1 (en) | 2021-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220084183A1 (en) | Defect detection device, defect detection method, and program | |
US9423245B2 (en) | Arrangement for optical measurements and related method | |
US8107721B2 (en) | Method and system for determining poses of semi-specular objects | |
US11295434B2 (en) | Image inspection system and image inspection method | |
JP2018521377A (ja) | 人工3d再構成を用いてセキュリティパターンを識別する方法 | |
CN105372259B (zh) | 测量装置、基板检查装置以及其控制方法、存储媒体 | |
US20180322647A1 (en) | Systems and Methods For Forming Models of Three-Dimensional Objects | |
CN111033566B (zh) | 用于对航空零件进行无损检查的方法及其系统 | |
CN211179500U (zh) | 多光源光学检测系统 | |
JP2022533848A (ja) | カメラ部品が損傷しているかどうかを判定するためのシステムおよび方法 | |
JP2008064715A (ja) | 欠陥検査装置および欠陥検査方法 | |
US20200322525A1 (en) | Image Inspection System And Image Inspection Method | |
JP2020139822A (ja) | 検査装置、検査システム及び検査方法 | |
JP6064151B1 (ja) | 照明装置、撮像システムおよび照明方法 | |
Munaro et al. | Efficient completeness inspection using real-time 3D color reconstruction with a dual-laser triangulation system | |
WO2019117802A1 (en) | A system for obtaining 3d images of objects and a process thereof | |
JP6508763B2 (ja) | 表面検査装置 | |
JP4967132B2 (ja) | 対象物表面の欠陥検査方法 | |
So et al. | 3DComplete: Efficient completeness inspection using a 2.5 D color scanner | |
JP2020060533A (ja) | 光学評価装置、および、光学評価方法 | |
JP2019144183A (ja) | 三次元座標計測装置及びその方法 | |
JP7062798B1 (ja) | 検査システム及び検査方法 | |
JP7459525B2 (ja) | 三次元形状計測装置、三次元形状計測方法及びプログラム | |
JP7231461B2 (ja) | 画像検査システム及び画像検査方法 | |
Adameck et al. | Vision system for classification of metallic tokens using the selective stereo gradient method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |