CN114041168A - 自动化360度密集点对象检验 - Google Patents
自动化360度密集点对象检验 Download PDFInfo
- Publication number
- CN114041168A CN114041168A CN202080048597.0A CN202080048597A CN114041168A CN 114041168 A CN114041168 A CN 114041168A CN 202080048597 A CN202080048597 A CN 202080048597A CN 114041168 A CN114041168 A CN 114041168A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- laser
- point
- scan
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 claims abstract description 163
- 230000008569 process Effects 0.000 claims description 93
- 230000009466 transformation Effects 0.000 claims description 51
- 239000011159 matrix material Substances 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 230000000284 resting effect Effects 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 16
- 230000014616 translation Effects 0.000 claims description 16
- 238000005266 casting Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 238000011068 loading method Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000007670 refining Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 68
- 230000002950 deficient Effects 0.000 abstract description 24
- 238000005286 illumination Methods 0.000 abstract description 5
- 238000011960 computer-aided design Methods 0.000 description 173
- 238000012545 processing Methods 0.000 description 58
- 238000005259 measurement Methods 0.000 description 36
- 230000007547 defect Effects 0.000 description 22
- 238000004519 manufacturing process Methods 0.000 description 19
- 239000000047 product Substances 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000012795 verification Methods 0.000 description 15
- 238000012360 testing method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 12
- 238000004088 simulation Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 238000012800 visualization Methods 0.000 description 10
- 230000015556 catabolic process Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000003592 biomimetic effect Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 244000172533 Viola sororia Species 0.000 description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 5
- 239000010931 gold Substances 0.000 description 5
- 229910052737 gold Inorganic materials 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000003754 machining Methods 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 238000003070 Statistical process control Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000356 contaminant Substances 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 238000011143 downstream manufacturing Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000001746 injection moulding Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000007723 transport mechanism Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 235000005811 Viola adunca Nutrition 0.000 description 1
- 240000009038 Viola odorata Species 0.000 description 1
- 235000013487 Viola odorata Nutrition 0.000 description 1
- 235000002254 Viola papilionacea Nutrition 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004512 die casting Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000005245 sintering Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
- G05B19/4202—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model
- G05B19/4207—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model in which a model is traced or scanned and corresponding data recorded
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
- G05B19/40937—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine concerning programming of machining or material parameters, pocket machining
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37008—Calibration of measuring system, probe, sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/80—Management or planning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Life Sciences & Earth Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
公开了用于对对象执行实时质量检验的系统和方法。该系统和方法包括用以移动被检验对象从而允许检验在线上执行的运输器。设置捕获被检验对象的光学图像的至少一个光学采集单元。将捕获的光学图像与对象的CAD模型相匹配,并提取匹配的CAD模型。具有照明光束的激光器的波长在紫色或紫外范围内,然后对对象进行扫描,这些扫描形成三维点云。将点云与用于每个对象的提取的CAD模型进行比较,其中将CTF与用户输入或CAD模型信息进行比较,并且基于点云与CAD模型之间的偏差程度,确定对象是可接受的还是有缺陷的。
Description
相关申请的交叉引用
本申请要求于2019年5月2日提交的美国专利申请No.16/401,890的优先权,该申请的全部内容通过引用并入本文。
技术领域
本发明涉及对物理对象的自动检验,并且特别地涉及对物理对象实施非接触式三维扫描的检验系统和方法。
背景技术
在许多制造过程中,重要的是所有零件都在由行业标准、公司标准或所需规格所限定的公差范围内形成。例如,在通过模制成型、增材制造或机加工来制造零件时,重要的是每个制造的零件符合一定标准和规格。对于使用三维打印、烧结金属或其他部件成型工艺制造的零件也是如此。在现代生产中,零件、工具、压铸模和模具通常是基于计算机辅助设计(CAD)模型来设计的。例如,在计算机辅助制造(CAM)中,计算机数字控制(CNC)机床使用CAD设计作为输入,以控制工具在机加工产品时的操作。
在本领域中有若干已知的系统和方法,用于验证制造的零件和产品的表面形状。例如,坐标测量机(CMM)、激光追踪器和三维扫描测量系统以及其他设备被用于执行精确检验。然而,这些检验系统需要漫长而复杂的设置,并且还需要在检验可以开始前将待检验的零件或产品在检验系统中进行特定的定位。例如,在CMM中,零件需要被定位在夹具内,以正确保持零件。因此,仅设置产品或零件以及检验系统就需要投入大量的时间和成本,而且需要针对每个不同的待检验零件单独完成设置过程。CMM还在特定的点处捕获测量值,从而产生对对象的测量的稀疏采样。因此,要测量整个对象,可能需要测量多个特定点。增加点的数量增加了测量的复杂性,增加了时间和成本。
用于制造部件和零件的自动化制造技术,诸如模制、机加工和组装,要求制造的零件符合规格。手动检验每个零件费力又费时,并且如果不及时完成,将使得制造出不符合的部件,从而需要返工并浪费时间和材料。作为制造过程一部分的自动化检验可以识别不符合的零件并追踪下述趋势,该趋势指示并预测由于模具、工具开始磨损或供应商提供的不符合部件引起的不合规格的情况将会在未来的某个时间点发生。使用非接触式轮廓仪来获取制造的部件的3D图像,以将获取的图像与部件规格进行比较,以验证部件符合性。然而,非接触式轮廓仪、部件和支撑表面之间的相对机械运动是必需的,以生成限定被检验的部件的3D图像的点云。叠置的轮廓遍历被用于确保在生成和记录点云时从多个角度对零件进行充分的照明。此外,叠置的轮廓遍历允许对较大的部件进行检验。
所需要的是一种易于使用的检验系统,该系统可以检验零件和产品而不管定向并且不需要在检验期间首先将被检验的零件或产品放入任何夹具或其他机构中来保持它们。对对象进行密集采样从而以合理的时间和成本对整个对象进行测量是必需的,以克服现有对象检验系统的上述缺点。
发明内容
本发明涉及一种用于对制造的零件和产品进行质量检验的线上系统和方法,包括首件检验、关键功能参数(CTF)和缺陷检测。该检验确定了材料或物品是否处于适当的数量和状况,以及是否符合适用的或指定的要求,无论是特定用户的要求还是行业标准。检验一般分为三类:1)接收检验,2)过程中检验,以及3)最终检验。该系统和方法通过扫描被检验对象的三维(3-D)表面几何形状并将扫描过程中的信息与该对象的3-D模型进行比较,来进行非接触式质量检验。对象可以是实心的、不透明的、半透明的或透明的,并且可以具有镜面或扩散性的表面特征。对象可以包括这些特征的组合,并且仍然可以用本发明的系统和方法进行检验。此外,对象可以在其制造的若干不同阶段中被检验,使得能够在每个阶段进行多次过程中检验。每个阶段都可能需要它自己的检验过程,如本文所述。
该系统和方法可以包括光学扫描系统和激光模块,用于对对象进行精确的线上检验,该激光模块包括激光轮廓仪。在特定实现方式中,激光轮廓仪的光束的波长可以在紫光或紫外光范围内,尽管也可以使用其他波长。当对象诸如零件或产品被检验时,它们可以在预定位置处以预定定向放置在运输系统诸如运输带上,该运输系统使它们移动经过光学扫描系统和激光轮廓仪。当对象沿着运输带移动时,它们在光学扫描系统下经过,该光学扫描系统扫描对象并识别对象在运输带上的定位和定向。该系统和方法可以同时检验放置在运输器上的多个对象,其中运输器在线上过程中使对象移动经过检验系统部件。被检验对象可以是相同的或不同的零件或产品,其中光学扫描系统在每个对象经过时都能识别该对象。此外,光学扫描系统可以识别污染物,诸如对象上存在的灰尘、油或其他异物,还可以针对对象的预期颜色、纹理或光洁度的准确性来对对象进行检测和测量。质量检验系统中的计算机处理器从光学扫描系统接收被检验对象的确定身份,并加载与被检验的确定对象或产品相对应的数据文件。可替代地,可以预先确定待检验对象,并加载与该对象相对应的预定数据文件。在这两种情况下,数据文件可以是CAD模型,然后该CAD模型被转换为表示该对象的统一点云。
在光学扫描系统之后,在用于扫描被检验对象的扫描系统中提供包括激光轮廓仪的激光模块,该激光轮廓仪例如具有波长在紫光或紫外光范围内的照明光束。激光系统输出了表示一个或更多个对象的规律间隔的三维(3-D)坐标点云。然后,该系统和方法将该所获得的表示对象的3-D坐标点云与从计算机处理器检索到的统一点云进行比较。确定两者之间的差异,并将该差异用来确定被检验对象和预期产品(基于存储的数据文件)之间的变化程度。然后,该系统和方法可以识别出被检验对象的零件或部分可能有缺陷,并在识别出有缺陷的对象时警示系统操作者。
特别地,该系统可以用于检验由模具制造的零件。模具将具有最终零件的期望尺寸,并且预期的是由模具生产的零件将具有在特定公差水平内的这些期望尺寸。从注射成型的零件中实时确定缺陷数据可以用作一种预测性的测量方法,以确定何时发生了明显的磨损,以及在缺陷变得令人不满之前需要更换模具。因此,该系统可以用作几何尺寸确定和公差质量检验过程的一部分。尺寸规格限定了标称的、模拟的或预期的几何形状。公差规格限定了用于个体特征的形状和可能大小的可允许变化,并限定了特征之间的定向和位置的可允许变化。
附图说明
图1A是示出了质量检验系统的部件的高层次图。
图1B是质量检验系统中激光系统的部件的图示。
图2是检验系统模块的概述功能图的图示。
图3是参数设置建议系统的图示。
图4是激光器(4009-4010)和传感器(4011-4012)的图示,示出了射线投射和聚焦体积(4001-4008)。
图5例示了用于查找捕获设置参数的射线投射技术的框图,该参数使得能够对对象进行充分扫描。
图6是对象被双激光相机系统扫描的模拟。
图7描绘了包含在梯级上的基准标记孔的校准目标。
图8例示了已经被分段成平面段的示例扫描。
图9例示了点与限定参考平面之间的距离的直方图。
图10例示了点与定向较差的限定参考平面之间的距离的直方图。
图11例示了平面图像的示例,其中点的存在由一个值指示,以及点的不存在由另一颜色指示。
图12A和12B是使用中的产品检验系统的图示,示出了检验期间运输器和激光模块的运动。
图13是质量检验系统的部件的框图。
图14是激光系统在仅垂直于运输路径移动时的扫描路径的图示
图15是当激光系统既垂直于运输路径又沿与运输路径相同的方向移动时,该激光系统的扫描路径的图示。
图16描述了将对象的存储CAD模型转换为点云的处理细节,以用于与来自激光系统的点云进行比较。
图17描述了以下的细节:对来自光学采集单元的图像数据进行处理以识别被检验对象。
图18A描述了将来自激光系统的数据与CAD模型信息合并以确定实际对象尺寸与预期对象尺寸之间的差异的处理过程。
图18B描述了用于基于对象的参考网格模型来生成库的系统流程图。
图18C描述了用于将目标点云配准和匹配到参考网格模型的系统流程图。
图19描述了由系统和方法对公差进行确定的处理过程。
图20描述了运输系统的示例,该运输系统可以用于检验系统中,以使被检验对象移动经过光学采集单元和激光扫描系统。
图21描述了确定被检验对象是否有缺陷的处理过程。
图22描述了可以向操作者显示的示例用户接口。
图23描述了用于监测扫描系统的性能、校正空间移位、并在空间移位程度超过阈值时通知用户的过程。
具体实施方式
本发明涉及一种用于对对象进行高精度质量控制检验的系统和方法。该系统被配置为对制造的零件执行几何检验,以进行质量控制和检验(包括首件检验、关键功能参数(CTF)、以及缺陷检测)。如上所述,检验确定了材料或物品是否处于适当的数量和状况,以及是否符合适用的或指定的要求,无论是用户特定的要求还是行业标准。检验一般分为三类:1)接收检验,2)过程中检验,以及3)最终检验。接收检验包括首先对接收到的对象进行检验,以确定该对象最初是否满足适用的要求和标准。过程中检验是在对象分若干阶段制造时执行的,并且检验可以在形成最终产品所需的所有或特定的制造或制备阶段之后执行。最终检验可以对预期不会进行进一步制备或改动的已完成对象执行。该系统对对象的三维(3-D)表面几何形状执行扫描以检测缺陷,该对象诸如制造的部件、零件和产品。
该系统通过使用光学采集单元和扫描系统两者对可移动平台或压板上的对象进行扫描以及在来自所得对象扫描的数据与可由系统处理器访问的预定数据文件之间进行比较,来执行自动化、线上或离线质量检验,该数据文件对应于被检验的对象。扫描系统可以包括深度测量设备,该深度测量设备的测量结果可以用于在扫描过程期间捕获3-D对象的几何形状。深度测量设备可以是例如被配置为扫描可移动平台上的对象的激光轮廓仪系统、共焦系统、结构光系统或干涉仪。
这些不同的传感器或其选定的子集可以被包括在检验系统中。当包括不止一种传感器时,系统可以被配置成使得操作者或自动化程序可以选择使用哪些传感器,而不被使用的传感器将回缩或重新定位使得它们不会干扰检验。可替代地,也可以包括传感器安装件,从而允许一个或更多个传感器可互换地安装到系统,以便在检验过程中使用。这样的传感器安装件允许操作者将特定检验所不需要的成像器换掉。该系统可以使用不同的传感器或传感器组合,来对不同的零件、对象类型、相同对象的特定特征、或制备对象的不同阶段进行成像。因此,该系统可以具有针对所使用的每个新的传感器或传感器组合而实施的新的设置参数。
该系统可以通过将实际对象的捕获尺寸与为该对象提供的几何尺寸和公差(GD&T)规格进行比较来产生检验报告。尺寸规格限定了标称的、模拟的或预期的几何形状。公差规格限定了用于被检验对象的个体特征的外形和大小的可允许变化,并且还限定了特征之间的定向和位置的可允许变化以及预期的可允许变化。
为了执行质量检验,该系统包括:移动运输器;光学系统,用以在运输路径开始时对对象进行成像;以及一个或更多个深度测量系统,诸如激光轮廓仪、共焦系统、结构光系统或干涉仪,用以记录在运输路径上位于光学系统之后的3-D对象几何形状。激光轮廓仪或其他深度捕获模态可以以表示对象的非结构化点云的形式捕获3-D对象几何形状。该系统还包括用于计算和存储数据的计算机处理器,该数据包括存储的对象数据信息,诸如示出了被检验对象的预期尺寸的CAD数据。可以提供操作者控制面板和显示器,以允许操作者:查看存储数据库中的CAD图像,查看扫描系统捕获到的被检验对象的3-D图像,以及查看详细说明了存储数据库中的CAD图像与实际成像的对象之间的差异的热图和直方图信息。操作者控制面板还可以允许操作者:修改检验系统的参数,控制检验系统的运行或暂停检验系统,以及审查关于被检验对象的缺陷信息。
如图1A所示,质量检验系统100包括位于运输器150的一个端部处的光学采集单元110,该运输器使待检验的对象160移动通过检验系统。运输器150可以是例如输送带或滚轮系统,并使被检验对象沿运输路径在方向A上移动。光学采集单元110可以是包括一个或更多个图像采集单元的区域或线性阵列光学系统。光学采集单元110可以连接到处理设备,该处理设备被配置为分析运输器150上的对象的捕获图像,以识别对象以及该对象在运输器上的位置和定向。激光模块200沿着运输路径被包括在光学采集单元110之后,并连接至操作者控制面板120。如前所述,除了激光模块之外,或作为激光模块的替代,可以使用其他深度测量系统诸如共焦系统、结构光系统或干涉仪来记录3-D对象的几何形状。激光模块包括激光驱动器210和激光传感器250。激光器可以包括安装组件260,安装组件将激光器连接到遍历机构270诸如固定的或可移动的导螺杆。遍历机构270可以被配置成允许激光模块相对于被检验对象在三维空间内移动。激光模块发射激光束140,该激光束从被检验对象160反射,然后被激光传感器250感测。激光模块200可以是但不限于激光轮廓仪,其中照明光束的波长在紫光或紫外光范围内,用于扫描对象并输出三维(3-D)非结构化点云。激光轮廓仪可以使用但不限于激光三角测量或飞行时间移位感测来测量深度。该系统还可以包括操作者控制面板120,允许系统操作者:对对象执行检验,修改检验参数,审查对象检验结果,及对缺陷或警示通知做出响应。操作者控制面板可以包括用户输入器125,诸如键盘、鼠标或触摸屏,并且还可以包括显示器128。警示通知130可以被包括在质量检验系统中,并且可以是视觉或听觉警示。用户将待检验的一个或更多个对象的适当CAD模型和公差数据加载到检验系统100中。超过预定公差的对象被识别为有缺陷的。用户可以通过显示在用户显示器128上的热图根据CAD模型查看有缺陷的三维(3-D)坐标点云变化,或者限定对有缺陷的对象应采取的动作。用户显示器可以是检验系统的本地显示器,或者可以是通过网络连接与检验站的计算设备进行通信的显示器。
图1B是激光模块200的部件的图示,该激光模块包括激光驱动器210,该激光驱动器输出呈激光锥体230的形式的激光束140,该激光束跨被扫描对象投射表示视场的线240。所形成的线240的长度与激光束140的投射角θ280以及激光驱动器210与被检验对象之间的距离有关。激光束140从被检验对象反射回到激光模块200上的激光传感器250。在替代性实施方式中,激光驱动器210可以输出激光束,其中激光束140是撞击对象并从对象上反射的点。
激光模块200可以是激光轮廓仪。特别地,可以使用具有使用405nm波长的蓝紫激光器的激光轮廓仪,因为其波长较短。具有波长在紫光或紫外光范围内的照明光束的激光模块优于在金属和有机材料上使用例如红色激光二极管的标准传感器。另外,与使用在红色区域中的较长波长的激光模块相比,较短波长较不容易受到因热特性而自发光的对象的影响。紫光或紫外光的波长使激光在被检验对象160表面上的传播最小化,并且不会穿透对象,从而产生更精确的测量结果,从而允许对由塑料、金属、玻璃和其他材料制成的广泛范围的对象进行检测和测量,无论特征表面光洁度如何。
图2提供了检验系统模块的概览功能图,包括点云数据捕获子系统2000、零件视图处理子系统2020、以及零件检验子系统2030。点云数据捕获子系统2000通过从对象和关联数据的库2010中获取系统设置参数2002和CAD预处理数据2006来工作。在获取后,系统捕获扫描数据2001,然后使扫描数据标准化2003。经标准化的扫描数据2003包括校准数据2004。在扫描数据被标准化后,将数据对准并拼接2005。如果需要更多的扫描数据,可以捕获更多的扫描数据2001。在将扫描数据对准并拼接后,其被生成为3D点云文件2007。与待检验的预期对象相关联的所有信息被存储在对象数据库的库2010中。该信息包括CAD模型、与对象相关的GD&T信息、用于扫描对象的系统设置参数、以及在预处理期间计算的其他数据。
作为预处理的一部分,在CAD模型上执行以下操作,以便在捕获到的点云可用时为点云比较准备所有必要的数据。预处理可以通过包含可由计算机执行的指令的软件来执行,或者可以被包括作为嵌入式芯片的一部分或作为云计算资源。为了开始预处理操作,用户指定CAD文件并在必要时接受(或修改)特定默认设置。这些计算对每个CAD模型只进行一次,并且没有必要对每个捕获到的点云重复该程序。对CAD模型进行的以下操作可以作为预处理的一部分被执行:
●加载CAD模型的立体光刻(STL)文件。STL文件以3D的三角形列表的形式输送对象的几何形状。每个三角形指定3个顶点和向外面向的法向向量。
●每个三角形以高采样率进行插值,以产生覆盖整个三角形表面的点云。所有的结果点都被保留,以用整个表面上的而不仅仅是在面三角形的顶点处的密集点云来表示对象。
●计算出对象的所有可能的搁置位置,这些位置对应于对象在搁置于水平平坦表面上时可能所处的位置。这是通过下述完成的:
○找到CAD几何形状的凸面壳体
○找到对象的质心
○针对凸面壳体的每个面,测试质心是否在该面的正上方。这是在测试对象的重心是否在对象的立足点之上,否则它就会翻倒。
○保持为搁置位置,旋转矩阵与通过上述测试的每个面相对应。
○如上所述,确定的包括凸面壳体、对象的质心、和搁置位置在内的与对象有关的所有信息都与该对象相关联并存储在对象数据库的库2010中。
●针对每个搁置位置计算Z轴投射图像。这些图像可以被形象化为零件的处于搁置位置上的直下阴影。“阴影”区域内的强度表示零件在该位置处的高度。
●对2D配准的主成分分析(PCA)的Z轴投射图像的附加计算如在本发明的以下描述中更详细地描述的。
●读入包含待进行的特定测量的GD&T数据。所描述的检验系统还向在执行预处理设置的管理员提供GUI工具。管理员在预处理期间设置GD&T信息,然后将与对象相关联的设置保存在对象数据库的库2010中。作为该过程的一部分,GUI工具允许管理员:
○在CAD模型上手动选择基准平面和测量平面
○设定测量公差
■位置
■定向的角度
■粗糙度
■覆盖范围
○将所有结果保存在对象的库2010中以供将来使用
管理员还基于待成像表面的数量,以及基于根据GD&T信息确定的对象的特定测量要求,选择所需的成像器的数量和类型。例如,所需的镗孔内测量可能需要共焦成像仪,对小移位和表面不规则的测量可能需要使用干涉仪,以及颜色测量的正确性可能需要经校准的视觉相机。检验系统可以提供多个可选择的成像选项,其中未选择的成像器可以被调换或收回。包括所选成像器的系统设置被存储在与库2010中的对象相关联的库条目中。如果不可能同时使用获得期望测量所需的多个成像选项(由于系统限制),则检验过程被分成多个部分,其中每个部分指定待使用的成像器和所需的测量。然后,用于对象的库条目将具有与检验过程的每个部分相对应的多个步骤。
设置系统至少包括设置下述:用于检验系统的成像器、传感器和成像角度的配置;压板或输送机的速度;以及用于将被检验的特定对象的对象放置说明。系统最初使用专门的校准目标来进行校准,该校准目标诸如具有已知尺寸和属性的对象。专门的校准目标可以是期望待检验的对象类型的理想版本。在操作期间,针对被检验的特定对象,使用被确定为适合该对象的系统设置参数2002对系统进行设置。设置参数2002包括:成像器的位置和定向,该成像器诸如激光模块、共焦系统、结构光系统或干涉仪、或其组合;以及对象在压板或输送机上的放置处。初始设置可以在系统离线时执行(即不用于检验对象),但也可以在线执行并在系统检测到新的零件或对象时进行细化。成像器件的重新定位可以是自动的,取决于被检验对象,因此当系统识别到新对象时,系统执行新的设置程序,并且成像器件的位置会针对新对象自动更新。可以包括对象的多个放置处,以覆盖测量所需的所有视图。例如,当待检验的对象具有多个不同面时,可以包括对象的特定放置处和用于每个面的成像器。另外,如果对象的整个3-D几何形状可以通过对处于三个不同搁置位置的对象执行扫描来捕获,那么设置参数2002可以包括对象的这三个不同的位置和定向中的每一个,以及用于每个对象搁置位置的成像器的位置和定向。
在系统已经被设置为检验所期望对象后,通过使用成像器的运动、承载对象的压板或输送机的运动、或两者的运动来用成像器遍历对象,从而记录深度测量数据。即,对象可以被留在固定位置处,并且成像器可以相对于对象移动,从而在成像器移动时捕获扫描。来自扫描元件或成像器件的数据被处理以产生每次遍历的点云,然后每次遍历的点云在拼接过程中融合,以形成与扫描元件相对应的整体点云。之后,来自所有扫描元件的数据将被合并和分析,以组合每个扫描元件在过程期间获得的针对特定对象的数据。可替代地,对象可以沿着可移动的压板输送机前进,使得该对象在成像器下面通过。然后,成像器可以是固定的,也可以在扫描期间相对于压板或输送机移动。使用扫描专门的对象得出的校准数据来对准对象的来自扫描遍历的数据。追踪校准中随时间的任何漂移,并且在需要重新校准时,系统可以产生通知。校准过程在文中进行了较详细的描述。来自经对准的扫描遍历的数据被合并以产生点云。多个点云可以从对象的不同放置处生成,以覆盖需要测量的所有表面,如系统设置参数所指示的。例如,如果系统设置参数指示了需要进行三次不同的扫描,每次扫描具有不同的对象和/或成像器的位置和定向,那么进行这三次扫描并生成三个点云。
零件视图处理子系统2020的功能是对准和融合在点云捕获期间产生的点云,以创建覆盖被检验对象的360度视图的单个点云。为此,系统对所获得的点云执行地面减去2021,以移除与对象在被检验时所搁置于的地面(输送机、压板或其他平台)相对应的点。在减去地面后,检索该对象的3D零件视图文件2022并将其导入系统2023,以用于与点云数据进行比较。参照3D零件视图文件,对点云数据进行对准和融合2024,以便获得扫描对象的3D零件文件2025。零件检验子系统2030分析所获得的3D零件文件,以确定被检验对象是否有缺陷。为此,从零件视图处理子系统2020获得的每个都表示各个被检验对象的单个点云的3D零件文件被导入2033零件检验模块2030中,在那里该3D零件文件与被检验的特定对象的CAD模型2031进行比较。比较过程涉及CAD零件配准2035,可以根据用户偏好2038来进行调整。所获得的3D零件文件和基于CAD模型的预期数据之间的偏差2037被用来生成检验报告2039,向操作者指示被检验对象是否落在可接受的限度内,或者是否被确定为有缺陷2040。生成的报告2039可根据用户偏好2038进行定制。
零件检验子系统2030从接收零件CAD模型2031开始,将该零件CAD模型然后被导入2032到零件检验子系统2030中。如果没有导入3D零件文件2033,该子系统将识别CTF 2034,然后提供检验参数2036。然后,将计算零件CAD模型和CTF之间的偏差2037,这将产生报告2039,向操作者指示被检验对象是否落在可接受的限度内,或是否被确定为有缺陷2040。生成的报告2039可根据用户偏好2038进行定制。
扫描设置参数建议系统
在检验特定对象之前,可以首先使用参数建议系统进行设置,以确保对象被放置在适当的位置和定向,并确保系统被设置为适当地捕获用于特定对象的必要数据。检验设置通常具有需要在可以执行扫描前设置的许多参数。这些参数中有许多可能取决于被扫描的特定对象。例如,对象的大小确定了扫描的每次遍历需要覆盖的距离以及所需的遍历次数。所需的成像器的配置和类型基于待成像的表面的数量以及具体的测量要求。在可重新定位的成像系统中,基于所需的几何尺寸和公差(GD&T)测量,需要扫描的区域影响成像器的角度和位置。作为图2所示的点云捕获2000的一部分的扫描设置参数建议模块为被扫描的特定对象指导设置。扫描设置参数建议模块包括对系统的成像设置进行建模以计算出充分覆盖被检验对象所需的捕获设置参数的软件。为此,被检验的特定对象所需的CAD模型和GD&T测量被提供给系统处理器,该系统处理器执行检验系统的软件模拟,计算出用于特定对象的适当参数。计算出的参数被存储在对象检验信息库中,该对象检验信息库存储在计算机存储器中。
如上所述,一些检验应用涉及过程中检验,其中被制造的对象在其制造过程期间的中间点处被检验。这些对象可以具有多个CAD模型,表示对象在中间点处的预期状态。系统设置要求是为这些中间CAD模型中的每一者单独确定的,并且在库中为每一者维持单独的条目。
图3示出了扫描设置参数建议系统的使用,该扫描设置参数建议系统被实现为包括建模模拟器的软件模块。如图3所示,在离线程序300期间,该模块检索301了特定对象的CAD模型和GD&T信息。该信息被用于执行扫描设置参数建议系统软件模拟过程302,其结果是确定用于该特定对象的系统的设置参数。模拟软件包括系统的完整规格,包括:传感器和捕获器件的数量、类型和定位;传感器和捕获器件的特性,诸如聚焦区域、所支持的对角度和高度的调整、传感器和捕获器件的运动特性;以及运输器、压板或输送机速度和方向参数。确定的设置参数被保存在系统库中303,在条目中将设置与对象相关联。针对预期由系统扫描的对象中的每一者执行模拟过程,并且将计算出的设置参数储存在库中。这个过程在检验系统准备好进行扫描之前以及在系统执行扫描之前离线完成。在进行预处理步骤诸如计算参数以存储在库中时,系统可以被认为是离线的。只有在离线阶段完成、系统设置好、并部署以供使用之后,才可以执行扫描。
对于给定的对象或检验过程,系统可以具有多个不同的存储的设置参数。在使用中,系统可以根据用户的要求或偏好从存储的设置参数中进行选择,并且可以基于例如被检验对象的类型、被执行检验的类型。操作者可以选择要使用哪些设置参数,或者系统可以基于对要由光学采集系统检验的对象的识别来自动确定要使用哪些设置参数。
在扫描设置参数已经被存储之后,检验系统准备好对与扫描设置库中的条目相对应的对象进行检验。如果新类型对象待检验,有权限访问建议系统软件的管理员可以完成新的模拟,使得新对象的设置参数被存储在库中。当系统在使用时,或在线时,会遵循图3所示的过程310。首先,检索311特定对象的CAD模型和GD&T信息。然后,系统在每次扫描前从库中读取该对象的扫描设置说明312,并相应地对系统进行设置。在根据检索到的参数和说明对系统进行设置后,系统根据这些设置参数和说明执行扫描313。这确保了所产生的扫描将具有检验对象所必须的数据。
该部分可以根据系统设置参数使用自动系统诸如机械臂来设置,或者可以由操作者遵循所提供的指南手动完成。指南可以通过在GUI中显示图形和图表,以及通过在压板或输送机上投射视觉指导标记来提供。当使用投射时,投射可以通过使用深度测量系统的激光模块或其他光源来形成,然后在扫描检验对象期间用于获得深度测量捕获。投射的形式可以采用零件的缩放轮廓以及文本和/或图形说明和指示,以指导操作者正确放置和定位零件。当检验系统中包括光学采集单元时,该光学采集单元可以捕获待检验对象的图像。然后,系统可以分析捕获到的对象图像,以确定对象在检验过程中移动经过扫描器之前是否已被放置在正确的位置和定向上以用于检验。例如,相机可以捕获对象的图像和该对象预期所在的发光轮廓区域。可以分析这些图像,并且如果对象被放置在发光区域内,系统可以确定该对象已准备好进行检验。
如果在扫描检验开始之前,对相机系统捕获到的图像的分析表明对象不在适当的位置和定向上,可以中断扫描过程,并发出警示以重新定位对象。这个程序可以重复,直到确定对象在适当的位置和定向上。此外,如果来自相机的捕获图像表明具有与预期不同的光洁度或质地的对象已被放置在系统中用于检验,该系统可以再次发出警示,并允许在检验开始前加载新的检验设置参数。
扫描设置参数建议系统包括计算所得点云的模拟器,该点云将针对下述的给定配置来获得:激光器和光学接收器;对象;激光成像模块的运动;以及承载对象的压板或输送机。该计算使用射线投射来确定对象表面上在任何给定位置处都对成像模块可见的点。射线投射是以下过程:在该过程中,射线从其原点源到接收源的预期路径被投射出来,被实现为一种确定射线和表面之间交点的计算机图形算法。例如,在激光系统中,射线投射将激光的路径从激光器投射到接收器。可见点是指来自源的射线入射到对象表面上的点所在的那些点,并且从该点反射的射线在接收器处被接收而不被阻挡(通常是被对象本身的一部分阻挡)。如果路径上有阻挡的表面,射线投射将示出射出的光不会在接收器处被接收到。可见点是在整个遍历路线上计算出来的,以产生将被检测到的点云。例如,典型的激光轮廓仪设置如图4所示,其中4009-4010指示激光器,并且4011-4012指示检测反射激光的光学接收器。激光锥覆盖压板上的区域4001-4002-4003-4004,但只有包括在4001-4002-4003-4004-4005-4006-4007-4008中的体积是聚焦的,并且该体积中的结构被包括在可见点中。比4005-4006-4007-4008平面更近的点,或超出4001-4002-4003-4004平面的点都没有被成像,因此不会被认为是可见点。激光器4011-4012和光学接收器4011-4012处于相对彼此固定的位置,但整个激光-相机组件可以移动,遍历压板。深度也可以调整,使得平面4001-4002-4003-4004在压板表面上。通过执行这种射线投射和对可见点的计算,模拟器可以随后确定设置参数。
利用这种射线投射技术,模拟器被用来找到能对对象产生充分扫描的捕获设置参数,如图5所示。如图5所示,包括CAD模型、搁置位置、GD&T信息以及用于模拟的期望对象所需的成像器的输入数据501被从对象库2010中加载到程序中。如果对象具有多部分检验过程,每个这样的部分都要单独模拟。系统将选定的成像器模拟为发射器和接收器,可以基于成像器的类型将该发射器和接收器建模为点或线。
程序根据CAD模型的尺寸和范围来估计初始捕获参数502。每个捕获参数的范围和步长也基于系统设置来确定。例如,右边的激光器可以被设置为绕Y轴-25到+25度角的范围,其中步长为5度。模拟器程序使用射线投射来计算对象的模拟扫描503。在激光的模拟遍历期间,以指定的时间间隔,通过射线投射计算出激光线与对象的交点。如果没有交点,那么对象所在的那个位置处不在激光的路径上。如果有交点,那么与对象的第一个交点在激光入射的表面上。从激光与对象的交点到接收器构建出射线,并计算出这条新线与对象的交点数量。如果有零个交点,意味着相机可以看到交点,并且这个点被添加到检测到的点云中。如果有一个或更多个交点,则意味着尽管激光入射到对象表面上,但由于被对象的其他部分阻挡,相机无法看到该表面(即这是在对象结构本身投下的阴影中)。这些计算是在将激光相机设置移动一步的间隔后重复进行的。较小的间隔会产生较密集的估计点云,但也将因为计算较多交点的计算成本而变得较慢。
模拟器对估计的点云进行评估,并使用用于CAD模型表面的加权函数505来计算出评分504,该评分指示对象的该部分的重要性。在一个实施方式中,加权函数505是根据GD&T信息计算出来的,如下所述。从对象的GD&T信息中获得对象的CTF区域,CTF区域是对于被检验对象是否可以接受具有特别相关性的区域。单元级的加权函数被限定为针对每个CAD模型单元在0到1之间的权重集。例如,包含对功能至关重要的特征的单元的权重可以为1.0,而对象中具有较大误差容忍度的区域的权重可以为0.1。对象中不需要测量的区域的权重可以为0.0。如果单元没有特定的CTF区域,可以分配默认的权重0.5。当期望在包含CTF区域的单元中对加权函数进行较精细的控制时,原始CAD模型中的单元也可以被重新采样为较精细的分辨率(创建更多的单元)。表面网格的采样分辨率(即每个单元所覆盖的区域)也可以基于GD&T信息中指定的公差来调整为较精细(使用更多单元)。
基于点的密度、加权函数以及被认为对下游处理步骤很重要的任何其他因素诸如左、右成像器之间覆盖范围的叠置,对估计的点云进行评分。每个点周围的点的密度可以被计算为距离该点给定半径的区域内的点的数量。尽管是最准确的,但鉴于点云中通常有数十万个点,这种确定点密度的方法在计算上可能很慢。尽管精度较低,但通过计算CAD模型的每个单元内的点的数量,除以单元的面积,可以获得对近似密度的较快确定。CAD模型往往以以下格式被描述:其中3D对象表面被建模为单元的集合,并且这些单元通常是三角形的。如果在使用射线投射计算交点期间维持激光束和对象表面发生交点处的单元的身份,那么可以通过非常少的附加计算来计算这个近似密度。
针对CAD模型的每个单元所计算的点密度乘以来自加权函数的针对该单元的权重,以获得单元级评分。所有单元的点密度的标准化(在0和1之间按比例调节)加权总和被用作点云评分,以用于在点云之间进行比较。然后进行确定,以确定该评分是否足够506。如果评分超过预定阈值,则被认为是足够的。对于较精细的辨别,每个单元的评分可能需要满足单元级阈值;或者对于较粗糙的评分,可以为整个点云指定单个阈值。附加因素也可以用于确定评分是否足够。例如,如果下游处理步骤诸如视图的配准需要两个视图之间的叠置区域,可以根据视图A和视图B中的对象的CAD模型的每个三角形单元中的点的数量来计算叠置评分。然后该单元的叠置评分被计算为(1-两个视图之间的计数差异/两个计数的较大者),并将整体叠置评分计算为单元级叠置的标准化加权总和。可以为所需的最小叠置设置阈值,并且叠置评分不符合阈值的点云被认为评分不足够。
如果模拟参数产生了通过足够评分检查506的评分,那么将输出在模拟中达到该评分的系统参数和对应的搁置位置515,以作为该特定对象的建议系统设置参数储存在库2010中。然后,扫描系统可以在检验建模对象的物理样品之前访问该参数,以确保捕获的扫描可以用来充分检验该对象。
当评分不足够时,确定是否还余留有待测试的参数组合507。当还余留有附加参数组合507时,更新捕获参数508,并选择下个可用的参数组合。参数组合是通过递增捕获参数以在其范围内步进一步(等于其步长)来产生的。捕获参数包括成像器扫描路径的起点和终点、压板或输送机的起点和终点位置、成像系统的高度和角度、对象的搁置位置和遍历次数。参数可以一次递增一个,或者可以将一些参数分组以同时递增/递减。例如,如果成像器的角度沿着对象运动的方向递增,对象的起始位置可以协调移动。使用更新后的捕获参数508启动新的模拟503。使用新的参数组合重复该过程直到获得足够评分。
如果使用可用的参数组合没有获得具有足够评分的扫描,并且确定507指示没有余留参数组合用于测试,那么用于最佳评分扫描的参数设置与使用的搁置位置一起被保存509。重新计算单元级加权函数510,以便将在先前存储的最佳扫描中已经满足阈值的单元重新分配为0.0,并且将未满足阈值的单元重新分配为1.0。选择不同的搁置位置进行模拟,并使用新的单元级加权函数重复该过程。确定是否还余留另外的搁置位置以供考虑511。在每个可用的搁置位置处,如在511中确定的,在选择下个搁置位置513之前,将满足阈值的附加单元权重重新分配为0.0,直到达到足够评分。整体扫描参数建议包括针对用于实现最终足够评分的每个搁置位置的捕获参数。
可能需要在不同的搁置位置处进行多次捕获513,以达到足够的模拟扫描。如果在所有的搁置位置都用完后评分还不足够,通过确定511指示没有更多的搁置位置以供考虑,输出所保存的最佳评分扫描512,同时向管理员发出模拟未能找到建议的参数集的通知。然后管理员可以选择改变成像器的数量和类型来应对这个问题。
例如,图6示出了由模拟器建模的双激光轮廓仪系统。在这种情况下,激光发射器被建模为以深蓝色示出的线,以及接收器也被建模为以浅蓝色示出的线。如图所示,设置模拟包括右激光器6001、右接收器6002、左激光器6003、和左接收器6004。用于模拟检验的对象6000是根据CAD模型渲染的。如图6所示,从激光器6001和6003发射的光将被反射到接收器6002、6004。焦点区域6005可以被系统成像,而落在焦点区域外的区域将不会被成像。在模拟扫描中,将对象与两个激光轮廓仪的模拟遍历进行建模,其中每次遍历包括多个步骤。在遍历的每一步骤中计算激光与对象的交点,并确定接收器6002、6004是否可以针对激光入射到对象表面上的每个点获得度量。如果从接收器到激光交点的射线投射与对象的交点数量为零,那么该点是可见的。也就是说,从激光器发射的光到接收器的路径没有被对象的另一部分所阻挡,并且光的反射角度使得光可以在接收器处被接收到。这些点被添加到估计点云中。
在在线检验过程期间,操作者从库中检索系统配置和设置参数。光学采集单元诸如视觉相机系统可以用来识别运输器或压板上的对象,检验成像器的设置以及对象的定位和定向,以验证设置是否与该对象的建议设置相匹配。在检测到不匹配的情况下,可以向操作者发送通知。
当无法有足够的扫描设置建议或者需要进一步微调时,管理员可以使用系统的可视化工具来达到预期的结果。模拟器可以对计算出的点云生成密度图可视化,指示对象表面上的点密度。点云的示出每个成像器可见的点以及任何两个成像器之间的叠置的可视化也可以呈现给用户。另一可视化可以示出在一个搁置位置、在第二搁置位置以及在两个点云之间叠置处可见的点。点云可以被显示为CAD模型的叠加,以可视化对象表面区域的覆盖范围。这些可视化可以用不同的参数来运行,并且可以将使一组参数设置的点云与另一组参数设置的点云进行比较的并排或叠置视图用于微调捕获设置参数。
在对象检验之前、期间或之后的系统校准
在上述对象检验系统中,一个或更多个激光轮廓仪可以安装在机械台诸如齿条和小齿轮组件上,以便轮廓仪可以扫过被检验对象。对象被放置在支撑表面上,该支撑表面可以是固定平台、可以控制达六度移动的机械台、或者是输送带。作为替代方案,一个或更多个轮廓仪可以安装至机械臂,该机械臂可以检验由多个制造的零件或部件组成的对象阵列或矩阵。然而,用于移动对象支撑表面或一个或更多个激光轮廓仪的机械组件诸如齿条和小齿轮机械组件,由于磨损、反复达到行进终点和/或改变方向,从而随着时间的推移而漂移。这些类型的机械滞后可以通过系统的重新校准来补偿。变换的旋转分量对系统的机械滞后的敏感性比平移分量低。平移分量可以被平均化,但旋转分量不可以被平均化。
扫描系统的校准取决于对校准目标上的基准元件进行检测和准确定位。校准目标可以包括距离激光轮廓仪不同深度水平处的多个表面,其中多个表面包括处于预定位置的基准元件。例如,如图7所示,校准目标可以包括多个梯级状表面701,其中这些表面包括在预定位置处呈标记孔702形式的基准元件。也可以使用其他类型的基准标记,诸如凸起表面、线条、凹槽或间隙。基准元件标记孔702可以是单个孔,或者可以是以不同模式布置的孔组。在检验系统对校准目标进行扫描后,会生成表示校准目标的点云,如图8所示。在所获得的点云中,校准目标的基准元件孔802和表面801是可识别的,并且它们的位置可以被确定。检测和定位基准元件孔是作为校准过程来实施的。首先,如图8所示,所获得的校准目标的点云被分段成单独的平面,其中每个平面表示不同深度的表面之一以及该表面中的孔的底部。例如,在图7所示的校准目标中,每个梯级表面和该梯级表面中的孔的底部将形成平面。然后,校准过程调查这些平面以检测和定位基准元件孔。在点云中定位了基准孔后,可以将点中所确定的孔位置与校准目标的已知尺寸进行比较,并且可以对检验系统进行校准,使得所获得的点云中的度量与校准目标的已知尺寸相匹配。校准过程确定了仿射变换矩阵(大小为4x4),该矩阵用于移除由于使用激光模块以与承载对象的压板或输送机的运动方向成非正交角的方式进行扫描而引起的旋转和剪切。
校准目标中的孔或其他基准元件以一种使得孔可以基于集群中孔的数量和与其他集群的对准情况来识别的图案进行分布,在该图案中,孔的集群位于校准目标上不同的已知位置处。该图案中孔的数量也使得所有孔中心不太可能与它们的预期位置对准,除非变换矩阵足够精确。例如,图7所示的校准目标包括多个表面701以及被布置成图案的多个间隔开的孔701的集群。校准过程使用随机抽样一致(RANSAC)算法来寻找变换矩阵,该变换矩阵在获得的点云中的孔位置和校准目标的已知孔中心位置之间产生最佳拟合。在对校准目标进行扫描并获得点云后,在所获得的点云上实施校准过程,该校准过程一般包括:
1.在点云中选择随机的成组的4个孔中心,以及;
a.计算将4个位置与它们的预期位置对准所需的变换矩阵;
b.将变换矩阵应用于所有其他的点,并对落在其预期位置的特定阈值范围内的点(内点)的数量进行计数;
2.重复步骤1以进行N次迭代(例如,N=1000);以及
3.确定作为具有最佳拟合的矩阵的最终变换矩阵,如由最多数目的内点指示的。
校准过程需要两个部分。在第一部分,必须对校准目标进行扫描以获得点云,并且必须将点云分离成表示对象每个表面的平面。在第二部分,必须检测每个表面中的基准元件,并确定它们的位置使得接着可以找到变换矩阵。有两种替代性方法来实现第一部分的基准元件检测和定位过程。
在第一方法中,所获得的校准目标的点云在使用以下步骤的过程中被分离成针对每个不同深度表面的平面:
方法1,部分1
1.扫描校准目标以获得表示目标的点云。
2.将点云细分为多个瓦片,这些瓦片通常是不叠置的。
3.对于每个瓦片,尝试将平面模型拟合到这些点上。平面模型的参数包括四个值:垂直于平面的表面的三维单位向量,以及该平面与坐标系原点的距离。
4.将来自每个瓦片的法向向量相加,其中平面可以成功拟合到集合中。
5.计算法向向量集合的平均值。
6.对于法向向量集合的每一元,与平均值进行比较,并从集合中移除任何异常(或与平均值不够相似)的向量。平均值的比较是以平均法向向量和所考虑的法向向量的点积进行的。
7.如果集合的隶属度改变了,则返回步骤5。
8.使用所得的平均法向向量进行定向,限定在点云外部的参考平面。
9.计算每个云点与限定的参考平面的距离。
10.创建从云点到限定的参考平面的距离的直方图。由于限定的参考平面应平行于表面,诸如校准目标的梯级,因此该直方图预计将示出在从参考平面到每个梯级的距离处的尖峰。图9例示了这种直方图的示例,其中尖峰9002被包括在从参考平面9000到校准目标的每个梯级的距离处,如点云中表示的。群体9001表示在给定深度处的点的数量。
11.分析直方图以找到局部最大值。这些最大值中的每一者与梯级之一到限定的参考平面的距离相对应。
12.对于直方图中的每个局部最大值,创建点组,每个点与限定的参考平面的距离落在局部最大值的公差阈值之内。这些组中的每一者都是原始云的平面段,对应于检测到的平面(梯级表面或孔的底部)。
这种确定平面段的第一方法还可以包括以下内容,以提供对平面段的细化。
13.对于每个平面段,拟合平面模型;具体地,计算分段点的法线。
14.计算通过每个平面段中的点群体加权的正常值的平均值。(由于目标应该具有平行的平面,它们应该都是相同的)。
15.将平均法向向量应用于每个平面段,重新计算每个平面与坐标原点的距离。
在第二方法中,获得的校准目标的点云在使用以下步骤的过程中被分离成针对每个不同深度表面的平面:
方法2,部分1
1.扫描校准目标以获得点云。
2.使用对校准目标粗略定向的先验知识,限定在点云外部(下方)的参考平面。
3.测量每个点到限定的参考平面的距离。
4.创建从点到限定的参考平面的距离的直方图。如果参考平面确实与表示点云中对象的表面的平面平行,直方图将示出在特定深度处的明显尖峰9002,如图9中的直方图所示。然而,如果选择的参考平面与该平面不平行,图10例示出直方图在距参考平面10000各距离处会有较少的尖峰10002。群体10001表示在给定深度处的点的数量。
5.测量直方图的熵。直方图越尖锐,其熵越低,直方图越平滑,其熵越高。
6.遵循梯度下降方法来细化限定的参考平面的定向。
a.扰动限定的参考平面的定向
b.创建每个点与被扰动的限定参考平面的各距离的直方图。
c.计算所得的直方图的熵。
d.选择具有最低熵的扰动。
e.减少扰动步长并重复直到满足终止状况。可以采用不同的终止状况,包括最大迭代次数、熵阈值、对每个尖峰周围距离的统计评估、或其他分析测量。然后对最终直方图进行分析。
7.对于直方图中的每个局部最大值,创建点组,每个点与限定参考平面的距离都落在与局部最大值的公差阈值之内。这些组中的每一者都表示原始云的平面段,对应于检测到的平面(梯级表面或孔的底部)。
在使用方法1或方法2在部分1中检测到平面后,校准过程随后分析检测到的平面,以在过程的第二部分中确定基准元件的位置。
方法1和2-部分2
对每一个检测到的平面进行分析,以检测基准孔。参照图8,顶部平面是青色的,而该平面上的孔的底部是品红色的。校准过程可以在表面平面上搜索这些孔,而不是通过找到孔的底部,因为孔的底部可能由于检测的斜角造成的阴影状遮挡而不完整。顶面平面上的点较少经受这种遮挡。为了检测由缺失的点表示的每一个孔,孔周围的区域必须具有足够密集的点群体以限定孔边界。
为了更方便地达到对每个平面中的孔的检测,点云的表示孔周围区域的平面段被变换为二维图像。处理这个二维图像以检测和定位图像中的孔。然后将每个检测到的孔的位置变换回原始点云的原始三维空间,通过使用记录设备(诸如激光轮廓仪)记录深度信息来获得,该记录设备通过相对于校准目标移动来扫描图像。这个过程的步骤在下面有更详细的概述,其中运动部件(包括扫描器、相机、和压板或输送机)表示为x和y方向,以及深度表示为z方向。
1.分析点云以确定x和y方向上各点之间的中位(或平均)空间。
2.获得构成分段平面的成组点与相关联的平面模型参数(来自部分1)。
3.建立仿生变换矩阵,该仿生变换矩阵稍后将用于使平面上的点的位置映射到二维图像的像素位置。
4.计算使点沿x轴或y轴旋转所需的仿生变换的旋转参数,从而使旋转平面的法向向量平行于z轴。将这些值记录在仿生变换矩阵中。
5.确定在x和y方向上缩放各点所需的值,从而使各点之间的间距大约为一个像素。
6.使用仿生变换矩阵来旋转各点,使得结果平面与x-y平面平行。
7.分析结果点云的x、y和z值的范围。x和y的最小值以及z的平均(或中位)值被用来在仿生变换矩阵中创建平移值。随着平移值的增加,仿生变换矩阵完全描述了三维空间中的平面上的点到二维图像中的像素的映射。x和y值的范围表示所需图像大小的尺寸。
8.创建平面的图像,其中点的存在由一个数值(诸如白色)表示,以及没有点的存在由另一颜色(诸如黑色)表示。图11例示了这种图像的示例,其中点(对应于平面表面的一部分)被示出为白色1101,以及没有点的区域(对应于表面中的基准元件孔)被示出为黑色1102。在创建图像时,x和y维度上的点的位置范围对应于像素位置。
9.可选地,可以对图像进行处理以减少噪声。
10.使用对孔的预期外观的先验知识和图像处理计算,检测并定位孔。可以采用多种图像处理技术来检测和定位孔,诸如通过相关卷积的模板匹配、哈尔(Haar)对象检测、卷积神经网络和边缘像素的霍夫变换。由于图像的二元性质和图像的各向异性缩放,优选的实施方式使用平面的整体图像来采用卷积模板匹配。
11.反转仿生变换矩阵以产生新的矩阵(反矩阵),该矩阵将图像中的像素位置映射到三维空间中的点。
12.使用该矩阵以将检测到的孔的位置变换为其在三维空间中的相应位置。
13.检测到的孔中心被用来计算变换矩阵,该变换矩阵确定了校准目标在三维空间中的定向。变换矩阵是4乘4,用于变换同质坐标。因此,它只有12个变量,因为最后一行被固定为(0,0,0,1)。求解这12个值将需要在三个维度中的四个点。在可用于计算变换矩阵的不同算法中,优选实施方式采用了RANSAC算法。
在确定变换矩阵后,将其应用于后续的扫描数据。变换矩阵的应用可以消除由对象和扫描器之间的相对运动并结合扫描器的定向所引起的歪斜或剪切。
对象检验
图12A和图12B例示了用于对一个或更多个对象进行产品质量检验的系统配置。如图12A所示,根据一个实施方式,检验系统可以包括运输器150,该运输器使被检验对象160沿方向A移动。激光模块200可以被包括在允许它垂直于运输方向移动的导轨上,例如在图12A所示的方向B和C上移动。当激光模块垂直于运输方向移动时,激光视场240会跨被检验对象多次经过。回顾一下,激光束140在运输器150上形成对应于视场240的线,该视场平行于运输器150的方向,如方向A所示。在每次经过时,激光模块的视场对对象进行多次扫描。可以使用对象的叠置扫描(即光栅扫描),这样可以减少运输器150上的对象160和激光模块200两者的平移所固有的噪声,并提高采样分辨率。在点云上每个点具有多个数据,允许通过最小化数据方差来减少总扫描误差。
在图12A所示的配置中,激光模块200可以旋转90度,使得激光视场240与方向B和C平行。在这种情况下,激光模块200捕获与激光视场240的宽度相等的对象扫描。激光模块200继续沿方向B或C跨运输器150移动。当激光模块200行进的距离等于激光视场240时,激光模块200捕获另一扫描。在图12B所示的替代性配置中,激光模块200可以定位在允许它平行于运输器150移动的导轨上。激光模块可以在被检验对象160上方来回移动,其中反射的激光锥在对象上反复经过。在图12B中,激光模块200的定向从图12A旋转了90°,使得激光视场240垂直于运输器150的方向。激光模块200沿方向D移动,扫描预定区域。当激光模块200到达预定区域的末端时,激光模块200在方向C上行进了与激光视场240的宽度相等的距离,然后开始在方向E上进行另一扫描。当激光模块200沿方向C移动时,激光模块继续沿方向D和E扫描。在激光模块200扫描了运输器的宽度后,激光模块就会在沿方向B移动时重复沿方向D和E的扫描过程。
在检验过程期间,已知对象以预定的位置和定向被放置在运输器150上。可替代地,该对象沿着运输器移动,并且首先由光学采集单元110成像。如上所述,从光学采集单元110捕获到的对象图像被用来识别对象并确定其定向。对象160在运输器150上的预定或确定的坐标位置和定向可以被发送到与激光扫描轮廓仪模块相连接的处理单元。该处理单元可以控制激光轮廓仪,使其仅扫描对象所在的运输器区域。可替代地,轮廓仪可以被配置为扫描运输器的整个宽度,而不是聚焦在确定待定位对象的特定区域。当轮廓仪扫描整个运输器时,扫描所产生的点云针对运输器中对象所存在的区域进行裁剪。当扫描整个运输器宽度时,在相同轮廓仪扫描中可以存在多个对象,然后可以在随后的处理过程期间进行分离。此外,激光轮廓仪模块可以定位零件,并直接将零件从背景中提取出来。
在基于从光学采集单元捕获到的图像识别出被检验对象后,系统处理单元从CAD模型数据库中加载与所识别的对象相对应的CAD数据,并将其转换为统一的点云。如上所述,也可以加载预定对象,这样就没有必要首先从光学采集单元捕获图像。在这种情况下,仅需从数据库中加载预定对象的CAD模型。来自激光轮廓仪的点云将与CAD点云叠置并配准。计算CAD点云和来自激光轮廓仪的点云之间的偏差,以创建差异的热图。通过分析对象的CAD模型、来自激光轮廓仪的点云以及与原始CAD模型的差异的3-D配准热图,操作者可以使用3-D配准热图来观察对象与CAD模型的任何变化。对象变化的这些可视化与对象数量、模具型腔位置、材料成分以及与受监测的制造过程相关的其他因素一起随时间记录下来。该可视化以可选择的时间顺序呈现,其中对象例示包含3-D配准热图。对象的每个单独图像也被配准,以便操作者可以观察到热图所表示的劣化状况在选定的时期内的表现。这种形式的动态可视化可以通过提供磨损模式的例示以用于诊断目的,并通过投射监测到的劣化情况用于提前确定给定对象的生产何时将超过公差,从而防止制造缺陷对象,诸如零件或部件。为了进一步区分3-D配准热图的微小变化,可以通过使用不同的颜色、纹理和或图案来增强这些变化的可视化。还可以提供所监测的劣化状况的计算和合成热图投射以用于诊断目的。
此外,可以向操作者展示误差的直方图。该系统可以被配置为识别超过预定公差的零件识别并将其标记为有缺陷的。用户可以对系统进行配置,以产生通知,停止生产或使用零件拣选器或类似装置来将有缺陷的零件从其他零件中分拣出来。
图13是示出了质量检验系统部件的示意图的框图。如图13所示,检验系统100包括光学采集单元110。光学采集单元包括光学成像器400,以捕获被检验对象的图像,图像A/D转换器402转换从光学成像器400输出的模拟图像信号并生成数字图像数据,该数字图像数据然后输出到像素校正器404。如上所述,图像器件400具有使用CMOS(互补金属氧化物半导体)的图像捕获元件,该图像捕获元件被布置为在垂直于运输器150的主扫描方向上成一列,如箭头A所示。如上所述,图像捕获器件可以是CIS(接触式图像传感器)。另外,也可以利用使用CCD(电荷耦合器件)的图像捕获传感器来代替CIS。光学采集单元110还可以包括立体成像器。像素校正器404对任何像素或放大异常进行校正。像素校正器404将数字图像数据输出到系统处理单元170内的图像控制器440。如图13所示,该系统还包括第一激光模块200a以及可选的第二激光模块200b。尽管图中示出了两个激光模块,但系统可以包括任何数量的激光模块。在较多激光模块的情况下,系统能够捕获较大对象的轮廓,或者在检验过程期间捕获复杂对象的较多轮廓。多个激光模块的使用还使遮挡或阴影最小化。遮挡是指激光束140从激光驱动器210a、210b行进到对象再返回到激光传感器250a、250b中被阻挡。例如,通过已知由光学采集单元110确定的对象定向或者通过使用以已知定向放置的预定对象,可以手动或动态改变安装在质量检验系统100内的激光模块200a、200b,以优化观察角度、视场或工作距离,从而使遮挡或阴影最小化,以控制激光模块200a、200b的位置和运动,以便获得最佳扫描。每个激光模块200a、200b包括:激光驱动器210a、210b,激光传感器250a、250b,以及激光处理器405a、405b。激光处理器405a、405b可以是微处理器或处理电路,或者可以包括通信模块以接收来自外部处理设备的处理命令。激光处理器将表示测量数据的非结构化点云打包并发送至图像控制器440,该图像控制器将数据存储在激光坐标存储器435中。
光学采集单元110将数字图像数据发送至图像控制器440。然后,图像处理单元485处理数字图像以识别被扫描的对象。可替代地,该对象可以是预定对象,以及可以不必由光学采集单元来识别。基于待检验的识别对象160的特征,可以从系统存储器455中提取用于激光模块200a、200b的预定设置参数或配方,以优化激光模块200a、200b的配置。与系统存储器455中的预定设置参数有关的对象特征可以是例如反射率、颜色、几何形状或表面粗糙度。预定设置参数或配方可以是激光驱动器210a、210b的强度、每秒轮廓、或曝光。
操作者通过操作者控制面板120或网络接口445对检验系统100进行配置以执行所需的检验。操作者控制面板120包括操作者输入器125,该操作者输入器可以是例如鼠标、键盘、触摸屏或触摸板。操作者显示器128和警示通知130也可以被包括在操作者控制面板中。警示通知130可以是例如红黄绿的灯堆、音频警示或其他视觉警示机制。网络接口445允许系统与外部处理单元和网络设备通信。网络接口可以连接到局域网、广域网、或者通过有线或无线连接连接到互联网。网络接口可以是本领域技术人员已知的任何形式,包括但不限于以太网、USB、Wi-Fi、蜂窝或其他数据网络接口电路。网络接口445还提供一种通过供应检验所需的各种类型的信息来远程控制检验系统100的装置。网络控制器490管理网络接口445,并将网络通信引导到机器控制器430。
系统存储器455还可以连接到系统处理单元170,以及检验系统中的其他处理部件。系统处理单元170和其他处理单元可以是例如一个或更多个微处理器、一个或更多个协处理器、一个或更多个多核处理器、一个或更多个控制器、处理电路、ASIC(专用集成电路)或FPGA(现场可编程门阵列)、或其组合。处理单元可以被配置为执行存储在系统存储器455中的或此外处理电路可访问的指令,该处理电路诸如通过网络控制器490的通信网络。这些指令在由处理电路执行时可以使检验系统执行本文所述的一个或更多个功能。存储器455可以包括易失性和/或非易失性存储器,并且可以是硬盘、随机存取存储器、只读存储器、缓存存储器、闪速存储器、光盘、或被配置为存储信息的电路。系统存储器455可以是与系统处理单元通信的任何非临时性计算机可读存储介质。存储器可以被配置为存储允许系统处理单元170和其他处理单元控制检验系统并执行检验过程的信息、数据、应用、或程序指令。
系统处理单元170包括被配置为从光学采集单元110接收和分析图像的图像控制器440。从光学采集单元110接收的图像被存储在图像缓冲存储器475中,以保存处理后的图像。图像处理单元485连接至系统处理单元170。图像处理单元485被配置为接收来自光学采集单元的以数字形式并经像素校正后的捕获图像,并且对该图像进行进一步处理。这些捕获图像可以被存储在图像缓冲存储器475中,该图像缓冲存储器与图像处理单元485、系统处理单元440或两者相连接。图像缓冲存储器存储在检验过程期间由光学采集单元发送的最近捕获的图像。作为处理的一部分,图像处理单元485可以与系统处理单元170的图像控制器440互动。该系统还包括CAD模型数据库425,该CAD模型数据库存储了在质量控制检验过程期间被检验对象的CAD数据资料。该CAD模型数据库425可以包括预期待检验对象的预定CAD配置文件,并且还可以是可更新的数据库,允许用户手动或自动地在数据库中为新的被检验对象存储附加的CAD配置文件。例如,CAD模型数据库425可以通过执行下述过程来更新:上传存储在本地存储器上的CAD模型;或通过网络通信接口上传CAD模型。
图像控制器440还被配置为接收和分析来自激光模块单元200a和200b的非结构化点云测量数据。从激光模块单元200a、200b接收的非结构化点云数据被存储在激光坐标存储器435中,以保持供图像处理单元485进一步处理。
机器控制器430被配置为控制光学采集单元110和/或激光模块单元200a、200b的操作。例如,机器控制器可以控制图像捕获的时间,和/或使用图像捕获数据来控制运输器150的移动,包括运输速度、以及激光模块单元的移动和扫描。系统处理单元170中可以包括定时器单元480、以及零件位置检测器450和缺陷检测器460。零件位置检测器可以被配置为确定被检测对象的位置和定向,包括运输器上的位置、和相对于运输方向或系统中另一固定坐标的定向。缺陷检测器460被配置为基于被检验对象的激光模块扫描与关于该对象预期尺寸的存储数据文件之间的比较,确定产品是否在特定公差水平之内。如果产品不在公差水平之内,缺陷检测器可以发出缺陷警告。缺陷检测器也可以被配置为基于从光学采集单元110捕获的图像来确定缺陷。
零件剔除单元470可以与系统处理单元170中的缺陷检测器460进行通信。零件剔除单元470可以接收来自缺陷检测器460的信息,并基于对缺陷是否满足预定质量阈值要求的确定,发出停止检验过程的命令,将被检验对象标记为缺陷。零件剔除单元470与和定时器单元480将追踪缺陷对象,并采取行动将缺陷对象从运输器150中移除,或通过例如警示通知130,或网络接口445向操作者发出缺陷状况的警示。
检验系统还包括用于在检验过程期间控制运输器150和激光模块200a、200b的控制器。运输马达控制器465可以控制沿检验运输路径移动对象的运输机构的速度和时间。例如,运输马达控制器465可以与驱动形成运输器150的输送机、压板或滚轮的马达相连接,并可以以不同的速度驱动马达以控制被检验对象的速度。当检测到缺陷对象时,运输马达控制器还可以停止运输器150,允许操作者有时间将对象从检验线上移除或采取其他适当的行动。可以包括两个激光马达控制器,其中激光X-Y马达控制器410控制激光模块200a、200b在X-Y平面中的运动,以及激光Z马达控制器420控制激光模块单元在Z方向(或高度)上的运动。例如,激光X-Y马达控制器410可以在X方向上移动激光模块单元200a、200b,使激光遍历运输器150的宽度,从而使激光视场240跨被检验对象进行多次扫描。激光Z马达控制器420可以上下移动激光模块,以便系统可以检验不同高度的对象。这允许激光驱动器210a、210b与被检验对象160之间的距离得以保持。
图14例示了激光模块200在扫描过程期间的移动,其中对象在方向A上移动,以及激光模块仅在与方向A垂直的方向上移动。激光模块200旋转90度,使得激光视场240与方向A平行。从图中可以看出,当激光模块在与方向A垂直的方向B和C上移动时,激光视场240扫描跨运输器150的路径。作为光栅扫描过程的一部分,激光模块在方向B和C上交替移动,在进行扫描时反复遍历对象。相对于被检验对象160,激光模块因此产生了有斜度的叠置扫描图案,其中赋予斜度是因为被检验对象在进行扫描时继续沿方向A移动。这种扫描方法在对象的连续遍历之间产生了叠置区域。灰色区域1400描绘了遍历C1和B1之间的叠置区域。类似的叠置区域被创建在每对连续遍历之间。叠置扫描可以通过改变运输器150或激光模块200的速度来进行。为了完全覆盖扫描部分,以下关系必须成立:
其中Y是激光视场240的长度,W是激光模块200在跨运输器150扫描的距离,如图14所示,以及V_B和V_L分别是运输器150和激光模块200的速度。当这种关系成立时,激光视场240将与被检验对象叠置,允许捕获相同空间位置的多个点云数据点。另外,这允许针对位置不连续性对系统进行校准,诸如当运输器与激光模块不平行时造成的位置不连续性。
也可以考虑激光视场与运输器之间的角关系。如果角关系不是零度,也就是说它们不平行,激光视场的一端将比另一端更接近运输器。由于被扫描对象在图12A所示的方向A上移动,对象表面上的任何点都将基于激光视场相对于运输器的角关系在Z方向或高度上出现增加或减少。由于激光模块在图14所示的方向B和C上遍历,当对象沿方向A行进穿过该激光视场角关系时,跨对象的每次激光遍历都将在沿Z方向的扫描数据中创建梯级。该角关系可以通过执行校准来补偿。在该校准中,在不存在任何对象的情况下对运输器进行扫描。已知激光视场两端点之间的任何高度差异都是由角关系造成的。角关系可以存储在系统存储器中,允许系统处理单元减去扫描数据中的任何梯级。
同样地,对象的角关系方向A相对于激光视场必须是零度。在该情况下,基于激光视场相对于传输方向A的角关系,对象表面的任何点都将表现为在方向B或C上移动。在该校准中,对校准目标的扫描被用来确定角关系。已知两个激光模块遍历之间沿边缘的任何梯级式差异是由于角关系造成的。角关系可以存储在系统存储器中,允许系统处理单元减去扫描数据中的任何梯级。
在扫描整个运输器时,激光模块在运输器上扫描的距离W可以是运输器150的宽度,或者如果对象在带上的位置是已知的,W可以是运输区域。通过在对象的位置已知时将W设置为仅对应于运输区域,可以在相同的分辨率下实现较高的扫描吞吐量,或在较高的分辨率下实现相同的吞吐量。
通过执行该叠置扫描过程,可以扫描大于激光视场240的对象,并且还减少了噪声。该配置允许基于马达梯级之间的距离和在使激光遍历较大区域时的采集速率来捕获较高分辨率的图像,并且不限于轮廓仪本身的原始分辨率。
如上所述,执行叠置扫描有助于降低对噪声的敏感性。噪声是通过固有测量误差以及由于对象和激光模块200在检验过程中移动而产生的机械噪声引起的。通过执行扫描,使得被检验对象的扫描段叠置,创建对象上相同空间位置的多个点云数据点。单个空间位置的该多个点云数据点允许对该空间坐标的均值和方差(或置信区间)进行计算。通过若干次扫描被检验零件的部分,并对数据进行平均,不仅减少了系统中的整体噪声,而且可以准确计算并报告剩余噪声。本文描述了关于用于维持扫描系统性能的程序的更多细节。
通过一次仅沿一个轴线移动,可以在连续的遍历之间创建叠置区域。例如,对象可以在方向A上固定,而扫描器在方向B或C上移动。在这种情况下,叠置区域将是矩形的。
图15例示了扫描过程,在该扫描过程中,激光模块200在与对象160沿运输路径150的相同方向上移动,并且垂直于运输路径移动。通过沿与对象相同的方向并且在该方向上以与对象相同的速度移动,扫描中不会引入倾斜。例如,如图15所示,激光模块200可以在与对象160沿运输器150的运动方向A垂直的方向C上移动,其中激光视场240在光栅扫描过程中跨运输器150的路径进行扫描。与图14中激光模块200仅在与方向A垂直的方向B和C上移动不同,在图15所示的过程中,激光模块200在进行扫描时也以与对象相同的速度在方向A上移动。当激光模块到达扫描末尾时,其接着移动与激光器的视场240的长度相等的距离A'。然后,激光模块200反转方向并在方向B上移动,同时以与对象160相同的速度在方向A上移动。因此,相对于对象160,激光模块200对整个对象进行一次扫描,如图15所示。
图16是例示了将CAD模型转换为下述格式所执行的处理的流程图:该格式可用于与从检验对象的激光模块200扫描所得到的经校正的3-D点云数据相对接。CAD模型可以是dgn、dwg、dxf或stl文件格式、或者允许生成CAD文件的其他格式。该过程可以在对象被检验时实时地执行,或者可以在对对象启动质量检验之前执行。当在启动检验之前执行时,可以检索和处理预期待检验的对象的CAD模型,其中结果被存储在CAD模型数据库425中。如图16所示,将CAD模型1600加载到系统中,并对CAD模型执行网格转换步骤1601,产生CAD网格1602。然后,对CAD网格1602执行提取平面步骤1603,产生CAD平面网格1604。CAD平面网格1604表示对象的从预定视点来看的平面或视图。这些平面或视图可以通过使用CAD编辑软件诸如MeshLab编辑CAD模型来提前手动生成,并且可以用于提取平面1603步骤。这样做可以使得CAD视点与预定对象的位置和定向相匹配,该预定对象的位置和定向由操作者设置在检验系统中的特定位置处和特定定向上。在替代性实施方式中,可以基于对象参照运输器定向的自然搁置位置来自动识别平面或视图。可以通过过度扫描对象以便在扫描中捕获运输器来获得运输器的定向。在确定后,可以自动生成这些平面。
然后可以通过提取CTF参数步骤1605来提取用于CAD平面网格1604的关键功能(CTF)参数。这些CTF参数是需要被测量和验证的用户限定尺寸。这些参数可以由操作者手动识别,或者可以由系统处理自动确定。例如,很多时候提供的对象软拷贝或硬拷贝图示包括有公差和CTF数据,该公差和CTF数据可以使用文档处理或OCR软件提取。基于提取CTF参数的步骤1605,生成CAD CTF参数1609并存储在CAD模型数据库425中。CAD平面网格1604也经过格式转换步骤1606,以生成也可以存储在CAD模型数据库425中的CAD点云1607和CAD范围图像1608。CAD范围图像1608表示被检验对象的六个面。
图17是例示了对来自光学采集单元110的图像数据执行的处理的流程图。这种处理包括识别被检验运输器150上的对象,以及运输器150上对象160的位置和定向。如图所示,光学采集单元110对对象160执行图像捕获1701,产生该对象的至少一个数字图像1702。然后,数字图像1702经历分段过程步骤1703,并产生了可以应用于数字图像1702的边界框1704,以定位可能是被检验对象的对象或特征的感兴趣区域。这些边界框1704可以用作系统处理单元170的输入,以确定激光模块200的扫描区域。在零件提取步骤1705中,提取数字图像1702内由边界框限定的分离零件1706。然后对来自数字图像1702的每个分离零件1706执行零件识别和查找过程1707。作为识别对象的这一过程的一部分,执行模式匹配过程,其中系统执行CAD模型查找1708,以将位于CAD模型数据库425中的对象与分离零件1706进行比较。边界框1704可以包括需要参考不同CAD模型的不同被检验对象。模式匹配处理可以是任何通常已知的模式匹配算法。当在CAD模型数据库425中发现匹配时,识别相关的CAD点云1607以供后续处理。另外,识别CAD范围图像1608,然后将其用于零件配准步骤1709中以识别平移和定向矩阵1710,该平移和定向矩阵用于旋转CAD数据以与从对象160的激光模块200扫描而获得的点云的定向相匹配,如下文所述。在替代性实施方式中,可以确定数字图像1702中对象160的表面尺寸,并将其用作用于在零件识别和查找过程1707中使用的模式匹配的替代方案。
图18A例示了将来自激光模块扫描的数据与从被扫描对象的CAD模型信息中获得的信息合并的过程。该过程确定了从激光扫描获得的实际对象尺寸与基于CAD模型公差的预期对象尺寸之间的差异。如图18A所示,原始的、非结构化的点云数据1810从对象160的激光模块扫描中获得,如上关于图14和图15所述。由于零件的连续遍历,在激光模块正交地扫描时,线轮廓数据集(由激光驱动器210的单个激光视场240行获取的原始点云数据)将相互偏移,偏移的距离相当于v*Δt,v是对象的遍历速度,以及Δt是对象的行扫描和下一次行扫描之间的时间间隔。可替代地,定时器单元480产生触发信号至激光模块200,以捕获线轮廓。定时器单元480还产生触发至机器控制器430,以捕获运输器和激光模块的位置数据。使用触发信号允许系统从例如编码器读取位置数据,而不是基于速度来计算位置。在这两种情况下,实施对原始点云数据1811的重定相,以将这些多个点云一起对准并平均到单个重定相对象点云1812中。为了获取对象的精确点云表示,通过将点云中的所有点平移相当于-v*Δt的量来对原始点云数据进行重定相。可替代地,Δt可以被视为从设定时间例如机器使用中的时间到当前行扫描时间戳所经过的总时间。
然后被检验对象被配准到用于该特定对象的CAD模型1813。作为该配准过程的一部分,检索CAD点云1607以及平移和旋转矩阵1819,以使CAD点云与重定相对象点云1812相匹配。重定相对象点云也在1814处被配准到CAD模型,使得点云与CAD模型对准。即,获得的重定相对象点云被叠加在用于特定对象的CAD模型信息上。然后在步骤1815处计算包括结构化数据的CAD模型点云1607与配准点云1814之间的差异。可能已经进行了减去匹配,以尽可能接近地将CAD模型与点云数据配准。该匹配找到了CAD模型与点云之间的最小总方差,以确定两者之间的优化叠加。在计算差异1815时,对于CAD模型上具有相关重定相点云点的每个点,计算表示这两个点的空间坐标之间的绝对差异的D值。该D值将被计算为这两个点的向量的大小。
D=√(〖|x_1-x_2|〗^2+〖|y_1-y_2|〗^2+〖|z_1+z_2|〗^2)
其中x、y和z表示CAD和点云数据的空间坐标。
该相同D值被用于上述的CAD模型配准过程,其中基于D值方差处于其最小值的定向将CAD模型配准到点云数据。
在计算差异之后,以针对每个点的D值的形式,获得一组点云差异1816。然后实施热图创建过程1817以生成热图1818,该热图示出了CAD模型与从对象扫描获得的点云之间的高偏差区域。热图可以由操作者用来确定被检验的实际对象的尺寸与来自CAD模型数据库的该对象的预期尺寸之间的偏差是否在提取CTF参数1605中设置的预定公差水平之外。如果热图1818示出了在公差水平之外的区域,则该零件可以被识别为有缺陷的。热图可以是用户可配置的,其中用户设置何时将偏差视为足够相关以在热图上指示的预定限度。
图18B和图18C例示了图18A的配准过程1813的细节。整个配准过程分为两个阶段:1)库生成,和2)点云配准。图18B描述了库生成步骤,以创建供下一阶段使用的一组特征向量(或权重)。如图所示,系统接收表示刚性对象的整个几何形状的参考3D网格模型1820。然后,基于参考网格模型的凸面壳体和重心,计算刚性对象的各个搁置位置1821。刚性对象的搁置位置是该对象在水平平面上稳定的位置。对于刚性对象的这些搁置位置中的每个搁置位置,从参考网格模型的若干旋转版本(例如360个,以1度增量)生成视图库1822。具体地,视图对应于参考3D网格模型在给定的搁置位置和特定角度处的2D投射。请注意,在2D投射过程期间可以应用下采样以减少计算成本。然后使用主成分分析法在特征空间中处理视图库,从而生成用于库集中每个元素的一组特征向量(或权重)1823。库集中的元素可以通过对对应于搁置位置的图像旋转版本而生成的库视图集1822执行特征分解,在减去均值图像(其为成组视图的平均值)之后来确定。减去均值后的数据包含关于该组视图之间的差异的信息。选择与最高特征值相对应的顶部特征向量以生成投射矩阵。库视图集中的每个图像都具有其在特征空间中的向量表示w,通过与投射矩阵相乘以生成特征向量来计算。最后,系统将特征投射库(或投射矩阵)和特征向量集1824两者保存在库中,用于识别未来扫描中产生的新点云。如果系统中考虑了不止一个刚性对象,可以重复步骤1820至1824以生成最终的库(或投射矩阵)和特征向量集。这些保存的库和特征向量集将在下一阶段用于2D和3D点云的配准,如图18C中所述。
图18C描绘了点云的2D和3D配准和匹配的过程。如图所示,系统接收可能是重定相零件点云的3D点云1830。该目标点云表示刚性对象在其搁置位置之一的几何形状。对应的刚性对象可以是在先前的库生成阶段中考虑的刚性对象之一。接下来,加载所保存的特征投射库(或投射矩阵)和特征向量集1831。然后,在步骤1832中,计算目标点云的2D投射,以基于前一阶段生成的特征投射库来生成其特征向量(权重)。再次注意,在2D投射过程期间可以应用下采样以减少计算成本。假设特征投射库是使用相同刚性对象生成的。在步骤1833中,通过识别刚性对象的与目标点云最匹配的搁置位置和旋转角度,执行粗略的配准。这是通过找到来自目标点云的特征向量与刚性对象及来自上一阶段的对应参考网格模型的保存特征向量集之间的最佳匹配或最接近距离来实现的。度量诸如最小均方误差或其他误差度量可以用于计算特征向量之间的距离(或匹配误差)。匹配也可以计算为两个向量之间的欧氏距离。通过使用KD树表示法来存储向量,可以优化对最接近匹配的搜索。最接近匹配的对象和定向被输出为用于目标点云表示的对象和定向的假设。
然后生成目标点云和参考网格模型之间的由搁置位置和角度识别步骤产生的初始对应几何变换1834。平移被计算为来自目标点云的2D投射的图像与上面确定的最接近匹配之间的质心的位置差。刚性2D几何变换包括信息诸如平移和旋转矩阵。接下来,得到的几何变换被应用于目标点云1835。该步骤的输出是平移和旋转的目标点云,它将与识别的参考网格模型(和相关的刚性对象)粗略地对准。这可以使用计算的平移和旋转来实现为3D变换矩阵T。变换矩阵T被应用于将目标点云与CAD模型对准,在点云和CAD模型之间产生配准。
接下来是完成整个配准过程的精细3D配准步骤1836。在一些情况下,扫描过程可以在扫描数据中产生伪迹,这是由于激光在被扫描表面上的二次反射造成的。这通常发生在表面的凹陷部分,或在零件的接近与激光路径平行的区域中。由此产生的伪迹显示为与主点云明显分离的较小点集群。这些可以通过下面的伪迹过滤方法进行有效过滤。
在云中的每个点处,在预定连接半径阈值内识别所有附近的点。然后,这些点全都被认为是连接的。直接连接的点在逻辑上聚集在一起。第二级连接也构成了连接性。因此,如果点A与B相连接并且B与C相连接,那么A与C相连接。这种关系是在整个点云上确定的,其理想结果是形成一个大连续连接集群,表示整个扫描的表面。如果存在伪迹,它们通常不与主要的点云相连接,并且将在单独的集群中。在建立了所有点的连接性后,可以用若干方法实现过滤。
首先,也是最简单的,人们可以接受第一级最大集群作为唯一有用的点,并抛弃所有其他的点——只留下最大的连接集群作为点云。其次,是按大小(点的数量)对集群进行排序,然后按大小递减的顺序逐步汇总,直到所有原始点的预定百分比都被包括在内。这可能包括单独的最大连接集群,或者最大的和一个或更多个较小的集群。这种方法允许对实际表面数据因零件的几何形状而存在不连续性的几何形状进行扫描。例如,与激光平行的大竖向梯级,因此在梯级的竖向表面上不会采集到点。最后,第三种方法是将大于预定尺寸阈值的所有点集群(无论是点数,还是几何尺寸)聚集到输出云中。
精细3D配准1836可以使用算法诸如迭代最近点(ICP),该算法由于其简单性而是一种流行算法。该算法的输入是:目标和参考点云,几何变换(来自步骤1834)的初始估计以使目标与参考对准,以及用于停止迭代的标准。该算法的输出是细化的几何变换矩阵。该算法包括:
1.对于目标点云中的每个点(来自整个顶点集,通常被称为来自每个模型的密集成对顶点或选自每个模型的成对顶点),匹配参考点云(或选定集)中的最近点。
2.使用均方根点到点距离度量最小化技术来估计旋转和平移的组合,该技术将每个目标点与其在上一步骤中找到的匹配点进行最佳对准。另外,在对准之前,可以对点进行加权并剔除异常。
3.使用获得的变换对目标点进行变换。
4.迭代(重新关联各点等等)。
然后,基于在上述精细3D配准步骤中得到的精细几何变换矩阵,确定目标点云与参考网格模型之间的最终几何变换1837。请注意,通常几何变换是由以下构成的仿射变换:平移、缩放、剪切或旋转变换中的一个或更多个的组合。
还可以使用迭代最近面配准迭代最近面(ICF)算法代替ICP算法来实现更精细的3D配准和迭代过程,以确定细化的几何变换矩阵。ICF是一种对变换矩阵进行迭代优化的算法,以旋转和重新定位点云,使其与CAD模型网格优化地对准。在ICP中,可移动点云在多次迭代的过程中与固定参考点云对准。在ICF中,可移动点云与固定网格对准。在这两种算法中,结果变换矩阵通常被限制为仅执行平移和旋转。没有空间失真,并且通常也没有缩放。
在这两种算法中都进行了迭代传递,其中每次传递后对准会逐渐接近理想状态。在ICP的每次传递中,为可移动点云中的每个点找到参考点云中的最近点。对于可移动点云中的每个点,计算误差向量。在找到所有的误差向量后,它们被汇总以形成点云的校正性平移和旋转。校正性平移和旋转被复合到优化的变换矩阵中,并重复该过程。相比之下,ICF在每次传递期间定位CAD模型网格面上的最近点,而不是利用参考点云中的最近点。该点可以出现在以下任何地方:网格的任何面的连续平面表面上、面的边界内、面的边缘处、或在面的一个顶点处。它可能不会出现在CAD模型面的边界之外的扩展面平面上。
CAD模型网格的顶点可能非常“稀疏”。例如,简单的立方体模型可以仅包含8个点。仅使用这8个点,ICP只能将可移动点云中的每个点与立方体的一个角部相关联。这将不会产生很好的模型拟合,特别是当点云包含立方体所有表面上的点时。为了规避该问题,可以在CAD网格的所有面上进行插值,以产生在所有表面上具有统一网格覆盖的点云。然后相对于插值的CAD点云而不是原始网格执行ICP。在该插值CAD网格方法中,ICP具有由执行插值的离散点引起的粒度/量化误差。ICF不需要对CAD网格进行插值,从而节省处理时间。替代地,ICF使用三角形平面段,其中每个面由等式ax+by+cz+d=0描述,以及平面段的空间范围由其三个顶点限制。提供三维顶点A、B和C,可以从向量AB和AC的叉积确定a、b和c的值。d的值可以通过将这些值代入等式并使用其中一个顶点求解d来确定。由于平面段可以仅使用三个点来描述大空间区域,因此CAD模型通常比相同对象的点云表示要紧凑得多。在ICF过程中,CAD模型表面上每个可移动点被朝向其优化的点是精确定位的,而不会出现ICP方法中可能存在的粒度/量化误差。ICF还允许在执行算法时减少存储器使用,因为比点云更紧凑的CAD模型可以在没有插值的情况下使用,并且由于为找到最近而需要搜索的参考面较少,计算也可能较快。
无论是使用ICP还是ICF来对变换矩阵进行迭代优化以旋转和重新定位点云,该过程产生的最终几何变换随后被应用1838于目标点云以获得与参考网格模型的最终对准或配准。最后,测量变换后的目标点云和该参考3D网格之间的差异1839。匹配结果被在线记录或传递到检验系统的下一步骤1840。
图19提供了对质量检验系统如何检查被检验对象中的缺陷的例示。例如,系统可以根据限定CTF规格自动检查公差,并且如果在检验对象期间超出系统公差,系统将通知操作者。例如,当检验来自模具的制造零件时,模具将随着时间而磨损。随着模具磨损,来自模具的零件的尺寸将从预期尺寸与模具的磨损量成比例地改变。当模具过度磨损时,所生产的零件将不再在其适当和预期用途的公差范围内。如图19所示,还检索为图18A中的每个点计算的点云差异1816以及CAD CTF参数1609,并用于在步骤1901中确定配准点云中的每个点是否是CTF。如果点不是CTF点,那么该点在1902中被忽略。然而,如果该点是CTF,则在1903中执行对运行公差的更新。然后在1904处进行检查以确定运行公差是否超过预定阈值。如果阈值没有超过由提取CTF参数1605所限定的,那么在1905处确定运行公差在可接受限度内。然而,如果运行公差超过了预定阈值,系统会向操作者发出通知1906。
也可以使用行业中任何公知的移除方法将缺陷对象从运输器150中自动移除。通过注射成型制造零件所特有的缺陷可以包括流线、烧痕、缩痕、喷射、分层、短射、飞边或其他缺陷。CAD CTF参数1609还可以包括表面缺陷或光学特性,诸如但不限于颜色、质地或光洁度,以便在由图像采集单元110捕获的数字图像内识别存在于分离零件中的污染物,诸如灰尘、油或其他异物。在该实施方式中,步骤1901将确定光学特性是否超过指定的光学CADCTF参数。
图20提供了检验系统1100的示例,使用输送带作为运输器150。输送带可以放置在滚轮1120周围,滚轮在A所示的方向上转动时移动输送带。滚轮可以由运输马达控制器485驱动。如图所示,光学采集单元110可以位于沿运输器150的第一位置处,以及包括激光驱动器210、激光传感器250和激光束140的激光模块200位于检验路径上的更下游。被检验对象160被输送带移动,使得它穿过光学采集单元110——如果有的话——和激光模块200下方。可选地,皮带张紧器1140可以设置在移动的输送带下面,以提供用于检验的固态表面,并消除输送带上的任何振动运动。振动运动的减少降低了被检验对象的所获得的光学图像和激光扫描中的噪声。如图20所示,可以标记输送带,以允许光学采集单元110或激光模块200进行自动校准。沿着运输器的一侧或两侧的斜切标记诸如刻度标记1110被用于运输器上的校准和位置识别。除了刻度标记外,还可以包括其他标记,以协助识别被检验对象或该对象在运输器上的位置。这些参照可以包括编号、不同形状的刻度、或其他识别标记。作为示例,可以在运输器的两侧上使用单个参考刻度。该刻度标记相对于其他统一的刻度将被拉长,以便于识别。系统可以对刻度标记执行调制传递函数(MTF),并且可以使用刻度标记作为参考,额外地针对锐度、光晕、焦点和景深对光学采集单元110进行校准。由于刻度标记的均匀性,可以对光学采集单元110和激光模块200两者的位置、景深和分辨率进行校准,以及识别由于工具的不垂直性而造成的图像和点云失真。根据该数据,可以计算失真并加以校正。刻度标记还可以通过识别运输马达控制器465没有记录的任何速度变化来控制速度颤振。该信息可以用于通过添加相位偏移来校正重定相点云数据1811。
图21提供了流程图,详细介绍了确定被检验对象是否有缺陷的过程2100的概况。如图所示,在2101处上传和转换对象的CAD模型,产生CAD模型网格点云。随着对象160在检验系统100中沿着运输器150向下移动。如果存在,则对象由光学采集单元110成像。对象穿过执行激光扫描的激光采集模块200下方。激光扫描的结果是在2102处捕获对象的3-D点云。在步骤2103,将对象的3-D点云与CAD模型点云对准,然后在2104处执行两者之间的比较。确定点的差异,并在2105处确定被检验对象160是否是有缺陷的。如果对象160是有缺陷的,在2106处可以从运输器中剔除该对象,并且可以更新关于缺陷对象的统计数据。如果该对象不是有缺陷的,则在2107处更新统计数据,以计算通过检验过程的另一可接受产品。统计数据可以包括环境特征诸如温度和湿度,以及针对关键功能参数的运行公差。统计信息可以基于在对象上形成的数量或其他独特特征,与模具或特定型腔相关。该统计信息可以被用来安排用于机器和模具两者的预防性维护。
图22提供了可以在检验过程结束时向操作者显示的示例用户接口,示出了检验结果。向操作者提供的该用户接口还包括以下功能:
●导入/导出
○将点云数据文件加载到存储器中
○将CAD模型STL文件加载到存储器中
○将点云导出为PCL文件
○将预处理过的CAD模型导出为专有的“零件检验轮廓”
文件
●显示/视觉化
○以3D视图显示点云,并能够旋转、平移和缩放
○以3D视图显示CAD模型,并能够旋转、平移和缩放
○显示覆盖在CAD模型上的点云,带有拟合误差注释
●CAD模型预处理
○计算搁置位置变换的列表
○计算CAD模型在搁置位置的Z轴2d投射图像
○内插CAD模型的表面点
●点云操作
○将点云居中
○将点云旋转到新的定向
○从点云中移除捕获的地面数据点
○对点云执行捕获伪迹过滤
○计算点云的Z轴投射图像
○基于与CAD的投射图像比较,找到对象的搁置位置
○通过以下方式对点云与CAD模型执行3D对准
■迭代最近面算法
■迭代最近点算法
●云与CAD的比较
○从CAD模型计算对准点云的误差/偏差
○计算整个点云上的RMS、峰值误差
○计算CAD模型的特定表面上的RMS、峰值误差
○将表面误差与检验阈值进行比较
○计算平面表面定向角,并与检验公差进行比较
○用“热”的颜色和“模糊”线段向CAD渲染例示误差
如图22所示,用户接口2200可以在操作者显示器128上或通过网络接口445远程显示给操作者。用户接口2200可以在检验对象160时实时更新,或者操作者可以查看统计趋势或检验对象的历史数据。用户接口2200可以组织检验对象,以仅示出超过或接近超过公差的对象,使得操作者就可以专注于问题区域。
用户接口2200可以包括:CAD模型2210的显示,来自激光模型200的点云2220,以及误差的直方图2250和误差的3D热图2230。操作者可以选择CAD模型2210以打开CAD模型数据库425,从而对提取CTF参数1605所使用的CTF参数进行显示、添加或编辑。点云2220可以是原始零件点云1810或配准点云1814,如操作者偏好所限定的。操作者还可以限定来自一个或更多个平面扫描的数据是否显示在误差的3D热图2230中。还可以显示检验报告2240。检验报告2240可以包括具有范围和实际测量值的关键功能参数。结果可以进行颜色编码,使操作者能够快速识别超出公差的测量值。例如,红色可以用来指示测量值超过了其公差,而黄色可以指示接近公差。用户接口2200还可以允许操作者编辑关键功能参数限度,从而改变什么是可接受的或什么是不可接受的。检验报告2240还可以包括对象的图示,上面直接示出了对象的测量尺寸。将测量尺寸与图示叠加,以类似于原始图示规格的格式显示测量结果。用户接口2200还可以包括关键功能参数的历史趋势和跨多个批次或班次的统计过程控制信息。使用趋势和统计过程控制,可以识别和追踪随时间推移的模具磨损情况。该数据可以用于关联进料的变化或过程变化,诸如温度或压力。操作者可以采取适当的行动,以修复或更换生产超出公差的对象的模具。在模具有多个型腔的情况下,可以识别来自特定型腔的对象,并跨多个批次或班次进行追踪。
在注塑成型中,操作者需要有能力鉴定新模具或评估现有模具的磨损情况。可以加载模具的基线CAD模型,并将用于一对象或一批对象的误差的颜色叠加热图与模具叠加,以指示模具上超出公差的位置。这将表征并追踪模具从其最初安装到模具需要修理、翻新或更换的时间。可以向操作者提供随时间推移的热图显示,从而向操作者示出模具随时间推移的磨损情况。
每个模具可以包含生产对象的一个或更多个型腔。在建造模具时,每个型腔将基于CAD模型来生产。在设计模具时,每个型腔将与CAD模型具有独有偏差。当制作模具时,可以表征每个型腔以生产每个型腔独有的型腔CAD网格。使用型腔编号或通过使用型腔的独有偏差来作为型腔的标志,操作者能够识别哪个型腔制造了缺陷对象。这将表征并追踪每个型腔从其最初安装到型腔需要修复的时间。可以将其显示,以向操作者示出每个型腔随时间推移的磨损情况。
维护扫描系统的性能
如上所述,对象的检验过程需要在对象和扫描设备之间进行若干次运动遍历,以确保对象的整个感兴趣区域都被扫描到。移动扫描设备和对象本身两者的运动系统的部件经受磨损和性能劣化的影响,这可能造成来自每次遍历的扫描数据与其他扫描数据的误配准。该劣化会使精心获得的校准信息失效,该校准信息意在使来自对象的多个遍历的扫描数据能够准确且精确地配准。存在可以补偿一些劣化的配准算法方法,但是在没有干预的情况下,该劣化可能会持续或恶化。另外,当不再可能进行充分补偿时,对该劣化的分析可以用在改善补偿和预测系统故障方面。
随着检验系统的使用,用于移动轮廓仪或其他扫描设备的机械组件以及推进被检验对象的压板或输送机可能会造成误配准以及测量中的噪声。此外,随着机械组件变得磨损、转移位置及随着使用而出现性能劣化,以及随着部件之间的连接因系统运行而改变,噪声可能随着时间的推移而变化。噪声和误配准的引入需要继续对系统进行校准,以补偿这些状况。此外,由于生产环境,期望减少校准系统的频率和所需时间,以免影响制造操作的生产率。因此,使用一种校准过程来监测投射到已知表面上的后续遍历之间的叠置区域,该已知表面诸如支撑被检零件的表面的顶部。支撑对象的该顶部表面可以被称为检验系统的“地面”。如果在叠置区域中确定了未对准,系统要么通知操作者需要校准,要么自动校准系统并记录该事件。
在扫描期间,如上文关于图14所述,扫描器和对象的相对运动是通过对象和扫描器中的任一或两者的平移来完成的。例如,如图1A所示,运输机构150诸如输送带或压板可以使对象沿检验路径移动,并且可以通过安装组件260和遍历机构270诸如导螺杆使扫描设备200相对于对象移动,如图1A所示。扫描器的位置可以通过监测安装在遍历机构上的编码器来追踪。安装组件限制了扫描器的姿态,以确保它指向一致的方向。对对象的感兴趣区域的完整扫描覆盖可以通过移动扫描器来回遍历对象若干次来完成,形成包含叠置区域的多次遍历扫描,如图14和本文对图14的描述所示。
该配置的关键方面是,一些平移元件可以通过改变方向或速度来改变速度。方向的改变,特别是方向的逆转,可能会在对象或扫描器的位置或姿态上表现出机械或电气的滞后。例如,在通过旋转导螺杆来移动扫描器时,由于安装组件的公差限制,可能存在机械滞后。当导螺杆改变旋转方向或速度时,这可能造成若干影响。旋转方向或速度的变化可能会对安装组件赋予不同数量或方向的扭矩。由于机械公差限制,这可能会在扫描器姿态中引入变化。另外,机械滞后可能会在编码器指示的扫描器位置中引入偏移。机械滞后以及扫描器姿态中的不必要变化可能会造成遍历的叠置区域内对应点的明显空间移位。换言之,在不同的遍历期间记录的点可以对应于对象上的相同物理位置,但具有不同的坐标值。这些点之间的差异被称为空间移位。该空间移位造成遍历中的点被误配准。
可以通过监测扫描器的姿态或位置的变化来维持扫描系统的性能。图23描述了下述过程:监测扫描系统性能,校正空间移位,并在空间移位程度超过阈值时通知用户,从而允许用户请求进行服务程序或重新校准,以便扫描继续执行准确的对象扫描。该过程开始于扫描对象2301,使用扫描器跨对象遍历两次或更多次,使得扫描区域中存在叠置。叠置区域不一定需要包含扫描的对象,并且可以仅包括对象所搁置于的表面,诸如输送机或压板的顶部。
检测叠置区域2302,并且根据遍历对叠置区域进行分段。可以通过假设一次扫描的位置精度与之前的扫描足够相似来完成对叠置区域的检测。支撑表面上基准元件的检测和定位也可以帮助建立叠置区域。
估计并记录叠置区域之间移位的精确程度2303。可以使用众所周知的算法诸如迭代最近点(ICP)来估计移位。对移位程度进行分类2304并记录在存储器中2305。该分类可以基于速度的变化。例如,一个分类可以被限定为当用于移动轮廓仪或其他扫描设备的机械组件之一从一个行进方向变为另一行进方向时。在这种情况下,一个类别发生在行进方向从左变到右时,而另一类别发生在行进方向从右变到左时。如果分类的移位程度超过预定阈值2306,则创建变换矩阵来校正移位,并使整个遍历扫描彼此配准,从而形成对对象的完整扫描2308。如果分类的移位程度没有超过预定阈值2306,则将叠置区域中分类的移位程度与上一个记录进行比较2307。如果空间移位有变化,将计算关于叠置区域中的空间移位何时会超过预定阈值的估算2312,并将通知用户2309或2313。可以可选地通知用户关于移位的程度2309。如果移位程度超过预定阈值或不能被校正2310,可以通知用户请求进行服务程序以校正移位的原因或重新校准系统2311。
可以追踪并分析类别移位的历史2313,以预测移位程度何时可能超过预定阈值2310。可以可选地通知用户关于预测的故障2313,从而允许用户在检验系统的性能劣化到不可接受的水平之前采取行动以重新校准或执行服务程序。
系统和过程的一般总结
以下是对该系统和过程的一般总结。使用检验系统的操作者首先将待检验对象的CAD模型加载到检验系统中。如上所述,CAD模型可以已经被包括在CAD模型数据库中,或者在操作者开始检验过程之前由操作者加载到CAD模型数据库中。然后,由操作者手动地或自动地将待检验对象以已知位置和预定定向放置在运输器上,运输马达控制器驱动运输器,使得对象以已知速度移动到系统中。
可替代地,位置和定向可以通过使用光学采集单元对对象进行成像来确定。当对象移动到光学采集系统中时,光学采集系统捕获该对象的至少一个图像。该至少一个图像被发送到系统处理单元,诸如上面关于图13所述。系统处理单元分析图像并确定对象表面的轮廓。系统处理单元在确定的对象表面轮廓与来自CAD模型数据库的CAD范围图像之间执行模式匹配技术。基于模式匹配结果,从数据库中选择对应的CAD模型,以用于与被检验对象进行比较。系统处理单元还使用捕获的图像来确定运输器上对象的位置和定向。
从数据库中选择被检验对象的对应CAD模型,以用于与该对象进行比较。当对象在激光视场内沿运输器移动时,系统处理单元指示激光模块沿运输器收集数据。激光模块垂直于运输方向遍历,随着对象沿运输器移动而在预定区域内来回移动,使得激光模块的视场跨对象经过一次或更多次。在激光传感器处接收反射激光,并且将接收到的激光用来生成扫描对象的3-D点云。扫描对象的该原始点云被发送到系统处理单元,该系统处理单元基于对象在沿运输器移动时的速度以及执行扫描时激光模块的速度和方向对点云进行校正。如前所述,也可以通过使用定位数据来执行对点云的校正。然后准备该对象的经校正的3-D点云以用于分析。
系统处理单元检索该对象的CAD点云。对CAD点云进行旋转,使其与确定的对象坐标几何形状相匹配。然后,将来自对象激光扫描的经校正的3-D点云插值到预定几何网格,以用于与CAD模型比较。通过减去推理,将经插值校正的3-D点云和CAD模型配对,并且为点云中的每个点计算一系列D值并与之关联。D值是对应于被检验对象的CAD模型的相对位置与对象160的经校正的3-D点云数据之间的减去差。D值可以对应于设定的颜色,基于用户的偏好。例如,用户可以为超出预定公差容限的D值选择红色,而为在公差内的值选择绿色。预定公差是基于对象的CAD模型与扫描对象的点云之间允许有多少偏差。将生成具有颜色叠加的CAD模型并将其保存在报告中,并且可以应用平滑过程,以使在热图的最终叠加中的颜色看起来均匀。使D值参数平滑可以通过平均化或其他方式来执行,以获得点云数据的视觉表示颜色编码段之间的平滑梯度。点云数据的视觉表示可以呈现为:一组颜色编码点云数据点;被分层在配准CAD模型的图像上的一组颜色编码点云数据点;或通过在点云数据点之间形成多边形表面来创建的颜色编码多边形网格。当呈现为颜色编码多边形网格时,多边形表面根据其分配的D值进行颜色编码,该D值是多边形表面所连接的点的D值的平均值。
如果D值超过了CAD CTF参数限定的某个阈值,则运输器停止,或者被检验对象将从检验线上移走,并且用于该特定对象的颜色叠加热图可以示出在操作者控制面板上或保存到故障报告中。基于操作者或客户的规格,如果D值进入某个阈值区域,系统就会发出警示以通知操作者。该警示可以是在操作者控制面板处呈现的听觉或视觉警示。警示可以基于用户的偏好,用颜色编码来赋予紧急性。当警示是听觉警示时,可以使用不同的音调、声音或音量来象征紧急性。警示还可以是预定的或定制的电子邮件或文本信息,通过网络接口发送给预定的收件人。
如果D值没有超过CAD CTF参数所限定的某个阈值,则允许运输器和对象继续。用于该特定对象的颜色叠加热图可以示出在操作者控制面板上或保存在操作者报告中。
光学采集单元和激光模块200检验对象的呈现给光学采集单元和/或激光模块的平面或面。然而,对象在没有呈现给光学采集单元和/或激光模块的平面或面上可能具有CAD CTF参数。即,对象的一个表面将与运输器接触,并因此对于位于运输器上方的光学采集单元和/或激光模块将是不可见的。为了对对象的与运输器接触的底部表面进行成像,从而获得对象的所有表面的完整扫描,该系统可以包括至少位于运输器的顶部表面之下的附加激光模块。带可以由透明材料制成,允许底部激光模块通过透明运输器扫描对象的表面。在这样的配置中,底部和顶部的激光模块两者都将扫描被检验对象,捕获所有表面的激光扫描。底部表面的扫描与来自顶部激光模块的扫描相结合,以形成表示对象所有表面的组合点云。然后如上所述,将该组合点云与数据库中的CAD模块进行比较。另外的光学采集单元还可以放置在运输器下方,以捕获与运输器接触的表面的图像。可替代地,运输器可以包括两个分开的带,两个分开的带之间具有小间隙。激光模块可以放置在间隙下方,其视野与间隙的长度平行。当被检验对象从一个运输带上跨过间隙到另一运输带上时,位于间隙下方的激光模块将捕获底部表面的扫描。同样,底部表面的这些扫描可以与来自顶部激光模块的扫描相结合,以形成表示对象所有表面的组合点云。作为使用透明运输器和在运输器下方放置另一激光模块的替代方案,被检验对象可以被翻转或旋转,以便在它沿着运输器移动时暴露出对象的隐藏平面。对象可以被简单地翻转,或者可以被自动捕获和旋转,使得将对象的所有平面被呈现给光学采集单元和/或激光模块以用于检验。
在另一实施方式中,待检验对象可以汇集到光学采集单元,该单元可以识别对象以确定具有CAD CTF参数的正确平面是否被呈现给光学采集单元。如果对象的正确平面被呈现,则其被允许继续沿着运输器。如果呈现了错误侧,则在被激光模块检验之前将对象翻转。这样做的优点是使所有对象处于相同的定向,并允许较简单的翻转机制且减少运输器上需要由激光模块扫描的区域。
在一些情况下,当用于对象的CAD模型不可用时,已知符合规格的黄金对象可能可用。在这种情况下,将用激光模块扫描黄金对象,以自动生成并上传用于预期待检验对象的CAD轮廓,并在CAD模型数据库中执行进一步更新。在这种情况下,操作者将把黄金对象放置在运输器上,并配置系统处理单元以将CAD平面网格和相关联的CAD点云、CAD范围图像存储到CAD模型数据库中,以用于将来识别和查找零件。操作者可以通过操作者控制面板或网络接口将所需的CAD CTF参数添加到CAD模型数据库中。在另一实施方式中,当检验系统检测到它在零件识别和查找过程中未能识别的被扫描对象时,检验系统可以向操作者发送警示,以便操作者可以采取适当的行动。
在另一实施方式中,可以对具有已知尺寸的黄金对象进行检验,以验证检验系统的校准。在这个示例中,操作者配置检验系统以用于校准,并手动或自动将黄金对象放置在运输器上以供激光模块扫描。另外,通过使用黄金对象用于校准,可以校准激光模块的工作距离、焦点、放大率和类似的图像参数。
多边形扫描器通常用于激光打印引擎、条形码扫描器。多边形扫描器可以用于以精细的分辨率对对象进行面向行的扫描。快速旋转的多边形镜可以用于创建激光束,该激光束跨运输器执行高速线性扫描。多边形镜可以通过马达旋转,并且可以由滚珠轴承或空气轴承旋转主轴支撑,以产生平滑的旋转,从而减少激光束内的失真。另外,激光传感器可以是线性阵列、CMOS或本领域内已知的类似技术。
Claims (22)
1.一种用于确定对象检验系统的建议扫描设置参数的方法,包括:
加载待扫描的对象的CAD模型;
根据所述CAD模型的大小和范围估计初始捕获参数;
使用射线投射计算对象的模拟扫描,以产生估计点云;以及
使用加权函数对所述估计点云进行评估和评分。
2.根据权利要求1所述的方法,还包括在所述模拟扫描中体现两个激光轮廓仪,其中所述射线投射包括对所述两个激光轮廓仪的传输和接收的估计。
3.根据权利要求1所述的方法,还包括:通过与预定阈值相比较,确定对估计点云的评分是否足够。
4.根据权利要求3所述的方法,还包括:对评分不足够的估计点云计算新的估计捕获参数,以确定是否需要考虑另外的搁置位置。
5.根据权利要求5所述的方法,其中,在没有另外的搁置位置能供考虑时通知用户。
6.根据权利要求1所述的方法,还包括:估计与评分被确定为足够的至少一个模拟扫描相关联的捕获参数。
7.一种用于校准对象检验系统的方法,包括:
扫描校准目标以获得表示所述目标的点云;
将所述点云细分为一个或更多个瓦片,所述瓦片包含所述点云的多个点;
对于所述一个或更多个瓦片中的每一个瓦片,将平面模型拟合到被包含在该瓦片中的点,其中,所述平面模型包括下述项的值:垂直于平面的表面的三维向量;以及所述平面与坐标系参考点的距离;
将来自所述一个或更多个瓦片中的每个瓦片的法向向量相加,并计算法向向量集合的平均;
使用平均法向向量定向来限定在所述点云外部的参考平面,并相对参考平面计算每个云点;以及
使用直方图找到局部最大值,并创建点组,每个点与限定的参考平面的距离落在所述局部最大值的公差阈值之内。
8.根据权利要求7所述的方法,其中,所述校准目标包括在已知定位和位置处的基准孔,并且所述方法还包括:分析一个或更多个平面模型,以检测这些基准孔在所述一个或更多个平面模型中的表示的定位和位置。
9.根据权利要求8所述的方法,还包括:基于检测到的基准孔的表示的定位和位置,确定变换矩阵,所述变换矩阵确定所述校准目标在三维空间中的定向。
10.一种用于校准对象检验系统的方法,包括:
扫描校准目标以获得点云;
创建参考平面并测量每个点到所述参考平面的距离;
遵循梯度下降方法来细化限定的参考平面的定向;以及
创建点组,每个点与所述限定的参考平面的距离落在各点与所述限定的参考平面的各距离的直方图的局部最大值的公差阈值之内。
11.根据权利要求10所述的方法,其中,所述校准目标包括在已知定位和位置处的基准孔,并且所述方法还包括:分析一个或更多个平面模型,以检测这些基准孔在所述一个或更多个平面模型中的表示的定位和位置。
12.根据权利要求11所述的方法,还包括:基于检测到的基准孔的表示的定位和位置,确定变换矩阵,所述变换矩阵确定所述校准目标在三维空间中的定向。
13.一种用于维持扫描系统的性能的方法,包括:
通过一个或更多个非接触式轮廓仪获得对象的两个或更多个遍历;
检测获得的遍历之间的叠置区域,并对空间移位的量进行分类和记录;
确定所记录的所述叠置区域中的空间移位的分类程度是否超过预定阈值;以及
将记录的空间移位数据与上一组记录进行比较。
14.根据权利要求13所述的方法,其中,空间移位的程度是根据所述两个或更多个遍历之间的叠置区域估计的,并通过速度的变化进行分类。
15.根据权利要求13所述的方法,其中,当记录的空间移位超过预定阈值时,创建变换矩阵以校正移位并使整个的遍历扫描彼此配准,从而创建完整的对象扫描。
16.根据权利要求13所述的方法,其中,在记录的空间移位与上一个记录相比有变化时,计算关于叠置区域中的空间移位何时将超过预定阈值的估算。
17.一种用于对准和融合点云的方法,包括:
接收表示刚性对象的目标三维点云;
计算目标点云的2D投射,以生成其特征向量;
生成所述目标点云和参考模型网格之间的对应的几何变换;
对变换后的目标点云与所述参考模型网格执行精细的3D配准;
确定目标点云和参考模型网格之间的用以实现3D配准的最终几何变换;以及
将所述最终几何变换应用于所述目标点云;以及
测量所述变换后的目标点云与所述参考模型网格之间的差异。
18.根据权利要求17所述的方法,其中,所述对应的几何变换包括:与参考网格模型粗略对准的平移和旋转的目标点云。
19.根据权利要求17所述的方法,其中,所述3D配准是使用迭代最近点算法或迭代最近面算法执行的,以生成细化的几何变换矩阵。
20.根据权利要求19所述的方法,其中,所述目标点云是可移动点云,并且其中,使用所述迭代最近点算法包括:
对于每次迭代传递找到参考点云中的最近点;
对于所述可移动云中的每个点,计算误差向量;以及
形成所述可移动点云的被复合到所述变换矩阵中的校正性平移和旋转。
21.根据权利要求19所述的方法,其中,迭代最近面算法在每次迭代传递期间定位CAD模型网格的面上的最近点。
22.一种用于对象检验系统的自动设置、维护和扫描处理的方法,所述方法包括:
确定系统校准变换;
确定待扫描对象的建议扫描设置参数;
对对象执行至少一次扫描,其中,所述至少一次扫描包括捕获表示被扫描对象的相同视图的两个或更多个点云以及表示被扫描对象的不同视图的两个或更多个点云;
确定表示对象的相同视图的两个或更多个点云之间的三维配准;
确定表示对象的不同视图的两个或更多个点云之间的三维配准;以及
监测扫描系统的性能。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/401,890 US11042146B2 (en) | 2017-11-17 | 2019-05-02 | Automated 360-degree dense point object inspection |
US16/401,890 | 2019-05-02 | ||
PCT/US2020/030940 WO2020223594A2 (en) | 2019-05-02 | 2020-05-01 | Automated 360-degree dense point object inspection |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114041168A true CN114041168A (zh) | 2022-02-11 |
Family
ID=70779929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080048597.0A Pending CN114041168A (zh) | 2019-05-02 | 2020-05-01 | 自动化360度密集点对象检验 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3963414A2 (zh) |
CN (1) | CN114041168A (zh) |
WO (1) | WO2020223594A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114888794A (zh) * | 2022-04-24 | 2022-08-12 | 天津工程机械研究院有限公司 | 一种机器人人机交互运行路径标记方法及装置 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4001834A1 (en) * | 2020-11-12 | 2022-05-25 | Covestro Deutschland AG | Method and apparatus for online monitoring of foam quality during foam production process |
CN112446907B (zh) * | 2020-11-19 | 2022-09-06 | 武汉中海庭数据技术有限公司 | 一种单线点云与多线点云配准的方法及装置 |
CN112381908B (zh) * | 2020-11-27 | 2022-05-17 | 三峡大学 | 一种地形扫描点云边界线提取方法 |
CN112504123A (zh) * | 2020-12-07 | 2021-03-16 | 重庆顺泰铁塔制造有限公司 | 一种用于输电塔板件自动化检测设备和方法 |
CN112902868A (zh) * | 2021-01-20 | 2021-06-04 | 上海云铸三维科技有限公司 | 一种随形轮廓扫描表面形貌的方法及装置 |
EP4113057A1 (en) * | 2021-06-29 | 2023-01-04 | Medit Corp. | Method of setting scan region |
CN113793296B (zh) * | 2021-08-06 | 2024-09-06 | 中国科学院国家天文台 | 一种点云数据处理方法及装置 |
CN113701626B (zh) * | 2021-08-10 | 2023-08-04 | 哈尔滨岛田大鹏工业股份有限公司 | 汽车纵梁3d机器视觉检测方法 |
CN113701648B (zh) * | 2021-08-13 | 2023-12-19 | 浙江四点灵机器人股份有限公司 | 一种基于三维线激光扫描仪的金属轮毂尺寸测量装置及方法 |
CN113701821B (zh) * | 2021-09-01 | 2024-03-05 | 西南科技大学 | 一种基于局部特征的建筑铝模板识别结构及其方法 |
GB2610438A (en) * | 2021-09-07 | 2023-03-08 | Adaptix Ltd | A device and method of authenticating a component against reference data |
EP4202749A1 (en) * | 2021-12-27 | 2023-06-28 | Visionx Inc. | Systems and methods for alignment and comparison of a reference drawing with images of a part |
CN114282379B (zh) * | 2021-12-28 | 2022-08-02 | 滁州金诺实业有限公司 | 一种铝合金铸件无模成型铸造用成品质检管控系统 |
WO2023172231A1 (en) * | 2022-03-11 | 2023-09-14 | Simtek Simulasyon Ve Bilisim Teknolojileri Muhendislik Danismanlik Ticaret Limited Sirketi | An object control system |
CN115047471B (zh) * | 2022-03-30 | 2023-07-04 | 北京一径科技有限公司 | 确定激光雷达点云分层的方法、装置、设备及存储介质 |
CN114739312B (zh) * | 2022-04-26 | 2024-04-23 | 黄晓明 | 一种手持式路面构造深度激光测定装置 |
CN114937124B (zh) * | 2022-07-25 | 2022-10-25 | 武汉大势智慧科技有限公司 | 基于倾斜摄影的片状目标物的三维重建方法、装置及设备 |
CN115544594B (zh) * | 2022-09-20 | 2023-06-23 | 杭州宏深科技有限公司 | 通用的自动批量三维cad建模评分方法 |
CN115423835B (zh) * | 2022-11-02 | 2023-03-24 | 中汽创智科技有限公司 | 杆状物点云数据处理方法、装置、电子设备及存储介质 |
EP4369124A1 (en) * | 2022-11-14 | 2024-05-15 | AM-Flow Holding B.V. | Inspection system and method |
CN116758006B (zh) * | 2023-05-18 | 2024-02-06 | 广州广检建设工程检测中心有限公司 | 脚手架质量检测方法及装置 |
CN116379953B (zh) * | 2023-05-30 | 2023-09-05 | 武汉中岩科技股份有限公司 | 一种远距离双目三维变形测量系统的拍摄控制方法 |
CN116721081B (zh) * | 2023-06-12 | 2024-01-26 | 南京林业大学 | 基于三维点云和模态转换的动车侧墙板缺陷提取方法 |
CN117183331B (zh) * | 2023-09-06 | 2024-07-23 | 张家港爵启科技有限公司 | 一种基于数字孪生三维模型3d打印建模方法 |
CN117299583B (zh) * | 2023-11-25 | 2024-05-03 | 东莞市欧宇精密科技有限公司 | 一种光学筛选机的控制方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040066908A1 (en) * | 2000-10-11 | 2004-04-08 | Randolf Hanke | Method and device for the representing an object by means of an irradiation and for reconstructing said object |
US20050148859A1 (en) * | 2003-09-08 | 2005-07-07 | Vanderbilt University | Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery |
US20070097456A1 (en) * | 2005-11-02 | 2007-05-03 | Xerox Corporation | Scanner registration systems and methods |
JP2014145735A (ja) * | 2013-01-30 | 2014-08-14 | Nikon Corp | 形状測定装置、構造物製造システム、評価装置、形状測定方法、構造物製造方法、及び形状測定プログラム |
US9043069B1 (en) * | 2012-11-07 | 2015-05-26 | Google Inc. | Methods and systems for scan matching approaches for vehicle heading estimation |
US20170103511A1 (en) * | 2015-10-08 | 2017-04-13 | Hewlett-Packard Development Company, L.P. | Scan recommendations |
CN109682320A (zh) * | 2018-12-30 | 2019-04-26 | 芜湖哈特机器人产业技术研究院有限公司 | 一种轮毂毛坯安装面变形量检测装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008045746A1 (de) * | 2008-09-04 | 2010-03-25 | Lufthansa Technik Ag | Verfahren zum Vermessen des Innenraums eines Flugzeugs |
US20180374239A1 (en) * | 2015-11-09 | 2018-12-27 | Cognex Corporation | System and method for field calibration of a vision system imaging two opposite sides of a calibration object |
CN105844057B (zh) * | 2016-04-15 | 2018-10-19 | 中国科学院上海技术物理研究所 | 基于光束和三角面片求交的激光扫描成像快速仿真方法 |
CN108303037B (zh) * | 2018-01-31 | 2020-05-08 | 广东工业大学 | 一种基于点云分析的工件表面形状差异的检测方法及装置 |
CN108458659A (zh) * | 2018-05-03 | 2018-08-28 | 华中科技大学无锡研究院 | 一种叶片非接触式检测装置及方法 |
-
2020
- 2020-05-01 EP EP20727498.6A patent/EP3963414A2/en active Pending
- 2020-05-01 WO PCT/US2020/030940 patent/WO2020223594A2/en unknown
- 2020-05-01 CN CN202080048597.0A patent/CN114041168A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040066908A1 (en) * | 2000-10-11 | 2004-04-08 | Randolf Hanke | Method and device for the representing an object by means of an irradiation and for reconstructing said object |
US20050148859A1 (en) * | 2003-09-08 | 2005-07-07 | Vanderbilt University | Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery |
US20070097456A1 (en) * | 2005-11-02 | 2007-05-03 | Xerox Corporation | Scanner registration systems and methods |
US9043069B1 (en) * | 2012-11-07 | 2015-05-26 | Google Inc. | Methods and systems for scan matching approaches for vehicle heading estimation |
JP2014145735A (ja) * | 2013-01-30 | 2014-08-14 | Nikon Corp | 形状測定装置、構造物製造システム、評価装置、形状測定方法、構造物製造方法、及び形状測定プログラム |
US20170103511A1 (en) * | 2015-10-08 | 2017-04-13 | Hewlett-Packard Development Company, L.P. | Scan recommendations |
CN109682320A (zh) * | 2018-12-30 | 2019-04-26 | 芜湖哈特机器人产业技术研究院有限公司 | 一种轮毂毛坯安装面变形量检测装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114888794A (zh) * | 2022-04-24 | 2022-08-12 | 天津工程机械研究院有限公司 | 一种机器人人机交互运行路径标记方法及装置 |
CN114888794B (zh) * | 2022-04-24 | 2024-01-30 | 天津工程机械研究院有限公司 | 一种机器人人机交互运行路径标记方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3963414A2 (en) | 2022-03-09 |
WO2020223594A3 (en) | 2020-12-17 |
WO2020223594A2 (en) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12001191B2 (en) | Automated 360-degree dense point object inspection | |
CN114041168A (zh) | 自动化360度密集点对象检验 | |
US11087458B2 (en) | Automated in-line object inspection | |
US8050491B2 (en) | CAD modeling system and method | |
US8103376B2 (en) | System and method for the on-machine 2-D contour measurement | |
EP2500686A1 (en) | Device and method for inspecting tyre shape | |
CN106949848A (zh) | 一种高精度激光3d轮廓手机结构件检测方法 | |
CN104024793B (zh) | 形状检查方法及其装置 | |
Molleda et al. | A profile measurement system for rail quality assessment during manufacturing | |
US20150362310A1 (en) | Shape examination method and device therefor | |
Bernal et al. | Performance evaluation of optical scanner based on blue LED structured light | |
CN112697058A (zh) | 一种基于机器视觉的大尺寸板材装配间隙在线测量系统与方法 | |
JP5913903B2 (ja) | 形状検査方法およびその装置 | |
Emam et al. | Dimensional deviation measurement of ceramic tiles according to ISO 10545-2 using the machine vision | |
Anchini et al. | Metrological characterization of a vision-based measurement system for the online inspection of automotive rubber profile | |
Wang et al. | Structured-light three-dimensional scanning for process monitoring and quality control in precast concrete production. | |
CN115210664A (zh) | 用于控制对物品的自动检查的系统和方法 | |
García et al. | Rail surface inspection system using differential topographic images | |
CN105783782B (zh) | 表面曲率突变光学轮廓测量方法 | |
JPH05322531A (ja) | 物体の3次元形状測定装置 | |
Li et al. | On the use of quality metrics to characterize structured light-based point cloud acquisitions | |
US20230385479A1 (en) | Making a measurement relating to an object depending on a derived measurement surface | |
Zolfaghari et al. | On-line 3D geometric model reconstruction | |
Han et al. | An automatic measurement method for hull weld seam dimensions based on 3D laser scanning | |
CN116992659A (zh) | 一种基于点云数据创建探针板的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40063584 Country of ref document: HK |