CN117501308A - 用于评判车身构件的表面的方法以及用于训练人工神经网络的方法 - Google Patents
用于评判车身构件的表面的方法以及用于训练人工神经网络的方法 Download PDFInfo
- Publication number
- CN117501308A CN117501308A CN202280043005.5A CN202280043005A CN117501308A CN 117501308 A CN117501308 A CN 117501308A CN 202280043005 A CN202280043005 A CN 202280043005A CN 117501308 A CN117501308 A CN 117501308A
- Authority
- CN
- China
- Prior art keywords
- network
- characterizing
- curvature
- parameter
- body component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012549 training Methods 0.000 title claims description 18
- 230000007547 defect Effects 0.000 claims abstract description 190
- 238000001514 detection method Methods 0.000 claims description 36
- 238000004519 manufacturing process Methods 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 22
- 238000004088 simulation Methods 0.000 claims description 21
- 238000000465 moulding Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 8
- 230000018109 developmental process Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000009499 grossing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000000930 thermomechanical effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000013312 flour Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及用于评判(27)机动车的车身构件(3)的表面(5)的方法,其中:创建表面(5)的虚拟多边形网络(11);在多边形网络(11)的至少一个节点(14)处求取至少一个表征多边形网络(11)的曲率的参量(18);以及根据表征曲率的参量(18)借助于人工神经网络(2)求取至少一个表征表面(5)的表面缺陷(6)的输出参量(32),以用于评判(27)表面(5)。
Description
技术领域
本发明涉及一种按照权利要求1的用于评判机动车的车身构件的表面的方法。此外,本发明还涉及一种按照权利要求6的用于训练人工神经网络的方法。
背景技术
这样的用于评判机动车的车身构件的表面的方法和这样的用于训练人工神经网络的方法由一般的现有技术可得知为已知的。在此可以特别是手动地鉴别或检验车身构件的表面。例如可以检验表面可能的表面缺陷。表面缺陷可被考虑用于评判表面。
发明内容
本发明的任务在于,实现一种用于评判机动车的车身构件的表面的方法以及一种用于训练人工神经网络的方法,从而用于制造车身构件的用工量和成本可以保持得特别低。
该任务按照本发明通过具有权利要求1的特征的用于评判机动车的车身构件的表面的方法以及具有权利要求6的特征的用于训练人工神经网络的方法解决。本发明有利的实施方案是从属权利要求和说明书的技术方案。
本发明的第一方面涉及用于评判机动车的车身构件的表面的方法。机动车例如可以构成为轿车、商用车或货车。车身构件特别是可以理解为机动车车身的构件。车身特别是可以是机动车的自承载的车身。车身构件优选地是车身或机动车的外壳构件。外壳构件特别是可以理解为,车身构件是机动车的朝外限定机动车的外侧的构件。车身构件例如可以由板材形成。由此可以将车身构件特别是称为车身板材。
在该方法中,创建车身构件的表面的至少一个虚拟多边形网络。换言之,创建或形成车身构件的表面的至少一个虚拟图,其中,虚拟图构成为多边形网络。虚拟图特别是可理解为表面的虚拟模型。多边形网络特别是可理解为以边连接的点,其中,多边形网络包括多个多边形,这些多边形例如可以构成为三角形或四边形。相应的多边形包括多个、特别是称为节点的点,这些点通过多边形的边相互连接。通过虚拟多边形网络近似车身构件的表面。
相应的节点可以特别是称为“顶点(Vertex)”。节点在多边形网络的几何结构中形成相应的多边形的相应的角。优选地,多边形网络是三维的。备选地,多边形网络可以是二维的。
优选地,多边形网络是STL网络。在STL网络中,车身构件的表面通过三角形棱面(Dreiecksfacetten)描述或近似。每个三角形棱面可以分别通过三角形的三个角点和所属的面法线表征。STL网络特别是如下多边形网络,所述多边形网络具有特别是被称为STL格式的格式。
在此规定,在多边形网络的至少一个节点处求取至少一个表征多边形网络的曲率的参量。换言之,求取至少一个表征在多边形网络的至少一个节点处的曲率的参量。换言之,根据多边形网络求取至少一个表征表面的至少一个子区域的曲率的参量。例如可以计算表征曲率的参量。表征曲率的参量特别是可理解为如下数值或值,借助于所述数值或值可以表征或描述多边形网络、特别是在相应的节点处的曲率。由此可以根据表征曲率的参量推断多边形网络、特别是在相应的节点处的曲率或者车身构件的表面上的曲率。优选地,在多边形网络的所有节点处或者对于所有节点求取表征多边形网络的曲率的参量。
例如可以为了在多边形网络的至少一个节点处或对于至少一个节点、特别是所有节点求取表征曲率的参量而计算特别是称为葡萄园图(Weingartenabbildung)的图。在此可以对于相应的节点计算特别是称为葡萄园矩阵(Weingartenmatrix)或葡萄园曲率矩阵(Weingartenkrümmungsmatrix)的矩阵。葡萄园图或葡萄园矩阵的特征值相应于多边形网络在相应的节点处所分析的主曲率。主曲率特别是可以称为K1和K2。主曲率一般可以理解为平的曲线的曲率,其通过法截面产生。法截面可以特别是理解为面与穿过面的面法向量和面的切线方向所确定的平面的截面。主曲率于是为该曲率的最小值和最大值。特征向量的方向可以特别是称为主曲率方向。主曲率方向可以特别是理解为切线方向。主曲率中之一可以特别是称为所谓的第一主曲率。主曲率中之另一可以特别是称为所谓的第二主曲率。
用于计算葡萄园图或主曲率和主曲率方向的示例可以从如下文献得知:Goldfeather.Jack和Interrante,Victoria(2004)的A novel cubic-order algorithmfor approximating principal direction vectors,ACM Transaction on Graphics,第23卷,第1期,45-63页https://doi.org/10.1145/966131.966134。
例如可以在多边形网络的至少一个节点、特别是在所有节点处计算葡萄园图。这例如可以如下实施:
首先,在多边形网络的至少一个节点处、特别是在所有节点处计算或近似法向量。法向量相应于或近似于多边形网络、特别是多边形网络的面在相应的节点中的法线。紧接着,在多边形网络的至少一个节点处、特别是在所有节点处计算两个相互正交延伸的向量,所述向量垂直于相应的法向量延伸。该向量和法向量在相应的节点处用作局部的、标准正交的坐标系。紧接着,在多边形网络的至少一个节点处、特别是在所有节点处计算葡萄园图或葡萄园曲率矩阵,其表征在相应的局部坐标系中。这例如可以借助于特别是称为法向曲率近似法(normal curvature approximation method)的方法或者借助于特别是称为二次曲面近似法(quadratic surface approximation method)的方法或者借助于特别是称为邻接法向三次近似法(adjacent-normal cubic approximation method)的方法或者借助于特别是称为高阶方法的方法实施。
主曲率和/或主曲率方向可以用作表征曲率的参量。换言之,在多边形网络的至少一个节点处、特别是在所有节点处可以求取主曲率和/或主曲率方向作为表征曲率的参量。又换言之可以对于多边形网络的至少一个节点、特别是所有节点计算葡萄园图,由所述葡萄园图可以计算主曲率和/或主曲率方向。
优选地,将虚拟多边形网络在创建之后存储在电子运算装置中。优选地,将表征曲率的参量存储在电子运算装置中或在与电子运算装置分离构成的第二电子运算装置中。
为了可以将车身构件的成本保持得特别低,在此规定,根据表征曲率的参量借助于人工神经网络至少间接、特别是直接求取至少一个表征表面的表面缺陷的输出参量,以用于评判表面。换言之,表征曲率的参量是神经网络的输入参量,其中,借助于神经网络根据表征曲率的参量求取输出参量,所述输出参量是表征表面的表面缺陷的参量。表征表面的表面缺陷的输出参量是神经网络的输出参量。
神经网络可以特别是称为神经网路。人工神经网络可以特别是理解为软件代码,所述软件代码存储在计算机可读的存储介质上且代表一个或多个联网的人工神经或者可以模仿其功能。软件代码可以特别是包含多个软件代码组件,这些软件代码组件例如可以具有不同功能。特别是人工神经网络可以实现非线性模型或非线性算法,所述非线性模型或非线性算法将输入映射到输出上。输入可以通过输入特征向量或输入序列提供。输出可以包含例如用于分类任务的输出的类型、一个或多个预测的值或预测的序列。由此,所述一个或多个输入可以包括表征曲率的参量。所述一个或多个输出可以包括表征表面缺陷的参量。优选地,神经网络是经训练的神经网络。
表面缺陷可以特别是理解为在车身构件的表面的实际状态与车身构件的表面的额定状态之间的偏差。表面缺陷可以因此是在车身构件的额定表面与车身构件的实际表面之间的偏差。额定状态或额定表面可以特别是理解为表面的限定的、期望的状态。可以在车身构件的表面的制造中设置该状态。实际状态或实际表面特别是可以理解为车身构件的表面的真实状态,其中,真实状态在车身构件或表面的制造之后存在。在额定表面与实际表面之间的偏差或区别因此可以由车身构件的制造、特别是制造缺陷或制造不准确性引起。表面缺陷可以是例如凹陷(Delle)。备选地,表面缺陷可以是例如表面的波纹。可以规定,仅仅当在额定表面与实际表面之间的偏差超过预定的阈值的情况下,该偏差才是表面缺陷或视为表面缺陷。
表征表面缺陷的输出参量可特别是理解为如下任意数值或任意值,其表征或描述表面缺陷。由此可以借助于表征表面缺陷的输出参量推断表面缺陷。例如,表征表面缺陷的输出参量可以采用或具有至少两个、特别是离散的值。所述值中的第一值例如可以表征:相应的表面具有表面缺陷。第二值例如可以表征:相应的表面不具有表面缺陷且因此是无缺陷的。
例如表征表面缺陷的输出参量可以包括多个相互不同的缺陷等级。换言之,表征表面缺陷的输出参量可以采用多个相互不同的值中至少之一,其中,相应的值表征表面缺陷的相应的缺陷等级。在此,各值可以特别是称为缺陷等级值。例如表面的凹陷可以是所述缺陷等级中之一。例如,波浪形表面可以是所述缺陷等级中之另一。例如,如果车身构件的相应的表面具有第一缺陷等级的表面缺陷,于是借助于人工神经网络求取所述缺陷等级值中的第一缺陷等级值。例如,如果车身构件的相应的表面具有第二缺陷等级的表面缺陷,于是借助于人工神经网络求取与第一缺陷等级值不同的第二缺陷等级值。
备选或附加地,表征表面缺陷的输出参量可以包括至少一个用于表征表面缺陷的缺陷严重性的度量值。例如,如果相应的车身构件的相应的表面具有第一表面缺陷,于是借助于人工神经网络求取表征表面缺陷的输出参量的第一强度值;并且如果相应的车身构件的相应的表面具有相对于第一表面缺陷更严重的第二表面缺陷,于是借助于神经网络求取表征表面缺陷的输出参量的相对于第一强度值更大的第二强度值。
备选或附加地,表征表面缺陷的输出参量具有至少一个用于表征缺陷在车身构件的表面上的位置的度量值。例如,表征表面缺陷的输出参量为此包括坐标,其中,坐标描述在相应的车身构件的表面上表面缺陷的位置或方位。
本发明特别是基于如下认识和考虑:通常可以借助于成型制造车身构件。在此应用成型模具。在此可以在车身构件的制造中借助于成型模具发生:出现表面缺陷。为了阻止这一点并且由此为了检查车身构件的成型模具的适用性、特别是对于批量制造、例如在冲压车间中,可以规定:检查车身构件的表面。在此原则上可考虑的是,借助于成型模具、特别是制造车身构件的称为试验加压件的试验件。该试验构件紧接着可以被喷漆为特别是黑色且可以手动地特别是通过专家主观地检查其表面缺陷。在此通常可以已经完成成型模具的研发。由此成型模具的可能的修改或匹配可以特别是耗时的且特别是成本密集的。在成型模具的研发期间,通常仅仅可以不充足地得知:要借助于成型模具制造的车身构件是否易于出现表面缺陷或者在车身构件的额定几何结构与实际几何结构之间的差是否表征相关的表面缺陷。该问题例如可以存在于成型模具的研发的过程步骤中,其中,借助于模拟、特别是有限元模拟研发成型模具。该问题可以备选或附加地在模具组的调整期间存在于成型模具的或对于成型模具的模具制造(Werkzeugbauten)中。
相比之下,借助于按照本发明的方法已经可以在成型模具的研发期间识别所述一个或多个表面缺陷。代替特别是通过专家进行手动检查和评估,在按照本发明的方法中借助于神经网络评估或评判表面缺陷。在此可以通过神经网络模拟专家。由此可以在成型模具的研发期间已经提早进行必要的措施。措施例如可以理解为如下措施,借助于所述措施可以匹配或改善成型模具,从而可以避免或减少在相应的车身构件的制造中出现的表面缺陷。特别是通过在按照本发明的方法中可以在车身构件或成型模具的特别早的研发阶段中作出或实施措施,使得车身构件的成本、特别是制造成本和费用、特别是制造费用可以保持得特别低。
在另一设计方案中规定,借助于光学检测装置检测车身构件的设置在光学检测装置的检测区域中的表面的至少一个图像,其中,根据所述图像创建虚拟多边形网络。换言之,借助于光学检测装置检测设置在光学检测装置的检测区域中的表面,其中,将检测的表面数字化为虚拟多边形网络。由此可以借助于神经网络评判车身构件的真实的表面。所述光学检测装置优选地是摄像机、特别是立体摄像机、例如GOM立体摄像机。
在另一设计方案中规定,根据车身构件的所模拟的制造过程的至少一个步骤的(特别是结构机械和/或热机械的)模拟的至少一个模拟结果来创建虚拟多边形网络。对此可以特别是理解为如下:借助于模拟来模拟车身构件的制造过程或者完整的制造过程的至少一个步骤。在该模拟中,计算模拟结果。模拟可以是结构机械和/或热机械的。在此,模拟可以附加地包括另外的作用。模拟结果例如可以是车身构件的表面的虚拟模型或虚拟图,其中,虚拟图例如可以相对于车身构件的额定表面扭曲或变形。该变形是车身构件的特别是模拟的制造过程的一个结果。由表面的模拟结果或由模拟的图创建表面的虚拟多边形网络。由此可以借助于神经网络评判车身构件的虚拟或模拟的表面。由此评判可以发生在例如车身构件或成型模具的研发过程的特别早的阶段中。
在另一实施形式中规定,在求取相应的表征曲率的参量之前实施相应的多边形网络的相应的平滑化。由此可以在经平滑化的多边形网络的所述至少一个节点处求取表征多边形网络的曲率的参量。由此可以在多边形网络中或在表征曲率的参量中抑制噪声。平滑化特别是可以称为滤波。
例如图像特别是可以包括称为图像噪声的干扰。干扰可以不具有与图像的期望的图像内容的(亦即与表面的图的)关联。通过根据图像创建或已创建多边形网络,多边形网络可以具有图像噪声或干扰。在这样的干扰中,例如多边形网络的至少一个节点的位置可以不具有与真实的表面的关联。在此,例如节点的坐标可以显著不同于车身构件的表面的相应的坐标。为了减小或补偿图像噪声或干扰,可以实施多边形网络的平滑化。在此例如可以特别是沿着相应的法线方向移动多边形网络的至少一个节点的位置或坐标,由此可以减小图像噪声。用于平滑化的示例性方法可以由如下文献得知:Fleishman,Shachar和Drori,Iddo和Cohen-Or,Dabniel(2003)的Bilateral mesh denoising,ACM Transactions onGraphics,https://doi.Org/10.1145/1201775.882368。
在另一实施形式中规定,形成所述多边形网络的至少一个二维几何图,其中,根据几何图借助于人工神经网络至少间接、特别是直接求取表征表面缺陷的输出参量。换言之,将多边形网络作为几何图转换为二维平面,其中,几何图用作神经网络的输入或输入参量。
所述几何图可以特别是理解为,给多边形网络的每个点配置在二维平面中的相应的点。例如可以在二维平面中给多边形网络的至少一个或每个节点配置相应的节点或点。例如可以给多边形网络的至少一个或每个边配置在二维平面中的相应的边。多边形网络因此通过几何图间接地作为输入参量或作为输入而输入到神经网络中。在此,几何图是神经网络的特别好适合的输入参量。由此可以在神经网络中将存储需求和学习复杂性保持得特别低。几何图可以特别是称为几何结构图。几何图例如可以等于例如二维矩阵。
优选地,几何图是等积球形参数化。示例性的几何图或示例性的用于实施这样的几何图的方法可以由如下文献得知:Sinha,Ayan和Bai,Jing和Ramani,Karthik(2016)的Deep Learning 3D Shape Surfaces Using Geometry Images,European Conference onComputer Vision,223-240页,https://doi.org/10.1007/978-3-319-46466-4_14。
所述球形参数化可以特别是理解为如下:首先可以通过三维形式、特别是多边形网络的参数化创建多边形网络的与几何图不同的且特别是表征为中间步骤或中间图的二维几何图。随后可以将中间图映射或扫描到八面体上。紧接着,可以沿着其边切割或切剪八面体用以创建几何图。
等积参数化可以特别是理解为获得面积的参数化。等积球形参数化特别是可以理解为球形参数化与等积参数化的组合。在等积球形参数化中,可以在用作等积球形参数化的输入参量的多边形网络中使得空间失真迭代地最小化,并且可以在球形表面上创建双射图。
在另一设计方案中规定,给几何图的至少一个图像点配置相应的表征曲率的参量,其中,根据所述至少一个配置有表征曲率的参量的图像点借助于人工神经网络至少间接、特别是直接求取表征表面缺陷的输出参量。换言之,在几何图中,给多边形网络的至少一个、特别是每个节点配置在几何图中相应的图像点,其中,将相应的节点或对于相应的节点的表征曲率的参量配置给几何图的相应的图像点。根据图像点和配置给相应的图像点的表征曲率的参量借助于人工神经网络求取表征表面缺陷的输出参量。又换言之,根据几何图——其包括相应的表征曲率的参量——借助于人工神经网络求取表征表面缺陷的输出参量。
给几何图的相应的图像点配置相应的表征曲率的参量可以特别是理解为:利用相应的表征曲率的参量编码、特别是染色几何图或图像点。由此可以例如根据几何图、特别是图像点的颜色或颜色亮度表征或示出表征曲率的参量。
所述表征曲率的参量例如可以包括多个子参量。可以规定,对于每个子参量形成多边形网络的相应的二维几何图,其中,给相应的几何图的至少一个图像点、特别是所有图像点配置相应的表征曲率的子参量。备选地可以规定,形成多边形网络的特别是正好一个二维几何图,其中,给几何图的至少一个图像点、特别是所有图像点配置所有相应的表征曲率的子参量。例如,第一子参量可以是第一主曲率。例如,第二子参量可以是第二主曲率。
所述相应的表征曲率的参量可以包括例如至少一个扩展的曲率值。扩展的曲率值可以是例如曲率的形状指数(Formindex)和/或曲率的强度指数换言之,形状指数和/或强度指数可以用作表征曲率的参量。例如第三子参量可以是形状指数。例如第四子参量可以是强度指数。因此,表征曲率的参量可以包括第一主曲率和/或第二主曲率和/或形状指数和/或强度指数。
形状指数(Shape-Index)和强度指数(弯曲度强度Curvedness Intensity)例如在如下引文中描述:Koenderink,Jan和Doorn,Andrea(1992)的Surface shape andcurvature scales,Image and Vision Computing,第10卷,第8期,1992年10月,557-564页,https://doi.org/10.1016/0262-8856(92)90076-F。
借助于形状指数可以表征或描述曲率的特别是几何的形状。形状指数可以根据主曲率(k1、k2)来计算。因此可以特别是代替主曲率、通过正好一个参数、亦即形状指数表征曲率形状。优选地可以如下计算形状指数(s):
优选地,形状指数采用在-1与1之间的值。借助于形状指数可以描述或表征凸的和凹的和双曲面。在此,凸的和凹的面可以分别位于在相互不同的侧面或区域上,特别是具有刻度的不同符号。例如,值对——所述值对关于其相应的符号相互不同——表征两个相互间相应地构成的面、例如阳模和阴模。
借助于强度指数可以表征或描述曲率的强度。强度指数可以根据主曲率(k1、k2)来计算。因此可以特别是代替主曲率、通过正好一个参数、亦即曲率指数表征曲率强度。优选地可以如下计算曲率指数(c):
在球的情况下,强度指数相应于球的半径的倒数的值。
优选地,人工神经网络是构成为卷积神经网络(CNN)的神经网络。CNN网络特别是可以称为卷积神经网络。优选地,神经网络是构成为基于区域的卷积神经网络(R-CNN)的人工神经网络。这样的神经网络例如在如下引文中描述:Girshick,Ross和Donahue,Jeff和Darrell,Trevor和Malik,J(2014)的Rich Feature Hierarchies for Accurate ObjectDetection and Semantic Segmentation,2014IEEE Conference on Computer Visionand Pattern Recognition,580-587页,https://doi.Org/10.1109/CVPR.2014.81。
二维图特别是相对于三维多边形网络特别好地适用于用作在CNN网络或R-CNN网络中的输入参量。同样适用于训练CNN网络或R-CNN网络。在此可以在CNN网络或R-CNN网络中使存储需求和学习复杂性保持得特别低。
优选地,R-CNN网络构成为快速R-CNN网络或更快速R-CNN网络。这样的神经网络例如在如下引文中描述:
-Girshick,Ross(2015)的Fast R-CNN,https://doi.org/10.1109/ ICCV.2015.169
-Ren,Shaoqing&He,Kaiming&Girshick,Ross&Sun,Jian(2016)的Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks,IEEETransactions on Pattern Analysis and Machine Intelligence,第39卷,第6期,1137-1149页,http://dx.doi.org/10.1109/TPAMI.2016.2577031
优选地,所述表征相应的表面缺陷的输出参量包括至少一个限制框,所述至少一个限制框在相应的几何图中完全包围相应的至少一个图像点,在该图像点中已求取相应的表面缺陷。换言之,表征相应的表面缺陷的输出参量包括至少一个方位信息或地点信息,所述方位信息或地点信息表征或描述限制框在几何图中的位置。限制框因此是表面缺陷在几何图中的地点或位置说明。例如,表征相应的表面缺陷的输出参量可以包括描述或形成相应的限制框的坐标。限制框可以在相应的几何图中完全包围多个图像点,在该图像点中已求取相应的表面缺陷。
优选地,所述表征相应的表面缺陷的输出参量配置给相应的几何图的相应的图像点。例如可以规定,表征相应的表面缺陷的输出参量配置给多边形网络的相应的节点,其中,多边形网络的相应的节点是配置有相应的图像点的节点。由此,相应的表面缺陷或相应的表面缺陷的位置可以在表面上特别直观地表征在相应的多边形网络上。
本发明的第二方面涉及用于训练人工神经网络的方法。本发明的第一方面的优点和有利的设计方案可视为本发明的第二方面的优点和有利的设计方案,并且反之亦然。
在该方法中,创建多个车身构件的至少一个相应的表面的相应的虚拟多边形网络。换言之,形成车身构件的相应的表面的相应的数字图,其中,数字图构成为虚拟多边形网络。
例如,创建所述车身构件中的第一车身构件的至少一个相应的表面的第一虚拟多边形网络。例如,创建与第一车身构件不同的第二车身构件的至少一个相应的表面的与第一虚拟多边形网络不同的第二虚拟多边形网络。车身构件可以结构相同或者关于其相应的结构类型、特别是其几何结构相互不同。相应的表面或车身构件优选地是真实构件。
优选地,相应的车身构件的相应的表面设置在光学检测装置的检测区域中,其中,借助于光学检测装置检测设置在光学检测装置的检测区域中的相应的表面的至少一个图像,并且根据检测的图像创建相应的多边形网络。优选地,将相应的虚拟多边形网络存储在电子运算装置中、特别是在电子运算装置的数据库中。
在此规定,求取至少一个相应的表征在相应的多边形网络的至少一个节点处的曲率的参量。换言之,在相应的多边形网络的所述至少一个节点处、特别是在所有节点处求取相应的表征相应的多边形网络的曲率的参量。
优选地,所述表征曲率的参量存储在电子运算装置中、特别是在数据库中。例如可以规定,在借助于光学检测装置检测相应的表面之前将相应的表面特别是喷漆为白色或哑光白。
为了可以将相应的车身构件的成本保持得特别低,至少间接、特别是直接借助于表征曲率的参量来训练人工神经网络。换言之,借助于表征曲率的参量实施人工神经网络的特别是称为学习的学习过程。
可以规定,特别是在借助于光学检测装置检测相应的表面之前和/或之后、特别是手动地求取至少一个相应的表征相应的车身构件的相应的表面的相应的表面缺陷的参量。手动求取可以在此优选地通过专家实施。换言之,可以通过专家检查和评估相应的表面。在检查中可以安装车身构件、亦即位于在机动车中的安装位置上,或者作为单件存在且在此可任意存放。作为单件存在可以特别是理解为,相应的车身构件非位于机动车中的其相应的安装位置上。
表征表面缺陷的参量特别是可以理解为表征或描述表面缺陷的任意度量值或任意值。由此可以借助于表征表面缺陷的参量推断表面缺陷。例如,表征表面缺陷的参量可以采用或具有至少两个特别是离散的值。所述值中的第一值例如可以意味着:相应的表面具有表面缺陷。第二值例如可以也意味着:相应的表面不具有表面缺陷并因此是无缺陷的。
例如,表征表面缺陷的参量可以包括多个相互不同的缺陷等级。换言之,表征表面缺陷的参量可以采用多个相互不同的值中至少之一,其中,相应的值表征表面缺陷的相应的缺陷等级。各值可以在此特别是表征为缺陷等级值。例如表面的凹陷可以是缺陷等级中之一。例如,波浪形表面可以是缺陷等级中之另一。例如,如果车身构件的相应的表面具有所述缺陷等级中的第一缺陷等级的表面缺陷,于是特别是手动求取所述缺陷等级中的第一缺陷等级值。例如,如果车身构件的相应的表面具有第二缺陷等级的表面缺陷,于是特别是手动求取与第一缺陷等级值不同的第二缺陷等级值。
备选或附加地,表征表面缺陷的参量可以包括至少一个用于表征表面缺陷的缺陷严重性的度量值。例如,如果相应的车身构件的相应的表面具有第一表面缺陷,于是特别是手动求取表征表面缺陷的参量的第一强度值;并且如果相应的车身构件的相应的表面具有相对于第一表面缺陷更严重的第二表面缺陷,于是特别是手动求取表征表面缺陷的参量的相对于第一强度值更大的第二强度值。
备选或附加地,表征表面缺陷的参量具有至少一个用于表征缺陷在车身构件的表面上的位置的度量值。例如,表征表面缺陷的参量为此包括坐标,其中,坐标描述在相应的车身构件的表面上表面缺陷的位置或方位。
在另一设计方案中规定,相应的表征相应的车身构件的表面的相应的表面缺陷的参量配置给相应的多边形网络的至少一个相应的多边形、特别是多边形的面和/或节点和/或边。换言之,根据在相应的车身构件上相应的表面缺陷的位置将表征相应的表面缺陷的参量配置给相应的一个或多个多边形,所述一个或多个多边形特别是尽可能好地近似于相应的表面缺陷在相应的多边形网络上的位置。优选地,表征相应的车身构件的表面的相应的表面缺陷的参量存储在电子运算装置中、特别是在数据库中。
特别是如果表征相应的表面缺陷的参量的求取在借助于光学检测装置检测相应的表面之前实施,于是可以在车身构件的特别是真实的相应的表面上标记相应的所求取的表面缺陷或相应的表面缺陷的位置。由此可以在检测相应的表面的情况下借助于光学检测装置检测相应的标记的表面缺陷。紧接着,可以将检测的相应的表面缺陷或相应的表面缺陷的相应的检测的位置配置给相应的虚拟多边形网络、特别是相应的节点和/或相应的面和/或相应的边。
特别是如果相应的表面缺陷的求取在借助于光学检测装置光学检测相应的表面之后实施,于是可以规定,在相应的多边形上、特别是多边形网络的相应的多边形的相应的节点和/或相应的面和/或相应的边上、特别是手动标记相应的表面缺陷或相应的表面缺陷的相应的位置且由此配置给相应的多边形。在另一设计方案中规定,形成相应的多边形网络的至少一个二维几何图,其中,给相应的几何图的至少一个图像点、特别是多个图像点配置表征相应的表面缺陷的参量,并且借助于包括相应的表面缺陷的几何图至少间接、特别是直接地训练人工神经网络。换言之,使得相应的多边形网络作为几何图转换为二维平面,其中,相应的表征相应的表面缺陷的参量配置给相应的几何图的至少一个图像点。借助于几何图和配置给图像点的、表征表面缺陷的参量实施神经网络的训练。
由此可以特别有利地训练神经网络,由此神经网络可以做出特别精确的预测。
优选地规定,给几何图的至少一个图像点配置表征相应的曲率的参量,并且借助于几何图——其包括表征曲率的参量——至少间接、特别是直接地训练人工神经网络。换言之可以规定,形成相应的多边形网络的至少一个二维几何图,其中,给几何图的至少一个图像点配置表征相应的曲率的参量,并且借助于几何图——其包括表征曲率的参量——训练人工神经网络。
优选地规定,在相应的几何图中创建至少一个限制框,所述至少一个限制框完全包围配置有表征相应的表面缺陷的参量的相应的至少一个图像点,其中,借助于限制框训练神经网络。换言之,在相应的几何图中形成包围相应的图像点、特别是多个图像点的限制框,其中,给相应的图像点配置表征相应的表面缺陷的参量。借助于相应的几何图——其包括限制框——训练神经网络。由此可以利用相应的表面缺陷的位置或方位信息训练神经网络。由此可以借助于神经网络预测位置或方位信息。
优选地,由限制框包围的相应的图像点是这样的相应的图像点,在该图像点上相应的车身构件的表面具有表面缺陷。换言之,配置给相应的图像点的、表征相应的表面缺陷的参量具有相应于存在的表面缺陷的值。
优选地,相应的几何图和相应的限制框、特别是限制框的坐标存储在电子运算装置中、特别是数据库中。换言之,在几何图中在相应的多边形网络中标记的表面缺陷以限制框包围,所述限制框的坐标存储在电子运算装置中、特别是数据库中。
在另一设计方案中规定,创建相应的车身构件的相应的虚拟额定几何结构的至少一个相应的表面的相应的虚拟额定多边形网络。对此可以特别是理解为如下:由相应的虚拟额定几何结构创建相应的虚拟额定多边形网络,其近似于虚拟额定几何结构。额定几何结构可以是例如相应的车身构件的表面的CAD几何结构。额定几何结构不具有制造有关的表面缺陷且因此无制造有关的表面缺陷。由此额定几何结构是相应的车身构件的表面的期望的理想的几何结构。额定多边形网络优选地是STL多边形网络。相应的额定多边形网络可以存储在电子运算装置中、特别是数据库中。
优选地,求取至少表征在相应的额定多边形网络的至少一个节点处的相应的曲率的参量。换言之可以规定,在额定多边形网络的所述至少一个节点处求取所述至少一个表征额定多边形网络的曲率的参量。
优选地,形成相应的额定多边形网络的至少一个相应的二维几何图,其中,借助于相应的几何图至少间接、特别是直接地训练人工神经网络。换言之,将相应的额定多边形网络作为几何图转换为二维平面,其中,借助于相应的几何图实施神经网络的训练。由此,神经网络可以学会额定多边形网络的理想的几何结构,由此借助于神经网络可以实现关于表面缺陷的精确预测。
优选地规定,给额定多边形网络的相应的几何图的至少一个图像点配置相应的表征曲率的参量,其中,借助于几何图的相应的至少一个配置有表征曲率的参量的图像点至少间接、特别是直接地训练神经网络。
本发明的其他特征由权利要求、附图和附图描述产生。之前在说明书中所述的特征和特征组合以及在下文中在对附图的描述中所述和/或在附图中单独示出的特征和特征组合不仅以相应提出的组合、而且也以其他组合或单独地是可用的。
附图说明
现在根据优选实施例以及参照附图进一步阐明本发明。附图示出:
图1示出按照本发明用于训练人工神经网络的方法的示意方法图;以及
图2示出车身构件的示意透视图,在该车身构件上可实施按照本发明的方法;以及
图3示出图2中的车身构件的虚拟多边形网络的示意透视图;以及
图4示出图2中的车身构件的虚拟多边形网络的示意透视图,用以阐明曲率信息;以及
图5示出虚拟多边形网络的二维几何图的示意图;以及
图6示出用于评判车身构件的表面的方法的示意方法图;以及
图7示出利用按照本发明的方法借助于人工神经网络的预测的示意的可视化。
具体实施方式
在附图中,相同或功能相同的元素设有相同附图标记。
图1示出用于训练1人工神经网络2的方法的示意方法图。人工神经网络2优选地是基于区域的卷积神经网络(R-CNN)。图2示出机动车的车身构件3的示意透视图。车身构件3在该实施例中构成为机动车或机动车的车身的侧框。车身构件3在该实施例中构成为机动车的车身的外壳构件。在图2中示出的车身构件3是示例性车身构件,因为实施用于多个这样的车身构件3的方法。
在该方法中,对于车身构件3首先实施评估4。评估4特别是可以称为评判。在评估4中特别是手动检查相应的车身构件3的相应的表面5、对在堆栈(Strack)中的表面缺陷6特别是手动检查。评估4或检查优选地由专家实施。相应的表面缺陷6可以特别是理解为在相应的表面5的额定状态与相应的表面5的实际状态之间的偏差。相应的表面缺陷6例如可以是表面5的凹陷或波纹。相应的车身构件3优选地是特别是黑色喷漆的车身构件3。
在评估4中,优选地特别是手动求取至少一个相应的表征相应的车身构件3的相应的表面5的相应的表面缺陷6的参量7。参量7特别是可以称为缺陷参量。表征相应的表面缺陷6的参量7例如可以包括相应的参数,所述参数描述:相应的表面5是否具有表面缺陷6或者相应的表面5是否没有表面缺陷6。备选或附加地,表征相应的表面缺陷6的参量7可以包括至少一个参数,所述参数表征相应的表面缺陷6的相应的缺陷等级。相应的缺陷等级例如可以是相应的表面5的凹陷或波纹。备选或附加地,表征相应的表面缺陷6的参量7可以包括至少一个参数,所述参数表征相应的表面缺陷6的特别是称为缺陷强度的缺陷严重性。备选或附加地,表征相应的表面缺陷6的参量7可以包括至少一个参数,其表征或描述相应的表面缺陷6在相应的表面5上的相应的方位或相应的位置。
借助于光学检测装置8检测相应的设置在光学检测装置8的检测区域10中的表面5的至少一个相应的图像9。根据相应的检测的图像9创建相应的车身构件3的相应的表面5的相应的虚拟多边形网络11。换言之,借助于光学检测装置8将车身构件3——在所述车身构件上进行评估4——数字化为多边形网络11。图3示出车身构件3的表面5的多边形网络11的示意透视图。相应的多边形网络11ff恩波包括多个多边形12。图4示出多边形网络11的示意透视图,其中,在子视图A中阐明相应的多边形12。
在另一设计方案中规定,相应的表征相应的车身构件3的相应的表面5的相应的表面缺陷6的参量7配置给相应的多边形网络11的相应的多边形12。参量7例如可以配置给相应的多边形12的至少一个相应的面13和/或至少一个相应的节点14和/或至少一个相应的边15。
相应的表征相应的表面缺陷6的参量7的配置例如可以按照两个变型实施。在第一变型中,在相应的多边形网络11中标记相应的多边形12或相应的区域16,所述区域包括相应的多边形12中的多个多边形。区域16在此相应于相应的区域17或近似于相应的区域17,其中,在真实构件上识别相应的表面缺陷6。换言之,区域16是区域17的虚拟图。标记可以手动实施。
在第二变型中,在车身构件3上并因此在真实构件上标记相应的包括相应的表面缺陷6的区域17。由此,借助于光学检测装置8检测的图像9也包括标记的区域17。由此,在相应的虚拟多边形网络11的创建中,可以根据包括区域17的图像9、特别是自动地在相应的多边形网络11的创建中标记相应的多边形12或相应的虚拟区域16。
优选地,相应的多边形网络11和相应的参量7存储在电子运算装置中、特别是数据库中。优选地,使得多边形网络11平滑化,亦即可以实施多边形网络11的平滑化。平滑化的多边形网络11可以存储在电子运算装置中、特别是数据库中。可能的是,可以利用经平滑化的多边形网络11或未经平滑化的多边形网络11实施另外的方法步骤、特别是所有另外的方法步骤。
在此规定,在特别是存储在电子运算装置中的相应的多边形网络11中、在相应的多边形网络11的节点14中至少之一上求取至少一个相应的表征相应的多边形网络11的曲率的参量18。优选地,这对于存储在电子运算装置中的全部多边形网络11实施。优选地,这在相应的多边形网络11的所有节点14上实施。表征相应的曲率的参量18可以包括例如相应的节点14或在相应的节点14上的主曲率k1、k2和/或主曲率方向和/或形状指数s和/或强度指数c。换言之,表征曲率的参量18可以包括多个子参量18a-d,这些子参量特别是可以称为子信息。例如第一子参量18a可以是第一主曲率k1。例如第二子参量18b可以是第二主曲率k2。例如第三子参量18c可以是形状指数s。例如第四子参量18d可以是强度指数c。
主曲率k1、k2和主曲率方向例如可以借助于特别是称为葡萄园图的数学图、根据相应的多边形网络11、特别是节点14计算。形状指数s和强度指数c例如可以根据主曲率k1、k2和主曲率方向计算。优选地,多边形网络11的特别是称为曲率信息的、表征曲率的相应的参量18存储在电子运算装置中、特别是数据库中。
在此规定,形成相应的多边形网络11的至少一个二维几何图19。图5示出二维几何图19的示意图。相应的几何图19包括多个图像点20,其中,给图像点20中的每个图像点配置相应的多边形网络11的至少一个节点14。相应的几何图19可以具有至少一个子区域21,其未配置有相应的多边形网络11的多边形12或节点14。子区域21是相应的图像9的图像区域的图,其中,图像区域——如果将表征图像9——不示出车身构件3的相应的表面5。子区域21因此可以表征或相应于车身构件3的例如凹槽。换言之,子区域21不同于几何图19的其余区域,即子区域21不具有网络或不映射多边形网络11。在图5中示出多个子区域21。这些子区域相应于机动车的相应的门区域或窗区域或者映射相应的门区域或窗区域。几何图19优选地借助于等积球形参数化由相应的多边形网络11形成。
在另一设计方案中规定,表征相应的曲率的参量18配置给相应的几何图19的至少一个图像点20。例如可以根据表征曲率的参量对几何图19、特别是图像点20染色。
例如可以对于多边形网络11中的每个多边形网络形成正好一个几何图19,其中,给正好一个几何图19的所述至少一个图像点20配置表征相应的曲率的参量18的子参量18a-d中的多个、特别是所有子参量。备选地,可以对于多边形网络11中的每个多边形网络形成多个几何图19,其中,给在至少一个图像点20处的多个几何图19中的每个几何图配置子参量18a-d中的正好一个子参量。
优选地,几何图19存储在电子运算装置中、特别是在数据库中。
在此规定,借助于几何图19——其包括表征曲率的参量18、特别是子参量18a-d中的至少一个子参量——训练人工神经网络2。由此规定,至少间接地借助于表征曲率的参量18训练人工神经网络2。
优选地规定,给相应的几何图19的图像点20中的至少之一配置相应的表征相应的表面缺陷6的参量7。可以借助于相应的几何图19——其包括相应的表征相应的表面缺陷6的参量7——训练人工神经网络2。
在另一设计方案中规定,在相应的几何图19中创建至少一个限制框22,所述至少一个限制框完全包围配置有表征相应的表面缺陷6的参量7的相应的至少一个图像点20。其中,借助于相应的限制框22或借助于相应的几何图19——其包括相应的限制框22——训练人工神经网络2。
在另一实施形式中规定,创建相应的车身构件3的相应的虚拟额定几何结构25的至少一个相应的表面24的相应的虚拟额定多边形网络23。虚拟额定几何结构25优选地是相应的表面5或相应的车身构件3的CAD几何结构。额定几何结构25优选地不包括制造有关的表面缺陷6。虚拟额定多边形网络23可以存储在电子运算装置中、特别是在数据库中。
优选地,在相应的虚拟额定多边形网络23上求取表征相应的曲率的参量18。由此优选地规定,在相应的虚拟额定多边形网络23的至少一个节点14处求取至少一个相应的表征相应的额定多边形网络23的曲率的参量18。
优选地规定,形成相应的额定多边形网络23的至少一个相应的二维几何图26。几何图26与几何图19的区别特别是在于:几何图26不包括制造有关的表面缺陷6或限制框22。由此,几何图26没有制造有关的表面缺陷6或限制框22。
优选地,给几何图26的至少一个图像点配置表征额定多边形网络23的相应的曲率的参量18,其中,借助于几何图26训练人工神经网络2,其中,该几何图包括虚拟额定多边形网络23的表征曲率的参量18。相应的几何图26可以存储在电子运算装置中。
优选地,存储在电子运算装置中、特别是在数据库中的数据用于训练1人工神经网络2。数据在此包括几何图19、特别是多边形网络11的表征曲率的参量18和/或表征相应的表面缺陷6的参量7和/或相应的限制框22和/或几何图26、特别是额定多边形网络23的相应的表征曲率的参量18。作为表征曲率的参量18可以应用第一主曲率k1和/或第二主曲率k2和/或形状指数s和/或强度指数c。
训练1的目标在于,经训练的神经网络2能够:特别是已经在车身构件3和/或成型模具的研发期间预测或识别相应的表面缺陷6。换言之,神经网络2可以在训练1之后用于相应的表面缺陷6在多边形网络中、特别是在额定多边形网络23中的定位和/或分级。由此可以使得车身构件3的制造费用和制造成本保持得特别低,特别是相对于表面缺陷6的手动定位或分级。
图6示出用于借助于经训练的人工神经网络2评判27机动车的车身构件3的相应的表面5的方法的示意方法图。借助于光学检测装置8检测车身构件3的设置在光学检测装置8的检测区域10中的表面5的至少一个图像9。根据检测的图像9创建表面5的虚拟多边形网络11。由此可以通过车身构件3的数字化借助于检测装置8产生多边形网络11。
备选地,可以根据车身构件3的模拟的制造过程30的至少一个步骤的(特别是结构机械和/或热机械的)模拟29的至少一个模拟结果28创建虚拟多边形网络11。模拟29在此优选地是特别是三维的有限元模拟(FEM)。模拟29在此利用车身构件3的额定几何结构25实施。虚拟多边形网络11优选地存储在电子运算装置中、特别是在数据库中。
在创建表面5的虚拟多边形网络11之后,求取用于虚拟多边形网络11的表征曲率的参量18。因此规定,在虚拟多边形网络11的至少一个节点14处求取至少一个表征多边形网络11的曲率的参量18。多边形网络11的表征曲率的参量18优选地存储在电子运算装置中、特别是在数据库中。
在另一设计方案中规定,形成多边形网络11的至少一个二维几何图31,其中,根据几何图31借助于人工神经网络2求取至少一个表征表面5的表面缺陷6的输出参量32。图7在示意图中示出神经网络2的可视化或根据几何图31对输出参量32的预测。优选地规定,给几何图31的至少一个图像点20配置相应的表征多边形网络11的曲率的参量18。
几何图31与几何图19的区别特别是在于,几何图31不包括表面缺陷6或限制框22。由此几何图31没有表面缺陷6或限制框22。由此几何图31可以用作人工神经网络2的输入参量。
例如可以对于多边形网络11形成正好一个几何图31,其中,给正好一个几何图31的至少一个图像点20配置表征相应的曲率的参量18的子参量18a-d中的多个、特别是所有子参量。备选地,可以对于多边形网络11形成多个几何图31,其中,给在图像点20中至少之一上的多个几何图31中的每个几何图分别配置子参量18a-d中的正好一个。
例如可以给在图像点20中至少之一上的第一几何图31配置第一子参量18a、特别是第一主曲率k1。备选或附加地,可以给在图像点20中至少之一上的第二几何图31配置第二子参量18b、特别是第二主曲率k2。备选或附加地,可以给在图像点20中至少之一上的第三几何图31配置第三子参量18c、特别是形状指数s。备选或附加地,可以给在图像点20中至少之一上的第四几何图31配置第四子参量18d、特别是强度指数c。这在图7中阐明。
根据所述至少一个配置有表征曲率的参量18——其特别是包括子参量18a-d中至少之一——的图像点20借助于人工神经网络2创建表征表面缺陷6的输出参量32。换言之,根据一个或多个几何图31——其包括表征曲率的参量18、特别是子参量18a-d中至少之一——借助于人工神经网络2求取表征表面缺陷6的输出参量32。由此至少间接地根据表征曲率的参量18借助于人工神经网络2求取至少一个表征表面5的表面缺陷6的输出参量32,以用于评判27表面5。由此可以特别是从模具调试借助于人工神经网络2关于表面缺陷6评判或评估数字或数字化的车身构件3。由此可以例如在车身构件3的特别早的研发阶段中识别、特别是定位或分级可能的表面缺陷6。由此可以使得车身构件3的制造费用和制造成本保持得特别低,特别是相对于表面缺陷6的手动定位或分级。
输出参量32优选地是特别是称为结果向量的向量。输出参量32可以与表征表面缺陷6的参量7相同,或者输出参量32与参量7可以至少部分相互不同。结果向量优选地包括多个分量33。优选地,分量33中至少之一包括限制框22的坐标。由此可以借助于输出参量32定位表面缺陷6的方位或位置,该表面缺陷借助于人工神经网络2被预测。优选地,分量中至少之一包括相应的表面缺陷6的分级。由此可以借助于人工神经网络2预测例如表面缺陷6的特别是称为缺陷类型的等级和/或表面缺陷6的特别是称为缺陷强度的缺陷严重性。
附图标记列表
1训练
2神经网络
3车身构件
4评估
5表面
6表面缺陷
7参量
8检测装置
9图像
10 检测区域
11 多边形网络
12 多边形
13 面
14 节点
15 边
16 区域
17 区域
18 参量
18a 第一子参量
18b 第二子参量
18c 第三子参量
18d 第四子参量
19 图
20 图像点
21 子区域
22 限制框
23 额定多边形网络
24 表面
25 额定几何结构
26 图
27 评判
28 模拟结果
29 模拟
30 制造过程
31 图
32 输出参量
33 分量
A 细节图
C 强度指数
k1 第一主曲率
k2 第二主曲率
s形状指数
Claims (10)
1.用于评判(27)机动车的车身构件(3)的表面(5)的方法,其中:
-创建表面(5)的虚拟多边形网络(11);
-在多边形网络(11)的至少一个节点(14)处求取至少一个表征多边形网络(11)的曲率的参量(18);以及
-根据表征曲率的参量(18)借助于人工神经网络(2)求取至少一个表征表面(5)的表面缺陷(6)的输出参量(32),以用于评判(27)表面(5)。
2.根据权利要求1所述的方法,其特征在于,借助于光学检测装置(8)检测设置在光学检测装置(8)的检测区域(10)中的表面(5)的至少一个图像(9),其中,根据图像(9)创建虚拟多边形网络(11)。
3.根据权利要求1或2所述的方法,其特征在于,根据车身构件(3)的制造过程(30)的至少一个步骤的模拟(29)的至少一个模拟结果(28)创建虚拟多边形网络(11)。
4.根据上述权利要求之一所述的方法,其特征在于,形成多边形网络(11)的至少一个二维几何图(31),其中,根据几何图(31)借助于人工神经网络(2)求取表征表面缺陷(6)的输出参量(32)。
5.根据权利要求4所述的方法,其特征在于,给几何图(31)的至少一个图像点(20)配置相应的表征曲率的参量(18),其中,根据配置给所述至少一个表征曲率的参量(18)的图像点(20)借助于人工神经网络(2)求取表征表面缺陷(6)的输出参量(32)。
6.用于训练(1)人工神经网络(2)的方法,其特征在于,
-创建多个车身构件(3)的至少一个相应的表面(5)的相应的虚拟多边形网络(11);
-在相应的多边形网络(11)的至少一个节点(14)处求取至少一个相应的表征相应的多边形网络(11)的曲率的参量(18);以及
-借助于表征曲率的参量(18)训练人工神经网络(2)。
7.根据权利要求6所述的方法,其特征在于,将表征相应的车身构件(3)的表面(5)的相应的表面缺陷(6)的相应的参量(7)配置给相应的多边形网络(11)的相应的多边形(12)。
8.根据权利要求7所述的方法,其特征在于,形成相应的多边形网络(11)的至少一个二维几何图(19),其中,给几何图(19)的至少一个图像点(20)配置表征相应的表面缺陷(6)的参量(7),并且借助于包括相应的表面缺陷(6)的几何图(19)训练人工神经网络(2)。
9.根据权利要求8所述的方法,其特征在于,在相应的几何图(19)中创建至少一个限制框(22),所述至少一个限制框完全包围配置有表征相应的表面缺陷(6)的参量(7)的相应的图像点(20),其中,借助于限制框(22)训练神经网络(2)。
10.根据权利要求6至9之一所述的方法,其特征在于,创建相应的车身构件(3)的相应的虚拟额定几何结构(25)的至少一个相应的表面(24)的相应的虚拟额定多边形网络(23),并且形成相应的额定多边形网络(23)的至少一个相应的二维几何图(26),其中,借助于相应的几何图(26)训练人工神经网络(2)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021122939.1 | 2021-09-06 | ||
DE102021122939.1A DE102021122939B4 (de) | 2021-09-06 | 2021-09-06 | Verfahren zum Beurteilen einer Oberfläche eines Karosseriebauteils sowie Verfahren zum Trainieren eines künstlichen neuronalen Netzes |
PCT/EP2022/072442 WO2023030842A1 (de) | 2021-09-06 | 2022-08-10 | Verfahren zum beurteilen einer oberfläche eines karosseriebauteils sowie verfahren zum trainieren eines künstlichen neuronalen netzes |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117501308A true CN117501308A (zh) | 2024-02-02 |
Family
ID=83151600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280043005.5A Pending CN117501308A (zh) | 2021-09-06 | 2022-08-10 | 用于评判车身构件的表面的方法以及用于训练人工神经网络的方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4399675A1 (zh) |
CN (1) | CN117501308A (zh) |
DE (1) | DE102021122939B4 (zh) |
WO (1) | WO2023030842A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117952954A (zh) * | 2024-02-26 | 2024-04-30 | 南京梓其宁科技有限公司 | 应用bp神经网络的配电箱体数据解析系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR102016028266A2 (pt) | 2016-12-01 | 2018-06-19 | Autaza Tecnologia Ltda - Epp | Método e sistema para a inspeção automática de qualidade de materiais |
US10346969B1 (en) | 2018-01-02 | 2019-07-09 | Amazon Technologies, Inc. | Detecting surface flaws using computer vision |
DE102018207411A1 (de) | 2018-05-14 | 2019-11-14 | Audi Ag | Verfahren zur Ermittlung von Messinformationen in einem optischen Koordinatenmessgerät |
MX2021007733A (es) | 2018-12-25 | 2021-08-05 | Jfe Steel Corp | Metodo de generacion de modelo aprendido, modelo aprendido, metodo de inspeccion de defectos de superficie, metodo de fabricacion de acero, metodo de determinacion de pasa/no pasa, metodo de determinacion de grado, programa de determinacion de defectos de superficie, programa de determinacion de pasa/no pasa, sistema de determinacion y equipo de fabricacion de acero. |
-
2021
- 2021-09-06 DE DE102021122939.1A patent/DE102021122939B4/de active Active
-
2022
- 2022-08-10 WO PCT/EP2022/072442 patent/WO2023030842A1/de active Application Filing
- 2022-08-10 EP EP22762073.9A patent/EP4399675A1/de active Pending
- 2022-08-10 CN CN202280043005.5A patent/CN117501308A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117952954A (zh) * | 2024-02-26 | 2024-04-30 | 南京梓其宁科技有限公司 | 应用bp神经网络的配电箱体数据解析系统 |
Also Published As
Publication number | Publication date |
---|---|
DE102021122939B4 (de) | 2023-06-01 |
WO2023030842A1 (de) | 2023-03-09 |
EP4399675A1 (de) | 2024-07-17 |
DE102021122939A1 (de) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6937235B2 (en) | Three-dimensional object surface shape modeling apparatus, method and program | |
US6785640B1 (en) | Surface evaluation in a stamping manufacturing process utilizing true reflection line methodology and computer graphics technology | |
US10289770B2 (en) | Rotorcraft component simulation using scan-based geometry | |
US20100114350A1 (en) | Method of determining mesh data and method of correcting model data | |
CN111805894B (zh) | 一种stl模型切片方法和装置 | |
US10101153B2 (en) | Method and device for detecting deviations of an object surface | |
CN112613097A (zh) | 一种基于计算机视觉的bim快速化建模方法 | |
CN110889426A (zh) | 三维表达体生成系统 | |
Orts-Escolano et al. | 3d surface reconstruction of noisy point clouds using growing neural gas: 3d object/scene reconstruction | |
CN117501308A (zh) | 用于评判车身构件的表面的方法以及用于训练人工神经网络的方法 | |
US20210407064A1 (en) | Method and device for geometric analysis of a part surface | |
CN110390124B (zh) | 确定物体形状的方法和设备、制造计算装置的方法 | |
CN111145357A (zh) | 一种高保真的三角网格平滑算法 | |
US20220374556A1 (en) | Parameterization of digital organic geometries | |
CN114548250A (zh) | 一种基于数据分析的手机外观检测方法及装置 | |
CN109242955B (zh) | 一种基于单幅图像的工件制造特征自动识别方法及装置 | |
Harada et al. | Automatic curve fairing system using visual languages | |
US12039009B2 (en) | Generation of synthetic images of abnormalities for training a machine learning algorithm | |
EP4310786A1 (en) | Automatic creation of three-dimensional (3d) variable resolution region geometries | |
US20230045344A1 (en) | Generation of synthetic images of abnormalities for training a machine learning algorithm | |
US20240135733A1 (en) | Fillet detection method | |
KR102533365B1 (ko) | 오토인코더를 이용한 비전 검사를 위한 장치 및 이를 위한 방법 | |
CN114092469B (zh) | 一种叶片的修补区域的确定方法、装置及可读存储介质 | |
BR102020024851A2 (pt) | Métodos e sistemas para a inspeção de qualidade de materiais e de superfícies tridimensionais em ambiente virtual | |
CN115906553A (zh) | 数字化模型构建方法、系统、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |