CN103210417A - 使用连续b样条变形预处理轮胎表面的三维图像的方法 - Google Patents
使用连续b样条变形预处理轮胎表面的三维图像的方法 Download PDFInfo
- Publication number
- CN103210417A CN103210417A CN2011800522699A CN201180052269A CN103210417A CN 103210417 A CN103210417 A CN 103210417A CN 2011800522699 A CN2011800522699 A CN 2011800522699A CN 201180052269 A CN201180052269 A CN 201180052269A CN 103210417 A CN103210417 A CN 103210417A
- Authority
- CN
- China
- Prior art keywords
- checked
- reference surface
- profile
- spline surfaces
- graphic element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000007781 pre-processing Methods 0.000 title 1
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000007689 inspection Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000005457 optimization Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000013011 mating Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012428 routine sampling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000003351 stiffener Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种通过与三维基准表面的比较来检查轮胎表面的一部分的方法,所述表面包括凸纹标记。所述方法包括以下步骤:确定将被检查的表面的三维外形;提取图形元素的轮廓;设置将被检查的表面上的特征点,并且这些点与基准表面的对应的特征点成对,以生成一组成对的点的组合;通过将基准表面的特征点与第一重设的B样条表面的控制点关联起来,将所述第一重设的B样条表面与基准表面关联起来;通过移动第一重设的B样条表面的控制点使基准表面变形,以将它们重叠在与它们成对的将被检查的表面的特征点上。
Description
技术领域
本发明涉及轮胎制造领域。更具体地说,本发明涉及以下问题:在生产处理中或末期目视检查轮胎以确定它们是否符合为了将被制备的所述轮胎的用途建立的控制基准。
背景技术
执行这些处理采用的方法通常涉及将被检查的轮胎表面的二维或三维图像与所述轮胎表面的二维或三维的基准图像进行比较。这些方法的普遍原理涉及在将被检查的轮胎的图像或表面与基准表面或图像之间建立对应,例如通过将它们重叠,以通过分析两个图像或两个表面之间的差别确定模制异常。
以轮胎为例,所述表面的基准图像可例如来自源于轮胎的设计的数字数据,或者更通常地,源于用于描述和制造固化模具的数字数据,设计所述模具本身是为所述轮胎给出其最后定形的形状。
在能够确定轮胎表面的三维凸纹的采集系统的帮助下,可按已知方式获得轮胎表面的三维图像。
将基准表面和将被评价的轮胎表面匹配的步骤使用必须适于这类对象的特定情况的方法。
因此,作为实例,公开US5715166描述了为了将基准表面与给定对象的三维图像匹配进行的变换,所述变换使用诸如旋转或滑动的转换函数。当该方法用于匹配诸如金属部件的不可变形的固体对象(在这种情况下认为是无限刚性的)时,应用该方法可获得良好效果。因为轮胎的可变形特性而不将该方法用于轮胎。
更加具体地涉及针对轮胎的检查设计的应用的公开EP1750089提出将将被检查的表面和基准表面划分为基本上对应于诸如一个字母或一组字母的标记元件的表面的尺寸减小的表面部分,并且随后以一个位于另一个之上的方式滑动基准表面的所述表面部分和将被检查的表面的所述表面部分,以确定在两个表面部分的凸纹的轮廓之间的最佳匹配。在执行这种局部重设之后,将两个表面部分互相比较以确定在对应于表面部分的区中将被检查的轮胎相对于基准的符合度。
虽然在该公开中描述的算法具有以下优点,即在一定程度上摒弃了模型和将被评价的真实轮胎之间的位置差别,以及摒弃了在不同外胎之间安装和充气的差别,在它们仍然把所述表面部分比作刚性元件方面,它们与公开US5715166中描述的那些相近。
具体地说,据观察,从模具中脱离的轮胎因为构成其的材料的弹性特性不能准确匹配在其中已执行了模制和固化操作的模具的凹入(反向)图像。在冷却时材料的热收缩行为下当轮胎脱离固化压机时变形。此外,当安装和充气时,增强层片位于它们的最终位置并且充气的轮胎的平衡曲线不一定匹配固化模具的曲率。
另外,据发现,有必要进行基准表面的图像和将被检查的轮胎表面的采集的图像的非常精确的预先调整,以将两个表面匹配,从而从中获得由所述生产结果所得的轮胎的一致性的相关信息。
在公开WO2009077539中描述的方法提出,为了实现该目标,进行基准表面的变换系数不等于1的仿射变换,以使得其与将被检查的表面一致,这个过程等同于沿着所述表面的特定方向执行可变弹性变形,从而不同于缩放的简单变化。
然而,据观察,因为该方法使所述表面仅沿着一个优选方向变形的事实而使该方法不可能进行所述表面的完美重叠所需的调整,同时还观察到,当扫过轮胎的圆周时可沿着不同方向发生这些弹性变形。该简化随后在将被检查的表面和基准表面的比较过程中可导致不正确的判断。
发明内容
设计根据本发明的方法用于通过与三维基准表面的比较来检查轮胎表面的一部分,所述表面包括凸纹标记,且所述方法包括以下步骤:
确定将被检查的表面的三维外形,
提取图形元素的轮廓,
设置将被检查的表面上的特征点,并且这些点与基准表面的对应的特征点成对,以生成一组成对的点的组合。
该方法的特征在于:
通过将基准表面的特征点与第一重设的B样条表面的控制点关联起来,将所述第一重设的B样条表面与基准表面关联起来,
通过移动第一重设的B样条表面的控制点使基准表面变形,以将它们重叠在与它们成对的将被检查的表面的特征点上。
“B样条表面”意指围绕Pierre Bézier和Paul de Casteljau的工作研发的样条表面,并且就它们的原理而言,它们与在以下文献中的解释一样,文献即:由Ellipses出版社出版的G.Demengel和JP Pouget的工作“Modèlesde Bézier,des B-splines et des NURBS(贝齐尔、B样条和NURBS模型)”,或者L.Piegl和W.Tiller的出版物The Nurbs Book(第二版)(Springer出版社,第2-3章)。另外,通过扩展,在当前描述的上下文中,B样条表面意指在控制点的帮助下参数化的所有表面,诸如NURBS(非均匀有理基础样条)表面,T样条表面等。
使用B样条表面以使基准图像的轮廓变形使得可以把将被检查的表面的图形元素与基准表面的图形元素匹配,从而当将被检查的表面与基准表面比较差别时最小化判断误差。
优选地,为了减少计算时间,明智的是,在提取图形轮廓之前,展平将被检查的表面和基准表面的径向外形。
另外,为了减少对源于用于数字化将被检查的表面的装置的数据的处理,在提取图形轮廓之前,还可将相对于轮胎的旋转轴线表示的将被检查的表面和基准表面的图像的极坐标变换为笛卡尔坐标。
另外,为了减少计算操作量,在提取图形轮廓之前的步骤中,可以有用的是,将关于每个三维图像的凸纹的数据变换为灰度,以获得将被检查的表面和基准表面的二维图像。
这样,在二维空间中执行数字处理并因此减少计算。
一旦在第一重设的B样条表面的帮助下执行基准表面的图形元素的轮廓的第一次变形,可重设存在的差别。
在这种情况下,可执行更精细的重设,其中基准表面和将被检查的表面被划分为图形元素,并且
包括第二组控制点的基本B样条表面与变换后的基准表面的每个图形元素相关联,以及
通过修改基本B样条表面的第二控制点的位置进行基准表面的每个图形元素的轮廓的第二次变形,以最小化在基准表面的图形元素的轮廓和将被检查的表面的图形元素的对应轮廓之间的距离。
如果存在定位差别,则还可通过增加控制点的数量再细分所述基本B样条表面,以将第三组控制点与对应于基准表面的每个再细分的图形元素的再细分的B样条表面关联起来。
为了减少计算时间,可以有用的是,在第一次变形之后,仅在影响不正确地重设的基准表面的轮廓的点的第二组控制点周围执行该再细分。
通过修改再细分的B样条表面的控制点的位置执行基准表面的图形元素的轮廓的第三次变形,以最小化基准表面的图形元素的轮廓和将被检查的表面的图形元素的轮廓之间的距离。
随后提供根据本发明的检查方法以通过将描述将被检查的表面的数字数据与描述基准表面的数字数据进行比较估计将被检查的区的一致性,其中所述基准表面在第一、第二或第三次变形的帮助下修改。
本发明还涉及一种检查轮胎表面的设备,其包括使得可确定将被检查的表面的三维外形的装置、存储描述基准表面的数字数据的装置和能够应用所述计算算法的计算机计算装置,所述算法包括以下步骤:
确定将被检查的表面的三维外形,
提取图形元素的轮廓,
设置将被检查的表面上的特征点,并且这些点与基准表面的对应的特征点成对,以生成一组成对的点的组合,
通过将基准表面的特征点与第一重设的B样条表面的控制点关联起来,将所述第一重设的B样条表面与基准表面关联起来,
通过移动第一重设的B样条表面的控制点使基准表面变形,以将它们重叠在与它们成对的将被检查的表面的特征点上。
附图说明
以下描述的目的是基于附图和说明性图1至图8给出实施根据本发明的方法的主要步骤的细节,图中:
图1表示在该图像的展开图像和基准表面的凸纹元素的轮廓的2D图像;
图2表示确定展平外形的步骤的示图;
图3和图4示出了方位重设的步骤;
图5示出了特征点的选择;
图6示出了形成第一组控制点的特征点对;
图7示出了基本B样条表面和第二组控制点的实例;
图8示出了通过修改第二组控制点的控制点位置,使包括在基本表面中的图形元素的轮廓的变形;
图9是实施根据本发明的方法的主要步骤的示图。
具体实施方式
根据本发明的检查方法涉及轮胎表面的包括凸纹标记的部分。“凸纹标记”意指位于侧壁或内表面的诸如图或字母数字符号的元素、形成单词或数字的符号序列、诸如装饰性图案或图、凹槽的表意符号的象征性符号或者胎面的其它雕刻图案。
随后,用户按照已知方式寻求获得可以表征将被检查的表面的三维表面的数据。为了执行该操作,在白光或通过源于激光束的光形成的特定波长的光的帮助下照明所述表面,并且在诸如矩阵相机的采集装置的帮助下捕获所述表面反射的光。还可使用激光三角测量法,激光三角测量法的三维传感器的原理在二维上可与线性相机的原理相同。
将被检查的轮胎安装在装置上使得可以设置其相对于采集系统旋转。通过使轮胎绕其旋转轴线相对于采集系统执行一次完整的旋转,获得数字数据,所述数据在通过合适的和已知的计算装置处理之后,其表示将被检查的表面的三维坐标,并随后通过三维空间中的一组点具体化。
以下描述的本发明的示例性实施例更具体地涉及检查通常具有标记和所有类型的图形图案的轮胎侧壁。然而,当存在换位时,可按照相同的方式使用所用技术检查内部或胎面。
用作基准的表面可源于轮胎的三维设计数据,或者优选地源于用于固化模具的设计和生产的数据,并且更具体地说源于用于蚀刻用于模制所述侧壁并带有空心标记的外壳的数据。
如上所述,有价值的是,有效地实施所述方法以简化通过执行多个先前的简化步骤将要进行的计算。
例如,可以适当地选择其中将表示出基准表面和将被检查的表面的点的三维坐标的坐标系,从而允许简单的投影能够减少将要研究的空间的维数。
另外,设置成使得OX,OY,OZ直角坐标系表示将被分析的表面的三维x,y,z坐标,在所述直角坐标系中,轴线OZ与轮胎的旋转轴线基本上难以区分。
然后,可相对于轴线OX和OY把将被检查的表面和基准表面的ρ,θ类型的极坐标转换为笛卡尔坐标,这涉及到如图1所示地展开表面。对此,充分地认为ρ值对应于沿着轴线OY'的值,而θ值对应于沿着轴线OX'的坐标。坐标系OX'Y'本身是直角坐标系。
另一简化涉及到将三维表面展平。因此,应该在径向平面中确定表面的曲线的平均外形。由轴线OZ和OX'形成的平面中的所有点都被投影,如图2所示,这对应于在径向平面中的投影。平均径向外形的形状将通过该径向平面中的点云的形状给定,在该径向平面中,通过对沿着OZ方向的值取平均可提取平均曲线。通过再次展开该平均径向外形获得的表面基本对应于其上不具有凸纹标记的轮胎表面。
随后,针对角θ的每个值,充分减去平面OX’Z中表示的坐标的该平均径向外形的值以获得上面确定的所述展开表面的展平结果,其中仅凸纹元素具有沿着轴线OZ的值。
通过检测表示在所述表面上形成的凸纹标记的外形的局部变化,通过沿着确定的路线(例如径向线)跟随表面的外形也可执行展平。接着,在应用过滤器以去除异常变化和关于仅发生曲率变化的缓慢变化之后,在仅显现与标记对应的凸纹元素的平表面上充分再现这些变化。
另外,为了简化计算,可将灰度值分配到沿着轴线OZ的值。这样,接下来给出表面的二维图像,在所述表面上,凸纹元素在视觉上相对于平均表面的颜色分离。灰度的亮度与点相对于表面的平均凸纹的高度成比例。根据上面解释的方法之一,可执行后一种简化,并在展平表面上取得相似结果。
图3示出了这些简化的结果,这些简化更具体地说适于处理轮胎侧壁并应用于已展开、展平并转化为灰度图像的将被检查的表面。针对其一部分,图4表示基准表面的展开和展平的图像。
还可相对于将被检查的表面的图像重设基准表面的图像。因此,如图3和图4所示预先确定在所述表面上仅出现一次的字母数字符号或图案的集合。当这些符号位于两个图像中时,在这两个符号或一系列符号之间估计角度(annular)差Δα,并且通过使这些角度值的起点穿过这些符号在轴线OX'(表示角度值θ)上执行坐标的变化。
一旦完成这些简化,则生成在基准表面和在将被检查的表面上呈现的每个图形元素的轮廓的映射图。使用常规的Deriche算法执行这个操作,可参照出版物1987年4月的计算机视觉(Computer Vision)(卷1第167-187页,标题为“利用Canny准则导出递归执行的最佳边缘检测器(Using Canny’scriteria to derive a recursively implemented optimal edge detector)”)。
随后,用户将要通过定义第一组控制点来定义表示基准表面的第一B样条表面。
为此,与将被检查的表面的可容易识别的图案关联的特征点位于将被检查的表面上。例如,可使用以OCR(光学符号识别)更为熟知的常规光学符号识别方法,以标识和定位出现在所述表面上的字母数字符号以及相关的文字。
在将字母数字符号、文字或图案布置在基准表面的图像上和将被检查的表面的图像上之后,在两个表面上呈现的符号、文字或图案被关联起来。
因此,参照图5,在基准图像上位于靠近胎圈位置的单词“RADIAL”与位于将被检查的图像的相同区域中的单词“RADIAL”相关联。
确定在每个符号上或在每个图案上呈现的一组特征点P。作为实例,通过骨架线的分支线的交叉形成这些点或者通过所述分支线的端点形成这些点。如图5所示,这些点的位置是精确的,其中基准图像的“RADIAL”的L的左下角相关联的特征点与将被检查的图像的“RADIAL”的第一个L的左下角相关联。
基准表面的图像的特征点和将被检查的表面的图像的特征点两两关联以形成成对的特征点对。
根据可在凸纹标记上找到的可能的异常,而且因为可在应用光学符号识别方法的每个步骤执行的连续排斥(rejection),成对的特征点的数量从一个维度至另一维度可变,并也可在同一个轮胎的两次连续分析之间改变,当识别准则未完全满足时产生其自身错误。
理想情况下,成对的特征点分布在整个将被检查的表面上,如图6所示。
然后,第一重设的B样条表面与基准表面的所有特征点相关联,同时认为这些特征点形成所述重设的B样条表面的第一组控制点。随后将所述基准表面的每个点参数化为第一重设的B样条表面的控制点位置的线性组合。
P1将指定形成第一组控制点的所有控制点,并且p1将是在限定基准表面的点的位置的坐标系中限定这些控制点的位置的一组参数。
随后,通过常规采样将基准表面轮廓离散化为有限的点的组′Ω1。
随后,将这些点的每个的位置定义为第一重设的B样条表面的控制点的位置的线性组合。
通过B样条表面的控制点对点的所述组′Ω1进行参数化,′Ω1(p1)指定针对参数组p1的′Ω1的点采用的构造。B样条表面的控制点(并且因此p1)的位置的修改导致基准表面的变形,该变形和与其相关的B样条表面所受的变形相似。该变形被称为′Ω1的B样条变形。
下一步骤涉及通过修改对应于基准表面的特征点的重设B样条表面的第一组控制点的控制点的位置使基准表面变形,以将它们重叠到与其成对的将被检查的表面的特征点上。
相对简单地实施该第一次变形,但如上所述,在选择控制点时需要特别注意。具体地说,重要的是,控制点的数量要足够并且它们在表面上均匀地分布,以确保变形使得其可使基准表面和将被检查的表面最佳重叠。
当情况不是这样时,则如果需要的话可在基准表面的图形元素和将被检查的表面的图形元素之间执行更精细的重设。
该步骤使得可以将基准表面的图形元素的形状更精确地调整为在将被检查的表面中含有的相同图形元素的准确形状。
首先,将基准表面划分为含有一个或多个图形元素的基本表面。在这个实例中,“图形元素”意指字母、装饰性图案或一组小尺寸的字母。
基本B样条表面与如图7所示完全覆盖所述图形元素的每个图形元素相关联。该表面通过限定N×M个控制点的N行M列形成的控制网格参数化。所述控制点属于基准表面。通常,行和列均匀分布。作为实例,当在方形形状的基本表面中包括图形元素时,它们形成4x4或5x5类型的尺寸减小的网格。
在以下等式中,指数2表示其涉及被设计为执行基本表面的精细重设的第二组控制点和第二次变形。
在下文中,P2将表示形成第二组控制点的所有控制点,而p2将是在限定基准表面的点的位置的坐标系中限定这些控制点的位置的参数组。
如在前述重设步骤中,通过规则地采样将布置在所述基本表面中的图形元素的轮廓(在图7中所示的情况下为字母D的轮廓)离散化到有限的点的组′Ω2中。为这些点的每一个增加在该点的轮廓的取向信息项。
随后,将这些取向的点的每个的位置定义为B样条表面的控制点的位置的线性组合。相似地,根据B样条表面的控制点的位置表示这些点的每个的取向。
通过B样条表面的控制点将取向的点的组′Ω2参数化,′Ω2(p2)指定针对参数组p2的′Ω2的点采取的构造。
下一步骤涉及通过修改基本B样条表面的第二组控制点的控制点位置使基准表面的每个图形元素的轮廓变形以(与第一次变形不同)最小化基准表面的图形元素的轮廓和将被检查的表面的图形元素的与其对应的轮廓之间的距离。如图8所示,B样条表面的控制点的位置(因此,p的位置)的修改导致所述图形元素的(′Ω的)B样条变形。如图8所示,B样条表面的控制点的位置(因此,p2的位置)的修改导致所述图形元素的变形,该变形和与其关联的所述B样条表面经受的变形相似。该变形被称作′Ω2的B样条变形。
为了有效地执行该优化,明智的是,针对图形元素的每个轮廓定义距离的映射图,其中图像的像素值表示从该像素至在图像中最靠近轮廓的像素的距离。该方法由H.G.Barrow、J.M.Tenenbaum、R.C.Baum和H.C.Wolf在人工智能977国际联合会议会报第659-663页(Proc.Int.Joint Conf.Artificial Intelligence977,p.659-663)的文章“参数对应和斜面匹配;用于图像匹配的两种技术(Parametric correspondence and chamfer matching;twotechniques for image matching)”中描述。该优化算法的值依赖于其简化。
为了增大精确度和稳健性,通过采用沿着给定方向取向的距离映射图,可在距离的映射图的构造中添加特定约束。随后,被考虑的距离对应于从所述点沿着基本对应于该点位于其上的线段(segment)的方向的给定方向至最靠近的轮廓的距离。Clark F.Olson和Daniel P Huttenlocher在1997年1月的IEEE图像处理会报第6卷第1篇(IEEE,Transactions on Image处理ing,Vol6,No.1)的文章“通过匹配定向边缘像素的目标识别(TargetRecognition by Matching Oriented Edge pixels)”中以一个实例描述该方法。使用该技巧以通过“过滤掉”对于精确的重设来说不是非常相关的轮廓来使得获得的结果更可靠。
L2指基本B样条表面的位置自由的所有控制点,位置自由是指其位置可通过重设的优化算法来修改。F2指基本B样条表面的位置固定的所有控制点,位置固定是指其位置不可通过重设的优化算法来修改。
随后将参数组p2划分为定义L2的控制点的位置的参数组l2和定义F2的控制点的位置的参数组f2。在下文中,符号p2(l2,f2)将用于指定参数组p在给定力矩(moment)的值。
此外,R2将指代′Ω2的所有点,其位置受属于L2的至少一个控制点的影响(假如在定义A的位置的线性组合中与Pi,j相关联的系数不为零,则′Ω2的点A受控制点Pi,j的影响)。符号R2(p2(l2,f2))将用于指定针对参数p2(l2,f2)的B样条变形,R2的点采用的构造。
属于L2和F2的点的位置的优化被如下初始化:
L2=P2及
结果:R2=′Ω2
此外,计算优化处理的迭代次数的变量初始化为0。这将使得可以限制优化处理的迭代次数。
重设的′Ω2(p2(l2,f2))的优化涉及寻找参数组l,对于该参数组,在采集过程中,′Ω2(p2(l2,f2))的点被投影为最接近它们的真实位置。
为了评价当前重设的′Ω2(p2(l2,f2)),定义以下质量标准:
E(Ω2(p2(l2,f2))=Ed(R2(p2(l2,f2)))+λEr(p2(l2,f2))
其中:
Ed(R2(p2(l2,f2))):为数据做标记的项。其测量R2(p2(l2,f2))的点至与其对应的最近轮廓的平均正交距离。
Er(p2(l2,f2)):用于妨碍相对于侧壁的特性来说不是特别真实的变形的规则化(regularisation)的项。该项妨碍收缩/膨胀过大或曲率半径过大的变形。
λ:用于调整规则化的项的影响的权重因数。
相对于为数据做标记的项Ed,通过观看与在先前计算的距离映射图中位于相同位置并具有相同取向的像素的值直接获得R(p(l,f))的点的重设误差。
相对于规则化项Er,其定义如下:
其中:
Pi,j是B样条表面的控制网格的第i行和第j列相关的控制点;
pinit是对应于初始(即未变形的)B样条表面的参数组。
因此,′Ω2的重设的优化涉及找到最小化E(′Ω2,p2(l2,f2))的参数组l。在诸如列文伯格-马夸尔特(Levenberg-Marquardt)的非线性优化算法的帮助下估计该最佳参数组l,其原理由W.F.Press、S.A.Teukolsky、W.T.Vettering和B.P.Flannery在所述出版物的卷“非线性模型”第15.5章(标题为:“C数值计算(Numerical Recipes in C)”)中作为实例描述。
在非线性优化之后,优化处理的迭代次数的可变计数增加1。
当达到停止标准时迭代停止。为此,在R2的点中,在迭代大于固定阈值δ之后用户识别重设误差的点的组V2。该组V2对应于当前重设质量不足的′Ω2的所有点。如果组V2为空或者如果优化算法的迭代次数太大,则中断优化处理。否则,重新开始迭代处理。
可能发生的是,变形p2(l2,f2)并不提供期望的重设质量并且随后有必要增加重设质量的自由度以允许模化更复杂的变形。
随后,可设想的是,精细调整的最后步骤涉及通过增加控制点的数量将在第二组控制点的帮助下变形并含有所述图形元素的基本B样条表面再细分,以将源于第二次变形的基准表面的每个图形元素与在第三组控制点的帮助下形成并涉及图形元素的轮廓的特定细节的再细分的B样条表面关联起来。
为此,与图形元素相关的基本B样条表面在例如Catmull–Clark式算法的帮助下再细分,所述算法在1978年11月的出版物“计算机辅助设计10(6)”第350-355页(标题为“在任意拓扑表面上递归产生的B样条表面(Recursively generated B-Splines surfaces on arbitrary topological surfaces)”)中有所描述。这个再细分过程增加了控制点数量,而不修改描述的表面。因此,通过该表面定义的变形与在先前步骤之后获得的变形相同。
由该新的再细分的B样条表面替换与′Ω2相关的B样条表面。随后将′ 2的点表示为新的再细分的B样条表面的表面点。这表示以再细分的B样条表面的第三组控制点的新控制点的位置的线性组合的形式表示′Ω2的点的位置/取向。
为了减少计算时间,基本B样条表面可仅围绕影响在第二次变形之后不正确地重设的基准表面的第一组控制点的轮廓点的第二组控制点进行再细分,考虑到这点,由于对B样条表面上的控制点的影响是局部的,因此仅需要优化影响′Ω2(p2(,l2,f2))的至少一个不正确地重设的点的控制点。
因此,这提供与再细分的基本表面一样多的第三次变形。
因此,按以下方式更新组L2和F2:
L2=影响V2的至少一个点的所有控制点。
F2=P2\L2
也基于组L2和F2的新定义更新组R2。
并且如先前段落中描述的那样重复优化处理,再使用相同计算处理,其中如果需要的话,采用指数3跟随的符号以其是表示再细分的元素的变形。
再细分的表面的第三次变形使得可以实现基准表面的轮廓元素和将被检查的表面的轮廓元素在视觉上的完美重叠水平。这意味着所述表面的非常精确的重叠可将在两个表面之间仍可能存在的差别减小为远小于要检测的缺陷外观的阈值。
因此,在第一B样条变形的帮助下对基准表面的每个点进行第一次变换,并在对应于基本表面或对应于再细分的基本表面的第二或甚至第三B样条变形的帮助下进行第二次变换。这些连续B样条变换的值存在于以下事实中,即优选在大变形区中实现所获得的重设,同时避免在分裂(disrupt)得不是非常严重的所述区中发生过大的变形。
图9的示图列出了实施本发明的最佳模式的主要步骤。
估计将被检查的表面相对于基准的一致性并非明确是本发明的主题,但是据观察,涉及实施根据本发明的和在先前段落中描述的重设方法的预备步骤使得可以对将被检查的表面和基准表面之间的差别进行更相关的分析。其结果是大量减少了不正确的检测的数量,以及在表面的不含有凸纹的部分更好地鉴定生产异常。
不言而喻地,实施根据本发明的检查方法与针对该目的编程的并能够实施包括以下步骤的计算算法的信息装置的使用相关,在所述步骤中:
确定将被检查的表面的三维外形,
提取图形元素的轮廓,
设置将被检查的表面上的特征点,并且这些点与基准表面的对应的特征点成对,以生成一组成对的点的组合,
通过将基准表面的特征点与所述B样条表面的控制点关联起来,将B样条表面与基准表面关联起来,
通过移动B样条表面的控制点使基准表面变形,以将它们重叠在与它们成对的将被检查的表面的特征点上。
Claims (10)
1.一种通过与三维基准表面的比较来检查轮胎表面的方法,所述表面包括凸纹标记,在所述方法中:
确定将被检查的表面的三维外形,
提取图形元素的轮廓,
设置将被检查的表面上的特征点,并且这些点与基准表面的对应的特征点成对,以生成一组成对的点的组合,
其特征在于:
通过将基准表面的特征点与第一重设的B样条表面的控制点关联起来,将所述第一重设的B样条表面与基准表面关联起来,
通过移动第一重设的B样条表面的控制点使基准表面变形,以将它们重叠在与它们成对的将被检查的表面的特征点上。
2.根据权利要求1所述的检查方法,其特征在于,在提取图形轮廓之前,展平将被检查的表面和基准表面的径向外形。
3.根据权利要求1和2之一所述的检查方法,其特征在于,在提取图形轮廓之前,将相对于轮胎旋转轴线表示的将被检查的表面和基准表面的图像的极坐标变换为笛卡尔坐标。
4.根据权利要求2和3之一所述的检查方法,其特征在于,在提取图形轮廓之前,与每个三维图像的凸纹相关的数据变换为灰度,以获得将被检查的表面和基准表面的二维图像。
5.根据权利要求1至4之一所述的检查方法,其特征在于,在通过移动第一重设的B样条表面的控制点使所述基准表面变形之后,所述基准表面和所述将被检查的表面被划分为图形元素,并且
包括第二组点的基本B样条表面与变换后的基准表面的每个图形元素相关联,
通过修改基本B样条表面的第二控制点的位置进行基准表面的每个图形元素的轮廓的第二次变形,以最小化在基准表面的图形元素的轮廓和将被检查的表面的图形元素的对应轮廓之间的距离。
6.根据权利要求5所述的检查方法,其特征在于,在基本B样条表面的第二组控制点的帮助下,在基准表面的图形元素的轮廓的第二次变形之后,通过增加控制点的数量将所述基本B样条表面再细分,以将第三组控制点与再细分的B样条表面关联起来。
7.根据权利要求6所述的检查方法,其特征在于,在第二组控制点的帮助下,在图形元素的变形之后,仅在影响不正确地重设的基准表面的轮廓的点的第二组控制点周围将所述基本B样条表面进行再细分。
8.根据权利要求6和7之一所述的检查方法,其特征在于,通过修改再细分的B样条表面的第三组控制点的点的位置执行基准表面的图形元素的轮廓的第三次变形,以最小化基准表面的图形元素的轮廓和将被检查的表面的图形元素的轮廓之间的距离。
9.根据权利要求1至8之一所述的检查方法,其特征在于,通过将描述将被检查的表面的数字数据与描述基准表面的数字数据进行比较来估计将被检查的区的一致性,其中所述基准表面在根据权利要求1至8之一所述的方法的帮助下修改。
10.一种检查轮胎表面的设备,其包括使得可确定将被检查的表面的三维外形的装置、存储描述基准表面的数字数据的装置和能够应用计算算法的计算机计算装置,其特征在于,所述算法包括以下步骤:
确定将被检查的表面的三维外形,
提取图形元素的轮廓,
设置将被检查的表面上的特征点,并且这些点与基准表面的对应的特征点成对,以生成一组成对的点的组合,
通过将基准表面的特征点与B样条表面的控制点关联起来,将所述B样条表面与基准表面关联起来,
通过移动B样条表面的控制点使基准表面变形,以将它们重叠在与它们成对的将被检查的表面的特征点上。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1058825A FR2966956B1 (fr) | 2010-10-27 | 2010-10-27 | Methode de pre-traitement d'une image tri dimensionnelle de la surface d'un pneumatique a l'aide de deformations b-spline successives |
FR1058825 | 2010-10-27 | ||
PCT/EP2011/068322 WO2012055752A1 (fr) | 2010-10-27 | 2011-10-20 | Methode de pre-traitement d'une image tridimensionnelle de la surface d'un pneumatique a l'aide de deformations b-spline successives |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103210417A true CN103210417A (zh) | 2013-07-17 |
Family
ID=43770638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011800522699A Pending CN103210417A (zh) | 2010-10-27 | 2011-10-20 | 使用连续b样条变形预处理轮胎表面的三维图像的方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20130266189A1 (zh) |
EP (1) | EP2633492A1 (zh) |
JP (1) | JP2014500484A (zh) |
KR (1) | KR20140009209A (zh) |
CN (1) | CN103210417A (zh) |
BR (1) | BR112013009290A2 (zh) |
FR (1) | FR2966956B1 (zh) |
WO (1) | WO2012055752A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103180874A (zh) * | 2010-10-27 | 2013-06-26 | 米其林企业总公司 | 用于检查轮胎表面的预处理轮胎表面的三维图像的方法 |
CN105723181A (zh) * | 2013-11-01 | 2016-06-29 | 株式会社普利司通 | 轮胎检查装置 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2975524B1 (fr) | 2011-05-19 | 2013-05-17 | Michelin Soc Tech | Methode de determination des marquages en relief presents sur la surface exterieure du flanc d'un pneumatique |
FR2975523B1 (fr) | 2011-05-19 | 2015-09-25 | Michelin Soc Tech | Methode de determination des elements en relief presents sur la surface d'un pneumatique |
JP6231302B2 (ja) * | 2013-06-12 | 2017-11-15 | 株式会社ブリヂストン | 検査補助装置 |
FR3007174B1 (fr) | 2013-06-13 | 2016-09-09 | Michelin & Cie | Methode de traitement de l'image numerique de la surface d'un pneumatique en vue de la detection d'une anomalie |
US10063837B2 (en) * | 2013-07-25 | 2018-08-28 | TIREAUDIT.COM, Inc. | System and method for analysis of surface features |
JP6614137B2 (ja) * | 2014-04-07 | 2019-12-04 | 横浜ゴム株式会社 | タイヤモールドの刻印検査方法および装置 |
JP6405124B2 (ja) * | 2014-06-09 | 2018-10-17 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
FR3022380A1 (fr) * | 2014-06-13 | 2015-12-18 | Michelin & Cie | Procede de redressement d'image de pneumatiques |
CN104268945B (zh) * | 2014-10-09 | 2016-02-17 | 中国科学院合肥物质科学研究院 | 一种基于等位面的聚变反应堆中子输运计算中的样条面处理方法 |
FR3030042A1 (fr) * | 2014-12-15 | 2016-06-17 | Michelin & Cie | Procede de detection de defaut sur une surface de pneumatique |
FR3039684B1 (fr) | 2015-07-27 | 2018-08-10 | Compagnie Generale Des Etablissements Michelin | Procede optimise d'analyse de la conformite de la surface d'un pneumatique |
US11472234B2 (en) | 2016-03-04 | 2022-10-18 | TIREAUDIT.COM, Inc. | Mesh registration system and method for diagnosing tread wear |
US10789773B2 (en) | 2016-03-04 | 2020-09-29 | TIREAUDIT.COM, Inc. | Mesh registration system and method for diagnosing tread wear |
CN106228521B (zh) * | 2016-07-25 | 2018-12-11 | 哈尔滨工业大学 | 一种基于薄板样条插值的障碍物特征提取方法 |
JP6585793B2 (ja) * | 2018-09-18 | 2019-10-02 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
CN115601564B (zh) * | 2022-11-14 | 2023-03-17 | 广州市景泰科技有限公司 | 基于图像识别的胶体轮廓检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004125783A (ja) * | 2003-08-15 | 2004-04-22 | Nippon Telegr & Teleph Corp <Ntt> | 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体 |
JP2005352926A (ja) * | 2004-06-14 | 2005-12-22 | Hitachi Ltd | 3次元表面形状モデル作成装置,3次元表面形状モデル作成方法及び3次元表面形状モデル作成プログラム |
WO2009077539A2 (fr) * | 2007-12-19 | 2009-06-25 | Societe De Technologie Michelin | Methode de traitement d'une image tri dimensionnelle de la surface d'un pneumatique en vue de son utilisation pour l'inspection de ladite surface |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5715166A (en) * | 1992-03-02 | 1998-02-03 | General Motors Corporation | Apparatus for the registration of three-dimensional shapes |
EP0977009B1 (en) * | 1997-04-25 | 2007-10-17 | Riken | Method of discriminating shape errors of free-form curved surface |
JP4679073B2 (ja) * | 2004-05-18 | 2011-04-27 | 株式会社ブリヂストン | タイヤ凹凸図形の検査方法、および、タイヤ凹凸図形検査装置 |
US8538108B2 (en) * | 2005-12-20 | 2013-09-17 | University Of Maryland, Baltimore | Method and apparatus for accelerated elastic registration of multiple scans of internal properties of a body |
FR2925706B1 (fr) * | 2007-12-19 | 2010-01-15 | Soc Tech Michelin | Dispositif d'evaluation de la surface d'un pneumatique. |
EP2131212A3 (en) * | 2008-06-05 | 2011-10-05 | Medison Co., Ltd. | Non-Rigid Registration Between CT Images and Ultrasound Images |
-
2010
- 2010-10-27 FR FR1058825A patent/FR2966956B1/fr active Active
-
2011
- 2011-10-20 EP EP11770805.7A patent/EP2633492A1/fr not_active Withdrawn
- 2011-10-20 US US13/881,783 patent/US20130266189A1/en not_active Abandoned
- 2011-10-20 CN CN2011800522699A patent/CN103210417A/zh active Pending
- 2011-10-20 KR KR1020137013315A patent/KR20140009209A/ko not_active Application Discontinuation
- 2011-10-20 WO PCT/EP2011/068322 patent/WO2012055752A1/fr active Application Filing
- 2011-10-20 BR BR112013009290A patent/BR112013009290A2/pt not_active IP Right Cessation
- 2011-10-20 JP JP2013535370A patent/JP2014500484A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004125783A (ja) * | 2003-08-15 | 2004-04-22 | Nippon Telegr & Teleph Corp <Ntt> | 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体 |
JP2005352926A (ja) * | 2004-06-14 | 2005-12-22 | Hitachi Ltd | 3次元表面形状モデル作成装置,3次元表面形状モデル作成方法及び3次元表面形状モデル作成プログラム |
WO2009077539A2 (fr) * | 2007-12-19 | 2009-06-25 | Societe De Technologie Michelin | Methode de traitement d'une image tri dimensionnelle de la surface d'un pneumatique en vue de son utilisation pour l'inspection de ladite surface |
Non-Patent Citations (1)
Title |
---|
ZHIYONG XIE等: ""Image Registration Using Hierarchical B-Splines"", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》, vol. 10, no. 1, 29 February 2004 (2004-02-29), pages 85 - 94, XP011105566, DOI: doi:10.1109/TVCG.2004.1260760 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103180874A (zh) * | 2010-10-27 | 2013-06-26 | 米其林企业总公司 | 用于检查轮胎表面的预处理轮胎表面的三维图像的方法 |
CN105723181A (zh) * | 2013-11-01 | 2016-06-29 | 株式会社普利司通 | 轮胎检查装置 |
CN105723181B (zh) * | 2013-11-01 | 2018-09-28 | 株式会社普利司通 | 轮胎检查装置 |
US10118448B2 (en) | 2013-11-01 | 2018-11-06 | Bridgestone Corporation | Tire inspection apparatus for inspecting the sidewall of the tire |
Also Published As
Publication number | Publication date |
---|---|
FR2966956B1 (fr) | 2012-12-14 |
EP2633492A1 (fr) | 2013-09-04 |
JP2014500484A (ja) | 2014-01-09 |
KR20140009209A (ko) | 2014-01-22 |
US20130266189A1 (en) | 2013-10-10 |
BR112013009290A2 (pt) | 2016-07-19 |
WO2012055752A1 (fr) | 2012-05-03 |
FR2966956A1 (fr) | 2012-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103210417A (zh) | 使用连续b样条变形预处理轮胎表面的三维图像的方法 | |
CN103180874A (zh) | 用于检查轮胎表面的预处理轮胎表面的三维图像的方法 | |
CN101896937A (zh) | 处理轮胎表面的三维图像以便其能够用来检查所述表面的方法 | |
US10346971B2 (en) | Optimized method for analyzing the conformity of the surface of a tire | |
CN103727930B (zh) | 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法 | |
CN110189339A (zh) | 深度图辅助的主动轮廓抠图方法及系统 | |
CN111598946B (zh) | 一种物体位姿测量方法、装置及存储介质 | |
CN113834625B (zh) | 一种飞行器模型表面压力测量方法及系统 | |
CN114972459B (zh) | 一种基于低维点云局部特征描述符的点云配准方法 | |
CN110992427B (zh) | 一种形变物体的三维位姿估计方法及定位抓取系统 | |
CN111640158A (zh) | 基于对应掩模的端到端的摄像头与激光雷达外参标定方法 | |
Tang et al. | Robust pattern decoding in shape-coded structured light | |
Kroemer et al. | Point cloud completion using extrusions | |
Yogeswaran et al. | 3d surface analysis for automated detection of deformations on automotive body panels | |
He et al. | An efficient registration algorithm based on spin image for LiDAR 3D point cloud models | |
CN111932494B (zh) | 一种轮胎磨损程度评价方法及装置 | |
Shi et al. | Circular grid pattern based surface strain measurement system for sheet metal forming | |
Li et al. | Three-dimensional point cloud registration by matching surface features with relaxation labeling method | |
CN117496401A (zh) | 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法 | |
CN110580497B (zh) | 一种基于旋转不变性的空间场景匹配方法 | |
Diao et al. | Complex parts machining path planning through cross-source point cloud processing | |
CN116310355A (zh) | 一种复杂结构件的激光点云去噪和缺陷检测方法 | |
CN110533781B (zh) | 一种多类别三维模型部件自动标注方法 | |
Wu et al. | An algorithm for extracting spray trajectory based on laser vision | |
CN103310220A (zh) | 一种三维舰船识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130717 |