CN104643409B - 用于鞋装配的工具轨迹的产生 - Google Patents
用于鞋装配的工具轨迹的产生 Download PDFInfo
- Publication number
- CN104643409B CN104643409B CN201410663478.2A CN201410663478A CN104643409B CN 104643409 B CN104643409 B CN 104643409B CN 201410663478 A CN201410663478 A CN 201410663478A CN 104643409 B CN104643409 B CN 104643409B
- Authority
- CN
- China
- Prior art keywords
- occlusion
- lines
- vamp
- base unit
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
- A43D1/00—Foot or last measuring devices; Measuring devices for shoe parts
- A43D1/08—Measuring devices for shoe parts
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
- A43D25/00—Devices for gluing shoe parts
- A43D25/06—Devices for gluing soles on shoe bottoms
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
- A43D8/00—Machines for cutting, ornamenting, marking or otherwise working up shoe part blanks
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
- A43D2200/00—Machines or methods characterised by special features
- A43D2200/10—Fully automated machines, i.e. machines working without human intervention
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36248—Generate automatically machining, stitching points from scanned contour
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45243—Shoe, footwear making
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Footwear And Its Accessory, Manufacturing Method And Apparatuses (AREA)
Abstract
本发明涉及用于鞋装配的工具轨迹的产生。可以产生用于处理鞋面的工具轨迹以大体上仅仅处理以咬合线为边界的鞋的表面。咬合线可以被界定为对应于鞋面和鞋底部单元的联结点。可以组合利用咬合线数据和表示以咬合线为边界的鞋面的表面的至少一部分的三维轮廓数据以产生用于处理鞋面的表面的工具轨迹,例如将粘合剂自动施加到以咬合线为边界的楦制的鞋面的表面。
Description
相关申请的交叉引用
本申请是2011年11月18日递交的并且名称为AUTOMATED 3-D MODELING OF SHOEPARTS的第13/299,827号当前待审的美国申请的部分继续申请,其整体通过引用并入本文。
本申请的主题还涉及同时递交的名称为CONDITIONALLY VISIBLE BITE LINESFOR FOOTWEAR并且具有代理人案号NIKE.176432的第__________号美国申请,其整体通过引用并入本文。
技术领域
本文的方面涉及鞋类物品的自动化生产。更特别地,本文的方面涉及用于在鞋的自动化生产中处理部件的工具轨迹(tool path)的产生。
背景技术
由于通常在生产鞋类物品且更特别地运动鞋时使用到很多材料的柔软和弯曲性质,所以对鞋部件在产生过程中的自动化处理造成困难。在构建鞋类物品并且更特别地运动鞋时使用的材料的固有性质导致用于在鞋部件上或部分组装的鞋部件上执行处理的最优工具轨迹从鞋到鞋变化。由于关于鞋特别是运动鞋的性能要求和消费者期望,故距最优工具轨迹甚至小的偏差可能导致不可接受的鞋或在预期的磨损条件下将损坏的鞋。例如,将鞋面接合到相应的底部单元(例如,接合的鞋底夹层和鞋外底配件)的粘合剂的施加必须在鞋面的将接触相应的底部单元的部分上的适当的位置处执行。由于底部单元与鞋面分离,所以鞋面的期望部分的不充分的覆盖可能导致所产生的鞋的故障。虽然故障的可能性可以通过施加增加的量的粘合剂来解决,但是粘合剂的过度使用是浪费的、昂贵的,由于不完全的固化过程,故潜在地对产生的结合强度有害,并且潜在地对环境有害。此外,施加增加的量的粘合剂可能导致在期望的粘合剂区域外存在粘合剂材料,这可能导致鞋的变色或污渍,使得鞋不被消费者接受。由于例如这些原因,鞋的生产的很多方面一直保持了密集的手工处理。
发明内容
本文的方面大体上涉及用于在鞋类物品的自动化生产期间处理部件的工具轨迹的自动化产生。更特别地,本文的方面涉及用于在将鞋面接合到相应的底部单元或鞋底配件时使用的将粘合剂施加到鞋面的工具轨迹的产生。根据本文的系统和方法可以产生用于除了涂胶机之外的工具例如软擦器(buffer)、初给器(primer)、清洁器、喷漆器和类似物的工具轨迹。这样的工具可以清理、准备或以其它方式处理鞋部件的一部分但通常不是全部。此外,根据本文的系统和方法可以用于产生关于除鞋面和鞋底配件之外的构件的工具轨迹。
根据本文的系统和方法可以划定咬合线以指示鞋面上的第一表面区域。可以用预定量的力楦制(last)鞋面并保持鞋面紧贴相应的底部单元或更可能地相应的底部单元的表示(representation)。(应当注意的是,在处理时,可以经常利用相应的底部单元的表示而非底部单元本身,使得可以利用单一的底部单元表示处理多个鞋面。)可以在一个或多个点处使用一个或多个机械装置将力施加到楦制的鞋面(lasted upper)。可以可替代地或另外地将力施加到与楦制的鞋面相对应的底部单元表示。底部单元可以包括单个物品或多个物品,例如鞋外底和鞋底夹层,可能具有附加的构件以提供缓冲、运动控制等。为保持楦制的鞋面紧贴相应的底部单元表示所施加的压力的量可以基于在鞋装配时用于鞋面和相应的底部单元两者的材料的类型、期望的结合强度、待使用的结合材料的类型、和期望在结合处理期间施加的力的量、或其它考虑而变化。在很多示例中,用于在划定咬合线期间保持楦制的鞋面紧贴相应的底部单元表示的预定量的力将与在后续生产步骤期间为了将楦制的鞋面粘附到相应的底部单元所施加的力的量相同或相似,以便在结合之后咬合线精确地对应于鞋面和底部单元之间的联结点(junction point)。
当用预定量的力保持在一起时,划定的咬合线通常对应于楦制的鞋面和底部单元表示的联结点。因此标记的咬合线可以在楦制的鞋面的表面上界定至少第一表面区域和第二表面区域。在楦制的鞋面的表面上界定的第一表面区域可以以咬合线为边界,并且可以对应于当用预定量的力使楦制的鞋面保持紧贴底部单元表示时楦制的鞋面的表面的被底部单元表示覆盖的部分。由咬合线界定的第二表面区域可以对应于当用预定量的力使楦制的鞋面保持紧贴底部单元表示时楦制的鞋面的表面的没有被底部单元表示覆盖的部分。最终,粘合剂可以基本上被施加在第一表面区域内,但是未施加到使用了可以使用根据本文的系统和方法产生的一个或多个工具轨迹的第二表面区域。
根据本文的系统和方法标记的咬合线可以采取各种形式。例如,咬合线可以在用预定量的力保持楦制的鞋面紧贴相应的底部单元表示时通过在楦制的鞋面上形成记号来标记。钢笔、铅笔、在鞋面的材料中制造压痕的划线工具、或任何其它类型的标记可以用于创建这样的可感知的咬合线。可感知的咬合线对人类和/或在检测可感知的咬合线时使用至少一个摄像机的计算机视觉系统可以是可视的。在一些示例中,可感知的咬合线可以是有条件地可视的咬合线(conditionally visible bite line)。例如,在正常照明条件下不被人眼感知的荧光标记试剂(诸如荧光墨水)或红外(IR)标记试剂可以用于在楦制的鞋面上创建记号以形成有条件地可感知的咬合线。通过使用选定的照明,视情况而定,例如黑光或IR光,产生的咬合线的记号可以在生产工艺期间被至少一个摄像机和/或人类操作者感知,而没有鞋变色使它不被在普通光照条件下观察鞋的最终的消费者接受的风险。在各方面,通过合适的光谱的光照明的有条件地可视的记号可以被第一摄像机和第二摄像机检测到,来自第一摄像机和第二摄像机的图像被组合以创建产生的咬合线数据。
根据本文的咬合线的其它示例可以包括在楦制的鞋面上没有留下物理记号的虚拟咬合线。例如,结合三维表示系统使用的触针(stylus)可以沿着楦制的鞋面和相应的底部单元表示之间的联结点移动以创建虚拟咬合线。创建虚拟咬合线的另一个示例可以利用横穿楦制的鞋面、相应的底部单元表示、以及楦制的鞋面和相应的底部单元表示的联结点投射的光源。光在上部表面和底部单元表面之间的联结点处的反射的不连续性可以用于产生虚拟咬合线。然而,创建的表示虚拟咬合线的数据可以存储在计算机可读介质中,并且根据本文的方面作为表示将被后续产生的工具轨迹处理的楦制的鞋面的表面的第一表面区域的一个量度而使用。
作为表示将被后续产生的工具轨迹处理的楦制的鞋面的表面的第一表面区域的另一个量度,楦制的鞋面的表面的至少一部分可以被扫描以产生以三维表示至少第一表面区域的轮廓数据。例如,在楦制的鞋面已经从相应的底部单元表示移除之后,光源可以横穿楦制的鞋面的表面的第一表面区域的至少一部分投射。至少一个摄像机可以检测由楦制的鞋面的表面从第一表面区域的至少一部分反射的光。表示咬合线的数据然后可以与三维鞋面表面数据组合,并且用于视情况在产生工具轨迹时包括、排除或以其它方式注意或忽视表示楦制的鞋面的在第一表面区域的内部或外部的表面的数据。例如,投射的光与对应于设置在楦制的鞋面上的咬合线的记号的交叉点可以由检测来自楦制的鞋面的表面的激光的反射的至少一个摄像机检测。可替代地/另外地,虚拟咬合线可以与根据检测从楦制的鞋面的表面反射的激光而产生的三维轮廓数据进行比较,三维轮廓数据具有在产生工具轨迹时用于如由虚拟咬合线数据界定的第一表面区域外部的楦制的鞋面的表面上的位置被排除或以其它方式忽视的数据。在检测从楦制的鞋面的表面反射的光时,可以使用至少一个摄像机。使用一个以上的摄像机可以提供关于楦制的鞋面的三维表面的越来越详细的数据。在一些示例中,两个摄像机可以用于检测从楦制的鞋面的表面反射的光。
根据本文的系统和方法可以利用执行计算机可读代码的计算系统以根据由检测从第一表面区域的表面反射的光的至少一个摄像机提供的三维轮廓数据产生表示楦制的鞋面的表面的数据和/或虚拟咬合线数据。相同或不同的计算系统可以执行计算机可执行代码以执行基于表示第一表面区域的边界的咬合线数据和表示第一表面区域内的楦制的鞋面的表面的三维数据的组合产生工具轨迹的方法。在由不同类型的材料制成的不同类型的鞋上执行不同类型处理的不同类型的工具可以要求不同的工具轨迹。在一些示例中,工具可以包括喷嘴,喷嘴将喷胶施加到楦制的鞋面以用于将鞋面最终结合到相应的底部单元。在这样的示例中,工具轨迹可以相对于楦制的鞋面的表面将工具头保持在期望的距离和/或方位。例如,工具轨迹可以将喷嘴保持在将以大体上垂直角度(例如80和100度之间)和相对恒定的距离(例如二分之一厘米到两厘米内)将粘合剂投射到表面上的方位处。在另外的示例中,距离可以保持为大约一厘米,允许的10%变化。如果需要,相对于表面的方位、距表面的距离、和/或工具轨迹的其它特性可以在工具轨迹的不同部分处变化。
对于不同类型的鞋部件、不同的鞋、不同的材料等,可以要求不同类型的工具轨迹。在使用喷涂粘合剂将楦制的鞋面结合到相应的底部单元的示例中,工具轨迹可以对第一表面区域的周边提供处理以在结合不太关键的地方用设置在第一表面区域的内部中较少的覆盖物靠近底部单元的边缘建立牢固的结合。然而,本文的系统和方法不限于任何特定类型的工具、工具轨迹的类型或特定的工具轨迹。
本文还涉及以下项目:
项目(1):一种产生用于处理部分装配的鞋类物品的工具轨迹的系统,所述系统包括:
咬合线构件,所述咬合线构件有利于收集咬合线数据,所述咬合线数据涉及咬合线的位置,所述咬合线在鞋面上界定了当装配所述鞋类物品时在所述鞋面和相应的底部单元之间的交界联结点;
三维扫描构件,所述三维扫描构件有利于收集关于当装配所述鞋类物品时待被所述相应的底部单元覆盖的所述鞋面的一部分的至少一部分的三维轮廓数据;和
计算系统,所述计算系统用于利用所述咬合线数据和所述三维轮廓数据来产生所述工具轨迹。
项目(2):根据项目(1)所述的系统,还包括粘合剂施加系统,所述粘合剂施加系统适合于基于所产生的工具轨迹将粘合剂施加到所述鞋面。
项目(3):根据项目(1)所述的系统,其中所述咬合线构件适合于识别用由有条件地可视的标记试剂形成的物理记号标记的所述咬合线。
项目(4):根据项目(3)所述的系统,其中所述有条件地可视的标记试剂是对紫外光光谱起反应的标记试剂和对红外光光谱起反应的标记试剂中的一种。
项目(5):根据项目(3)所述的系统,还包括视觉系统,所述视觉系统使得所述有条件地可视的标记试剂是可视的。
项目(6):根据项目(5)所述的系统,其中所述视觉系统包括:
光源,所述光源以不平行于所标记的咬合线的角度投射结构光横穿所标记的咬合线的至少一部分;
第一摄像机,所述第一摄像机记录表示所述结构光与所标记的咬合线相交处的多个点的第一多个图像;和
第二摄像机,所述第二摄像机记录表示所述结构光与所标记的咬合线相交处的所述多个点的第二多个图像,
其中所述计算系统处理所述第一多个图像和所述第二多个图像以产生所述咬合线数据。
项目(7):根据项目(6)所述的系统,其中所述光源是适合于提供从所述鞋面反射为直线的结构光的激光器。
项目(8):根据项目(6)所述的系统,还包括移动机械装置,所述移动机械装置围绕所述鞋面移动所述视觉系统,同时所述视觉系统记录所述第一多个图像和所述第二多个图像。
项目(9):根据项目(8)所述的系统,其中所述移动机械装置以大体上圆形方式围绕所述鞋面的至少一部分旋转所述视觉系统。
项目(10):根据项目(8)所述的系统,其中所述移动机械装置以大体上椭圆方式围绕所述鞋面的至少一部分旋转所述视觉系统,其中所述鞋面相对于所述视觉系统旋转所经过的椭圆的至少一个焦点定位。
项目(11):根据项目(1)所述的系统,其中所述三维扫描构件包括至少一个摄像机,所述至少一个摄像机记录表示当装配所述鞋类物品时从待被所述相应的底部单元覆盖的所述鞋面的所述部分的至少一部分反射的光的多个图像。
项目(12):根据项目(11)所述的系统,其中所述三维扫描构件包括:
第一摄像机,所述第一摄像机记录表示当装配所述鞋类物品时从待被所述相应的底部单元覆盖的所述鞋面的所述部分的至少一部分反射的光的第一系列图像;和
第二摄像机,所述第二摄像机记录表示当装配所述鞋类物品时从待被所述相应的底部单元覆盖的所述鞋面的所述部分的至少一部分反射的光的第二系列图像,
其中所述计算系统处理至少所述第一系列图像以创建所述鞋面的表面的一部分的x y z信息,所述x y z信息能用于确定所述三维轮廓数据。
项目(13):一种产生用于处理部分装配的鞋类物品的工具轨迹的方法,所述方法包括:
收集咬合线数据,所述咬合线数据界定了当装配所述鞋类物品时待被相应的底部单元覆盖的鞋面的一部分;
收集关于当装配所述鞋类物品时待被所述相应的底部单元覆盖的所述鞋面的所述部分的至少一部分的三维轮廓数据;
组合所述咬合线数据和所述三维轮廓数据;和
利用组合的咬合线数据和三维轮廓数据产生用于处理所述鞋面的工具轨迹,所产生的工具轨迹被包含在当装配所述鞋类物品时待被所述相应的底部单元覆盖的所述鞋面的所述部分之内。
项目(14):根据项目(13)所述的方法,其中收集所述咬合线数据包括:
用预定量的力保持所述鞋面紧贴所述相应的底部单元的表示,使得所述相应的底部单元的所述表示覆盖当装配所述鞋类物品时待被所述相应的底部单元覆盖的所述鞋面的所述部分;
标记所述鞋面和所述相应的底部单元的所述表示之间的交界线,所述交界线界定所述鞋面的第一部分和第二部分,所述第一部分对应于被所述相应的底部单元的所述表示覆盖的所述鞋面的所述部分;和
从所述相应的底部单元的所述表示移除所述鞋面。
项目(15):根据项目(14)所述的方法,其中标记所述鞋面和所述相应的底部单元的所述表示之间的所述交界线包括利用有条件地可视的标记试剂来物理标记所述交界线。
项目(16):根据项目(15)所述的方法,其中所述有条件地可视的标记试剂是对紫外光光谱起反应的标记试剂和对红外光光谱起反应的标记试剂中的一种。
项目(17):根据项目(14)所述的方法,其中收集所述咬合线数据包括:
以不平行于所标记的交界线的角度投射光横穿所标记的交界线的至少一部分;
记录表示所述光与所标记的交界线相交处的多个点的第一多个图像;
记录表示所述光与所标记的交界线相交的所述多个点的第二多个图像;和
组合所述第一多个图像和所述第二多个图像以产生所述咬合线数据。
项目(18):根据项目(13)所述的方法,其中收集所述三维轮廓数据包括记录表示从所述鞋面反射的光的至少一个系列图像以创建所述鞋面的一部分的x y z信息,所述x yz信息能用于确定所述三维轮廓数据。
项目(19):一种用于处理鞋类物品的部分装配的部件的系统,所述系统包括:
标记机械装置,所述标记机械装置用于在鞋面上在咬合线处标记物理记号,所述咬合线当装配所述鞋类物品时在所述鞋面上界定所述鞋面和相应的底部单元之间的交界线;
光源,所述光源以不平行于所标记的咬合线的角度投射光横穿所标记的咬合线的至少一部分;
第一摄像机,所述第一摄像机记录表示所述光与所标记的咬合线相交处的多个点和表示当装配所述鞋类物品时从待被所述相应的底部单元覆盖的所述鞋面的一部分的至少一部分反射的光的第一系列图像;
第二摄像机,所述第二摄像机记录表示所述光与所标记的咬合线相交处的所述多个点的第二系列图像;和
计算系统,所述计算系统处理所述第一系列图像和所述第二系列图像以产生咬合线数据和三维轮廓数据并且利用所述咬合线数据和所述三维轮廓数据产生用于处理的工具轨迹。
项目(20):根据项目(19)所述的系统,还包括保持机械装置,所述保持机械装置用于用预定量的力保持所述鞋面紧贴所述相应的底部单元的表示,使得所述相应的底部单元的所述表示覆盖当装配所述鞋类物品时待被所述相应的底部单元覆盖的所述鞋面的所述部分,所述保持机械装置用于保持所述鞋面,同时所述标记机械装置在所述鞋面上在所述咬合线处标记物理记号。
项目(21):根据项目(19)所述的系统,还包括粘合剂施加系统,所述粘合剂施加系统适合于基于所产生的工具轨迹将粘合剂施加到所述鞋面。
附图说明
在此参考附图详细地描述了本发明,在附图中:
图1是示出了根据本文的方面的楦制的鞋面和相应的底部单元的示例的示意图;
图2是示出了根据本文的方面的在楦制的鞋面上的咬合线的示例的示意图;
图3是示出了根据本文的方面的扫描楦制的鞋面的表面的示例的示意图;
图4是示出了根据本文的方面的扫描楦制的鞋面的表面的另外的示例的俯视图;
图5是示出了根据本文的方面的扫描楦制的鞋面的表面的另外的示例的俯视图;
图6A示出了根据本文的方面产生的用于处理楦制的鞋面的表面的工具轨迹的示例;
图6B-6D示出了根据本文的方面的具有用于产生的工具轨迹的变化的方位和位置布置的工具部分的示例。
图7示出了根据本文的方面的在楦制的鞋面上创建虚拟咬合线的示例。
图8是示出了根据本文的方面的用于产生工具轨迹的示例性系统的示意图;
图9是示出了根据本文的方面的用于产生工具轨迹的另一个示例性系统的示意图;
图10是示出了根据本文的方面的用于产生工具轨迹的另一个示例性系统的示意图;
图11是示出了根据本文的方面的用于处理鞋类物品的表面的示例性方法的流程图;
图12是示出了根据本文的方面的用于处理鞋类物品的表面的示例性方法的流程图;
图13是示出了根据本文的方面的用于产生工具轨迹的示例性方法的流程图;
图14是根据本文的方面的楦制的鞋面的表面图(surface mapping)的三维点云表示与三维数字咬合线表示相结合的描画;
图15是示出了根据本文的方面的用于捕获楦制的鞋面的三维表面图和用于在产生机器人工具轨迹中使用的三维数字咬合线表示的示例性方法的图形化流程图;以及
图16是根据本文的方面的如由咬合线扫描系统和三维扫描系统捕获的示例性楦制的鞋面的横截面视图。
具体实施方式
本文的方面提供了用于处理鞋部件和产生用于在鞋生产过程中处理部件的工具轨迹的系统和方法。在本文描述的示例中,产生的工具轨迹在将鞋面结合到鞋底配件或底部单元时使用。然而,本文的方面可以用于产生其它类型的工具轨迹和处理鞋类物品的其它部分。例如,本文的方面可以用于产生工具轨迹以在柔软物品例如鞋的生产过程中抛光、清洗、涂刷、喷漆或以其它方式处理表面。
虽然鞋面和鞋底部单元的示例以简化方式提出以用于本文示例性目的,但是在实际中鞋面可以包括大量的通常由不同类型的材料形成的单独的部件。鞋面的构件可以使用各种粘合剂、缝线和其它类型的接合构件接合在一起。鞋底部单元通常可包括具有多个构件的鞋底配件。例如,鞋底部单元可以包括由例如橡胶的相对坚硬且耐用的材料制成的接触地面、地板或其它表面的鞋外底。鞋底部单元还可以包括由在正常磨损和/或体育训练或表演期间提供缓冲和吸收力的材料形成的鞋底夹层。经常在鞋底夹层中使用的材料的示例是例如乙烯醋酸乙烯酯泡沫(ethylene vinyl acetate foam)、聚氨酯泡沫和类似物。鞋底还可以具有附加的构件,例如附加的缓冲构件(例如弹簧、气囊和类似物)、功能性构件(例如运动控制元件以解决内旋或外旋)、防护元件(例如弹性板以防止地板或地面上的危险对脚造成损害)和类似物。虽然可以在鞋面和/或鞋底部单元中存在的这些和其它构件没有在本文示例中具体描述,但是这样的构件可以存在于使用根据本文的方面的系统和方法生产的鞋类物品中。
现在参考图1,根据本文的方面的示例性系统被示出并且通常指定为附图标记100。在示出的系统100中,鞋面110已经被放在鞋楦120上。鞋楦120可以可选地结合附加的组件122施加预定量的力以保持楦制的鞋面110紧贴相应的底部单元或相应的底部单元的表示130。应当注意的是,在处理中可以经常利用相应的单元的表示130而非底部单元本身,使得单个底部单元表示130可以用于处理多个鞋面。底部单元表示130可以模拟在装配鞋时将被施加到鞋面110的相应的底部单元的实际的材料、尺寸、形状、轮廓等。此外,可以预期的是,底部单元表示130可以由不同于通常用于底部单元的材料的材料形成。例如,当底部单元表示130的功能是提供用于在重复的制造过程中施加咬合线标记的导向时,更耐用和刚性的材料可以形成底部单元表示的至少一部分。这与实际的底部单元的功能性目的形成对比,实际的底部单元通常提供用于冲击衰减、支撑、附着,还有其它原因。
在图1中示出的示例中,底部单元表示130和楦制的鞋面110可以如由箭头135指示的旋转,同时与在楦制的鞋面110和底部单元表示130之间的联结点112处具有标记尖端的标记机械装置140接触。在示出的示例中,标记机械装置140可以包括利用通过标记尖端可应用的有条件地可视的标记试剂来在楦制的鞋面110上在楦制的鞋面110和底部单元表示130之间的联结点处施加有条件地可视的记号的标记机械装置。更具体地,标记机械装置140可以包括具有荧光标记尖端和IR标记尖端中的一种的标记机械装置,荧光标记尖端和IR标记尖端分别在楦制的鞋面110和底部单元表示130之间的联结点112处施加荧光记号或IR记号以创建仅仅在允许有条件地可视的记号被检测的照明条件下可观察的有条件地可视的咬合线。
由于楦制的鞋面110和/或相应的底部单元表示130可以经常由柔韧材料和/或可压缩的材料形成,故楦制的鞋面110的表面上的咬合线的位置可以基于用于使楦制的鞋面110与相应的底部单元表示130相匹配的力或压力的量而变化。在使用标记机械装置140标记有条件地可视的咬合线期间由系统100施加的力的预定的量可以与当最终将楦制的鞋面110结合到由底部单元表示130表示的底部单元时施加的力相同,但是可以不同于在结合期间施加的力,而不脱离本文的范围。例如,如果底部单元表示130由不同于预期的底部单元的材料形成,则待施加的力的量可以被调整以补偿材料之间的可压缩性的不同的量。此外,可以预期的是,底部单元表示130的尺寸可以实际与待施加的底部单元的尺寸不同,因为该尺寸可以补偿在可压缩性、可变形性或甚至尖端142的厚度中的变化。
现在参考图2,楦制的鞋面110已经从相应的底部单元表示130移除。如图2中所示,有条件地可视的咬合线210已经标记在楦制的鞋面110上。有条件地可视的咬合线210可以在所有的照明条件期间不被感知,在照明条件下有条件地可视的咬合线210取决于用于标记咬合线210的标记试剂而是可感知的。例如,有条件地可视的咬合线210可以仅仅当被UV光源(例如黑光)、IR光源、或引起用于施加有条件地可视的咬合线210的记号的标记试剂可被检测到的另一种光源照明时是可视的。在一个示例中,有条件地可视的咬合线210可以包括由荧光标记试剂(例如墨水)形成的记号,使得有条件地可视的咬合线210可以当使用黑光照明时被感知。在另一个示例中,有条件地可视的咬合线210可以包括由IR标记试剂形成的记号,使得有条件地可视的咬合线210可以当使用IR光源照明时被感知。任何和所有的这样的变化和其任何组合被考虑在本文的方面的范围之内。
仍然参考图2,有条件地可视的咬合线210界定了在楦制的鞋面110的表面上的第一表面区域214和第二表面区域212。第一表面区域214对应于当用预定量的力使楦制的鞋面110压紧相应的底部单元表示130时被底部单元表示130覆盖的楦制的鞋面110的表面的一部分。同时,第二表面区域212对应于当用预定量的力使楦制的鞋面110压紧相应的底部单元表示130时未被相应的底部单元表示130覆盖的楦制的鞋面110的表面的一部分。因此,任何旨在将由底部单元表示130表示的底部单元结合到楦制的鞋面110的处理应当在以有条件地可视的咬合线210为边界的第一表面区域214内执行。此外,在第二表面区域212中执行的可改变楦制的鞋面110的表面的外观的任何处理可能导致在成品鞋中可观察到的变化,而在第一表面区域214内执行的处理在鞋已经通过将楦制的鞋面110结合到由底部单元表示130表示的相应的底部单元进行装配之后可能最终观察不到。
图2的示例仅示出了有条件地可视咬合线210在鞋面110的表面上的位置的一个示例。根据本发明的有条件地可视咬合线的方向、位置和配置可以很大程度上不同于图2的示例中所示出的方向、位置和配置。对于一些鞋的设计,由底部单元表示130表示的底部单元可以以使底部单元130在鞋面110的更大一部分之上延伸的方式与鞋面110相匹配,导致有条件地可视的咬合线210位于距鞋面110的底部更远(例如,更靠近鞋前部开口和/或脚踝开口)。对于其它鞋设计,由底部单元表示130表示的底部单元的整体可以大部分或全部位于鞋面110之下,导致有条件地可视的咬合线210全部或大部分在鞋面110的底部表面上(例如接近在斯创贝尔构造技术(strobel construction technique)中的斯创贝尔板)。在其它示例中,由底部单元表示130表示的底部单元当相匹配时沿鞋面110向上延伸的程度可以沿着鞋面110和底部单元表示130的联结点变化,导致有条件地可视的咬合线210不与鞋面110的底部平行。此外,可以预期的是,有条件地可视的咬合线210可以在例如鞋尖区域和/或鞋跟区域的某些区域中延伸更远离底部单元。在该示例中,底部单元可以覆盖鞋面110的在这些区域中的更大一部分以提供结构益处,例如耐磨损性或提高的地面接触表面(例如,附着摩擦力)。
在鞋面110和底部单元表示130之间的联结点处鞋面110的形状还可以不同于图2的示例中示出的鞋面110的形状,意味着有条件地可视的咬合线210可以在平坦的、凸形的、凹形的、或具有复杂的三维曲面的鞋面110的一部分上创建。根据本文的系统和方法可以在鞋面和/或底部单元的所有这些和其它配置中提供和利用有条件地可视的咬合线。
现在参考图3,示出了具有光源370的示例性三维表面扫描,光源370可以投射光372使得反射部分374反射横穿楦制的鞋面110的表面的至少第一表面区域214和第二表面区域212的一段。在图3中描绘的示例中,斯创贝尔(strobel)310已经通过缝线312结合到鞋面110以围绕和包含鞋楦120。在示出的示例中,斯创贝尔310包含在楦制的鞋面110的第一表面区域214内,并且因此将最终在鞋装配之后被覆盖。在一些示例中,楦制的鞋面110可以使用不同于斯创贝尔310的封闭结构,但是在很多运动鞋中,一些类型的斯创贝尔(例如斯创贝尔310)用于围绕鞋面110以允许鞋楦120的插入以适当地在鞋楦120上扩展鞋面110。
仍然参考图3,至少一个摄像机380(在图3中示出为第一摄像机380和第二摄像机382)可以检测光372的部分374,光372从例如楦制的鞋面110的斯创贝尔310的表面和在斯创贝尔310和咬合线210之间延伸的第一表面区域214的一部分的一个或多个表面反射。在图3的示例中,已经设置的第二摄像机382还检测来自从楦制的鞋面110的表面反射的光372的部分374的光。使用一个以上的摄像机可以提供更大的视野使得如果待捕获的表面的一部分被具有第一视角和位置的第一摄像机遮掩,则具有不同视角和位置的第二摄像机可以有效用于捕获第一摄像机观察模糊的表面的部分。因此,当第一摄像机不方便定位以捕获期望捕获的表面的所有部分时,附加的摄像机可以用于补充由第一摄像机捕获的图像数据。还可以预期的是,如图所示,在示例性方面,反射部分374延伸到咬合线210之外,使得反射部分可以有效用于产生楦制的鞋面110的在有条件地可视的咬合线210之外到第二表面区域212中的部分的表面图(surface map)。
在各方面,第一摄像机380和第二摄像机382中的每个可以用于检测来自楦制的鞋面的光的反射以显影外部表面的点云。点云是坐标系中的点的集合,坐标系例如由表示如在楦制的鞋面的外部表面上识别的点的X、Y和Z坐标(本文也称为x y z坐标)表示的三维坐标系。下文的图14将描绘表示除了咬合线的三维表示之外的、如与点云坐标相配合的楦制的鞋面的表面的示例性点云。为了产生表示外部表面的点云,来自第一摄像机380和第二摄像机382两者的图像可以利用计算系统(未示出)进行组合以产生如楦制的鞋面的三维表面图的点云。三维表面图可以与例如数字咬合线表示的咬合线数据组合和配合,产生如下文更加充分描述的用于鞋的进一步处理的工具轨迹。如本文还将论述的,可以预期的是,可以使用例如多平面视觉校准工具的一种或多种已知的技术来对产生三维表面扫描的表面扫描系统和产生数字咬合线的数字咬合线检测系统进行校准。在示例性方面,校准允许计算系统将数字咬合线数据与三维表面扫描数据精确合并以形成用于产生工具轨迹目的的楦制的鞋面的表示。虽然在该示例中描述了两个摄像机用于产生如点云的三维表面图,但是可以预期的是,在可替代的方面,与一种或多种结构光相结合的单个图像源可以产生可使用的三维表面图。
光源370和/或至少一个摄像机380、382可以包括经常利用计算机软件基于由至少一个摄像机380、382检测到的光372的反射374而产生数字表示的任何表面成像系统的构件。可以预期的是,至少一个摄像机380、382可以包含例如长通过滤器、短通过滤器或带通过滤器的一个或多个过滤器以有选择地捕获具体的光能或系列光能以进一步改善工艺。例如,可以预期的是,光源370和至少一个摄像机380、382可以适合于利用波长的特定波段,例如接收红外波长的红外过滤器和特定的过滤器。例如利用不带光源的摄像机的系统或使用一个或多个探针以与表面物理地相啮合的接触系统的其它表面成像系统可以可替代地与根据本文的系统和/或方法一起使用。
光源370可以是在距鞋面110一定距离处提供定义的几何形状表示的任何合适的光源。例如,由其它非结构光源产生聚焦的裂隙状光束的裂隙灯可以产生需要专门识别光和有条件地可视咬合线210之间的交叉点的投射的光。另一个光源选项包括结构化的激光光源。结构化的激光光源是以例如线的结构光图案投射激光的激光器。该结构光线可以通过允许特定平面中的光从光源成扇形向外散开而形成,同时限制光在所有其它方向的散射以导致从结构化的激光源发射的光的平面。当光的平面接触表面时,形成具有聚焦的性质和垂直于光形成的平面的控制的宽度的激光线表示。
光源370可以包括具有多种特征和功能的激光线发生器(例如激光微线发生器或激光宏线发生器)。示例性特征包括可调整的扇形角;均匀的光强分布;恒定的线宽(即贯穿整个测量区域的厚度);可调整的宽度;可调整的光谱范围(例如635nm-980nm);和可调整的功率(例如在可视范围内高达100mW和在IR范围内高达105mW)。在一方面,光源370可以例如具有40度的扇形角、180mm的线长、0.108mm的线宽(即厚度)、245mm的工作距离、12mm的瑞利长度、205-510mm的聚焦范围和0.7度的会聚。
光源370的各个方面可以与鞋部件特性协调进行调整。例如,激光束的颜色可以基于鞋部件的颜色进行设置或调整。也就是说,激光束颜色(例如波长)和鞋部件颜色的某些组合可以允许投射的激光线374使用至少一个摄像机380、382被更好的记录。因此,激光束颜色可以基于鞋部件颜色进行相应地调整。
此外,光源370的功率级可以基于鞋部件的颜色进行调整。例如,单个的激光器可以具有可调整的功率设置,使得单个激光器可以基于鞋部件颜色进行调整。在另一个示例中,具有不同功率级的多个激光器可以基于鞋部件的颜色交替使用。在另外的示例中,多个激光器可以布置在单个工位(station)处。在本发明的一个方面,当将光束投射到着色为黑色(或非白色)的鞋部件上时可以利用高功率激光器。在本发明的另外的方面,当将光束投射到着色为白色的鞋部件上时,可以利用低功率激光器。在另外的方面,当部件是多颜色的时,可以同时使用多个激光器。例如,高功率激光器和低功率激光器两者可以将各自的光束投射到着色为黑色和白色的鞋部件上。至少一个摄像机380、382被定位以记录投射的激光线374的图像。因此,捕获的图像描绘了投射的激光线随着其呈现横穿楦制的鞋面110的一部分反射的表示。
虽然本文的附图和论述描述了作为数据的可视指示的数据设置表示,例如关于三维表面图的实际的点云表面图或表示数字咬合线的三维线,但是应当理解的是,数据表示可能不可视地描绘。例如,数据表示可以仅仅是数学表达式、数学模型、一系列坐标或未必由计算设备或显现数据表示的可感知的描绘的其它装置图形化描绘的数据的其它非可视的表示。然而,为方便起见,不同的数据表示的可视描绘在本文进行了描绘和描述。
现在参考图4,示出了使用来自结构化的光源(例如激光器)的光372扫描楦制的鞋面110的至少第一表面区域214的一个示例。投射的光372的反射部分374被楦制的鞋面110的在至少第二表面区域212的一部分和第一表面区域214中的表面反射。为了产生待与咬合线数据结合使用三维轮廓数据以产生用于处理楦制的鞋面110的工具轨迹以通过例如施加粘合到楦制的鞋面110而结合到相应的底部单元,仅仅鞋面110的表面的大体上在第一表面区域214内的部分应当描绘轮廓(profile),但是收集的数据应当充分覆盖第一表面区域214。因此,根据本文的系统和方法可以基于咬合线数据和第一表面区域214的表面的三维轮廓数据(例如三维表面图、点云)产生工具轨迹。可以预期的是,在示例性方面,第二表面区域212的表面数据也可以被捕获并且可以用于校准由数字咬合线和三维表面图提供的数据。在该示例中,在示例性方面,关于第二表面区域212的表面数据可以不在产生工具轨迹时使用。
仍然参考图4,楦制的鞋面110可以相对于投射的光372移动,或可替代地还预期使得投射的光372可以相对于楦制的鞋面110移动,使得楦制的鞋面110的至少第一表面区域214的至少大体上整体被扫描。可以预期的是,光372的反射部分374和咬合线210的交叉点可以沿着咬合线210的至少一部分被检测到,在示例性方面,交叉点可以用于协调三维表面图数据和咬合线数据。然而,鞋面110的轮廓可以使得咬合线210的部分,并且因此使得咬合线210与投射的光372的交叉点的部分对于至少一个摄像机380、382而言是不可视的。在这样的情况下,咬合线数据可以用于补充三维轮廓数据以推断适当的工具轨迹,如在下文更加充分描述并且结合图16示出的。
如图4中所示,从楦制的鞋面110的表面反射的光372的部分374可以在第一点415和第二点425处与咬合线210相交。由从楦制的鞋面110的表面反射的光372的部分374的第一点415和第二点425界定的段对应于第一表面区域214内的表面的段。可以预期的是,该段的长度和位置可以在组合了从三维表面图(或基于来自单独的三维表面图的数据)和数字咬合线获得的数据之后通过计算系统确定以帮助确定工具轨迹。当楦制的鞋面110相对于如由线430表示的光372移动时,通过记录至少多个这样的段内的三维云点,可以产生第一表面区域214内的大体上整个表面的表示。然而,如将在下文中论述的,可以预期的是,第二表面区域的部分还可以作为表面扫描的一部分被捕获。可以预期的是,楦制的表面110可以相对于静止的光源370移动,光源370可以相对于楦制的鞋面移动,或楦制的鞋面110和光源370两者都相对于彼此移动以完成本文论述的扫描中的一个或多个扫描。当然,是楦制的鞋面110还是光源370移动可以针对本文不同的示例进行变化。
图4中还描绘了反射的光372的可替代部分375。不同于被定位在部分374与咬合线210相交的位置处的部分374,部分375不被摄像机感知以与咬合线210相交。咬合线210可以在楦制的鞋面的由三维表面扫描构件遮掩的部分上延伸,如将在图16中论述的。这种交叉的缺乏突出了示例性方面,为此,数字咬合线数据和三维表面图数据的组合用于产生工具轨迹。例如,在没有补充接近部分375的位置的三维扫描数据的情况下,产生的工具轨迹可能不能识别咬合线位置,工具轨迹将被定界用于咬合线位置。此外,可以预期的是,用于捕获三维表面图的构件可能对于识别有条件的咬合线不起作用(例如对照明参数不起作用),无论其在交叉点能够被感知的部分374或在交叉点不能与咬合线210一起被感知的部分375处。因此,当用于捕获三维表面图的构件在捕获有条件地可视的咬合线不是有效的时,需要数字咬合线数据与三维表面图数据的组合以产生确定的公差内的工具轨迹。
现在参考图5,示出了使用投射光的光源以扫描楦制的鞋面110的至少第一表面区域214的表面的另一个示例。虽然图4的示例相对于光372以如由箭头430表示的线性方式移动楦制的鞋面110,但是在图5的示例中,楦制的鞋面110可以如由箭头530表示的相对于光372旋转。因此,随着楦制的鞋面110和/或光源相对于彼此旋转530,至少一个摄像机可以检测来自楦制的鞋面110的表面的光的反射部分374。在示例性方面,光的反射部分374和咬合线210的交叉点可以被确定/检测;然而,可选的是,单独的咬合线扫描可以用于实现有条件地可视的咬合线位置的全面识别。在图5中示出的示例中,在第一交叉点515和第二交叉点525之间延伸的段可以表示第一表面区域214的表面的一小部分。通过相对于光源370旋转楦制的鞋面110,可以获得多个这样的段以在三维中使用一个或多个摄像机380、382提供表面区域214的更完整的表示。
如关于图4所论述的,可以预期的是,咬合线210的一个或多个部分可以由三维表面图构件遮掩,在示例性方面,这示出了关于单独的咬合线数据收集的进一步需要。此外,还如上述考虑的,在示例性方面,用于捕获三维表面图数据的构件可能不适合于捕获有条件地可视的咬合线。
现在参考图6A,可以产生工具轨迹610以处理楦制的鞋面110的以鞋面110的咬合线210为边界的第一表面区域214内的表面。在图6A中示出的示例中,工具轨迹610包括多个段,该多个段在保持在咬合线210的内部中时处理第一表面区域214的周边,并且然后处理第一表面区域214的内部的至少部分。工具轨迹610还可以代表工具在三维空间中相对于第一表面区域214的表面的方向,例如,以相对于第一表面区域214的表面的特定的角度保持喷嘴、软擦器、刷子或其它工具。虽然在图6A中描绘了特定的工具轨迹610,但是可以预期的是,可以采用可替代的工具轨迹以实现类似定界的覆盖区域。
工具轨迹610还可以包括描述移动和控制的另外的程度的信息,例如喷嘴角度、喷嘴距离、流速等。例如,工具轨迹610还可以保持喷嘴处于大体上垂直于第一表面区域214的表面的角度,例如80度和100度之间。此外,工具轨迹610可以包括距楦制的鞋面110的在第一表面区域214内的表面相对恒定的距离或变化的距离。例如,物理接触楦制的鞋面110的表面的刷子、软擦器或其它类型的工具可以在三维空间中变化其位置以保持工具并且与楦制的鞋面110的在第一表面区域214内的表面接触。然而,其它类型的工具(例如喷嘴)可以具有距楦制的鞋面110的表面的最优距离或距离范围。因此,工具轨迹610可以以特定的距离(例如1.0厘米)、或基于期望的覆盖程度对于工具轨迹610的不同部分以各种距离(例如0.5和2.0厘米之间)保持该工具。例如,如果喷嘴将沿着工具轨迹610移动,则工具轨迹610可以沿着咬合线210以第一距离、但是在第一表面区域214的内部中以大于第一距离的第二距离保持喷嘴。在该示例中,粘合剂的喷射可以以更短的第一距离更精确地控制以防止过度喷射,同时喷射可以以第二更大的距离提供更小的密度但是更广泛的覆盖。可以利用除了图6A中示出的示例工具轨迹610之外的许多变化和不同类型的工具轨迹,而不脱离本文的方面的范围。
图6B-6D示出了可以是根据本文的方面产生的工具轨迹的一部分的参数的另外的示例。例如,工具可以是喷嘴650,喷嘴650将粘合剂652喷射到楦制的鞋面的第一表面区域214的表面上。工具轨迹可以以相对于待被处理的表面区域214的表面的距离和/或角度保持工具(例如喷嘴650)。在图6B的示例中,喷嘴650具有第一距离660,第一距离660产生用于喷射的粘合剂652的第一覆盖表面区域655。在图6C的另外示例中,喷嘴650具有短于第一距离660的第二距离662,并且第二距离662相应地产生小于第一覆盖表面区域655的第二覆盖表面区域657。当然,工具(例如,喷嘴650)可以以除了在本示例中描述的第一距离660和第二距离662之外的多个距离定位。此外,可以以具有相对于待处理的表面区域214的表面的不同角度的位置和/或方向放置例如喷嘴650的工具。例如,如图6D中所示,喷嘴可以在第一方向671以垂直于待处理的表面区域214的表面的第一角度681放置、在第二方向672以相对于待处理的表面区域214的表面的第二角度682(在该示例中是钝角)放置、或在第三方向673以相对于待处理的表面区域214的表面的第三角度683(在该示例中是锐角)放置。
现在参考图7,示出了虚拟咬合线的产生的示例。涉及数字咬合线的捕获的另外的公开在同时递交的题目为“Conditionally visible bite lines for footwear”并且具有代理人案号NIKE.176432的申请中提供,其整体通过引用并入本文。可以用预定量的力保持楦制的鞋面110紧贴相应的底部单元的表示130。光源730(例如激光器)可以在楦制的鞋面110上划定的咬合线处投射结构光735。可以预期的是,划定的咬合线可以用有条件地可视的标记试剂(例如IR或UV敏感墨水)形成。如先前提供的,用于划定咬合线的有条件地可视的试剂的使用可以防止在成品鞋上看到划定的咬合线的美学上分散注意力的剩余物。此外,为防止划定的咬合线被看到,可以按惯例已经做出移除划定的咬合线的可视部分的努力,这可能要求当使用有条件地可视的咬合线时将不需要的另外的资源。
第一光源730(例如激光器)投射光735,使得光735的部分734投射横穿标记的楦制的鞋面110的表面的至少一部分。更具体地,来自光源730的光735的至少一部分734可以从标记的楦制的鞋面110的表面的第一表面区域214和第二表面区域212的至少一部分反射。光源730可以是以距鞋面110一定距离提供定义的几何形状表示的任何合适的光源,例如,类似激光的结构光。
在本文的方面,从光源730发射的光735的波长使得有条件地可视的咬合线210是可检测的。例如,如果利用IR标记试剂对有条件地可视的咬合线210进行标记,并且光源730是以IR光谱发射光735的IR光源,则来自光源730的光735将使得有条件地可视的咬合线210在光735和咬合线210的交叉点处是可检测的,消除关于任何附加光源的需要,如在当前附图7中示出的。然而,在其它方面,从光源730发射的光735的波长不能使得有条件地可视的咬合线210是可检测的。例如,如果利用荧光标记试剂对有条件地可视的咬合线210进行标记,并且从光源730发射的光375不在UV光谱中,则有条件地可视的咬合线210将不是可检测的。在这些方面,可以需要附加的光源(例如补充UV灯)以使得有条件地可视的咬合线210是可检测的。可以预期的是,任何数量的可选择的光源可以实现提供任何波长的光。
在来自光源730的光735投射横穿楦制的鞋面110的至少一部分以与咬合线210相交时,虽然至少一个光源使得咬合线210是可观测的,但是至少一个摄像机可以捕获楦制的鞋面110的图像,并且更具体地,可以捕获光735的反射部分734和有条件地可视的咬合线210之间的交叉点715。如图7中所示,该至少一个摄像机包括第一摄像机710和第二摄像机720,并且可选地可以包括附加的摄像机(未示出)以捕获咬合线210和投射的光735的反射部分734的交叉点715。使用至少第一摄像机710和第二摄像机720可帮助精确定位咬合线210和投射的光735的反射部分734的交叉点715。例如,可以预期的是,至少一个摄像机710、720由两个摄像机组成以利用立体视觉的益处,立体视觉允许计算系统确定来自一对从不同的视角同时捕获的图像的深度信息。利用来自偏移位置的两个或更多个摄像机允许计算系统确定关于给定点(例如交叉点715)的x y z坐标。
如下文更加充分描述的,反射的光734和咬合线210的交叉点可以用于创建虚拟咬合线(即数字咬合线),虚拟咬合线帮助识别楦制的鞋面110的表面的在第一表面区域214内的部分,第一表面区域214包括楦制的鞋面110的待处理(例如,通过粘合、涂刷、清洗、喷漆、抛光和类似方式)的底部部分310。例如,可以预期的是,咬合线扫描系统的一个或多个构件可以围绕楦制的鞋面的周边旋转以捕获关于楦制的鞋面的周边的数据。可替代地,可以预期的是,楦制的鞋面围绕咬合线扫描系统移动或旋转以实现关于楦制的鞋面的周边的数据的捕获。
现在参考图8,用于产生根据本文的方面的工具轨迹的系统被示出并且通常指定为附图标记800。系统800包括咬合线构件810、三维扫描构件820和用于处理鞋部件的工具830。咬合线构件810方便收集在鞋面上的咬合线数据,咬合线数据表示当装配鞋时在鞋面和相应的底部单元之间的交界线。本文已经论述了用于标记咬合线和产生咬合线数据的各种方法。例如,可以利用数字触针系统产生跟踪在暂时接合到如在第13/647,511号、题目为“Digital Bite Line Creation for Shoe Assembly”的共同待审的美国专利申请中描述的相应的底部单元的表示的鞋面上的咬合线的咬合线数据,该申请通过引用以其整体并入本文。可替代地,如在上文中关于图7描述的,可以通过用物理记号标记咬合线和扫描鞋面产生咬合线数据以确定记号和光源的交叉点。在本文的方面,可以用有条件地可视的标记试剂(例如,荧光或红外标记试剂)来标记物理记号,使得产生的咬合线记号仅仅在特定光照条件下是可检测的。在这些方面,咬合线构件810可以包括至少一个光源814和至少一个摄像机812,光源814用于扫描和/或使得咬合线记号是可检测的,摄像机812可以代表多个摄像机,用于获取来自至少一个光源的光和划界了咬合线的有条件地可视的记号的交叉点的图像。在特定的方面,第一摄像机和第二摄像机用于记录交叉点的图像,来自两个摄像机的图像被组合以产生咬合线数据。
图8的系统800的三维扫描构件820方便收集关于当装配鞋时待被相应的底部单元覆盖的鞋面的至少一部分的三维轮廓数据。本文已经描述了用于收集三维轮廓数据的各种方法。在特定的方面,至少一个光源816和至少一个摄像机818扫描覆盖了鞋面的以咬合线为边界的表面区域的至少一部分的表面。由于鞋面的表面的轮廓,咬合线的部分和因此以咬合线为边界的鞋面的部分可能不被至少一个对鞋面成像的摄像机看得到,或至少一个摄像机不适合于检测咬合线。因此,根据本文的方面,以咬合线构件810收集的咬合线数据与以三维扫描构件820收集的三维轮廓数据在计算系统(未示出)中组合以产生用于由工具830进一步处理的工具轨迹。如先前阐述的,工具可以是设计为在处理鞋期间清洗、抛光、粘附、粘合等的各种工具。
用于处理鞋部件的系统800的在图8中示出的配置仅仅是系统800可以呈现的配置的一个示例。在图8中,从系统的一个构件移动到另一个通过传送带840。然而,构件特别是咬合线构件810和三维扫描构件820的顺序以及传送机械装置可以变化,处于本文的方面的范围内。例如,可以利用代替传送带的一个或多个机器人或除了传送带之外利用一个或多个机器人将鞋部件从构件传送到构件。
此外,虽然没有明确描绘,但是可以预期的是,咬合线构件810、三维扫描构件820和/或工具830的构件中的一个或多个构件可以移动以以多个自由度来操作。例如,如本文提供的,可以预期的是,咬合线构件810的构件可以以围绕鞋部件的运动轨迹移动。运动轨迹可以本质上是椭圆的,使得椭圆图案的至少一个焦点靠近鞋面的一部分定位。附加地或可替代地,可以预期的是,鞋部件本身可以相对于咬合线构件810的一个或多个构件移动,例如旋转。因此,可以预期的是,在示例性方面,数字咬合线构件810的构件,例如至少一个摄像机812和至少一个光源814可以可移动地安装或固定地安装在数字咬合线构件810之内。类似地,至少一个光源816和至少一个摄像机818可以可移动地安装或固定地安装在三维扫描构件820之内以实现期望的表面扫描。
图9和10示出了落在本文的方面的范围内的可替代的系统配置。例如,图9的系统900放置在作为咬合线构件810和三维扫描构件820之间的传送机械装置的多轴机械臂上。图9中的工具830继续是多轴移动工具。在图9的该示例中,可以预期的是,在示例性方面,服务咬合线构件810和三维扫描构件820两者的多轴机械臂提供期望的移动程度以围绕咬合线构件810和三维扫描构件820的各个构件操作鞋部件,以实现充分的咬合线识别和表面扫描。例如,至少一个摄像机812和光源814可以固定地安装在咬合线构件810之内,使得机械臂在多个维度中移动鞋部件以捕获关于鞋部件的周边的咬合线表示。
图10的系统1000放置在用于从咬合线构件810、三维扫描构件820和工具830传送的共同多轴机械臂上。在该示例中,工具830是相对静止的,并且依赖于由多轴机械臂提供的移动由工具处理。因此,可以预期的是,可以利用各种传送机械装置和调节工具选择以完成本发明的方面。类似于图9,可以预期的是,机械臂提供对于每个构件所必需的移动的程度以实现预期的结果,例如识别咬合线和产生表面图。因此,在示例性方面,咬合线构件810、三维扫描构件820和工具830的构件可以固定耦合,并且鞋围绕构件充分移动以实现本系统预期的结果。
现在参考图11,示出了用于产生工具轨迹的方法1100。在步骤1110中,可以收集咬合线数据。在步骤1110中收集的咬合线数据可以表示使用触针、光源(例如激光器)和摄像机或任何其它方法产生的虚拟咬合线。在一些示例中,可以通过使用设计数据、图案数据或当楦制的鞋面保持紧贴相应的底部单元(或其表示)时测量的典型数据来执行步骤1110以创建数字咬合线而未将楦制的鞋面施加到底部单元,例如图1中所示,但是针对待处理的每个部件或每套部件,还可以单独执行步骤1110。
在步骤1120中,可以收集表示以咬合线为边界的鞋面的表面的至少一部分的三维轮廓数据。例如,光源和至少一个摄像机可以用于产生以咬合线为边界的楦制的鞋面的表面的至少一部分的三维数据表示(例如点云)。可替代地,单个摄像机、接触探针或其它机械装置可以用于产生表面的数字表示。在示例性方面,在产生至少在咬合线内的表面的表示时,可以忽略在步骤1110中创建的不以咬合线为边界的表面的部分。可以预期的是,在示例性方面,因为收集咬合线数据和表面扫描数据的顺序可以变化,故步骤1120可以先于步骤1110。此外,在示例性方面,可以预期的是,在示例性方面,咬合线数据和表面数据可以在共同操作中通过不同或共同的构件获得。
在步骤1130中,咬合线数据和三维轮廓数据可以组合以产生用于鞋面的进一步处理的工具轨迹,工具轨迹可以基于组合的数据产生。在步骤1130中产生的工具轨迹可以确保不处理在数字咬合线外部的表面,并且可以进一步保持工具处于相对于表面的期望的距离、方向或其它情形。在步骤1130中产生的工具轨迹可以沿着轨迹并且在界定的如以咬合线为边界的表面区域内的不同的位置变化。在示例性方面,工具轨迹可以包括用于机器人元件的指令以靠近楦制的鞋面的各个表面部分(例如底部表面和侧壁部分的部分)放置工具。在步骤1140中,可以跟随工具轨迹处理表面。例如,步骤1140可以包括抛光表面、使用喷嘴将粘合剂喷射到表面上等。
为了完成各方面,例如图11中提供的方法,可以预期的是,用于处理鞋类物品的部分装配的部件的系统包括用于在鞋面上在咬合线处标记物理记号的标记机械装置。在示例性方面,可以用有条件地可视的标记试剂来标记记号。系统然后可以利用光源,光源以不平行于标记的咬合线的角度投射横穿标记的咬合线的至少一部分的光。为了捕获光和记号的交叉点,可以使用第一摄像机,第一摄像机记录表示光与标记的咬合线相交处的多个点和表示当装配鞋时离开待被相应的底部单元覆盖的鞋面的部分的至少一部分的光的反射的第一系列图像。此外,为了实现通过立体视觉的深度信息,可以预期的是,还可以使用第二摄像机,第二摄像机记录表示光与标记的咬合线相交处的多个点的第二系列图像。在该示例中,两个摄像机的使用提供了为显影咬合线的三维表示所必需的维度坐标。然而,可以预期的是,在如被摄像机捕获的已知的机构光中的变化可以用于确定用于显影三维表示(例如楦制的鞋面表面的点云)的必需的坐标。此外,处理第一系列图像和第二系列图像以产生咬合线数据的计算系统可以被集成在其中。计算系统还可以使用附加的图像或第一系列图像和第二系列图像进一步显影关于鞋部分的三维轮廓数据。此外,计算系统可以使用咬合线数据和三维轮廓数据产生用于处理(例如施加粘合剂)的工具轨迹。
现在参考图12,示出了用于根据本发明处理鞋面的方法1200的另外的示例。在步骤1210中,鞋面可以被楦制。如先前论述的,鞋面的楦制可以包括在鞋面的内部腔室内定位外形以提供结构和成形。在步骤1220中,可以准备鞋底配件,例如鞋底或鞋底的表示。准备可以包括定位用于最终与楦制的鞋面配合的鞋底配件。步骤1210和/或步骤1220可以组合多个构件以形成鞋面和/或底部单元。在步骤1230中,楦制的鞋面和相应的鞋底配件可以用预定量的压力/力配合以产生鞋底配件和楦制的鞋面之间的联结点。在步骤1240中,咬合线可以标记在楦制的鞋面的表面上,该表面对应于配合的鞋底配件在楦制的鞋面上的终止。该终止的位置是鞋底配件和楦制的鞋面之间形成导向以放置咬合线的联结点。步骤1240可以利用触针、光源(例如激光器)和一个或多个摄像机、或任何其它系统或工艺以标记包括咬合线或虚拟咬合线的记号,咬合线或虚拟咬合线用于创建表示在楦制的鞋面上在鞋底配件和楦制的鞋面之间的联结点处的坐标的数字咬合线。
在步骤1250中,可以产生和收集表示以咬合线为边界的楦制的鞋面的至少一部分(和另外的部分,在示例性方面)的三维轮廓数据。产生的数字表示可以由任何类型的输入(例如三维的和/或数字咬合线扫描)形成。例如,在楦制的鞋面上以咬合线为边界的表面区域可以包括第一表面区域,并且第一表面区域可以使用激光器和至少一个摄像机或其它表面扫描技术来进行扫描,表面扫描技术中的一些在本文示例中进行了描述。在步骤1260中,可以利用计算系统内的咬合线数据和三维轮廓数据以产生工具轨迹以处理以咬合线为边界的楦制的鞋面的至少一部分。
可以基于计算机辅助设计(CAD)和计算机辅助制造(CAM)概念通过软件来产生工具轨迹,计算机辅助设计(CAD)和计算机辅助制造(CAM)概念采用来自三维轮廓数据和数字咬合线数据的数据以确定工具轨迹的适当的方面(例如位置、速度、角度、流量等)。例如,可以预期的是,软件提供关于与期望的处理(例如施加粘合剂)相关联的限制的信息。限制可以包括期望的覆盖、涂胶机信息、循环时间限制、和在确定适当的工具轨迹时使用的其它变量。在示例性方面,软件然后可以将这些输入与三维轮廓数据和数字咬合线数据相结合以显影满足提供的限制的合适的工具轨迹同时使之停留在由数字咬合线数据定界的期望的区域内。最后,在步骤1270中,楦制的鞋面的至少一部分可以使用工具(例如具有与其连接的粘合剂施加工具头部的多轴机器人)跟随在步骤1260中产生的工具轨迹进行处理。例如,在示例性方面,与待使用的特定的工具相关联的限制可以连同与多轴机器人相关联的限制提供给软件,使得产生的工具轨迹针对待处理的特定的鞋面、正实施处理的工具、以及控制和移动工具的机器人。
现在参考图13,示出了根据本文的方面的产生用于处理鞋面的工具轨迹的另外的示例性方法1300。在步骤1310中,可以通过用预定量的压力使楦制的鞋面和底部单元配合来保持楦制的鞋面紧贴相应的底部单元(或其表示)。在步骤1320中,可以通过在鞋面上创建记号而在鞋面上标记咬合线。例如,步骤1320可以在用预定量的压力配合时在底部单元(或其表示)和楦制的鞋面的联结点处将标记施加到鞋面。虽然论述了预定量的压力,但是压力的量可以是足以使底部单元(例如鞋底配件)与楦制的鞋面暂时配合的一般的量(general amount)。在一方面,例如,施加的压力的量可以是大约30kg/cm2或更多。步骤1320可以使用墨水、铅笔或荧光、IR或其它有条件地可视的材料、或在鞋面上形成可感知的记号的任何其它的方式。在步骤1330中,楦制的鞋面和鞋底配件可以分开。步骤1330可以允许当在步骤1320中创建咬合线时被底部单元(或其表示)覆盖的楦制的鞋面的表面区域的后续扫描和处理。
在步骤1340中,光源(例如激光器)可以投射在咬合线标识符(例如有条件地可视的咬合线划界或记号)的至少一部分之上。如果在步骤1320中创建有限的/有条件的可见度咬合线,则可以使用使得用一个或多个摄像机可观测有条件地可视的咬合线(例如使用荧光或IR标记试剂的咬合线)的照明条件来执行步骤1340。在步骤1350中,可以记录投射的激光和咬合线的交叉点以产生表示楦制的鞋面的部分的周边的咬合线数据,为此将产生工具轨迹以对应于当用预定量的压力使楦制的鞋面和底部单元(或其表示)相配合时楦制的鞋面的被底部单元(或其表示)覆盖的部分。
在步骤1360中,可以收集(如上文更加充分描述的)关于楦制的鞋面的三维轮廓数据,且在步骤1370中,可以组合咬合线数据和三维轮廓数据。在步骤1380中,可以在咬合线内产生工具轨迹以处理楦制的鞋面的表面。
图14是楦制的鞋面表面的三维表面图(例如点云)表示1402与三维数字咬合线表示1404组合的组合表示1400的描绘。三维表面图表示1402被描绘为点图案以表示识别的点,例如点云。三维数字咬合线表示1404描绘为更大的圆形标记。如在该示例性方面示出的,靠近鞋尖区域1406的三维数字咬合线表示1404延伸超出由三维表面图表示1402表示的数据。因此,因为单个的表示可能单独不能提供充分的信息,故组合两种表示以在楦制的鞋面的至少该部分中形成工具轨迹是有益的。例如,如将在图16中示出的,楦制的鞋面的一部分可以基于构件和楦制的鞋面的相对定位来遮掩待扫描的表面的一部分。
图15是示出了用于捕获楦制的鞋面的一部分的三维点云表示和用于在产生机器人工具轨迹时使用的三维数字咬合线表示的示例性方法1500的图形化流程图。在步骤1502,咬合线数据被捕获。如先前所论述的,可以使用各种技术来完成咬合线数据的捕获,例如用至少一个视觉系统和光源来扫描有条件地可视的标记。例如,可以用响应于光源(例如在IR光谱中操作的激光器)的IR材料来形成有条件地可视的咬合线。在有条件地可视的咬合线和由光源发射的光的交叉点处,记号可以被视觉系统感知,视觉系统识别咬合线划界的位置。还如本文提供的,可以预期的是,可以通过在多轴空间测量设备上的触针来捕获咬合线数据,多轴空间测量设备放置在多轴空间测量设备和待测量物体(例如楦制的鞋面)之间的物理接触部上。
步骤1504提供用于产生数字咬合线。计算系统可以将捕获的咬合线数据转换为沿着咬合线的点的三维表示。从楦制的鞋面捕获的咬合线的该三维表示可以存储为可输入到视觉系统软件包中用于最终产生工具轨迹的一组空间点。可以预期的是,产生的数字咬合线可以沿着楦制的鞋面的一个或多个部分延伸,例如以沿着楦制的鞋面的侧面部分和/或沿着楦制的鞋面的底部(例如当使用斯创贝尔结构时的斯创贝尔板位置)的不同的部分的不同距离延伸。
步骤1506提供沿着楦制的鞋面至少底部部分由表面扫描捕获三维表面数据。如本文提供的,可以预期的是,一个或多个摄像机与可以协同使用的一个或多个光源相结合以显影楦制的鞋面表面的三维识别。如本文预期的,具有结构化的光源的激光器可以横扫楦制的鞋面底部部分,同时至少一个摄像机捕获楦制的鞋面和激光交叉点的图像。
步骤1508产生楦制的鞋面的三维表面图。如本文提供的,所考虑的示例性方面允许在步骤1506中捕获的数据通过计算系统进行处理以识别沿着扫描表面的多个点以产生点云,使得可以相对于彼此确定沿着扫描表面的点的三维坐标。在示例性方面,适合于操作视觉软件程序的计算系统解译了从至少一个摄像机捕获的图像以显影三维表面扫描。计算系统可以使用内插或其它数学技术以显影产生的表面图,使得从沿着扫描的表面区域的有限数量的数据点形成更全面的表面图。
步骤1510将表示数字咬合线的数据与表示三维表面图的数据组合以形成表面区域的更完整的三维模型,工具将在表面区域上横扫以用于进一步的处理,例如施加粘合剂。如先前论述的,可以通过具有适合于组合数据表示的软件的计算系统来完成数据表示的组合。例如,可以采用视觉软件以将三维表面图数据与三维数字咬合线数据对准。该对准可以如本领域已知的基于允许计算系统将来自在第一物理位置(例如咬合线扫描构件)中捕获的第一数据集的相对坐标位置与来自在第二不同的物理位置(例如表面扫描构件)中捕获的第二数据集的相对坐标位置进行对准的先前执行的校准处理来完成。来自不同的数据表示的组合和对准的数据可用于显影待被创建的工具轨迹处理的表面区域的模型。可以预期的是,表面区域可以包括除了将跟随工具轨迹由工具处理的部分之外的楦制的鞋面的另外的部分。如在步骤1510中描绘的,表示数字咬合线的数据和表示三维表面图的数据组合为用于将产生工具轨迹的表面区域的共同表示。如上所述,虽然附图和论述参考了数据表示的视觉描绘,但是数据表示的视觉模型可能不发生并且在示例性方面将不产生。此外,可以预期的是,单独的数据表示实际上可以不合并为共同的数据表示,但是代替地,将经常参考以用于产生如在步骤1512中提供的工具轨迹。
步骤1512基于来自步骤1510的组合的数据表示沿着楦制的鞋面产生工具轨迹。如先前论述的,可以预期的是,工具轨迹将允许多轴机器人控制工具在多个维度中操作以处理(例如施加粘合剂)楦制的鞋面的一部分。在示例性方面,基于组合的数据表示的用于楦制的鞋面的产生的工具轨迹沿着楦制的鞋面的底部部分、也沿着楦制的鞋面的侧壁部分延伸。此外,可以预期的是,工具轨迹可以包括用于处理的另外的指令,例如施加速率、速度和在优化待被工具轨迹执行的处理步骤时是有用的其它特性。产生的工具轨迹可以由具有用于利用数据表示和预定的标准以显影合适的工具轨迹的程序的计算系统产生。例如,计算系统可以包括描述粘合剂的量、优选的施加速率、优选的速度、和影响用于粘合剂施加的工具轨迹的产生的其它因素的一个或多个文件。
步骤1514描绘了执行在步骤1512产生的工具轨迹。在该示例中,工具轨迹允许在以数字咬合线为边界的表面区域内将材料(例如粘合剂)施加到楦制的鞋面。然而,可以预期的是,可以通过产生的工具轨迹执行附加的/可替代的处理,工具轨迹基于本文提供的一个或多个数据表示而产生。例如,在示例性方面,可以实施缝合、抛光、切割、喷漆、胶合、标记和在鞋的结构中执行的其它处理。如本文提供的,沿着产生的工具轨迹施加材料可以包括控制涂胶机的速度、施加速率、角度和位置。产生的工具轨迹可以通过具有粘合剂施加系统的多轴机器人转化为实际的运动。粘合剂施加系统可以包括施加部分(例如喷嘴)和与计算系统功能性耦合的多轴机器人以处理产生的工具轨迹,用于空间移动和将粘合剂施加到鞋类物品的一部分。
虽然方法1500描绘了特定顺序的步骤,但可以预期的是,一个或多个步骤可以进行重新排列同时仍然有效完成用于楦制的鞋面的后续处理的产生的工具轨迹。例如,可以预期的是,在捕获咬合线数据(步骤1502)、产生数字咬合线(步骤1504)、捕获三维表面扫描(步骤1506)和产生三维表面图(步骤1508)中的顺序可以以任何顺序执行,并且可以以如与描述的串行方式相反的并行方式来执行。此外,可以预期的是,在示例性方面,可以包括附加的步骤以及可以省略一个或多个步骤。
图16是如被咬合线扫描系统1606和三维扫描系统1608捕获的示例性的楦制的鞋面1604的剖视图1600。特别地,剖视图1600示出了如由示例性鞋楦1602保持的楦制的鞋面1604的轮廓可以如何遮掩表面区域的一个或多个部分,将产生用于表面区域的工具轨迹。例如,当楦制的鞋面1604从底部表面(例如斯创贝尔表面1612)过渡到侧壁部分时,楦制的鞋面1604形成有尖端1610。由于三维扫描系统1608相对于楦制的鞋面1604的位置,楦制的鞋面1604的部分1614(由具有圆形的区域表示的)被遮掩于由三维扫描系统1608捕获的视野,如由从三维扫描系统1608的至少一个摄像机延伸的虚线描绘的。
在该示例中,咬合线1616可以在区域1614中划界,区域1614被遮掩于三维扫描系统1608。由于被遮掩,待产生的工具轨迹可能不具有来自三维扫描系统1608的足够的数据以保持在由咬合线1616界定的区域内。因此,在示例性方面,如由从数字咬合线系统1606向外延伸的、表示数字咬合线系统1606的视野的虚线描绘的,依赖于咬合线扫描系统1606(而非三维扫描系统1608)捕获楦制的鞋面1604的不同的视角。在示例性方面,可以预期的是,从数字咬合线系统1606获得的数据部分地用于界定边界,在该边界中,内插技术可以与来自三维扫描系统1608的数据一起使用以确定在遮掩的部分中的表面。此外,在另一示例性方面,来自数字咬合线系统1606的数据表示可以与来自三维扫描系统1608的数据进行组合以产生包括遮掩的区域1614的工具轨迹。
在三维扫描系统1608和数字咬合线系统1606两者的视野内还描绘了可替代的咬合线1618。在该示例中,可以预期的是,三维扫描系统1608可能不适合于捕获咬合线数据;因此,可以再次依赖于数字咬合线系统1606以产生数字咬合线数据表示。例如,如果使用的有条件地可视的咬合线未被三维扫描系统1608感知,则可以使用数字咬合线系统1606。
虽然三维扫描系统1608和数字咬合线系统1606被一起描绘,但是可以预期的是,三维扫描系统1608可以在独立于数字咬合线系统1606的第一物理位置,使得在不同的位置执行数据的串行捕获。然而,还可以预期的是,三维扫描系统1608和数字咬合线系统1606可以放置在用于数据收集的共同位置中,而不如本文的图8-10中预期的将楦制的鞋面1604从第一位置传送到第二位置。
根据本文的方法和/或系统可以使用执行保存在计算机可读存储器中的计算机可读代码的一个或多个计算系统以执行合适的步骤和/或控制根据本发明的系统的各个构件。根据本文的工艺或方法中的不同的步骤可以在不同的位置发生和/或可以由不同的计算系统控制,并且根据本文的系统的不同的构件可以由不同的计算系统控制。例如,虚拟咬合线的创建可以发生在使用第一计算系统的第一工位,而扫描楦制的鞋面的表面以收集三维轮廓数据可以发生在第二工位,并且可以由第二计算系统进行控制。
此外,在一些示例中,用于标记咬合线(无论数字或包含可感知的记号)的相应的底部单元(或其表示)可以不同于最终结合到给定的鞋面的底部单元。在很多示例中,可以使用将最终结合到鞋面的底部单元来产生咬合线,但这不是必需的。例如,可以在工位处使用有代表性的底部单元以产生咬合线,同时在咬合线处充分类似于有代表性的底部单元的鞋底可以最终结合到鞋面。
此外,在使用的底部单元或用于使楦制的鞋面与相应的底部单元(或其表示)相配合的力的量的变化可以在根据本文的系统和方法的一些示例中提供优点。例如,如果第一预定量的力将在使楦制的鞋面结合到相应的底部单元时使用,则更小或更大的第二量的力可以用于将楦制的鞋面保持到相应的底部单元以用于标记咬合线。在包括可压缩的泡沫材料(例如在鞋底夹层中)的底部单元的示例中,在将鞋面配合到底部单元以创建咬合线时使用比在结合处理中使用的少的压力可以允许咬合线容易包围当鞋底结合到楦制的鞋面时将最终被鞋底覆盖的所有的地带。类似地,比实际的底部单元更柔软或更坚硬的有代表性的底部单元可以用于标记界定了大于或小于最终被结合到鞋面的底部单元覆盖的表面区域的地带的咬合线。
根据以上所述,将看到的是,本发明是一个很好的发明,适合于获得在上文结合是明显的并且对结构而言是固有的其它优点阐述的所有结论和目标。
应当理解的是,某些特征和子组合是有用的,并且可以采用而不参考其它特征和子组合。这是可以预期的,并且在权利要求的范围之内。
因为很多可能的实施例可以构成本发明而不脱离其范围,故应当理解的是,本文阐述或在附图中示出的所有的内容将被解释为说明性的且不是限制性的意义。
Claims (21)
1.一种产生用于处理部分装配的鞋类物品的工具轨迹的系统,所述系统包括:
咬合线构件,所述咬合线构件有利于收集咬合线数据,所述咬合线数据涉及咬合线的位置,所述咬合线在鞋面上界定了当装配所述鞋类物品时形成的在所述鞋面和相应的底部单元之间的交界联结点;
三维扫描构件,所述三维扫描构件有利于收集关于当装配所述鞋类物品时待被所述相应的底部单元覆盖的所述鞋面的一部分的至少部分的三维轮廓数据;和
计算系统,所述计算系统被配置成组合所述咬合线数据和所述三维轮廓数据以产生待被所述相应的底部单元覆盖的所述鞋面的所述一部分的表面图,并且被配置成使用组合的咬合线数据和三维轮廓数据来产生用于处理所述鞋面的所述工具轨迹,所产生的工具轨迹被包含在当装配所述鞋类物品时被所述相应的底部单元覆盖的所述鞋面的所述一部分之内并且保持在以所述咬合线为边界的区域之内。
2.根据权利要求1所述的系统,还包括粘合剂施加系统,所述粘合剂施加系统适合于基于所产生的工具轨迹将粘合剂施加到所述鞋面。
3.根据权利要求1所述的系统,其中所述咬合线构件适合于识别用由有条件地可视的标记试剂形成的物理记号标记的所述咬合线。
4.根据权利要求3所述的系统,其中所述有条件地可视的标记试剂是对紫外光光谱起反应的标记试剂和对红外光光谱起反应的标记试剂中的一种。
5.根据权利要求3所述的系统,还包括视觉系统,所述视觉系统使得所述有条件地可视的标记试剂是可视的。
6.根据权利要求5所述的系统,其中所述视觉系统包括:
光源,所述光源以不平行于所标记的咬合线的角度投射结构光横穿所标记的咬合线的至少一部分;
第一摄像机,所述第一摄像机记录表示所述结构光与所标记的咬合线相交处的多个点的第一多个图像;和
第二摄像机,所述第二摄像机记录表示所述结构光与所标记的咬合线相交处的所述多个点的第二多个图像,
其中所述计算系统处理所述第一多个图像和所述第二多个图像以产生所述咬合线数据。
7.根据权利要求6所述的系统,其中所述光源是适合于提供从所述鞋面反射为直线的结构光的激光器。
8.根据权利要求6所述的系统,还包括移动机械装置,所述移动机械装置围绕所述鞋面移动所述视觉系统,同时所述视觉系统记录所述第一多个图像和所述第二多个图像。
9.根据权利要求8所述的系统,其中所述移动机械装置以大体上圆形方式围绕所述鞋面的至少一部分旋转所述视觉系统。
10.根据权利要求8所述的系统,其中所述移动机械装置以大体上椭圆方式围绕所述鞋面的至少一部分旋转所述视觉系统,其中所述鞋面相对于所述视觉系统旋转所经过的椭圆的至少一个焦点定位。
11.根据权利要求1所述的系统,其中所述三维扫描构件包括至少一个摄像机,所述至少一个摄像机记录表示当装配所述鞋类物品时从待被所述相应的底部单元覆盖的所述鞋面的所述一部分的至少部分反射的光的多个图像。
12.根据权利要求11所述的系统,其中所述三维扫描构件包括:
第一摄像机,所述第一摄像机记录表示当装配所述鞋类物品时从待被所述相应的底部单元覆盖的所述鞋面的所述一部分的至少部分反射的光的第一系列图像;和
第二摄像机,所述第二摄像机记录表示当装配所述鞋类物品时从待被所述相应的底部单元覆盖的所述鞋面的所述一部分的至少部分反射的光的第二系列图像,
其中所述计算系统处理至少所述第一系列图像以创建所述鞋面的表面的一部分的x yz信息,所述x y z信息能用于确定所述三维轮廓数据。
13.一种产生用于处理部分装配的鞋类物品的工具轨迹的方法,所述方法包括:
收集咬合线数据,所述咬合线数据界定了当装配所述鞋类物品时待被相应的底部单元覆盖的鞋面的一部分;
收集关于当装配所述鞋类物品时待被所述相应的底部单元覆盖的所述鞋面的所述一部分的至少部分的三维轮廓数据;
组合所述咬合线数据和所述三维轮廓数据,以产生待被相应的底部单元覆盖的所述鞋面的所述一部分的表面图;和
利用组合的咬合线数据和三维轮廓数据产生用于处理所述鞋面的所述工具轨迹,所产生的工具轨迹被包含在当装配所述鞋类物品时待被所述相应的底部单元覆盖的所述鞋面的所述一部分之内并且保持在以所述咬合线为边界的区域之内。
14.根据权利要求13所述的方法,其中收集所述咬合线数据包括:
用预定量的力保持所述鞋面紧贴所述相应的底部单元的表示物,使得所述相应的底部单元的所述表示物覆盖当装配所述鞋类物品时待被所述相应的底部单元覆盖的所述鞋面的所述一部分;
标记所述鞋面和所述相应的底部单元的所述表示物之间的交界线,所述交界线界定所述鞋面的第一部分和第二部分,所述第一部分对应于被所述相应的底部单元的所述表示物覆盖的所述鞋面的所述一部分;和
从所述相应的底部单元的所述表示物移除所述鞋面。
15.根据权利要求14所述的方法,其中标记所述鞋面和所述相应的底部单元的所述表示物之间的所述交界线包括利用有条件地可视的标记试剂来物理标记所述交界线。
16.根据权利要求15所述的方法,其中所述有条件地可视的标记试剂是对紫外光光谱起反应的标记试剂和对红外光光谱起反应的标记试剂中的一种。
17.根据权利要求14所述的方法,其中收集所述咬合线数据包括:
以不平行于所标记的交界线的角度投射光横穿所标记的交界线的至少一部分;
记录表示所述光与所标记的交界线相交处的多个点的第一多个图像;
记录表示所述光与所标记的交界线相交的所述多个点的第二多个图像;和
组合所述第一多个图像和所述第二多个图像以产生所述咬合线数据。
18.根据权利要求13所述的方法,其中收集所述三维轮廓数据包括记录表示从所述鞋面反射的光的至少一个系列图像以创建所述鞋面的所述一部分的所述至少部分的x y z信息,所述x y z信息能用于确定所述三维轮廓数据。
19.一种用于处理鞋类物品的部分装配的部件的系统,所述系统包括:
标记机械装置,所述标记机械装置用于在鞋面上在咬合线处标记物理记号,所述咬合线当装配所述鞋类物品时形成的在所述鞋面上界定所述鞋面和相应的底部单元之间的交界线;
光源,所述光源以不平行于所标记的咬合线的角度投射光横穿所标记的咬合线的至少一部分;
第一摄像机,所述第一摄像机记录表示所述光与所标记的咬合线相交处的多个点和表示当装配所述鞋类物品时从待被所述相应的底部单元覆盖的所述鞋面的一部分的至少部分反射的光的第一系列图像;
第二摄像机,所述第二摄像机记录表示所述光与所标记的咬合线相交处的所述多个点的第二系列图像;和
计算系统,所述计算系统处理所述第一系列图像和所述第二系列图像以产生咬合线数据和三维轮廓数据以产生待被相应的底部单元覆盖的所述鞋面的所述一部分的表面图,并且组合所述咬合线数据和所述三维轮廓数据产生用于处理所述鞋面的工具轨迹,所产生的工具轨迹被包含在当装配所述鞋类物品时被所述相应的底部单元覆盖的所述鞋面的所述一部分之内并且保持在以所标记的咬合线为边界的区域之内。
20.根据权利要求19所述的系统,还包括保持机械装置,所述保持机械装置用于用预定量的力保持所述鞋面紧贴所述相应的底部单元的表示物,使得所述相应的底部单元的所述表示物覆盖当装配所述鞋类物品时待被所述相应的底部单元覆盖的所述鞋面的所述一部分,所述保持机械装置能用于保持所述鞋面,同时所述标记机械装置在所述鞋面上在所述咬合线处标记所述物理记号。
21.根据权利要求19所述的系统,还包括粘合剂施加系统,所述粘合剂施加系统适合于基于所产生的工具轨迹将粘合剂施加到所述鞋面。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210302230.8A CN114916749A (zh) | 2013-11-19 | 2014-11-19 | 用于鞋装配的工具轨迹的产生 |
CN201911142054.0A CN110731580B (zh) | 2013-11-19 | 2014-11-19 | 用于鞋装配的工具轨迹的产生 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/084,365 US10552551B2 (en) | 2011-11-18 | 2013-11-19 | Generation of tool paths for shore assembly |
US14/084,365 | 2013-11-19 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210302230.8A Division CN114916749A (zh) | 2013-11-19 | 2014-11-19 | 用于鞋装配的工具轨迹的产生 |
CN201911142054.0A Division CN110731580B (zh) | 2013-11-19 | 2014-11-19 | 用于鞋装配的工具轨迹的产生 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104643409A CN104643409A (zh) | 2015-05-27 |
CN104643409B true CN104643409B (zh) | 2019-11-19 |
Family
ID=51752196
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210302230.8A Pending CN114916749A (zh) | 2013-11-19 | 2014-11-19 | 用于鞋装配的工具轨迹的产生 |
CN201410663478.2A Active CN104643409B (zh) | 2013-11-19 | 2014-11-19 | 用于鞋装配的工具轨迹的产生 |
CN201911142054.0A Active CN110731580B (zh) | 2013-11-19 | 2014-11-19 | 用于鞋装配的工具轨迹的产生 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210302230.8A Pending CN114916749A (zh) | 2013-11-19 | 2014-11-19 | 用于鞋装配的工具轨迹的产生 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911142054.0A Active CN110731580B (zh) | 2013-11-19 | 2014-11-19 | 用于鞋装配的工具轨迹的产生 |
Country Status (7)
Country | Link |
---|---|
EP (2) | EP3572891B1 (zh) |
KR (3) | KR102032561B1 (zh) |
CN (3) | CN114916749A (zh) |
DE (1) | DE202014010931U1 (zh) |
MX (1) | MX368128B (zh) |
TW (2) | TWI619443B (zh) |
WO (1) | WO2015076947A1 (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10524544B2 (en) | 2014-01-22 | 2020-01-07 | Nike, Inc. | Divergence detection of a shoe bite line |
TWI565429B (zh) * | 2015-12-24 | 2017-01-11 | The positioning method of the front machine | |
CN106920225A (zh) * | 2015-12-24 | 2017-07-04 | 宝成工业股份有限公司 | 前帮机的定位检测方法 |
KR101957026B1 (ko) | 2017-06-22 | 2019-03-12 | 한국로봇융합연구원 | 신발 갑피 가공선 계수화 방법 |
TWI673040B (zh) * | 2017-09-01 | 2019-10-01 | 誠鋒興業股份有限公司 | 鞋面組裝操作之辨識裝置及辨識方法 |
CN109544500A (zh) * | 2017-09-20 | 2019-03-29 | 诚锋兴业股份有限公司 | 鞋面组装操作的辨识装置及辨识方法 |
TWI642902B (zh) * | 2017-11-28 | 2018-12-01 | 寶成工業股份有限公司 | 鞋面打粗的視覺檢測裝置 |
TWI741174B (zh) * | 2018-04-19 | 2021-10-01 | 蔡垂典 | 一種中底具有開合部件的鞋類製品及其製造方法 |
TWI721426B (zh) | 2018-05-31 | 2021-03-11 | 荷蘭商耐克創新有限合夥公司 | 組裝鞋幫與鞋底單元的方法與在鞋幫上自動地標繪咬合線的方法及設備 |
TWI670467B (zh) * | 2018-10-15 | 2019-09-01 | 立普思股份有限公司 | 使用深度影像偵測的加工方法 |
TWI687649B (zh) * | 2018-11-14 | 2020-03-11 | 誠鋒興業股份有限公司 | 鞋面檢測裝置,及其鞋面檢測方法 |
KR102109699B1 (ko) * | 2018-11-21 | 2020-05-29 | 한국로봇융합연구원 | 신발 갑피의 접착제 도포를 위한 로봇 제어장치 및 방법 |
JP7220554B2 (ja) * | 2018-12-04 | 2023-02-10 | 東京エレクトロン株式会社 | プローブ装置、及び、プローブ装置の調整方法 |
TWI712988B (zh) | 2019-01-23 | 2020-12-11 | 愛柏威股份有限公司 | 產生接合線資料的方法及接合線資料產生系統 |
US11819090B2 (en) * | 2019-09-16 | 2023-11-21 | Nike, Inc. | Buffing system for footwear |
KR102224944B1 (ko) * | 2019-12-11 | 2021-03-05 | 하동근 | 신발 갑피 버핑경로 생성방법 |
TWI813927B (zh) * | 2020-01-06 | 2023-09-01 | 荷蘭商耐克創新有限合夥公司 | 用於鞋類部件製品的噴塗系統與方法 |
TWI748350B (zh) * | 2020-02-20 | 2021-12-01 | 所羅門股份有限公司 | 尺寸檢測方法及系統 |
CN111513428A (zh) * | 2020-06-03 | 2020-08-11 | 福建省华宝智能科技有限公司 | 一种针对鞋底和鞋面扫描作业的机器人三维视觉系统及方法 |
CN111702772B (zh) * | 2020-06-04 | 2022-07-12 | 浙江和生荣智能科技有限公司 | 一种帮面自动引导涂胶方法及系统 |
CN112056699B (zh) * | 2020-09-21 | 2024-06-11 | 航天晨光股份有限公司 | 一种鞋面机器人喷胶装置及喷胶监测方法 |
CN112862704B (zh) * | 2021-01-22 | 2023-08-11 | 北京科技大学 | 一种基于3d视觉的喷胶及喷胶质量检测系统 |
CN113197395B (zh) * | 2021-04-30 | 2022-03-11 | 泉州华中科技大学智能制造研究院 | 一种鞋面自动成型生产方法及生产线 |
CN113446961A (zh) * | 2021-07-03 | 2021-09-28 | 詹镇远 | 一种视觉扫描三维粘合面确定加工轨迹的方法和设备 |
CN113393537A (zh) * | 2021-07-12 | 2021-09-14 | 东莞市李群自动化技术有限公司 | 涂胶方法、装置、设备和存储介质 |
CN115886404B (zh) * | 2022-12-12 | 2024-06-25 | 湖南日虹科技有限公司 | 一种鞋底上胶工艺及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4996012A (en) * | 1988-05-04 | 1991-02-26 | Klockner Ferromatik Desma Gmbh | Process and system for molding soles on to shoe uppers |
EP0572123A2 (en) * | 1992-05-02 | 1993-12-01 | British United Shoe Machinery Limited | Apparatus for digitising a surface portion of a three dimensional article |
DE10343620A1 (de) * | 2003-09-20 | 2005-04-28 | Leibrock Maschinenfabrik Im Un | Verfahren und Vorrichtung zum Erfassen der zum Rauen bestimmten Seitenbereiche von auf Leisten aufgebrachten Schuhschäften |
CN101161151A (zh) * | 2007-11-08 | 2008-04-16 | 浙江理工大学 | 基于线结构光传感器自动生成鞋底喷胶轨迹的方法及系统 |
CN201349600Y (zh) * | 2007-09-14 | 2009-11-25 | 耐克国际有限公司 | 用于生成三维设计鞋楦的系统 |
CN102076269A (zh) * | 2008-05-16 | 2011-05-25 | 血管技术药物公司 | 编码的异功能缝线和方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB699299A (en) * | 1950-10-07 | 1953-11-04 | British United Shoe Machinery | Improvements in or relating to the marking of shoe parts |
US6618155B2 (en) * | 2000-08-23 | 2003-09-09 | Lmi Technologies Inc. | Method and apparatus for scanning lumber and other objects |
CN2877375Y (zh) * | 2005-09-30 | 2007-03-14 | 吴坚守 | 一种制鞋用划线机 |
FR2911255B1 (fr) * | 2007-01-15 | 2009-07-03 | Marquet Et Cie Soc Par Actions | Procede et dispositif pour encoller la surface d'une semelle d'un article chaussant |
JP2010232454A (ja) * | 2009-03-27 | 2010-10-14 | Fujifilm Corp | 基板とその位置決め方法、光電変換素子とその製造方法及び製造装置、及び太陽電池 |
US8595878B2 (en) * | 2010-08-02 | 2013-12-03 | Nike, Inc. | Method of lasting an article of footwear |
US8849620B2 (en) * | 2011-11-18 | 2014-09-30 | Nike, Inc. | Automated 3-D modeling of shoe parts |
-
2014
- 2014-09-30 TW TW103133927A patent/TWI619443B/zh active
- 2014-09-30 TW TW106112278A patent/TWI632876B/zh active
- 2014-10-09 WO PCT/US2014/059929 patent/WO2015076947A1/en active Application Filing
- 2014-10-09 KR KR1020197002379A patent/KR102032561B1/ko active IP Right Grant
- 2014-10-09 KR KR1020197029674A patent/KR102207239B1/ko active IP Right Grant
- 2014-10-09 KR KR1020167016266A patent/KR20160087873A/ko active Search and Examination
- 2014-10-09 MX MX2016006444A patent/MX368128B/es active IP Right Grant
- 2014-10-09 EP EP19185101.3A patent/EP3572891B1/en active Active
- 2014-10-09 EP EP14786585.1A patent/EP3042255B1/en active Active
- 2014-10-09 DE DE202014010931.1U patent/DE202014010931U1/de active Active
- 2014-11-19 CN CN202210302230.8A patent/CN114916749A/zh active Pending
- 2014-11-19 CN CN201410663478.2A patent/CN104643409B/zh active Active
- 2014-11-19 CN CN201911142054.0A patent/CN110731580B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4996012A (en) * | 1988-05-04 | 1991-02-26 | Klockner Ferromatik Desma Gmbh | Process and system for molding soles on to shoe uppers |
EP0572123A2 (en) * | 1992-05-02 | 1993-12-01 | British United Shoe Machinery Limited | Apparatus for digitising a surface portion of a three dimensional article |
DE10343620A1 (de) * | 2003-09-20 | 2005-04-28 | Leibrock Maschinenfabrik Im Un | Verfahren und Vorrichtung zum Erfassen der zum Rauen bestimmten Seitenbereiche von auf Leisten aufgebrachten Schuhschäften |
CN201349600Y (zh) * | 2007-09-14 | 2009-11-25 | 耐克国际有限公司 | 用于生成三维设计鞋楦的系统 |
CN101161151A (zh) * | 2007-11-08 | 2008-04-16 | 浙江理工大学 | 基于线结构光传感器自动生成鞋底喷胶轨迹的方法及系统 |
CN102076269A (zh) * | 2008-05-16 | 2011-05-25 | 血管技术药物公司 | 编码的异功能缝线和方法 |
Non-Patent Citations (1)
Title |
---|
Detection of 3D Curve for Shoe Sole Spraying Based on Laser Triangulation Measurement;Yuzhen Jin etc;《Proceedings of the IEEE International Conference on Automation and Logistics Shenyang, China August 2009》;20090831;第866页、第868页,图2、图10 * |
Also Published As
Publication number | Publication date |
---|---|
DE202014010931U1 (de) | 2017-01-20 |
WO2015076947A1 (en) | 2015-05-28 |
KR102207239B1 (ko) | 2021-01-25 |
TW201519817A (zh) | 2015-06-01 |
CN110731580B (zh) | 2022-03-25 |
MX2016006444A (es) | 2016-07-19 |
EP3572891B1 (en) | 2023-04-19 |
CN110731580A (zh) | 2020-01-31 |
KR20190117820A (ko) | 2019-10-16 |
TWI619443B (zh) | 2018-04-01 |
CN104643409A (zh) | 2015-05-27 |
KR102032561B1 (ko) | 2019-10-15 |
TWI632876B (zh) | 2018-08-21 |
KR20190011331A (ko) | 2019-02-01 |
EP3042255A1 (en) | 2016-07-13 |
KR20160087873A (ko) | 2016-07-22 |
TW201724986A (zh) | 2017-07-16 |
EP3042255B1 (en) | 2019-07-17 |
MX368128B (es) | 2019-09-19 |
EP3572891A1 (en) | 2019-11-27 |
CN114916749A (zh) | 2022-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104643409B (zh) | 用于鞋装配的工具轨迹的产生 | |
US11341291B2 (en) | Generation of tool paths for shoe assembly | |
CN204336005U (zh) | 用于创建与鞋类物品有关的虚拟咬合线的系统 | |
US20150042755A1 (en) | Method for instructing a 3dprinting system comprising a 3d printer and 3d printing system | |
KR102030997B1 (ko) | 계측용 마커 및 계측용 마커를 이용한 이동체의 거동 계측 방법 | |
KR20200100595A (ko) | 구강내 표면 스캐닝을 위한 스텐실 | |
JP2013156979A (ja) | 起伏投影面に画像を投影するシステムの設定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |