CN115877808B - 用于薄片工件加工的工业物联网及控制方法 - Google Patents
用于薄片工件加工的工业物联网及控制方法 Download PDFInfo
- Publication number
- CN115877808B CN115877808B CN202310044323.XA CN202310044323A CN115877808B CN 115877808 B CN115877808 B CN 115877808B CN 202310044323 A CN202310044323 A CN 202310044323A CN 115877808 B CN115877808 B CN 115877808B
- Authority
- CN
- China
- Prior art keywords
- target image
- inclination
- sharpness
- data
- sheet workpiece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012937 correction Methods 0.000 claims abstract description 82
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000004519 manufacturing process Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000006855 networking Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Paper (AREA)
- Numerical Control (AREA)
- General Factory Administration (AREA)
Abstract
本发明公开了用于薄片工件加工的工业物联网及控制方法，其中所述控制方法包括生成锐度矩阵，并根据锐度矩阵计算倾斜数据；通过倾斜修正模型计算第二目标图像；生成水平调整数据和旋转调整数据，并计算倾斜调整数据；将水平调整数据、旋转调整数据和倾斜调整数据发送至承载机构进行调整。本发明通过对目标薄片工件的一次拍摄，即可获得完成对目标薄片工件的倾斜调整、旋转调整和水平调整，一方面有效的提高了薄片工件后续的加工精度，另一方面可以简化调整工艺，提高对目标薄片工件的承载机构的调整效率。
Description
技术领域
本发明涉及智能制造工业物联网技术，具体涉及用于薄片工件加工的工业物联网及控制方法。
背景技术
薄片工件是工业制造中常见的待加工器件，例如LED面板、晶圆片、摩擦片、飞片等，其往往对加工精度要求较高；为了提高薄片工件的加工精度，需要提高薄片工件在加工前的识别精度。但是由于薄片工件的抓取过程主要采用吸盘机械手进行，吸盘控制很容易受厂房环境影响，所以容易产生抓取误差。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的在于提供用于薄片工件加工的工业物联网及控制方法。
第一方面，本申请实施例提供了用于薄片工件加工的工业物联网，包括依次连接的服务平台、管理平台和传感网络平台，所述管理平台包括：
获取单元，被配置为通过所述传感网络平台获取生产线上的第一目标图像；所述第一目标图像为固定焦距条件下目标薄片工件的图像；
生成单元，被配置为对所述第一目标图像进行锐度分析生成锐度矩阵，并根据所述锐度矩阵计算所述目标薄片工件的倾斜方向和倾斜角度作为倾斜数据；
修正单元，被配置为将所述倾斜数据和所述第一目标图像输入倾斜修正模型，并接收所述倾斜修正模型输出的第二目标图像；所述第二目标图像为所述目标薄片工件在完全水平情况下的图像；
校准单元，被配置为对所述第二目标图像进行校准识别，生成对应第二目标图像的水平调整数据和旋转调整数据，并根据所述倾斜数据计算倾斜调整数据；
调整单元，被配置为将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述传感网络平台发送至生产线对所述目标薄片工件的承载机构进行调整；
通信单元，被配置为将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述服务平台发送至用户平台向用户展示。
现有技术中，薄片工件一般是通过吸盘机械手抓取，并放置在加工平台上进行加工，加工平台往往也采用吸盘进行吸取固定薄片工件，这就使得在吸盘控制不够准确的情况下，薄片工件容易出现倾斜、偏移等情况，需要进薄片工件的对位。
本申请实施例实施时，采用了通过一台固定焦距的相机对薄片工件拍摄就完成薄片工件的对位方案。不同于现有技术中的机器视觉相机自动调焦，本申请实施例中的第一目标图像是通过具有固定焦距的相机对薄片工件进行拍摄的，由于焦距固定，所以当薄片工件不够平整时，薄片工件不同区域的成像效果是存在差异的，并且这个差异是可以预期的。对第一目标图像进行锐度分析生成锐度矩阵可以采用现有技术的各种方式进行，如10/90上升距离法和频域法等等，由于锐度计算的特殊性，锐度矩阵并不是像素矩阵，而是将第一目标图像划分为多个规整的区域后对每个区域进行锐度计算。通过锐度矩阵可以计算出目标薄片工件倾斜的方向和倾斜的角度。
在本申请实施例中，为了减少相机拍照次数，通过倾斜数据对第一目标图像进行修正，修正为当前目标薄片工件在完全水平情况下的图像，其修正过程主要通过倾斜修正模型实现，倾斜修正模型可以包括神经网络模型等可以用于进行决策的决策模型，由决策模型根据倾斜数据生成图像处理的决策方案，再由图像处理模型对第一目标图像进行处理。
在本申请实施例中，由于第二目标图像已经完成了倾斜度修正，通过第二目标图像进行目标薄片工件的水平调整和旋转调整会更加准确。在将水平调整数据、旋转调整数据和倾斜调整数据下发到对应的承载机构上进行调整时，应该先调整倾斜角度，再调整旋转角度，最后调整水平角度，以保证调整的精确性。本申请实施例通过对目标薄片工件的一次拍摄，即可获得完成对目标薄片工件的倾斜调整、旋转调整和水平调整，一方面有效的提高了薄片工件后续的加工精度，另一方面可以简化调整工艺，提高对目标薄片工件的承载机构的调整效率。
在一种可能的实现方式中，所述生成单元还被配置为：
在所述锐度矩阵中搜索锐度低于标准值且锐度相同的锐度元素作为同向锐度元素；
将所述同向锐度元素在所述第一目标图像中连成直线，并根据该直线计算所述倾斜方向。
在一种可能的实现方式中，所述生成单元还被配置为：
获取多组同向锐度元素所述第一目标图像中连成的多条直线，并根据多条直线之间的位置关系和所述倾斜方向计算所述倾斜角度。
在一种可能的实现方式中，所述修正单元还被配置为：
将所述倾斜数据和所述第一目标图像输入倾斜修正模型时，所述倾斜修正模型根据所述倾斜方向确定修正方向，并根据所述倾斜角度确定修正梯度；
所述倾斜修正模型根据所述修正方向对所述第一目标图像进行对应所述修正梯度的拉伸处理至所述第二目标图像。
在一种可能的实现方式中，所述校准单元还被配置为：
从所述第二目标图像中识别出第一特征点和第二特征点；所述第一特征点对应所述目标薄片工件的一个标识点或标识区域；所述第二特征点对应所述目标薄片工件的另一个标识点或标识区域；
建立所述第一特征点和所述第二特征点之间的连线作为校准连线；
计算所述校准连线与标准模板中标准连线的夹角作为所述旋转调整数据；所述标准模板为所述目标薄片工件处于加工的标准位置时的图像；所述标准连线为所述标准模板中第一特征点和第二特征点的连线；
计算所述校准连线的中点和所述标准连线的中点在标准水平坐标系中横轴和纵轴的差异作为所述水平调整数据；所述标准水平坐标系为所述标准模板中在水平面中建立的直角坐标系。
在一种可能的实现方式中，所述服务平台包括服务总平台和至少两个服务分平台，不同的所述服务分平台用于接收管理平台所传输的不同类型的数据；所述服务总平台汇总所有所述服务分平台采集的数据并发送至用户平台向用户展示；
所述管理平台包括多个相互独立的管理分平台，获取单元、生成单元、修正单元、校准单元、调整单元和通信单元被配置于同一个所述管理分平台；
所述传感网络平台包括传感网络总平台和至少两个传感网络分平台，所述传感网络总平台接收生产线上所有的生产数据，所述传感网络分平台将不同类型的生产数据分别发送至管理平台。
第二方面，本申请实施例提供了用于薄片工件加工的工业物联网控制方法，所述控制方法由所述管理平台执行，所述控制方法包括：
通过所述传感网络平台获取生产线上的第一目标图像；所述第一目标图像为固定焦距条件下目标薄片工件的图像；
对所述第一目标图像进行锐度分析生成锐度矩阵，并根据所述锐度矩阵计算所述目标薄片工件的倾斜方向和倾斜角度作为倾斜数据；
将所述倾斜数据和所述第一目标图像输入倾斜修正模型，并接收所述倾斜修正模型输出的第二目标图像；所述第二目标图像为所述目标薄片工件在完全水平情况下的图像；
对所述第二目标图像进行校准识别，生成对应第二目标图像的水平调整数据和旋转调整数据，并根据所述倾斜数据计算倾斜调整数据；
将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述传感网络平台发送至生产线对所述目标薄片工件的承载机构进行调整；
将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述服务平台发送至用户平台向用户展示。
在一种可能的实现方式中，根据所述锐度矩阵计算所述目标薄片工件的倾斜方向和倾斜角度作为倾斜数据包括：
在所述锐度矩阵中搜索锐度低于标准值且锐度相同的锐度元素作为同向锐度元素；
将所述同向锐度元素在所述第一目标图像中连成直线，并根据该直线计算所述倾斜方向；
获取多组同向锐度元素所述第一目标图像中连成的多条直线，并根据多条直线之间的位置关系和所述倾斜方向计算所述倾斜角度。
在一种可能的实现方式中，将所述倾斜数据和所述第一目标图像输入倾斜修正模型，并接收所述倾斜修正模型输出的第二目标图像包括：
将所述倾斜数据和所述第一目标图像输入倾斜修正模型时，所述倾斜修正模型根据所述倾斜方向确定修正方向，并根据所述倾斜角度确定修正梯度；
所述倾斜修正模型根据所述修正方向对所述第一目标图像进行对应所述修正梯度的拉伸处理至所述第二目标图像。
在一种可能的实现方式中，对所述第二目标图像进行校准识别，生成对应第二目标图像的水平调整数据和旋转调整数据包括：
从所述第二目标图像中识别出第一特征点和第二特征点；所述第一特征点对应所述目标薄片工件的一个标识点或标识区域；所述第二特征点对应所述目标薄片工件的另一个标识点或标识区域；
建立所述第一特征点和所述第二特征点之间的连线作为校准连线；
计算所述校准连线与标准模板中标准连线的夹角作为所述旋转调整数据；所述标准模板为所述目标薄片工件处于加工的标准位置时的图像；所述标准连线为所述标准模板中第一特征点和第二特征点的连线；
计算所述校准连线的中点和所述标准连线的中点在标准水平坐标系中横轴和纵轴的差异作为所述水平调整数据；所述标准水平坐标系为所述标准模板中在水平面中建立的直角坐标系。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明用于薄片工件加工的工业物联网及控制方法，通过对目标薄片工件的一次拍摄，即可获得完成对目标薄片工件的倾斜调整、旋转调整和水平调整，一方面有效的提高了薄片工件后续的加工精度，另一方面可以简化调整工艺，提高对目标薄片工件的承载机构的调整效率。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本申请实施例系统结构示意图；
图2为本申请实施例方法步骤流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
为了便于对上述的用于薄片工件加工的工业物联网进行阐述，请结合参考图1，提供了本发明实施例所公开的用于薄片工件加工的工业物联网的通信架构示意图。其中，包括依次连接的用户平台、服务平台、管理平台、传感网络平台及对象平台，对象平台被配置为摄像设备，如具有固定焦距的相机，所述管理平台包括：
获取单元，被配置为通过所述传感网络平台获取生产线上的第一目标图像；所述第一目标图像为固定焦距条件下目标薄片工件的图像；
生成单元，被配置为对所述第一目标图像进行锐度分析生成锐度矩阵，并根据所述锐度矩阵计算所述目标薄片工件的倾斜方向和倾斜角度作为倾斜数据；
修正单元，被配置为将所述倾斜数据和所述第一目标图像输入倾斜修正模型，并接收所述倾斜修正模型输出的第二目标图像；所述第二目标图像为所述目标薄片工件在完全水平情况下的图像；
校准单元，被配置为对所述第二目标图像进行校准识别，生成对应第二目标图像的水平调整数据和旋转调整数据，并根据所述倾斜数据计算倾斜调整数据；
调整单元，被配置为将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述传感网络平台发送至生产线对所述目标薄片工件的承载机构进行调整；
通信单元，被配置为将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述服务平台发送至用户平台向用户展示。
现有技术中，薄片工件一般是通过吸盘机械手抓取，并放置在加工平台上进行加工，加工平台往往也采用吸盘进行吸取固定薄片工件，这就使得在吸盘控制不够准确的情况下，薄片工件容易出现倾斜、偏移等情况，需要进薄片工件的对位。
本申请实施例实施时，采用了通过一台固定焦距的相机对薄片工件拍摄就完成薄片工件的对位方案。不同于现有技术中的机器视觉相机自动调焦，本申请实施例中的第一目标图像是通过具有固定焦距的相机对薄片工件进行拍摄的，由于焦距固定，所以当薄片工件不够平整时，薄片工件不同区域的成像效果是存在差异的，并且这个差异是可以预期的。对第一目标图像进行锐度分析生成锐度矩阵可以采用现有技术的各种方式进行，如10/90上升距离法和频域法等等，由于锐度计算的特殊性，锐度矩阵并不是像素矩阵，而是将第一目标图像划分为多个规整的区域后对每个区域进行锐度计算。通过锐度矩阵可以计算出目标薄片工件倾斜的方向和倾斜的角度。
在本申请实施例中，为了减少相机拍照次数，通过倾斜数据对第一目标图像进行修正，修正为当前目标薄片工件在完全水平情况下的图像，其修正过程主要通过倾斜修正模型实现，倾斜修正模型可以包括神经网络模型等可以用于进行决策的决策模型，由决策模型根据倾斜数据生成图像处理的决策方案，再由图像处理模型对第一目标图像进行处理。
在本申请实施例中，由于第二目标图像已经完成了倾斜度修正，通过第二目标图像进行目标薄片工件的水平调整和旋转调整会更加准确。在将水平调整数据、旋转调整数据和倾斜调整数据下发到对应的承载机构上进行调整时，可以先调整倾斜角度，再调整旋转角度，最后调整水平角度，以保证调整的精确性。本申请实施例通过对目标薄片工件的一次拍摄，即可获得完成对目标薄片工件的倾斜调整、旋转调整和水平调整，一方面有效的提高了薄片工件后续的加工精度，另一方面可以简化调整工艺，提高对目标薄片工件的承载机构的调整效率。
在一种可能的实现方式中，所述生成单元还被配置为：
在所述锐度矩阵中搜索锐度低于标准值且锐度相同的锐度元素作为同向锐度元素；
将所述同向锐度元素在所述第一目标图像中连成直线，并根据该直线计算所述倾斜方向。
本申请实施例实施时，通过锐度矩阵计算倾斜方向同样可以通过训练好的锐度识别模型进行实现，其具体的计算内容包括找出锐度相同的锐度元素，其中锐度元素是指锐度矩阵中的元素，同时，锐度识别模型还需要识别并将同向锐度元素连成直线，由于在一张第一目标图像中对应相同的锐度可能会出现在旋转轴两侧，所以还需要在识别后将旋转轴两侧的同向锐度元素分布连成两条相互平行的直线。根据上述的这些生成的直线，既可计算出倾斜方向，一般方向为这些直线的垂直方向。
在一种可能的实现方式中，所述生成单元还被配置为：
获取多组同向锐度元素所述第一目标图像中连成的多条直线，并根据多条直线之间的位置关系和所述倾斜方向计算所述倾斜角度。
本申请实施例实施时，在上述实施例的基础上，可以计算多条直线之间的距离以及产生的锐度变化梯度，从而计算倾斜角度。具体的，可以采用锐度识别模型进行实现，通过锐度变化梯度与预设的梯度变化表进行比对，计算倾斜角度，其中梯度变化表为倾斜角度和锐度变化梯度的对应关系，其可以是拟合后的表也可以是点阵表，如果为点阵表，则需要通过插值计算倾斜角度。
在一种可能的实现方式中，所述修正单元还被配置为：
将所述倾斜数据和所述第一目标图像输入倾斜修正模型时，所述倾斜修正模型根据所述倾斜方向确定修正方向，并根据所述倾斜角度确定修正梯度；
所述倾斜修正模型根据所述修正方向对所述第一目标图像进行对应所述修正梯度的拉伸处理至所述第二目标图像。
本申请实施例实施时，为了减少对目标薄片工件的二次拍照，采用对第一目标图像进行修正的方式进行后续的调节处理，其主要的修正方式为采用倾斜修正模型进行处理，其中处理方式为根据修正方向和修正梯度进行图像拉伸，还包括对拉伸后的图像进行失真修复。
在一种可能的实现方式中，所述校准单元还被配置为：
从所述第二目标图像中识别出第一特征点和第二特征点；所述第一特征点对应所述目标薄片工件的一个标识点或标识区域；所述第二特征点对应所述目标薄片工件的另一个标识点或标识区域；
建立所述第一特征点和所述第二特征点之间的连线作为校准连线；
计算所述校准连线与标准模板中标准连线的夹角作为所述旋转调整数据；所述标准模板为所述目标薄片工件处于加工的标准位置时的图像；所述标准连线为所述标准模板中第一特征点和第二特征点的连线；
计算所述校准连线的中点和所述标准连线的中点在标准水平坐标系中横轴和纵轴的差异作为所述水平调整数据；所述标准水平坐标系为所述标准模板中在水平面中建立的直角坐标系。
本申请实施例实施时，采用一种通过两个特征点进行旋转调整和水平位移调整的方案，其中特征点为目标薄片工件上的一个特征，包括但不限于零件、螺丝、标识等等，通过两个特征点之间产生的连线可以计算出需要旋转调整的角度，由于这种方案不需要对特征点进行非常精致的识别，所以可以降低精确的模板匹配所产生的计算量。同样的，通过校准连线的中点的位移偏差可以计算出需要进行水平位移调整的量。其中水平调整数据是指在标准水平坐标系中横向移动或者竖向移动的调整数据。
在一种可能的实现方式中，所述服务平台包括服务总平台和至少两个服务分平台，不同的所述服务分平台用于接收管理平台所传输的不同类型的数据；所述服务总平台汇总所有所述服务分平台采集的数据并发送至用户平台向用户展示；
所述管理平台包括多个相互独立的管理分平台，获取单元、生成单元、修正单元、校准单元、调整单元和通信单元被配置于同一个所述管理分平台；
所述传感网络平台包括传感网络总平台和至少两个传感网络分平台，所述传感网络总平台接收生产线上所有的生产数据，所述传感网络分平台将不同类型的生产数据分别发送至管理平台。
本申请实施例实施时，多个服务分平台分别从管理平台获取水平调整数据、旋转调整数据和倾斜调整数据中的一项，并由服务总平台汇总后发送到用户平台展示。传感网络总平台获取生产线上所有目标薄片工件的第一目标图像，多个传感网络分平台从传感网络总平台获取不同目标薄片工件的第一目标图像，分别发送至管理平台。在上述基础上，请结合参阅图2，为本申请实施例所提供的用于薄片工件加工的工业物联网控制方法的流程示意图，所述用于薄片工件加工的工业物联网控制方法可以应用于图1中的用于薄片工件加工的工业物联网，进一步地，所述用于薄片工件加工的工业物联网控制方法由所述管理平台执行，具体可以包括以下步骤S1-步骤S5所描述的内容。
S1：通过所述传感网络平台获取生产线上的第一目标图像；所述第一目标图像为固定焦距条件下目标薄片工件的图像；
S2：对所述第一目标图像进行锐度分析生成锐度矩阵，并根据所述锐度矩阵计算所述目标薄片工件的倾斜方向和倾斜角度作为倾斜数据；
S3：将所述倾斜数据和所述第一目标图像输入倾斜修正模型，并接收所述倾斜修正模型输出的第二目标图像；所述第二目标图像为所述目标薄片工件在完全水平情况下的图像；
S4：对所述第二目标图像进行校准识别，生成对应第二目标图像的水平调整数据和旋转调整数据，并根据所述倾斜数据计算倾斜调整数据；
S5：将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述传感网络平台发送至生产线对所述目标薄片工件的承载机构进行调整；
S6：将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述服务平台发送至用户平台向用户展示。
在一种可能的实现方式中，根据所述锐度矩阵计算所述目标薄片工件的倾斜方向和倾斜角度作为倾斜数据包括：
在所述锐度矩阵中搜索锐度低于标准值且锐度相同的锐度元素作为同向锐度元素；
将所述同向锐度元素在所述第一目标图像中连成直线，并根据该直线计算所述倾斜方向；
获取多组同向锐度元素所述第一目标图像中连成的多条直线，并根据多条直线之间的位置关系和所述倾斜方向计算所述倾斜角度。
在一种可能的实现方式中，将所述倾斜数据和所述第一目标图像输入倾斜修正模型，并接收所述倾斜修正模型输出的第二目标图像包括：
将所述倾斜数据和所述第一目标图像输入倾斜修正模型时，所述倾斜修正模型根据所述倾斜方向确定修正方向，并根据所述倾斜角度确定修正梯度；
所述倾斜修正模型根据所述修正方向对所述第一目标图像进行对应所述修正梯度的拉伸处理至所述第二目标图像。
在一种可能的实现方式中，对所述第二目标图像进行校准识别，生成对应第二目标图像的水平调整数据和旋转调整数据包括：
从所述第二目标图像中识别出第一特征点和第二特征点；所述第一特征点对应所述目标薄片工件的一个标识点或标识区域；所述第二特征点对应所述目标薄片工件的另一个标识点或标识区域；
建立所述第一特征点和所述第二特征点之间的连线作为校准连线；
计算所述校准连线与标准模板中标准连线的夹角作为所述旋转调整数据；所述标准模板为所述目标薄片工件处于加工的标准位置时的图像；所述标准连线为所述标准模板中第一特征点和第二特征点的连线；
计算所述校准连线的中点和所述标准连线的中点在标准水平坐标系中横轴和纵轴的差异作为所述水平调整数据；所述标准水平坐标系为所述标准模板中在水平面中建立的直角坐标系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显然本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.用于薄片工件加工的工业物联网，包括依次连接的服务平台、管理平台和传感网络平台，其特征在于，所述管理平台包括：
获取单元，被配置为通过所述传感网络平台获取生产线上的第一目标图像；所述第一目标图像为固定焦距条件下目标薄片工件的图像；
生成单元，被配置为对所述第一目标图像进行锐度分析生成锐度矩阵，并根据所述锐度矩阵计算所述目标薄片工件的倾斜方向和倾斜角度作为倾斜数据；
修正单元，被配置为将所述倾斜数据和所述第一目标图像输入倾斜修正模型，并接收所述倾斜修正模型输出的第二目标图像；所述第二目标图像为所述目标薄片工件在完全水平情况下的图像；
校准单元，被配置为对所述第二目标图像进行校准识别，生成对应第二目标图像的水平调整数据和旋转调整数据，并根据所述倾斜数据计算倾斜调整数据；
调整单元，被配置为将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述传感网络平台发送至生产线对所述目标薄片工件的承载机构进行调整；
通信单元，被配置为将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述服务平台发送至用户平台向用户展示；
所述生成单元还被配置为：
在所述锐度矩阵中搜索锐度低于标准值且锐度相同的锐度元素作为同向锐度元素；
将所述同向锐度元素在所述第一目标图像中连成直线，并根据该直线计算所述倾斜方向；
所述生成单元还被配置为：
获取多组同向锐度元素所述第一目标图像中连成的多条直线，并根据多条直线之间的位置关系和所述倾斜方向计算所述倾斜角度。
2.根据权利要求1所述的用于薄片工件加工的工业物联网，其特征在于，所述修正单元还被配置为：
将所述倾斜数据和所述第一目标图像输入倾斜修正模型时，所述倾斜修正模型根据所述倾斜方向确定修正方向，并根据所述倾斜角度确定修正梯度；
所述倾斜修正模型根据所述修正方向对所述第一目标图像进行对应所述修正梯度的拉伸处理至所述第二目标图像。
3.根据权利要求1所述的用于薄片工件加工的工业物联网，其特征在于，所述校准单元还被配置为：
从所述第二目标图像中识别出第一特征点和第二特征点；所述第一特征点对应所述目标薄片工件的一个标识点或标识区域；所述第二特征点对应所述目标薄片工件的另一个标识点或标识区域；
建立所述第一特征点和所述第二特征点之间的连线作为校准连线；
计算所述校准连线与标准模板中标准连线的夹角作为所述旋转调整数据；所述标准模板为所述目标薄片工件处于加工的标准位置时的图像；所述标准连线为所述标准模板中第一特征点和第二特征点的连线；
计算所述校准连线的中点和所述标准连线的中点在标准水平坐标系中横轴和纵轴的差异作为所述水平调整数据；所述标准水平坐标系为所述标准模板中在水平面中建立的直角坐标系。
4.根据权利要求1~3任意一项所述的用于薄片工件加工的工业物联网，其特征在于，所述服务平台包括服务总平台和至少两个服务分平台，不同的所述服务分平台用于接收管理平台所传输的不同类型的数据；所述服务总平台汇总所有所述服务分平台采集的数据并发送至用户平台向用户展示；
所述管理平台包括多个相互独立的管理分平台，获取单元、生成单元、修正单元、校准单元、调整单元和通信单元被配置于同一个所述管理分平台；
所述传感网络平台包括传感网络总平台和至少两个传感网络分平台，所述传感网络总平台接收生产线上所有的生产数据，所述传感网络分平台将不同类型的生产数据分别发送至管理平台。
5.应用于权利要求1~4中任意一项所述工业物联网的用于薄片工件加工的工业物联网控制方法，其特征在于，所述控制方法由所述管理平台执行，所述控制方法包括：
通过所述传感网络平台获取生产线上的第一目标图像；所述第一目标图像为固定焦距条件下目标薄片工件的图像；
对所述第一目标图像进行锐度分析生成锐度矩阵，并根据所述锐度矩阵计算所述目标薄片工件的倾斜方向和倾斜角度作为倾斜数据；
将所述倾斜数据和所述第一目标图像输入倾斜修正模型，并接收所述倾斜修正模型输出的第二目标图像；所述第二目标图像为所述目标薄片工件在完全水平情况下的图像；
对所述第二目标图像进行校准识别，生成对应第二目标图像的水平调整数据和旋转调整数据，并根据所述倾斜数据计算倾斜调整数据；
将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述传感网络平台发送至生产线对所述目标薄片工件的承载机构进行调整；
将所述水平调整数据、所述旋转调整数据和所述倾斜调整数据通过所述服务平台发送至用户平台向用户展示。
6.根据权利要求5所述的用于薄片工件加工的工业物联网控制方法，其特征在于，根据所述锐度矩阵计算所述目标薄片工件的倾斜方向和倾斜角度作为倾斜数据包括：
在所述锐度矩阵中搜索锐度低于标准值且锐度相同的锐度元素作为同向锐度元素；
将所述同向锐度元素在所述第一目标图像中连成直线，并根据该直线计算所述倾斜方向；
获取多组同向锐度元素所述第一目标图像中连成的多条直线，并根据多条直线之间的位置关系和所述倾斜方向计算所述倾斜角度。
7.根据权利要求5所述的用于薄片工件加工的工业物联网控制方法，其特征在于，将所述倾斜数据和所述第一目标图像输入倾斜修正模型，并接收所述倾斜修正模型输出的第二目标图像包括：
将所述倾斜数据和所述第一目标图像输入倾斜修正模型时，所述倾斜修正模型根据所述倾斜方向确定修正方向，并根据所述倾斜角度确定修正梯度；
所述倾斜修正模型根据所述修正方向对所述第一目标图像进行对应所述修正梯度的拉伸处理至所述第二目标图像。
8.根据权利要求5所述的用于薄片工件加工的工业物联网控制方法，其特征在于，对所述第二目标图像进行校准识别，生成对应第二目标图像的水平调整数据和旋转调整数据包括：
从所述第二目标图像中识别出第一特征点和第二特征点；所述第一特征点对应所述目标薄片工件的一个标识点或标识区域；所述第二特征点对应所述目标薄片工件的另一个标识点或标识区域；
建立所述第一特征点和所述第二特征点之间的连线作为校准连线；
计算所述校准连线与标准模板中标准连线的夹角作为所述旋转调整数据；所述标准模板为所述目标薄片工件处于加工的标准位置时的图像；所述标准连线为所述标准模板中第一特征点和第二特征点的连线；
计算所述校准连线的中点和所述标准连线的中点在标准水平坐标系中横轴和纵轴的差异作为所述水平调整数据；所述标准水平坐标系为所述标准模板中在水平面中建立的直角坐标系。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310044323.XA CN115877808B (zh) | 2023-01-30 | 2023-01-30 | 用于薄片工件加工的工业物联网及控制方法 |
| US18/315,489 US11906949B2 (en) | 2023-01-30 | 2023-05-10 | Industrial Internet of Things, control methods, and storage medium for sheet workpiece processing |
| US18/407,634 US20240142956A1 (en) | 2023-01-30 | 2024-01-09 | Industrial internet of things system, control method, and storage medium for monitoring sheet workpiece production |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310044323.XA CN115877808B (zh) | 2023-01-30 | 2023-01-30 | 用于薄片工件加工的工业物联网及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115877808A CN115877808A (zh) | 2023-03-31 |
| CN115877808B true CN115877808B (zh) | 2023-05-16 |
Family
ID=85758477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310044323.XA Active CN115877808B (zh) | 2023-01-30 | 2023-01-30 | 用于薄片工件加工的工业物联网及控制方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US11906949B2 (zh) |
| CN (1) | CN115877808B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113259598A (zh) * | 2021-07-16 | 2021-08-13 | 深圳市赛菲姆科技有限公司 | 摄像头水平调节控制方法、系统、终端及存储介质 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2390072C (en) * | 2002-06-28 | 2018-02-27 | Adrian Gh Podoleanu | Optical mapping apparatus with adjustable depth resolution and multiple functionality |
| CN101256399A (zh) * | 2007-12-27 | 2008-09-03 | 清华大学 | 双dsp嵌入式焊接过程视觉反馈控制系统 |
| CN101195318A (zh) * | 2007-12-28 | 2008-06-11 | 中国地质大学（武汉） | 多工位数控雕刻机 |
| JP5370398B2 (ja) * | 2011-03-15 | 2013-12-18 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
| JP2013042319A (ja) * | 2011-08-15 | 2013-02-28 | Sony Corp | 画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
| JP5959976B2 (ja) * | 2012-07-27 | 2016-08-02 | キヤノン株式会社 | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
| TWI634200B (zh) * | 2015-03-31 | 2018-09-01 | 聖高拜磨料有限公司 | 固定磨料物品及其形成方法 |
| JP6619638B2 (ja) * | 2015-12-09 | 2019-12-11 | Eizo株式会社 | 画像処理装置及びプログラム |
| KR20230166155A (ko) * | 2016-07-15 | 2023-12-06 | 라이트 필드 랩 인코포레이티드 | 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파 |
| EP3366433B1 (en) * | 2017-02-09 | 2022-03-09 | Canon Kabushiki Kaisha | Method of controlling robot, method of teaching robot, and robot system |
| CN107123086B (zh) * | 2017-03-22 | 2021-01-05 | 建荣集成电路科技(珠海)有限公司 | 图像缩放方法、图像缩放装置及电子设备 |
| EP3953765B1 (en) * | 2019-04-09 | 2023-01-11 | ASML Netherlands B.V. | Systems and methods for adjusting prediction models between facility locations |
| CN111338726A (zh) * | 2020-02-18 | 2020-06-26 | 北京梧桐车联科技有限责任公司 | 显示界面的调整方法、装置及计算机存储介质 |
| JP2024500818A (ja) * | 2020-12-18 | 2024-01-10 | ストロング フォース ヴィーシーエヌ ポートフォリオ ２０１９，エルエルシー | バリューチェーンネットワークのためのロボットフリート管理及び付加製造 |
| CN113552094B (zh) * | 2021-07-21 | 2022-05-17 | 浙江大学 | 一种icf靶丸冰层折射率三维重建的测量装置及测量方法 |
| CN114629940B (zh) * | 2022-05-13 | 2022-07-22 | 成都秦川物联网科技股份有限公司 | 利于系统扩展性的工业物联网系统及控制方法 |
| CN114637270B (zh) * | 2022-05-17 | 2022-08-23 | 成都秦川物联网科技股份有限公司 | 基于集散控制的智能制造工业物联网及控制方法 |
| CN115065708B (zh) * | 2022-08-17 | 2022-11-18 | 成都秦川物联网科技股份有限公司 | 基于机器视觉检测的工业物联网系统及其控制方法 |
| CN115208927B (zh) * | 2022-08-24 | 2022-12-06 | 成都秦川物联网科技股份有限公司 | 用于次品修正调控的工业物联网及其控制方法 |
-
2023
- 2023-01-30 CN CN202310044323.XA patent/CN115877808B/zh active Active
- 2023-05-10 US US18/315,489 patent/US11906949B2/en active Active
-
2024
- 2024-01-09 US US18/407,634 patent/US20240142956A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113259598A (zh) * | 2021-07-16 | 2021-08-13 | 深圳市赛菲姆科技有限公司 | 摄像头水平调节控制方法、系统、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11906949B2 (en) | 2024-02-20 |
| CN115877808A (zh) | 2023-03-31 |
| US20230280729A1 (en) | 2023-09-07 |
| US20240142956A1 (en) | 2024-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109544643B (zh) | 一种摄像机图像校正方法及装置 | |
| KR101014572B1 (ko) | 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치 | |
| CN111673735A (zh) | 一种基于单目视觉定位的机械臂控制方法及装置 | |
| US9019487B2 (en) | Method for detecting parfocality of zoom-stereo microscope | |
| CN106780623A (zh) | 一种机器人视觉系统快速标定方法 | |
| CN111383194B (zh) | 一种基于极坐标的相机畸变图像校正方法 | |
| CN109685744B (zh) | 一种扫描振镜精度校正方法 | |
| CN106780391A (zh) | 一种用于全视角三维测量仪光学系统的畸变矫正算法 | |
| CN108447098A (zh) | 一种远心移轴相机标定方法和系统 | |
| CN114359405A (zh) | 一种离轴沙姆3d线激光相机的标定方法 | |
| CN113920206A (zh) | 透视移轴相机的标定方法 | |
| CN111028205A (zh) | 一种基于双目测距的眼睛瞳孔定位方法及装置 | |
| CN115065708A (zh) | 基于机器视觉检测的工业物联网及控制方法 | |
| CN115877808B (zh) | 用于薄片工件加工的工业物联网及控制方法 | |
| CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
| JP2012147281A (ja) | 画像処理装置 | |
| CN111210392B (zh) | 一种基于数字图像处理的轮毂气门孔定位方法 | |
| CN110942475B (zh) | 紫外与可见光图像融合系统及快速图像配准方法 | |
| CN108898585B (zh) | 一种轴类零件检测方法及其装置 | |
| CN207215021U (zh) | 一种基于双目立体视觉的摄像机光轴偏移校正装置 | |
| CN108510547A (zh) | 一种远心移轴相机标定方法和系统 | |
| Moru et al. | Improving optical pipeline through better alignment and calibration process | |
| CN110514409A (zh) | 一种激光直接成像镜头的品质检验方法及装置 | |
| CN114697566B (zh) | 变焦镜头暗角补偿方法、装置、电子设备和存储介质 | |
| CN115890654B (zh) | 基于三维特征点的深度相机自动标定算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |