CN117409082A - 用于手机壳体模块化装配的视觉识别与定位方法及装置 - Google Patents

用于手机壳体模块化装配的视觉识别与定位方法及装置 Download PDF

Info

Publication number
CN117409082A
CN117409082A CN202311703457.4A CN202311703457A CN117409082A CN 117409082 A CN117409082 A CN 117409082A CN 202311703457 A CN202311703457 A CN 202311703457A CN 117409082 A CN117409082 A CN 117409082A
Authority
CN
China
Prior art keywords
assembly
mobile phone
phone shell
determining
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311703457.4A
Other languages
English (en)
Other versions
CN117409082B (zh
Inventor
胡苏阳
王克彬
崔伟
吴青
薛飞飞
陶志
梅俊
潘旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Industrial Control Robot Co ltd
Original Assignee
Nanchang Industrial Control Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Industrial Control Robot Co ltd filed Critical Nanchang Industrial Control Robot Co ltd
Priority to CN202311703457.4A priority Critical patent/CN117409082B/zh
Publication of CN117409082A publication Critical patent/CN117409082A/zh
Application granted granted Critical
Publication of CN117409082B publication Critical patent/CN117409082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明涉及一种用于手机壳体模块化装配的视觉识别与定位方法及装置，其方法包括：获取手机壳体和对应零部件实时装配的连续图像帧，确定手机壳体和对应零部件的位置；基于手机壳体和对应零部件的位置；基于目标手机壳体的组成，构建装配体带权无向连接图模型并确定每个零件的装配顺序以及每个零件与其有装配关系的零件或装配体之间的最小距离和最小偏移角度；实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓、主轴和对称中心；通过每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度，进行定位。本发明通过无向连接图模型和动态视觉识别的结合，提高手机壳体模块化装配定位过程的自动化程度，同时提高定位精度。

Description

用于手机壳体模块化装配的视觉识别与定位方法及装置
技术领域
本发明属于视觉识别技术领域，具体涉及一种用于手机壳体模块化装配的视觉识别与定位方法及装置。
背景技术
随着手机产业链的日益发展和制造技术的不断发展，手机以及手机壳体的生产开始向着模块化、自动化的方向发展。为提高装配的精度，生产线上往往需要通过人工或工业相机，辅助传统检测技术来提高手机或手机壳体模块的装配精度。
而零件拆装工作或装配具有复杂性及多样性的特点，在拆装过程中进行自动化技术的普及仍存在诸多难题,目前是不同型号的手机壳在一台设备上完成组装，所需的零部件也会有部分不同，对于不同规格的手机壳体零部件的装配，需要考虑不同的实时位置，确定装配的顺序，因此需要进行识别和选择，在自动拆卸过程中对识别技术的要求不断的提高，尤其是识别效率和识别精度，传统的识别方法己经无法满足目前多样化、大批量的生产需求。而机器视觉技术通过选择不同的软件系统和硬件设备，能够根据具体的工作环境，自行选择最为合理的识别方法。
发明内容
为提高手机壳体模块化装配定位过程的自动化程度，同时提高定位精度，在本发明的第一方面提供了一种用于手机壳体模块化装配的视觉识别与定位方法，包括：获取目标手机壳体的型号规格，选取对应的零部件，然后获取手机壳体和对应零部件实时装配的连续图像帧，确定手机壳体和对应零部件的位置；
基于手机壳体和对应零部件的位置，构建装配体带权无向连接图模型；根据所述装配体带权无向连接图模型，确定每个零件的装配顺序，以及每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度；
基于神经网络和Lucas-Kanade光流算法，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓、主轴和对称中心；
通过每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度，以及每个目标手机壳体的一个或多个零件的边缘轮廓、主轴和对称中心，对每个零件进行定位；
Lucas-Kanade光流算法是基于图像信号的微小变化，对噪声非常敏感；图像亮度不随时间变动I(x,y,z,t)=I(x+δx,y+δy,z+δz,t+δt)，I(x,y,z,t)为在(x,y,z)空间的体素；假设每个零件的移动满足无穷小，那么对图像亮度变动使用泰勒级数公式，得到图像亮度I： ，
其中，H.O.T.表示高价无穷小；
忽略H.O.T.后得到：，
或者；
以前一帧图像中的目标位置作为当前帧中目标的初始预测位置，在初始预测位置开辟一个预设大小的窗口，采用去均值归一化互相关算法，利用搜索模板Ts进行搜索，去均值归一化互相关定义如下：，搜索模板Ts的大小为m×n;/>是当前帧I n 中对应于模板区域的灰度均值，/>为搜索模板Ts的灰度均值；(i，j)为当前帧图像搜索区域内的坐标；(r,c)表示模板中任意一点坐标，0≤r≤m- 1,0≤c≤n-1；在搜索区域内，运用该互相关测度执行模板匹配，得到一个反映模板与各个目标候选区相似性度量的矩阵，找出相似性度量矩阵的最大值及其位置，并判断最大值是否大于指定的阈值，若是，则表示得到了当前帧中目标位置的最终估计，用最大值初始化参数P，引导加权Lucas-Kanade光流算法正确跟踪当前模板；否则，加大搜索范围继续搜索，直至满足条件。
在本发明的一些实施例中，基于手机壳体和对应零部件的位置，构建装配体带权无向连接图模型包括：
基于所述目标手机壳体的组成，确定目标手机壳体的所有零件，以及每个零件的紧固连接关系；
确定每个紧固连接关系的权重，并根据所述权重和每个零件的紧固连接关系构建装配体带权无向连接图模型。
在本发明的一些实施例中，根据所述装配体带权无向连接图模型，确定每个零件的装配顺序，以及每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度包括：
基于所述装配体带权无向连接图模型，通过贪婪广度优先遍历算法，确定每个零件的装配顺序；
根据每个零件的装配顺序，确定每个零件在不同时间内，与每个零件有装配关系的零件或装配体之间的最小距离和最小偏移角度。
在本发明的一些实施例中，所述基于神经网络和Lucas-Kanade光流算法，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓、主轴和对称中心包括：
基于YOLO神经网络，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓；
利用Hough投影法和Lucas-Kanade光流算法，计算每个零件轮廓的主轴和对称中心。
在本发明的一些实施例中，所述利用Hough投影法和Lucas-Kanade光流算法，计算每个零件轮廓的主轴和对称中心包括：
利用Hough变换投影法确定每个零件的主轴方向；
通过图像空间中点线的几何关系和Lucas-Kanade光流算法，动态确定每个零件轮廓的主轴和对称中心。
在本发明的一些实施例中，所述通过每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度，以及每个目标手机壳体的一个或多个零件的边缘轮廓、主轴和对称中心，对每个零件进行定位包括：
计算每个目标手机壳体与其有装配关系的零件或装配体之间的主轴或对称中心之间的位移或偏移角度；
若所述位移，与对应的零件或装配体之间的最小距离之差大于预设值，则对所述零件进行调整；
若所述偏移角度，与对应的零件或装配体之间的偏移角度之差大于预设值，则对所述零件进行调整。
本发明的第二方面，提供了一种用于手机壳体模块化装配的视觉识别与定位装置，包括：获取模块，用于获取目标手机壳体的型号规格，选取对应的零部件，然后获取手机壳体和对应零部件实时装配的连续图像帧，确定手机壳体和对应零部件的位置；
确定模块，用于基于手机壳体和对应零部件的位置，构建装配体带权无向连接图模型；根据所述装配体带权无向连接图模型，确定每个零件的装配顺序，以及每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度；
识别模块，用于基于神经网络和Lucas-Kanade光流算法，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓、主轴和对称中心；
定位模块，用于通过每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度，以及每个目标手机壳体的一个或多个零件的边缘轮廓、主轴和对称中心，对每个零件进行定位。
进一步的，所述确定模块包括：
第一确定单元，用于基于所述目标手机壳体的组成，确定目标手机壳体的所有零件，手机壳体和对应零部件的位置以及每个零件的紧固连接关系；
第二确定单元，用于确定每个紧固连接关系的权重，并根据所述权重和每个零件的紧固连接关系构建装配体带权无向连接图模型。
本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供的用于手机壳体模块化装配的视觉识别与定位方法。
本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的用于手机壳体模块化装配的视觉识别与定位方法。
本发明的有益效果是：
本发明涉及一种用于手机壳体模块化装配的视觉识别与定位方法及装置，其方法包括：获取目标手机壳体的型号规格，选取对应的零部件，然后获取手机壳体和对应零部件实时装配的连续图像帧，确定手机壳体和对应零部件的位置；构建装配体带权无向连接图模型；根据所述装配体带权无向连接图模型，确定每个零件的装配顺序，以及每个零件与其有装配关系的零件或装配体之间的最小距离和最小偏移角度；基于神经网络和Lucas-Kanade光流算法，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓、主轴和对称中心；通过每个零件与其有装配关系的零件或装配体之间的最小距离和最小偏移角度，进行定位。可见，本发明通过动态信息为基础构建带权无向连接图模型将动态的装配顺序和装配组成进行整合，并以此作为监督信息提供给神经网络，从而实现了装配过程中零件之间的有效动态距离的识别和定位，并提高手机壳体模块化装配定位过程的自动化程度，同时提高定位精度。
附图说明
图1为本发明的一些实施例中的用于手机壳体模块化装配的视觉识别与定位方法的基本流程示意图；
图2为本发明的一些实施例中的图像坐标转换的原理示意图；
图3为本发明的一些实施例中的用于手机壳体模块化装配的视觉识别与定位装置的结构示意图；
图4为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
参考图1与图2，在本发明的第一方面，提供了一种用于手机壳体模块化装配的视觉识别与定位方法，包括：
S100获取目标手机壳体的型号规格，选取对应的零部件，然后获取手机壳体和对应零部件实时装配的连续图像帧，确定手机壳体和对应零部件的位置；
S200基于手机壳体和对应零部件的位置，构建装配体带权无向连接图模型；根据所述装配体带权无向连接图模型，确定每个零件的装配顺序，以及每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度；
S300基于神经网络和Lucas-Kanade光流算法，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓、主轴和对称中心；
S400通过每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度，以及每个目标手机壳体的一个或多个零件的边缘轮廓、主轴和对称中心，对每个零件进行定位。
可以理解，每个零件与其有装配关系的零件或装配体之间的最小距离具体表现为配合公差，包括组成配合的孔、轴公差之和。它是允许间隙或过盈的变动量。孔和轴的公差带大小和公差带位置组成了配合公差。孔和轴配合公差的大小表示孔和轴的配合精度。孔和轴配合公差带的大小和位置表示孔和轴的配合精度和配合性质。配合公差的大小等于公差带的大小;配合公差带大小和位置等于配合性质。本发明中提到的零件或装配体，可广义地概括为工件，通过零件或工件之间的约束关系、配合误差，以便构建带权无向连接图模型。
在本发明的一些实施例的步骤S100中，获取手机壳体和对应零部件实时装配的连续图像帧；具体地，选择高分辨率的相机或工业相机，在足够的照明环境下，进行连续拍摄或录像，拍摄频率（采样频率）可根据装配的快慢来确定；然后从拍摄到的视频中提取连续图像帧。然后对得到的图像通过高斯滤波或中值滤波等进行滤波，以降低视觉识别的难度或计算负荷。
在本发明的一些实施例的步骤S200中，基于手机壳体和对应零部件的位置，构建装配体带权无向连接图模型包括：
S2011.基于所述目标手机壳体的组成，确定目标手机壳体的所有零件，以及每个零件的紧固连接关系；具体地，不失一般性，手机组成包括上下壳体、卡扣或卡槽，以及相关的螺丝孔、定位孔，加强筋等。
S2012.确定每个紧固连接关系的权重，并根据所述权重和每个零件的紧固连接关系构建装配体带权无向连接图模型。
具体地，一个装配体是由零件以一定的装配关系联接而成,装配体各零件间的联接关系可以分为两大类:紧固联接关系和接触联接关系。设一装配体由n个零件组成,P={m 1,m 2,…,m n}为装配体零件的集合,根据零件联接关系的定义,可以建立装配体的带权无向连接图G,G=(V,E,W),其中V={p 1,p 2,…,p n};E={e ij (P i ∈V)∧(P j ∈V)∧(P i 和P j 存在紧固联接关系或接触联接关系)},因为G是带权无向连接图,所以可以设定边集中元素的下标i,j满足i<j;W={w ij =(r, x 0 , x 1 , y 0 , y 1 , z 0 ,z 1 )，eij∈E},由七元组表示的权值w ij 用来标记边e ij 是紧固联接边或是接触联接边,对于接触联接边权值还标记接触面的方向。权值w ij 定义如下：
r=1,当且仅当P i 和P j ,存在接触联接关系;
r=2,当且仅当P i 和P j ,存在紧固联接关系；
x o =1,当且仅当r=1并且P i 在X方向与P j 相接触，其余x o =0;
x 1 =1当且仅当r=1并且P j 在X方向与P i 相接触，其余x 1 =0；
y o =1当且仅当r=1并且P i 在Y方向与P j 相接触，其余y o =0;
y 1 =1当且仅当r=1并且P j 在Y方向与P i 相接触，其余y 1 =0;
z o =1当且仅当r=1并且P i 在Z方向与P j 相接触，其余z o =0;
z 1 =1当且仅当r=1并且P j 在Z方向与P i 相接触，其余z 1 =0。对于带权无向连接图,可以用邻接矩阵C=[C ij ]n×n表示。邻接矩阵C是一个上三角矩阵。由于接触联接关系是建立在正交坐标系下,因此根据边权值各分量的含义,矩阵元素C ij 中成员变量x 1 、y 1 、z 1 的值可以表示零件P i 和P j 在-X、-Y、-Z方向上的接触联接关系。可以理解，上述权值仅为示例，权重的具体定义可根据手机壳体的不同装配顺序和不同装配精度，进行调整。
更进一步地，当面向自动化装配生成线时，由于装配顺序确定，因此上述带权无向连接图演变为带权有向连接图；本领域技术人员根据上述示例，将装配顺序、零件信息和装配误差等信息，构建为关系图谱，以便于适应不同手机壳体或不同装配生产线。此时，相应地的用于视觉识别的神经网络，可选用基于transformer框架的神经网络。
进一步的，步骤S200还包括：步骤S202所述根据所述装配体带权无向连接图模型，确定每个零件的装配顺序，以及每个零件与其有装配关系的零件或装配体之间的最小距离和最小偏移角度；
具体地，步骤S202包括：
S2021.基于所述装配体带权无向连接图模型，通过贪婪广度优先遍历算法，确定每个零件的装配顺序；
S2022.根据每个零件的装配顺序，确定每个零件在不同时间内，与每个零件有装配关系的零件或装配体之间的最小距离和最小偏移角度。
在本发明的一些实施例的步骤S300中，所述基于神经网络和Lucas-Kanade光流算法，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓、主轴和对称中心包括：基于YOLO系列神经网络，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓；利用Hough投影法和Lucas-Kanade光流算法，计算每个零件轮廓的主轴和对称中心。
进一步的，所述利用Hough投影法和Lucas-Kanade光流算法，计算每个零件轮廓的主轴和对称中心包括：利用Hough变换投影法确定每个零件的主轴方向；通过图像空间中点线的几何关系和Lucas-Kanade光流算法，确定每个零件轮廓的主轴和对称中心。
具体地，通过图像空间中共线的点与参数空间中相交的线存在对偶性，确定每个零件轮廓的主轴和对称中心。根据点线的对偶性，当已知图像空间的一些边缘点，就可通过Hough变换得到这些边缘点的直线方程。Hough变换把图像空间中的直线检测问题转换到参数空间里对点的检测问题，通过在参数空间里进行简单的累加统计完成检测任务,通过边缘点T 1-T 4，分别确定直线T 1 T 4、T 2 T 3、T 1 T 2、T 3 T 4，其中与T 1 T 2、T 3 T 4平行的P 1 P 2为主轴，P 1 P 2的中点为对称中心。
Lucas-Kanade光流算法是基于图像信号的微小变化，对噪声非常敏感；图像亮度不随时间变动I(x,y,z,t)=I(x+δx,y+δy,z+δz,t+δt)，I(x,y,z,t)为在(x,y,z)空间的体素；假设每个零件的移动满足无穷小，那么对图像亮度变动使用泰勒级数公式，得到图像亮度I： ，
其中，H.O.T.表示高价无穷小；
忽略H.O.T.后得到：，
或者。
更具体地，以前一帧图像中的目标位置作为当前帧中目标的初始预测位置，在初始预测位置处开辟一个预设大小的窗口（譬如15×15),采用去均值归一化互相关算法，利用搜索模板Ts进行搜索。
去均值归一化互相关定义如下：，搜索模板Ts的大小为m×n；/>是当前帧I n 中对应于模板区域的灰度均值，/>为搜索模板Ts的灰度均值；(i，j)为当前帧图像搜索区域内的坐标；(r,c)表示模板中任意一点坐标，0≤r≤m-1, 0≤c≤n-1。在搜索区域内，运用该互相关测度执行模板匹配，得到一个反映模板与各个目标候选区相似性度量的矩阵，找出相似性度量矩阵的最大值及其位置，并判断最大值是否大于指定的阈值（根据大量仿真实验结果，设置阈值为0.8)，若是，则表示得到了当前帧中目标位置的最终估计，可以用最大值初始化参数P，引导加权Lucas-Kanade光流算法正确跟踪当前模板；否则，加大搜索范围继续搜索，直至满足条件。此外，以上去均值归一化可以通过群体优化算法（例如遗传算法、粒子群算法）确定。
在上述Lucas-Kanade光流算法基础上，包括但不限于对光流的定义、连续性假设、亮度恒定假设以及泰勒级数展开来近似亮度变化。通过是利用图像的时空梯度信息来估计每个点的运动，进而结合最小外接矩形法，可以动态地、精确地确定每个零件轮廓的主轴和对称中心。
参考图2，几何关系包括实际相素坐标系、实际图像坐标系、相机坐标系和世界坐标系之间的转换，或者与抓取机器人（机械臂）中五轴坐标系之间的转换，通过坐标系之间的计算（手眼标定），来确定每个零件轮廓的主轴和对称中心。图2中示出了实际相素坐标系(UV为其坐标系的两个坐标轴)，实际图像坐标系（x和y为其坐标系的两个坐标轴）)与相机坐标系（Oc为中心，Xc、Yc、Zc分别为坐标系的坐标轴）、世界坐标系（XW、YW和ZW为其坐标系的坐标轴）之间的转换关系。
需要说明的是，图2中的p点代表实际图像坐标系中的任意一点，P代表实际坐标系中的对应点。
在上述的实施例的步骤S400中，所述通过每个零件与其有装配关系的零件或装配体之间的最小距离和最小偏移角度，以及每个目标手机壳体的一个或多个零件的边缘轮廓、主轴和对称中心，对每个零件进行定位包括：
S401.计算每个目标手机壳体与其有装配关系的零件或装配体之间的主轴或对称中心之间的位移或偏移角度；
S402.若所述位移，与对应的零件或装配体之间的最小距离之差大于预设值，则对所述零件进行调整（以使距离偏差更小）；
S403.若所述偏移角度，与对应的零件或装配体之间的偏移角度之差大于预设值，则对所述零件进行调整（以使角度偏差更小）。
实施例2
参考图3，本发明的第二方面，提供了一种用于手机壳体模块化装配的视觉识别与定位装置1，包括：获取模块11，用于获取目标手机壳体的组成和实时装配的连续图像帧；确定模块12，用于基于所述目标手机壳体的组成，构建装配体带权无向连接图模型；根据所述装配体带权无向连接图模型，确定每个零件的装配顺序，以及每个零件与其有装配关系的零件或装配体之间的最小距离和最小偏移角度；识别模块13，用于基于神经网络和Lucas-Kanade光流算法，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓、主轴和对称中心；定位模块14，用于通过每个零件与其有装配关系的零件或装配体之间的最小距离和最小偏移角度，以及每个目标手机壳体的一个或多个零件的边缘轮廓、主轴和对称中心，对每个零件进行定位。
进一步的，所述确定模块12包括：第一确定单元，用于基于所述目标手机壳体的组成，确定目标手机壳体的所有零件，以及每个零件的紧固连接关系；第二确定单元，用于确定每个紧固连接关系的权重，并根据所述权重和每个零件的紧固连接关系构建装配体带权无向连接图模型。
实施例3
参考图4，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的方法。
电子设备500可以包括处理装置501,例如中央处理器、图形处理器等，其可以根据存储在只读存储器(Read-Only Memory，ROM),ROM502中的程序或者从存储装置508加载到随机访问存储器（Random-Access Memory，RAM），RAM503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM502以及RAM503通过总线504彼此相连。I/O接口505也连接至总线504。
通常以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图4中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Python，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。需要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于手机壳体模块化装配的视觉识别与定位方法，其特征在于，包括：
获取目标手机壳体的型号规格，选取对应的零部件，然后获取手机壳体和对应零部件实时装配的连续图像帧，确定手机壳体和对应零部件的位置；
基于手机壳体和对应零部件的位置，构建装配体带权无向连接图模型；根据所述装配体带权无向连接图模型，确定每个零件的装配顺序，以及每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度；
基于神经网络和Lucas-Kanade光流算法，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓、主轴和对称中心；
通过每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度，以及每个目标手机壳体的一个或多个零件的边缘轮廓、主轴和对称中心，对每个零件进行定位；
Lucas-Kanade光流算法是基于图像信号的微小变化，对噪声非常敏感；图像亮度不随时间变动I(x,y,z,t)=I(x+δx,y+δy,z+δz,t+δt)，I(x,y,z,t)为在(x,y,z)空间的体素；对图像亮度变动使用泰勒级数公式，得到图像亮度I： ，
其中，H.O.T.表示高价无穷小；
忽略H.O.T.后得到：，
或者；
以前一帧图像中的目标位置作为当前帧中目标的初始预测位置，在初始预测位置开辟一个预设大小的窗口，采用去均值归一化互相关算法，利用搜索模板Ts进行搜索，去均值归一化互相关定义如下：，搜索模板Ts的大小为m×n;/>是当前帧I n 中对应于模板区域的灰度均值，/>为搜索模板Ts的灰度均值；(i，j)为当前帧图像搜索区域内的坐标；(r,c)表示模板中任意一点坐标，0≤r≤m-1,0≤c≤n-1；在搜索区域内，运用互相关测度执行模板匹配，得到一个反映模板与各个目标候选区相似性度量的矩阵，找出相似性度量矩阵的最大值及其位置，并判断最大值是否大于指定的阈值，若是，则表示得到了当前帧中目标位置的最终估计，用最大值初始化参数P，引导加权Lucas-Kanade光流算法正确跟踪当前模板；否则，加大搜索范围继续搜索，直至满足条件。
2.根据权利要求1所述的用于手机壳体模块化装配的视觉识别与定位方法，其特征在于，基于手机壳体和对应零部件的位置，构建装配体带权无向连接图模型包括：
确定目标手机壳体的所有零件，以及每个零件的紧固连接关系；
确定每个紧固连接关系的权重，并根据所述权重和每个零件的紧固连接关系构建装配体带权无向连接图模型。
3.根据权利要求2所述的用于手机壳体模块化装配的视觉识别与定位方法，其特征在于，根据所述装配体带权无向连接图模型，确定每个零件的装配顺序，以及每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度包括：
基于所述装配体带权无向连接图模型，通过贪婪广度优先遍历算法，确定每个零件的装配顺序；
根据每个零件的装配顺序，确定每个零件在不同时间内，与每个零件有装配关系的零件或装配体之间的最小距离和最小偏移角度。
4.根据权利要求1所述的用于手机壳体模块化装配的视觉识别与定位方法，其特征在于，所述基于神经网络和Lucas-Kanade光流算法，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓、主轴和对称中心包括：
基于YOLO神经网络，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓；
利用Hough投影法和Lucas-Kanade光流算法，计算每个零件轮廓的主轴和对称中心。
5.根据权利要求4所述的用于手机壳体模块化装配的视觉识别与定位方法，其特征在于，所述利用Hough投影法和Lucas-Kanade光流算法，计算每个零件轮廓的主轴和对称中心包括：
利用Hough变换投影法确定每个零件的主轴方向；
通过图像空间中点线的几何关系和Lucas-Kanade光流算法，动态确定每个零件轮廓的主轴和对称中心。
6.根据权利要求1至5任一项所述的用于手机壳体模块化装配的视觉识别与定位方法，其特征在于，所述通过每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度，以及每个目标手机壳体的一个或多个零件的边缘轮廓、主轴和对称中心，对每个零件进行定位包括：
计算每个目标手机壳体与其有装配关系的零件或装配体之间的主轴或对称中心之间的位移或偏移角度；
若所述位移，与对应的零件或装配体之间的最小距离之差大于预设值，则对所述零件进行调整；
若所述偏移角度，与对应的零件或装配体之间的偏移角度之差大于预设值，则对所述零件进行调整。
7.一种用于手机壳体模块化装配的视觉识别与定位装置，其特征在于，包括：
获取模块，用于获取目标手机壳体的型号规格，选取对应的零部件，然后获取手机壳体和对应零部件实时装配的连续图像帧，确定手机壳体和对应零部件的位置；
确定模块，用于基于手机壳体和对应零部件的位置，构建装配体带权无向连接图模型；根据所述装配体带权无向连接图模型，确定每个零件的装配顺序，以及每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度；
识别模块，用于基于神经网络和Lucas-Kanade光流算法，实时识别每个图像帧中目标手机壳体的每个零件的边缘轮廓、主轴和对称中心；
定位模块，用于通过每个零件与该零件有装配关系的零件或装配体之间的最小距离和最小偏移角度，以及每个目标手机壳体的一个或多个零件的边缘轮廓、主轴和对称中心，对每个零件进行定位。
8.根据权利要求7所述的用于手机壳体模块化装配的视觉识别与定位装置，其特征在于，所述确定模块包括：
第一确定单元，用于基于所述目标手机壳体的组成，确定目标手机壳体的所有零件，手机壳体和对应零部件的位置以及每个零件的紧固连接关系；
第二确定单元，用于确定每个紧固连接关系的权重，并根据所述权重和每个零件的紧固连接关系构建装配体带权无向连接图模型。
9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6任一项所述的用于手机壳体模块化装配的视觉识别与定位方法。
10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的用于手机壳体模块化装配的视觉识别与定位方法。
CN202311703457.4A 2023-12-13 2023-12-13 用于手机壳体模块化装配的视觉识别与定位方法及装置 Active CN117409082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311703457.4A CN117409082B (zh) 2023-12-13 2023-12-13 用于手机壳体模块化装配的视觉识别与定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311703457.4A CN117409082B (zh) 2023-12-13 2023-12-13 用于手机壳体模块化装配的视觉识别与定位方法及装置

Publications (2)

Publication Number Publication Date
CN117409082A true CN117409082A (zh) 2024-01-16
CN117409082B CN117409082B (zh) 2024-02-23

Family

ID=89492843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311703457.4A Active CN117409082B (zh) 2023-12-13 2023-12-13 用于手机壳体模块化装配的视觉识别与定位方法及装置

Country Status (1)

Country Link
CN (1) CN117409082B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477437B1 (en) * 1998-11-27 2002-11-05 Sumitomo Wiring Systems, Ltd. Assembly work support system
CN109926817A (zh) * 2018-12-20 2019-06-25 南京理工大学 基于机器视觉的变压器自动装配方法
US20190197703A1 (en) * 2017-12-21 2019-06-27 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for tracking target profile in video
US20200024849A1 (en) * 2018-07-19 2020-01-23 Form Robotics, Inc. System and method for automating construction and installation of surfaces in construction
CN111612794A (zh) * 2020-04-15 2020-09-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于多2d视觉的零部件高精度三维位姿估计方法及系统
CN112560704A (zh) * 2020-12-18 2021-03-26 温州大学乐清工业研究院 一种多特征融合的视觉识别方法及系统
CN113450292A (zh) * 2021-06-17 2021-09-28 重庆理工大学 一种pcba零部件高精度视觉定位方法
CN113505953A (zh) * 2021-04-06 2021-10-15 汕头经济特区超艺螺丝工业有限公司 一种紧固件供应链管理系统及其控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477437B1 (en) * 1998-11-27 2002-11-05 Sumitomo Wiring Systems, Ltd. Assembly work support system
US20190197703A1 (en) * 2017-12-21 2019-06-27 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for tracking target profile in video
US20200024849A1 (en) * 2018-07-19 2020-01-23 Form Robotics, Inc. System and method for automating construction and installation of surfaces in construction
CN109926817A (zh) * 2018-12-20 2019-06-25 南京理工大学 基于机器视觉的变压器自动装配方法
CN111612794A (zh) * 2020-04-15 2020-09-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于多2d视觉的零部件高精度三维位姿估计方法及系统
CN112560704A (zh) * 2020-12-18 2021-03-26 温州大学乐清工业研究院 一种多特征融合的视觉识别方法及系统
CN113505953A (zh) * 2021-04-06 2021-10-15 汕头经济特区超艺螺丝工业有限公司 一种紧固件供应链管理系统及其控制方法
CN113450292A (zh) * 2021-06-17 2021-09-28 重庆理工大学 一种pcba零部件高精度视觉定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LAURA ARNAL等: "Detecting dings and dents on specular car body surfaces based on optical flow", JOURNAL OF MANUFACTURING SYSTEMS, vol. 45, 7 December 2017 (2017-12-07), pages 306 - 321, XP085301304, DOI: 10.1016/j.jmsy.2017.07.006 *
范荻;金守峰;陈蓉;高磊;: "面向装配机器人的零件视觉识别与定位方法", 西安工程大学学报, no. 01, 24 January 2018 (2018-01-24) *
郭小娟;陆艺;郭斌;: "零部件上下盖合装的手眼视觉系统设计", 中国计量大学学报, no. 03, 15 September 2018 (2018-09-15) *
魏中雨;黄海松;姚立国;: "基于机器视觉和深度神经网络的零件装配检测", 组合机床与自动化加工技术, no. 03, 20 March 2020 (2020-03-20) *

Also Published As

Publication number Publication date
CN117409082B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
US11373332B2 (en) Point-based object localization from images
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
CN108960090B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
US11776155B2 (en) Method and apparatus for detecting target object in image
CN111553950B (zh) 一种钢卷对中判断方法、系统、介质及电子终端
CN110378264A (zh) 目标跟踪方法及装置
US20200356812A1 (en) Systems and methods for automated training of deep-learning-based object detection
CN108229305B (zh) 用于确定目标对象的外接框的方法、装置和电子设备
Liu et al. Efficient visual tracking using particle filter with incremental likelihood calculation
CN110597387B (zh) 基于人工智能的画面显示方法和装置、计算设备、存储介质
CN112336342A (zh) 手部关键点检测方法、装置及终端设备
CN110706262A (zh) 图像处理方法、装置、设备及存储介质
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
EP4290459A1 (en) Augmented reality method and related device thereof
Yin et al. Overview of robotic grasp detection from 2D to 3D
CN117409082B (zh) 用于手机壳体模块化装配的视觉识别与定位方法及装置
WO2024017282A1 (zh) 一种数据处理方法及其装置
CN113469025A (zh) 应用于车路协同的目标检测方法、装置、路侧设备和车辆
CN114074321A (zh) 机器人标定方法及装置
CN111310595A (zh) 用于生成信息的方法和装置
KR20230128284A (ko) 변형가능 모델들에 의한 3차원 스캔 등록
CN114120423A (zh) 人脸图像检测方法、装置、电子设备和计算机可读介质
CN116206369B (zh) 基于数据融合和机器视觉的人体姿态数据获取方法及装置
CN111476770A (zh) 一种基于图像处理的炉渣检测方法、装置、设备及介质
CN113012281B (zh) 人体模型的确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant