CN113850807B - 图像亚像素匹配定位方法、系统、设备及介质 - Google Patents
图像亚像素匹配定位方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN113850807B CN113850807B CN202111439538.9A CN202111439538A CN113850807B CN 113850807 B CN113850807 B CN 113850807B CN 202111439538 A CN202111439538 A CN 202111439538A CN 113850807 B CN113850807 B CN 113850807B
- Authority
- CN
- China
- Prior art keywords
- preset
- image
- matching
- sub
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013519 translation Methods 0.000 claims abstract description 67
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 45
- 238000012937 correction Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 16
- 230000004807 localization Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像亚像素匹配定位方法、系统、设备及介质，所述图像亚像素匹配定位方法包括：对预设模板图像和目标图像进行预处理；对预处理之后的预设模板图像和目标图像进行像素级别的相似度粗匹配，获取粗匹配平移坐标和粗匹配旋转角度；将粗匹配平移坐标和粗匹配旋转角度作为预设相似度匹配模型中的代价函数的初始参数，通过具有初始参数的代价函数确定预设模板图像和目标图像之间的亚像素级别的相似度所对应的损失值；在损失值满足收敛条件时，将初始参数作为目标图像的最终定位结果参数；根据最终定位结果参数对预设定位对象进行预设定位操作。本发明可有效地避免平移坐标和旋转角度离散化带来的精度缺失问题，提升了定位精度。
Description
技术领域
本发明涉及图像数据处理领域，尤其涉及一种图像亚像素匹配定位方法、系统、设备及介质。
背景技术
在先进半导体元器件封装行业，需要基于视觉系统捕捉视觉定位图像并对其进行视觉匹配定位与检测，将定位结果参数用于控制进行固晶、焊线等一系列位移精度要求极高的操作。同时，该类视觉匹配算法均应具有极快的响应速度以适应大规模生产的需求，以充分地降低人力与时间的消耗。
目前，已经具有通过遍历模板图片后寻找到匹配的模板图片，进而识别得出定位结果参数的方案。随着设备先进程度的不断提高，对定位结果参数的精度的要求也随之提高，因而往往会要求识别得到的定位结果参数具有高于原始图片像素级别的精度，也即要求其具有亚像素（Sub-Pixel）级别的识别精度；而现有技术中的上述方案中针对上述要求将会存在以下不足之处：首先，在匹配之前，需要提前指定所有图像的亚像素的精度级别（如1/2像素精度 、1/10像素精度），由于该精度是指定的，因此将无法获得任意精度的定位结果精度，如此，将会导致定位结果参数中坐标的解空间的离散化，并且，在精度要求提升的同时，遍历模板图片等的搜索量所消耗的计算时间和工作量将大大增加，因而难以快速地获得较高的精度以逼近真实值。对应地，由于当前对于视觉定位图片的定位旋转角度的识别，往往也是通过与角度间隔设定的模板图片进行比对进行确定，最终得到的旋转角度定位结果同样也存在着旋转角度的解空间离散化的问题，并且缺陷更加明显，并且也同样增加了计算量（相邻的模板图片的旋转角度间也同样需要进行亚间隔结果的拟合或者插值）；并且，旋转角度的变化与二维平面的坐标（平面纵横坐标）平移操作将会同时存在三个参数的自由度变化，而前者与后二者的权重往往在不同的环境下差异极大，因而无法有效地统一进行处理，进一步造成了旋转角度结果精度较低，且呈现明显的离散化的缺陷。
发明内容
基于此，有必要针对上述技术问题，提供一种图像亚像素匹配定位方法、系统、设备及介质，以解决定位结果参数精度较低且呈现离散化等问题。
一种图像亚像素匹配定位方法，包括：
实时采集预设定位对象的目标图像并获取预设模板图像，对所述预设模板图像和所述目标图像进行预处理；
对预处理之后的所述预设模板图像和所述目标图像进行像素级别的相似度粗匹配，获取粗匹配平移坐标和粗匹配旋转角度；
将所述粗匹配平移坐标和所述粗匹配旋转角度作为预设相似度匹配模型中的代价函数的初始参数，通过具有所述初始参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的损失值；
在所述损失值满足收敛条件时，将所述初始参数作为所述目标图像的最终定位结果参数；
根据所述最终定位结果参数对所述预设定位对象进行预设定位操作。
一种图像亚像素匹配定位系统，包括：
采集模块，用于实时采集预设定位对象的目标图像并获取预设模板图像，对所述预设模板图像和所述目标图像进行预处理；
粗匹配模块，用于对预处理之后的所述预设模板图像和所述目标图像进行像素级别的相似度粗匹配，获取粗匹配平移坐标和粗匹配旋转角度；
损失值确定模块，用于将所述粗匹配平移坐标和所述粗匹配旋转角度作为预设相似度匹配模型中的代价函数的初始参数，通过具有所述初始参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的损失值；
参数确定模块，用于在所述损失值满足收敛条件时，将所述初始参数作为所述目标图像的最终定位结果参数；
操作模块，用于根据所述最终定位结果参数对所述预设定位对象进行预设定位操作。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述图像亚像素匹配定位方法。
一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上述图像亚像素匹配定位方法。
上述图像亚像素匹配定位方法、系统、设备及介质，所述图像亚像素匹配定位方法中，实时采集预设定位对象的目标图像并获取预设模板图像，对所述预设模板图像和所述目标图像进行预处理；对预处理之后的所述预设模板图像和所述目标图像进行像素级别的相似度粗匹配，获取粗匹配平移坐标和粗匹配旋转角度；将所述粗匹配平移坐标和所述粗匹配旋转角度作为预设相似度匹配模型中的代价函数的初始参数，通过具有所述初始参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的损失值；在所述损失值满足收敛条件时，将所述初始参数作为所述目标图像的最终定位结果参数；根据所述最终定位结果参数对所述预设定位对象进行预设定位操作。
本发明对预处理之后的预设模板图像和目标图像进行像素级别的相似度粗匹配之后，得到的不同的粗匹配平移坐标和粗匹配旋转角度将会呈现离散化效果（得到的不同粗匹配平移坐标之间必然会存在间隔，得到的不同粗匹配旋转角度之间也必然会存在间隔），而对于最终定位结果参数来说，不同最终定位结果参数中的平移坐标之间将会可以呈现连续性，不同最终定位结果参数中的旋转角度也将呈现连续性，如此，可以有效地避免现有技术方案中可能出现的平移坐标和旋转角度离散化带来的精度缺失问题，提升了最终定位结果参数所对应的定位精度。
同时，本发明中，将相似度粗匹配得到的粗匹配平移坐标和粗匹配旋转角度作为预设相似度匹配模型中的代价函数的初始参数，进而通过该代价函数确定预设模板图像和目标图像之间的亚像素级别的相似度所对应的损失值，进而根据该损失值确定最终定位结果参数，为预设定位操作（比如半导体封装及检测中进行固晶、焊线所需要进行的预设定位操作）提供准确的定位数据（也即最终定位结果参数），该最终定位结果参数中的平移坐标所对应的定位匹配误差小，定位精度高（亚像素级别的定位精度水平），而最终定位结果参数中同时还包含的高精度的旋转角度（不会受到旋转角度的变化与平移坐标的平移操作在不同环境中的权重差异的影响），因此，与现有技术中的基于插值或者拟合的识别定位结果参数的方案相比较，本发明能够在无需增加额外的计算时间成本的情况下（一次计算过程同时得到包含高精度的平移坐标和旋转角度的最终定位结果参数），使得最终定位结果参数的精度远高于现有技术的定位结果参数的定位精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中图像亚像素匹配定位方法的流程示意图；
图2是本发明一实施例中图像亚像素匹配定位方法中的步骤S10的流程示意图；
图3是本发明一实施例中图像亚像素匹配定位方法中的步骤S20的流程示意图；
图4是本发明另一实施例中图像亚像素匹配定位方法的流程示意图；
图5是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一实施例中，如图1所示，提供一种图像亚像素匹配定位方法，包括如下步骤：
S10，实时采集预设定位对象的目标图像并获取预设模板图像，对所述预设模板图像和所述目标图像进行预处理；其中，预设定位对象可以是指将要对其进行预设定位操作的对象，比如半导体封装及检测中需要进行焊接定位的工件，目标图像是指需要进行定位的预设定位对象在进行定位之前被实时拍摄的图像。在一实施例中，所述获取预设模板图像，包括：自预设数据库中获取预设模板图像。也即，在该实施例中，预设模板图像是预先存储在预设数据库中的，且该预设模板图像是指与该预设定位对象一致的工件（该工件的形状尺寸等需要和预设定位对象一致，但可以与该预设定位对象是同一个工件或者不是同一个工件均可）最终完成定位之后的图像，该预设模板图像将作为目标图像的匹配定位模板。在另一实施例中，所述获取预设模板图像，包括：在实时采集的目标图像中，选取预设区域图像作为预设模板图像。也即，在该实施例中，所述预设模板图像并不是预先被存储在预设数据库中的，而是在拍摄完目标图像之后，直接从目标图像中提取需要进行定位的区域所对应的预设区域图像（该预设区域图像需要满足像素、清晰度等预设可匹配要求）。
在一实施例中，如图2所示，步骤S10中，所述对所述预设模板图像和所述目标图像进行预处理，包括：
S101，从所述预设模板图像中选择第一子区域，并从所述目标图像中选择与所述第一子区域的位置对应的第二子区域；也即，在该实施例中，对预设模板图像和目标图像进行预处理的第一步，是指分别所述预设模板图像中选择第一子区域，并从所述目标图像中选择与所述第一子区域的位置对应的第二子区域；其中，第一子区域可以是指预设模板图像的全部区域或者是指与其定位相关的部分重点区域；第二子区域可以是指目标图像的全部区域或者是指与其定位相关的部分重点区域。
S102，对所述第一子区域进行几何轮廓提取之后，根据预设旋转角度集和预设像素集降采样生成与所述第一子区域对应的第一图像集，其中，所述预设旋转角度中包括各不相同的预设数量的预设旋转角度；所述预设像素集中包括各不相同的预设数量的预设像素；所述第一图像集中包括预设层数的第一图像，每一个第一图像均为根据预设旋转角度旋转第一子区域并将其像素调整为预设像素之后得到；各所述第一图像对应的预设旋转角度和预设像素各不相同；所述预设数量等于所述预设层数；所述第一图像集中的第一图像的层数按照所述预设像素从小到大的顺序自高向低排列；其中，预设数量可以根据需求设定，也即可以根据将要最终形成的第一图像集的预设层数进行确定（预设数量将等于预设层数）。在预设旋转角度集中，设定了多个预设旋转角度，每一个预设旋转角度之间可以间隔不同的角度差值或者相同的角度差值，也即，以相同或者不同的角度步进设定预设旋转角度集中的所有预设旋转角度。同理，在预设像素集中，设定了多个预设像素，每一个预设预设像素均不相同，且第一图像集中的第一图像是按照其对应的预设像素从小到大分层排列的，第一图像对应的预设像素越小，其对应的层数越高，第一图像对应的预设像素越大，其对应的层数越低。可理解地，由于在该步骤中是进行降采样处理，因此，最低层对应的第一图像的像素将等于第一子区域的原图像素。
S103，对所述第二子区域进行几何轮廓提取之后，根据所述预设像素集降采样生成与所述第二子区域对应的第二图像集，其中，所述第二图像集中包括所述预设层数的第二图像，每一个第二图像均为将第二子区域的像素调整为预设像素之后得到；各所述第二图像对应的预设像素各不相同；同一预设像素对应的第二图像和第一图像的层数相同。其中，第二图像集中的第二图像的数量也将等于预设数量，也即，第二图像集中也需要具有同样的预设层数的第二图像，且第二图像集中第二图像的层数排列可以参照第一图像集中第一图像的排布方式，也即，第二图像集中的第二图像是按照其对应的预设像素从小到大分层排列的，第二图像对应的预设像素越小，其对应的层数越高，第二图像对应的预设像素越大，其对应的层数越低。综上可知，同一预设像素所对应的第一图像和第二图像的层数也是对应的，在本发明中，后续步骤S20中将要进行相似度粗匹配的，也将是处于同一层数的第一图像和第二图像。可理解地，由于在该步骤中是进行降采样处理，因此，最低层对应的第二图像的像素将等于第二子区域的原图像素。
S20，对预处理之后的所述预设模板图像和所述目标图像进行像素级别的相似度粗匹配，获取粗匹配平移坐标和粗匹配旋转角度；其中，该实施例中，由于之前确定的第一图像集是根据预设旋转角度集和预设像素集确定的，第二图像集也是根据预设像素集确定的，而不同预设旋转角度之间具有一定角度差值，不同预设像素是根据相同或不同的角度步进设定的，因此，由于用于进行相似度粗匹配的第一图像和第二图像对应的设定参数（预设旋转角度和预设像素）具有离散化的特性，进而，对预处理之后的预设模板图像和目标图像进行像素级别的相似度粗匹配之后，得到的不同的粗匹配平移坐标和粗匹配旋转角度也将会呈现离散化效果（得到的不同粗匹配平移坐标之间必然会存在间隔而不会具有连续性，得到的不同粗匹配旋转角度之间也必然会存在间隔而不会具有连续性）。需要注意的是，在本发明中，所说的所有平移坐标（比如粗匹配平移坐标、更新平移坐标等）均包括预设定位对象需要定位移动的平面坐标系中的X坐标和Y坐标两个维度的坐标。
在一实施例中，如图3所示，步骤S20，也即所述对预处理之后的所述预设模板图像和所述目标图像进行像素级别的相似度粗匹配，获取粗匹配平移坐标和粗匹配旋转角度，包括：
S201，按照层数自高向低的顺序，通过具有初始对比参数的粗匹配模型对最高层数的第一图像和第二图像进行相似度匹配，获取与所述最高层数对应的初始匹配参数，所述初始匹配参数包括表征最高层数的第二图像转换为第一图像所需要移动的初始平移坐标和需要旋转的初始旋转角度；由上述实施例可知，同一层数的第一图像和第二图像对应的预设像素相同，而第二图像对应的预设像素越小，其对应的层数越高，第二图像对应的预设像素越大，其对应的层数越低。因此，按照层数自高向低的顺序进行相似度匹配，也即是按照像素从小到大的顺序进行相似度匹配，如此，将可以逐层提升匹配精度，而最初得到的将会是与最小的预设像素对应的初始平移坐标和初始旋转角度。
S202，将所述初始对比参数替换为所述初始匹配参数之后，通过具有所述初始匹配参数的所述粗匹配模型对下一层数的第一图像和第二图像进行相似度匹配，获取与所述下一层数对应的更新匹配参数，所述更新匹配参数包括表征下一层数的第二图像转换为第一图像所需要移动的更新平移坐标和需要旋转的更新旋转角度；也即，在完成最高层数的匹配之后，将会将该最高层数对应的初始对比参数替换为初始匹配参数（与最小的预设像素对应的初始平移坐标和初始旋转角度），进而进行下一层数（也即次高层数的对比）的相似度匹配，同理，在获得该下一层数对应的更新匹配参数之后，也会将粗匹配模型的初始匹配参数替换为该更新匹配参数，进而通过具有该更新匹配参数的所述粗匹配模型对再下一层数的第一图像和第二图像进行相似度匹配，依次递进从高至低层数，对每一层数均进行相似度匹配，且每一个上一层对应的更新匹配参数均将作为下一层所使用的粗匹配模型的模型参数（也即用上一层的更新匹配参数替代初始对比参数之后再在该层的下一层使用该粗匹配模型）。
S203，在所有层数的第一图像和第二图像均进行相似度匹配之后，将最低层数对应的更新平移坐标记录为粗匹配平移坐标，将最低层数对应的更新旋转角度记录为粗匹配旋转角度。在该步骤中，在次低层数的的第一图像和第二图像均进行相似度匹配之后，将次低层数得到的对应的更新匹配参数替换粗匹配模型之前的匹配参数之后（比如初始对比参数或者次低层数的上一层的更新匹配参数），通过更新后的粗匹配模型进行相似度匹配，得到与最低层数对应的更新匹配参数，进而，将与最低层数对应的更新匹配参数中的更新平移坐标记录为粗匹配平移坐标，将最低层数对应的更新匹配参数中的更新旋转角度记录为粗匹配旋转角度。在该实施例中，粗匹配模型可以采用对第一图像与第二图像的灰度或几何轮廓相关性或者高阶图形矩距离等方式来进行相似度匹配。
S30，将所述粗匹配平移坐标和所述粗匹配旋转角度作为预设相似度匹配模型中的代价函数的初始参数，通过具有所述初始参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的损失值；也即，在该实施例中，初始参数就是上述步骤S20中得到的粗匹配平移坐标和所述粗匹配旋转角度。将使用该初始参数构建代价函数之后，使用该代价函数确定损失值，而该损失值可以表征所述预设模板图像和所述目标图像之间的相似度。进一步地，所述通过具有所述初始参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的损失值，包括：通过具有所述初始参数的代价函数的相似度准则，确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的损失值；其中，所述相似度准则包括但不限定于为灰度的差值、相干度系数、几何边界的梯度内积投影和与点距离中的一种或多种。
S40，在所述损失值满足收敛条件时，将所述初始参数作为所述目标图像的最终定位结果参数；在该实施例中，若包含初始参数的代价函数所得到的损失值已经小于预设损伤阈值，此时可以认为损失值满足收敛条件，此时可以直接认为代价函数的初始参数已经完成迭代，无需进行修正，初始参数即为最终定位结果参数。
S50，根据所述最终定位结果参数对所述预设定位对象进行预设定位操作。在该实施例中，最终定位结果参数中包含的平移坐标为粗匹配平移坐标，而最终定位结果参数中包含的旋转坐标为粗匹配旋转角度，由于代价函数的初始参数已经完成迭代，此时认为得到的最终定位结果参数也已经为最优值，因此，只需要根据该最终定位结果参数进行预设定位操作即可，比如，根据该最终定位结果参数调整预设定位对象与需要对预设定位对象进行定位操作的设备之间的相对位置关系，进而在定位完成之后进行后续操作，比如焊接、固定等操作均可。
本发明对预处理之后的预设模板图像和目标图像进行像素级别的相似度粗匹配之后，得到的不同的粗匹配平移坐标和粗匹配旋转角度将会呈现离散化效果（得到的不同粗匹配平移坐标之间必然会存在间隔，得到的不同粗匹配旋转角度之间也必然会存在间隔），而对于最终定位结果参数来说，不同最终定位结果参数中的平移坐标之间将会可以呈现连续性，不同最终定位结果参数中的旋转角度也将呈现连续性，如此，可以有效地避免现有技术方案中可能出现的平移坐标和旋转角度离散化带来的精度缺失问题，提升了最终定位结果参数所对应的定位精度。
同时，本发明中，将相似度粗匹配得到的粗匹配平移坐标和粗匹配旋转角度作为预设相似度匹配模型中的代价函数的初始参数，进而通过该代价函数确定预设模板图像和目标图像之间的亚像素级别的相似度所对应的损失值，进而根据该损失值确定最终定位结果参数，为预设定位操作（比如半导体封装及检测中进行固晶、焊线所需要进行的预设定位操作）提供准确的定位数据（也即最终定位结果参数），该最终定位结果参数中的平移坐标所对应的定位匹配误差小，定位精度高（亚像素级别的定位精度水平），而最终定位结果参数中同时还包含的高精度的旋转角度（不会受到旋转角度的变化与平移坐标的平移操作在不同环境中的权重差异的影响），因此，与现有技术中的基于插值或者拟合的识别定位结果参数的方案相比较，本发明能够在无需增加额外的计算时间成本的情况下（一次计算过程同时得到包含高精度的平移坐标和旋转角度的最终定位结果参数），使得最终定位结果参数的精度远高于现有技术的定位结果参数的定位精度。
在一实施例中，如图4所示，步骤S30之后，也即所述通过具有所述初始参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的损失值之后，还包括：
S60，在所述损失值并不满足收敛条件时，通过所述预设相似度匹配模型中的数值优化器将所述代价函数的初始参数更新为修正参数，所述修正参数包括根据所述粗匹配平移坐标修正后的亚像素平移坐标，以及根据所述粗匹配旋转角度修正后的修正旋转角度。也即，在该实施例中，若包含初始参数的代价函数所得到的损失值并不小于预设损伤阈值，此时可以认为损失值并不满足收敛条件，此时认为该修正参数依旧不是最优值，不能作为最终定位结果参数，因此需要对代价函数中的初始参数进行迭代计算，也即，通过预设相似度匹配模型中的数值优化器修正初始参数，将初始参数修正为上述修正参数。
可理解地，在进一步实施例中，所述步骤S60中，通过所述预设相似度匹配模型中的数值优化器将所述代价函数的初始参数更新为修正参数，包括：通过所述预设相似度匹配模型中的数值优化器的迭代算法，将所述代价函数的初始参数更新为修正参数，所述迭代算法包括但不限定于为一阶梯度下降法、二阶牛顿法及拟牛顿算法等其中的一种或多种。也即，通过上述数值优化器的迭代算法，可以将初始参数中的所述粗匹配平移坐标修正为亚像素平移坐标，以及将初始参数中的粗匹配旋转角度修正为上述修正旋转角度。同理。若当前的新的损失值依旧无法满足收敛条件，此时认为该修正参数依旧不是最优值，不能作为最终定位结果参数，因此将会通过上述数值优化器的迭代算法继续进行循环迭代，每一次迭代后得到的新的损失值对应的修正参数，均会在下一次迭代时用于替换代价函数的初始参数，以便于通过具有最新的修正参数的代价函数获得新的损失值，直至最终实现新的损失值满足收敛条件时方可认为迭代完成，此时可以将最新的修正参数作为所述目标图像的最终定位结果参数；根据所述最终定位结果参数对所述预设定位对象进行预设定位操作。
S70，通过具有所述修正参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的新的损失值；也即，将初始参数修正为上述修正参数之后，通过包含该修正参数的代价函数确定新的损失值，该新的损失值表征了迭代后的修正参数所对应的所述预设模板图像和所述目标图像之间的亚像素级别的相似度。
S80，在所述新的损失值满足收敛条件时，将所述修正参数作为所述目标图像的最终定位结果参数；也即在新的损失值满足收敛条件时，可认为迭代完成，此时可以认为最新的修正参数为最优值，可以将其作为所述目标图像的最终定位结果参数。
S90，根据所述最终定位结果参数对所述预设定位对象进行预设定位操作。也即，在确定最终定位结果参数之后，只需要根据该最终定位结果参数进行预设定位操作即可，比如，根据该最终定位结果参数调整预设定位对象与需要对预设定位对象进行定位操作的设备之间的相对位置关系，进而在定位完成之后进行后续操作，比如焊接、固定等操作均可。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种图像亚像素匹配定位系统，该图像亚像素匹配定位系统与上述实施例中图像亚像素匹配定位方法一一对应。该图像亚像素匹配定位系统包括：
采集模块，用于实时采集预设定位对象的目标图像并获取预设模板图像，对所述预设模板图像和所述目标图像进行预处理；
粗匹配模块，用于对预处理之后的所述预设模板图像和所述目标图像进行像素级别的相似度粗匹配，获取粗匹配平移坐标和粗匹配旋转角度；
损失值确定模块，用于将所述粗匹配平移坐标和所述粗匹配旋转角度作为预设相似度匹配模型中的代价函数的初始参数，通过具有所述初始参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的损失值；
参数确定模块，用于在所述损失值满足收敛条件时，将所述初始参数作为所述目标图像的最终定位结果参数；
操作模块，用于根据所述最终定位结果参数对所述预设定位对象进行预设定位操作。
关于图像亚像素匹配定位系统的具体限定可以参见上文中对于图像亚像素匹配定位方法的限定，在此不再赘述。上述图像亚像素匹配定位系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令。该内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机可读指令被处理器执行时以实现一种图像亚像素匹配定位方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现上述图像亚像素匹配定位方法中的实施例。
在一个实施例中，提供了一个或多个存储有计算机可读指令的计算机可读存储介质，本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现上述图像亚像素匹配定位方法中的实施例。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (7)
1.一种图像亚像素匹配定位方法，其特征在于，包括：
实时采集预设定位对象的目标图像并获取预设模板图像，对所述预设模板图像和所述目标图像进行预处理；
对预处理之后的所述预设模板图像和所述目标图像进行像素级别的相似度粗匹配，获取粗匹配平移坐标和粗匹配旋转角度；
将所述粗匹配平移坐标和所述粗匹配旋转角度作为预设相似度匹配模型中的代价函数的初始参数，通过具有所述初始参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的损失值；其中，确定相似度对应的损失值的代价函数的相似度准则包括灰度的差值或/和相干度系数；所述预设相似度匹配模型中的数值优化器的迭代算法为二阶牛顿法或拟牛顿算法；
在所述损失值满足收敛条件时，将所述初始参数作为所述目标图像的最终定位结果参数；
根据所述最终定位结果参数对所述预设定位对象进行预设定位操作；
所述对所述预设模板图像和所述目标图像进行预处理，包括：
从所述预设模板图像中选择第一子区域，并从所述目标图像中选择与所述第一子区域的位置对应的第二子区域；
对所述第一子区域进行几何轮廓提取之后，根据预设旋转角度集和预设像素集降采样生成与所述第一子区域对应的第一图像集，其中，所述预设旋转角度中包括各不相同的预设数量的预设旋转角度；所述预设像素集中包括各不相同的预设数量的预设像素；所述第一图像集中包括预设层数的第一图像，每一个第一图像均为根据预设旋转角度旋转第一子区域并将其像素调整为预设像素之后得到；各所述第一图像对应的预设旋转角度和预设像素各不相同；所述预设数量等于所述预设层数；所述第一图像集中的第一图像的层数按照所述预设像素从小到大的顺序自高向低排列；
对所述第二子区域进行几何轮廓提取之后，根据所述预设像素集降采样生成与所述第二子区域对应的第二图像集，其中，所述第二图像集中包括所述预设层数的第二图像，每一个第二图像均为将第二子区域的像素调整为预设像素之后得到；各所述第二图像对应的预设像素各不相同；同一预设像素对应的第二图像和第一图像的层数相同；
所述对预处理之后的所述预设模板图像和所述目标图像进行像素级别的相似度粗匹配，获取粗匹配平移坐标和粗匹配旋转角度，包括：
按照层数自高向低的顺序，通过具有初始对比参数的粗匹配模型对最高层数的第一图像和第二图像进行相似度匹配，获取与所述最高层数对应的初始匹配参数，所述初始匹配参数包括表征最高层数的第二图像转换为第一图像所需要移动的初始平移坐标和需要旋转的初始旋转角度；
将所述初始对比参数替换为所述初始匹配参数之后，通过具有所述初始匹配参数的所述粗匹配模型对下一层数的第一图像和第二图像进行相似度匹配，获取与所述下一层数对应的更新匹配参数，所述更新匹配参数包括表征下一层数的第二图像转换为第一图像所需要移动的更新平移坐标和需要旋转的更新旋转角度；
在所有层数的第一图像和第二图像均进行相似度匹配之后，将最低层数对应的更新平移坐标记录为粗匹配平移坐标，将最低层数对应的更新旋转角度记录为粗匹配旋转角度。
2.如权利要求1所述的图像亚像素匹配定位方法，其特征在于，所述通过具有所述初始参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的损失值之后，还包括：
在所述损失值并不满足收敛条件时，通过所述预设相似度匹配模型中的数值优化器将所述代价函数的初始参数更新为修正参数，所述修正参数包括根据所述粗匹配平移坐标修正后的亚像素平移坐标，以及根据所述粗匹配旋转角度修正后的修正旋转角度；
通过具有所述修正参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的新的损失值；
在所述新的损失值满足收敛条件时，将所述修正参数作为所述目标图像的最终定位结果参数；
根据所述最终定位结果参数对所述预设定位对象进行预设定位操作。
3.如权利要求2所述的图像亚像素匹配定位方法，其特征在于，所述通过所述预设相似度匹配模型中的数值优化器将所述代价函数的初始参数更新为修正参数，包括：
通过所述预设相似度匹配模型中的数值优化器的迭代算法，将所述代价函数的初始参数更新为修正参数。
4.如权利要求1所述的图像亚像素匹配定位方法，其特征在于，所述获取预设模板图像，包括：
自预设数据库中获取预设模板图像，或
在实时采集的目标图像中，选取预设区域图像作为预设模板图像。
5.一种图像亚像素匹配定位系统，其特征在于，包括：
采集模块，用于实时采集预设定位对象的目标图像并获取预设模板图像，对所述预设模板图像和所述目标图像进行预处理；
粗匹配模块，用于对预处理之后的所述预设模板图像和所述目标图像进行像素级别的相似度粗匹配，获取粗匹配平移坐标和粗匹配旋转角度；
损失值确定模块，用于将所述粗匹配平移坐标和所述粗匹配旋转角度作为预设相似度匹配模型中的代价函数的初始参数，通过具有所述初始参数的所述代价函数确定所述预设模板图像和所述目标图像之间的亚像素级别的相似度所对应的损失值；其中，确定相似度对应的损失值的代价函数的相似度准则包括灰度的差值或/和相干度系数；所述预设相似度匹配模型中的数值优化器的迭代算法为二阶牛顿法或拟牛顿算法；
参数确定模块，用于在所述损失值满足收敛条件时，将所述初始参数作为所述目标图像的最终定位结果参数；
操作模块，用于根据所述最终定位结果参数对所述预设定位对象进行预设定位操作；
所述对所述预设模板图像和所述目标图像进行预处理，包括：
从所述预设模板图像中选择第一子区域，并从所述目标图像中选择与所述第一子区域的位置对应的第二子区域；
对所述第一子区域进行几何轮廓提取之后，根据预设旋转角度集和预设像素集降采样生成与所述第一子区域对应的第一图像集，其中，所述预设旋转角度中包括各不相同的预设数量的预设旋转角度；所述预设像素集中包括各不相同的预设数量的预设像素；所述第一图像集中包括预设层数的第一图像，每一个第一图像均为根据预设旋转角度旋转第一子区域并将其像素调整为预设像素之后得到；各所述第一图像对应的预设旋转角度和预设像素各不相同；所述预设数量等于所述预设层数；所述第一图像集中的第一图像的层数按照所述预设像素从小到大的顺序自高向低排列；
对所述第二子区域进行几何轮廓提取之后，根据所述预设像素集降采样生成与所述第二子区域对应的第二图像集，其中，所述第二图像集中包括所述预设层数的第二图像，每一个第二图像均为将第二子区域的像素调整为预设像素之后得到；各所述第二图像对应的预设像素各不相同；同一预设像素对应的第二图像和第一图像的层数相同；
所述对预处理之后的所述预设模板图像和所述目标图像进行像素级别的相似度粗匹配，获取粗匹配平移坐标和粗匹配旋转角度，包括：
按照层数自高向低的顺序，通过具有初始对比参数的粗匹配模型对最高层数的第一图像和第二图像进行相似度匹配，获取与所述最高层数对应的初始匹配参数，所述初始匹配参数包括表征最高层数的第二图像转换为第一图像所需要移动的初始平移坐标和需要旋转的初始旋转角度；
将所述初始对比参数替换为所述初始匹配参数之后，通过具有所述初始匹配参数的所述粗匹配模型对下一层数的第一图像和第二图像进行相似度匹配，获取与所述下一层数对应的更新匹配参数，所述更新匹配参数包括表征下一层数的第二图像转换为第一图像所需要移动的更新平移坐标和需要旋转的更新旋转角度；
在所有层数的第一图像和第二图像均进行相似度匹配之后，将最低层数对应的更新平移坐标记录为粗匹配平移坐标，将最低层数对应的更新旋转角度记录为粗匹配旋转角度。
6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至4中任一项所述图像亚像素匹配定位方法。
7.一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至4中任一项所述图像亚像素匹配定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111439538.9A CN113850807B (zh) | 2021-11-30 | 2021-11-30 | 图像亚像素匹配定位方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111439538.9A CN113850807B (zh) | 2021-11-30 | 2021-11-30 | 图像亚像素匹配定位方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113850807A CN113850807A (zh) | 2021-12-28 |
| CN113850807B true CN113850807B (zh) | 2022-04-19 |
Family
ID=78982525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111439538.9A Active CN113850807B (zh) | 2021-11-30 | 2021-11-30 | 图像亚像素匹配定位方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113850807B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131878B (zh) * | 2022-08-30 | 2022-11-11 | 深圳市心流科技有限公司 | 一种智能假肢的动作确定方法、装置、终端及存储介质 |
| CN116071362B (zh) * | 2023-03-20 | 2023-08-15 | 内蒙古晶环电子材料有限公司 | 拉晶断苞检测方法、装置、计算机设备和存储介质 |
| CN116579928B (zh) * | 2023-07-14 | 2023-10-03 | 苏州优备精密智能装备股份有限公司 | 一种基于缩放、角度、像素空间的亚精度模板匹配方法 |
| CN117173389B (zh) * | 2023-08-23 | 2024-04-05 | 无锡芯智光精密科技有限公司 | 一种基于轮廓匹配的固晶机视觉定位方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8374442B2 (en) * | 2008-11-19 | 2013-02-12 | Nec Laboratories America, Inc. | Linear spatial pyramid matching using sparse coding |
| CN101477632B (zh) * | 2008-12-19 | 2011-08-31 | 深圳市大族激光科技股份有限公司 | 一种灰度图像匹配方法及系统 |
| CN101794373B (zh) * | 2009-12-30 | 2012-07-04 | 上海维宏电子科技股份有限公司 | 带旋转的亚像素匹配算法在机器视觉系统中的应用方法 |
| CN103500448B (zh) * | 2013-09-25 | 2018-04-13 | 华南理工大学 | 高密度封装元器件的仿射变换模型参数估计方法 |
| CN104690420B (zh) * | 2013-12-05 | 2016-08-17 | 大族激光科技产业集团股份有限公司 | 基于数字ccd的fpc板边定位加工方法 |
| US9524432B1 (en) * | 2014-06-24 | 2016-12-20 | A9.Com, Inc. | Fast interest point extraction for augmented reality |
| CN105930858B (zh) * | 2016-04-06 | 2021-03-26 | 吴晓军 | 一种带旋转、缩放的快速高精度几何模板匹配方法 |
| CN108257174A (zh) * | 2018-01-10 | 2018-07-06 | 广东工业大学 | 基于亚像素级图像的图像块匹配方法及焊球位置识别系统 |
| CN112419372B (zh) * | 2020-11-11 | 2024-05-17 | 广东拓斯达科技股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113205145B (zh) * | 2021-05-18 | 2022-08-16 | 广州大学 | 基于归一化互相关的模板匹配方法、系统、装置及介质 |
| CN113239176B (zh) * | 2021-06-21 | 2022-08-23 | 中国平安人寿保险股份有限公司 | 语义匹配模型训练方法、装置、设备及存储介质 |
-
2021
- 2021-11-30 CN CN202111439538.9A patent/CN113850807B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113850807A (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113850807B (zh) | 图像亚像素匹配定位方法、系统、设备及介质 | |
| CN109285190B (zh) | 对象定位方法、装置、电子设备和存储介质 | |
| CN111968235B (zh) | 一种物体姿态估计方法、装置、系统和计算机设备 | |
| CN111079632A (zh) | 文本检测模型的训练方法、装置、计算机设备和存储介质 | |
| JP2017091079A (ja) | 入力データから検出対象物の像を検出する画像処理装置および方法 | |
| CN109886279B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN114529837A (zh) | 建筑物轮廓提取方法、系统、计算机设备及存储介质 | |
| CN115601774B (zh) | 表格识别方法、装置、设备、存储介质和程序产品 | |
| CN108648145B (zh) | 图像拼接方法及装置 | |
| JP2022515517A (ja) | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 | |
| CN114049268A (zh) | 图像校正方法、装置、电子设备和计算机可读存储介质 | |
| CN115713487A (zh) | 用于x射线焊缝图像的缺陷识别方法、设备和存储介质 | |
| CN115147499A (zh) | 标定参数确定方法、混合标定板、装置、设备和介质 | |
| CN115482522A (zh) | 飞机结构件转角特征识别方法、装置、设备及存储介质 | |
| CN111915681B (zh) | 多组3d相机群的外参标定方法、装置、存储介质及设备 | |
| CN108846856B (zh) | 图片特征点的跟踪方法和跟踪装置 | |
| CN114764823A (zh) | 自校正的深度计算方法、系统、介质及深度图像处理设备 | |
| CN112330727A (zh) | 图像匹配方法、装置、计算机设备及存储介质 | |
| CN115205224B (zh) | 自适应特征增强的多源融合视觉检测方法、装置及介质 | |
| CN111563883B (zh) | 屏幕视觉定位方法、定位设备及存储介质 | |
| CN114004839A (zh) | 全景图像的图像分割方法、装置、计算机设备和存储介质 | |
| CN109242894B (zh) | 一种基于移动最小二乘法的图像对齐方法及系统 | |
| CN115805457B (zh) | 基于计算机视觉的夹具调控方法、装置、终端及存储介质 | |
| CN113822800B (zh) | 一种全景图像拼接融合的方法及装置 | |
| CN115049729A (zh) | 零件焊接位姿的确定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 No. 9988 Shennan Road, Nanshan District, Shenzhen, Guangdong Applicant after: HAN'S LASER TECHNOLOGY INDUSTRY GROUP Co.,Ltd. Applicant after: Shenzhen Dazu Photoelectric Equipment Co.,Ltd. Address before: 518000 No. 9988 Shennan Road, Nanshan District, Shenzhen, Guangdong Applicant before: HAN'S LASER TECHNOLOGY INDUSTRY GROUP Co.,Ltd. Applicant before: SHENZHEN HAN'S PHOTOELECTRIC EQUIPMENT Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220316 Address after: 518100 floor 6, building 5, Han's laser Industrial Park, No. 128, Chongqing Road, Fuyong street, Bao'an District, Shenzhen, Guangdong Province Applicant after: Shenzhen Dazu Photoelectric Equipment Co.,Ltd. Address before: 518000 No. 9988 Shennan Road, Nanshan District, Shenzhen, Guangdong Applicant before: HAN'S LASER TECHNOLOGY INDUSTRY GROUP Co.,Ltd. Applicant before: Shenzhen Dazu Photoelectric Equipment Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 518100 floor 6, building 5, Han's laser Industrial Park, No. 128, Chongqing Road, Fuyong street, Bao'an District, Shenzhen, Guangdong Province Patentee after: Shenzhen Han family sealing and Testing Technology Co.,Ltd. Address before: 518100 floor 6, building 5, Han's laser Industrial Park, No. 128, Chongqing Road, Fuyong street, Bao'an District, Shenzhen, Guangdong Province Patentee before: Shenzhen Dazu Photoelectric Equipment Co.,Ltd. |