CN116205889A - 偏移检测方法、装置、电子设备及存储介质 - Google Patents

偏移检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116205889A
CN116205889A CN202310226727.0A CN202310226727A CN116205889A CN 116205889 A CN116205889 A CN 116205889A CN 202310226727 A CN202310226727 A CN 202310226727A CN 116205889 A CN116205889 A CN 116205889A
Authority
CN
China
Prior art keywords
depth image
cloud data
point cloud
detected
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310226727.0A
Other languages
English (en)
Inventor
李飞
张伟
赵兵
武春杰
荀迅
吴海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Lianbao Information Technology Co Ltd
Original Assignee
Hefei Lianbao Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Lianbao Information Technology Co Ltd filed Critical Hefei Lianbao Information Technology Co Ltd
Priority to CN202310226727.0A priority Critical patent/CN116205889A/zh
Publication of CN116205889A publication Critical patent/CN116205889A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种偏移检测方法、装置、电子设备及存储介质，所述方法包括：获取针对目标部件的参照点云数据和待测点云数据；基于参照点云数据，构建出针对目标部件的参照深度图像；基于待测点云数据，构建出针对目标部件的待测深度图像；确定参照深度图像和待测深度图像中的匹配特征点对；基于匹配特征点对，确定待测深度图像是否为异常图像；基于待测深度图像是否为异常图像的确定结果，确定目标部件在电子设备中的位置是否发生偏移。提高了检测效率，为实现高效检测目标部件是否发生偏移提供了技术支持。

Description

偏移检测方法、装置、电子设备及存储介质
技术领域
本申请涉及缺陷检测领域，尤其涉及一种偏移检测方法、装置、电子设备及存储介质。
背景技术
在诸如笔记本电脑等电子设备内部通常存在一些贴附部件，如果贴附部件出现了位置偏移则会影响电子设备的质量。目前对贴附部件是否发生位置偏移进行检测的方法效率较低。如何高效的对贴附部件进行偏移检测成为了亟待解决的技术问题。
发明内容
本申请提供了一种偏移检测方法、装置、电子设备及存储介质，以至少解决现有技术中存在的以上技术问题。
根据本申请的第一方面，提供了一种偏移检测方法，所述方法包括：
获取针对目标部件的参照点云数据和待测点云数据；
基于参照点云数据，构建出针对目标部件的参照深度图像；
基于待测点云数据，构建出针对目标部件的待测深度图像；
确定参照深度图像和待测深度图像中的匹配特征点对；
基于匹配特征点对，确定待测深度图像是否为异常图像；
基于待测深度图像是否为异常图像的确定结果，确定目标部件在电子设备中的位置是否发生偏移。
上述方案中，所述确定参照深度图像和待测深度图像中的匹配特征点对，包括：
对参照深度图像进行特征角点提取，得到参照深度图像中的目标特征点；
对待测深度图像进行特征角点提取，得到待测深度图像中的目标特征点；
对参照深度图像中的目标特征点与待测深度图像中的目标特征点进行特征匹配，得到参照深度图像和待测深度图像中的匹配特征点对。
上述方案中，所述基于匹配特征点对，确定待测深度图像是否为异常图像，包括：
在所述匹配特征点对的数量小于或等于第一预设阈值的情况下，确定待测深度图像为异常图像。
上述方案中，所述基于匹配特征点对，确定待测深度图像是否为异常图像，包括：
在所述匹配特征点对的数量大于第一预设阈值的情况下，基于全部匹配特征点对之间的平均欧式距离，确定待测深度图像是否为异常图像。
上述方案中，所述基于全部匹配特征点对之间的平均欧式距离，确定待测深度图像是否为异常图像，包括：
在所述平均欧式距离小于或等于第二预设阈值的情况下，确定待测深度图像不为异常图像；
在所述平均欧式距离大于第二预设阈值的情况下，确定待测深度图像为异常图像。
上述方案中，所述获取针对目标部件的参照点云数据，包括：
获取针对目标部件的初始待测点云数据和初始参照点云数据；对初始待测点云数据和初始参照点云数据进行配准，得到转换矩阵；
基于转换矩阵，对初始参照点云数据进行转换，得到中间参照点云数据；
从中间参照点云数据中，确定出针对目标部件的参照点云数据。
上述方案中，所述获取针对目标部件的待测点云数据，包括：
从中间参照点云数据中，查找出参照点云数据的邻域点；
将初始待测点云数据中邻域点与参照点云数据的邻域点具有相同特征的点云数据作为待测点云数据。
根据本申请的第二方面，提供了一种偏移检测装置，所述装置包括：
获取单元，用于获取针对目标部件的参照点云数据和待测点云数据；
第一构建单元，用于基于参照点云数据，构建出针对目标部件的参照深度图像；
第二构建单元，用于基于待测点云数据，构建出针对目标部件的待测深度图像；
第一确定单元，用于确定参照深度图像和待测深度图像中的匹配特征点对；
第二确定单元，用于基于匹配特征点对，确定待测深度图像是否为异常图像；
第三确定单元，用于基于待测深度图像是否为异常图像的确定结果，确定目标部件在电子设备中的位置是否发生偏移。
根据本申请的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请所述的方法。
根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本申请所述的方法。
本申请中，基于分别对获取的针对目标部件的参照点云数据和待测点云数据的深度图像的构建，得到针对目标部件的参照深度图像和针对目标部件的待测深度图像。基于参照深度图像和待测深度图像中的匹配特征点对确定待测深度图像是否为异常图像。基于待测深度图像是否为异常图像的确定结果，确定目标部件在电子设备中的位置是否发生偏移，实现了对目标部件高效的偏移检测。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1示出了本申请实施例偏移检测方法的实现流程示意图；
图2示出了本申请实施例中应用实现流程示意图；
图3示出了本申请实施例偏移检测装置的组成结构示意图；
图4示出了本申请实施例一种电子设备的组成结构示意图。
具体实施方式
为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
可以理解，在电子设备内部通常会存在一些贴附部件(目标部件)，如果贴附部件的位置发生了偏移，电子设备的质量也会随之受到影响。目前常采用基于深度学习的偏移检测方法来对贴附部件进行偏移检测。但是，基于深度学习的偏移检测方法，需要收集大量样本，通过标注、训练等过程进行神经网络学习来得到偏移缺陷检测模型，并通过该模型识别贴附部件是否产生偏移。该方法需要浪费大量人力物力，检测效率较低。在对贴附部件进行偏移检测的时候，如果能够提高检测效率，势必会节约检测成本，进一步保证电子设备的质量。
本申请实施例中，基于分别对针对目标部件的参照点云数据和针对目标部件的待测点云数据的深度图像的构建，得到针对目标部件的参照深度图像和待测深度图像。基于参照深度图像和待测深度图像中的匹配特征点对，确定待测深度图像是否为异常图像。基于待测深度图像是否为异常图像的确定结果，确定目标部件在电子设备中的位置是否发生偏移。相对于目前基于深度学习的偏移检测方法而言，本申请不需要耗费大量人力、物力去进行样本的采集、标注和训练，只需要基于针对目标部件的参照点云数据和待测点云数据就可以实现对目标部件的偏移检测，提高了目标部件的偏移检测效率。
下面对本申请实施例的偏移检测方法做详细说明。
本申请实施例提供一种偏移检测方法，如图1所示，所述方法包括：
S101：获取针对目标部件的参照点云数据和待测点云数据。
本步骤中，目标部件为电子设备内部的贴附部件。目标部件的数量可以是一个，也可以是两个或多个。以电子设备为笔记本电脑为例，目标部件包括麦拉、导电布等贴附部件。
本申请中，通过识别针对目标部件的参照点云数据和待测点云数据，进而获取针对目标部件的参照点云数据和待测点云数据。同一个目标部件存在两类点云数据：参照点云数据和待测点云数据。其中，参照点云数据为目标部件在电子设备内部处于标准位置时的点云数据。待测点云数据为目标部件在电子设备内部处于实际位置时的点云数据。采用本申请技术方案，相当于基于同一目标部件处于实际位置的点云数据与处于标准位置时的点云数据，实现对目标部件的位置是否发生偏移的检测。
S102：基于参照点云数据，构建出针对目标部件的参照深度图像。
本步骤中，由于参照点云数据为包含有三维坐标的点的集合。如果每个点用三维坐标(x，y，z)表示，则在点云数据中，z表示该点的深度值。将参照点云数据中各个点的深度值作为待构建参照深度图像中的灰度值，将各个点的x值作为该点在待构建参照深度图像的横坐标值，将各个点的y值作为该点在待构建参照深度图像的纵坐标值。基于待构建参照深度图像中各点的横坐标值、纵坐标值和灰度值，进行待构建参照深度图像的构建，构建出的图像即可作为针对目标部件的参照深度图像。
S103：基于待测点云数据，构建出针对目标部件的待测深度图像。
本步骤中，由于待测点云数据为包含有三维坐标的点的集合。如果每个点用三维坐标(x，y，z)表示，则在点云数据中，z表示该点的深度值。将待测点云数据中各个点的深度值作为待构建待测深度图像中的灰度值，将各个点的x值作为该点在待构建待测深度图像的横坐标值，将各个点的y值作为该点在待构建待测深度图像的纵坐标值。基于待构建待测深度图像中各点的横坐标值、纵坐标值和灰度值，进行待构建待测深度图像的构建，构建出的图像即可作为针对目标部件的待测深度图像。
S102和S103中，将三维的点云数据转化为二维的深度图像。一方面，相对于三维的点云数据来说，对二维数据进行处理速度会更快。另一方面，因为点云数据的维度相对较高，对点云数据的处理方式通常有限，对二维数据进行处理，更加容易、方便。
S104：确定参照深度图像和待测深度图像中的匹配特征点对。
本步骤中，匹配特征点对，为由参照深度图像中的特征点和待测深度图像中的特征点两两组成的特征点对。其中，在参照深度图像和待测深度图像中，组成特征点对的两个特征点通常具有相同的特征。示例性地，当两个特征点周围影像的灰度值及分布相同时，则这两个特征点具有相同的特征。或者，当两个特征点与周围特征点的关系、不变矩以及角度等特征参数相同时，则这两个特征点具有相同的特征。
S105：基于匹配特征点对，确定待测深度图像是否为异常图像。
本步骤中，通过参照深度图像与待测深度图像中匹配特征点对的属性，确定待测深度图像是否存在异常。匹配特征点对的属性包括匹配特征点对的数量以及匹配特征点对之间的平均欧氏距离等等。以匹配特征点对的属性为匹配特征点对的数量为例，当匹配特征点对的数量小于或等于预设数量阈值时，则确定待测深度图像存在异常。以匹配特征点对的属性为匹配特征点对之间的平均欧氏距离为例，当匹配特征点对之间的平均欧氏距离大于预设距离阈值时，则确定待测深度图像存在异常。
S106：基于待测深度图像是否为异常图像的确定结果，确定目标部件在电子设备中的位置是否发生偏移。
本步骤中，基于待测深度图像是否为异常图像的结果，确定目标部件是否发生位置偏移。如果待测深度图像相较与参照深度图像发生了异常，则确定目标部件在电子设备中的位置发生了偏移。如果待测深度图像相较于参照深度图像没有发生异常，则确定目标部件在电子设备中的位置没有发生偏移。
在S101～S106所示的方案中，基于分别对获取的针对目标部件的参照点云数据和待测点云数据的深度图像的构建，得到针对目标部件的参照深度图像和针对目标部件的待测深度图像。基于参照深度图像和待测深度图像中的匹配特征点对确定待测深度图像是否为异常图像。基于待测深度图像是否为异常图像的确定结果，确定目标部件在电子设备中的位置是否发生偏移。相对于目前基于深度学习的偏移检测方法而言，本申请不需要耗费大量人力、物力去进行样本的采集、标注和训练，只需要基于针对目标部件的参照点云数据和待测点云数据就可以实现对目标部件的偏移检测，提高了目标部件的偏移检测效率。
在一个可选的方案中，所述确定参照深度图像和待测深度图像中的匹配特征点对，包括：
对参照深度图像进行特征角点提取，得到参照深度图像中的目标特征点；
对待测深度图像进行特征角点提取，得到待测深度图像中的目标特征点；
对参照深度图像中的目标特征点与待测深度图像中的目标特征点进行特征匹配，得到参照深度图像和待测深度图像中的匹配特征点对。
本申请中，特征角点为特征属性较为突出的特征点。特征角点提取的方法包括尺度不变特征变换(SIFT，Scale-invariant feature transform)算法、快速特征点提取(ORB，Oriented FAST and Rotated BRIEF)算法等等，本申请对此不做限制。
示例性地，对参照深度图像进行ORB特征角点提取，得到参照深度图像的多个目标特征点。对待测深度图像进行ORB特征角点提取，得到待测深度图像的多个目标特征点。将参照深度图像的多个目标特征点和待测深度图像的多个目标特征点进行特征匹配，得到匹配特征点对，如参照深度图像中的点(x1,y1)与待测深度图像中的点(a1,b1)匹配，则点(x1,y1)和点(a1,b1)就构成一对匹配点对。其中，两个特征点是否匹配是由两个特征点各自的特征参数来决定的。特征参数包括特征点周围影像的灰度值及分布、特征点与周围特征点的关系、不变矩以及角度等。当两个特征点的特征参数相同或相似度达到一定的预设阈值时，两个特征点为匹配特征点，组成匹配特征点对。
本申请中，对参照深度图像和待测深度图像进行特征角点提取，得到参照深度图像的目标特征点和待测深度图像中的目标特征点，在工程上简单易行，提高了检测效率。将参照深度图像的目标特征点和待测深度图像中的目标特征点通过特征点的特征属性确定匹配特征点对，保证了偏移检测的准确性。
在一个可选的方案中，所述基于匹配特征点对，确定待测深度图像是否为异常图像，包括：
在所述匹配特征点对的数量小于或等于第一预设阈值的情况下，确定待测深度图像为异常图像。
本申请中，预先设置一数量阈值(第一预设阈值)，根据匹配特征点对的数量与数量阈值的关系确定待测深度图像的异常情况。匹配特征点的数量越少，表征待测深度图像目标特征点与参照深度图像目标特征点的匹配程度越低。当匹配特征点的数量小于或者等于预设数量阈值时，确定待测深度图像为异常图像。
在一个可选的方案中，所述基于匹配特征点对，确定待测深度图像是否为异常图像，包括：
在所述匹配特征点对的数量大于第一预设阈值的情况下，确定待测深度图像不为异常图像。
本申请中，通过比较匹配特征点对的数量与第一预设阈值的大小关系确定待测深度图像是否为异常图像的方案，简单易行，并且实现了检测效率的提升。
在一个优选的方案中，所述基于匹配特征点对，确定待测深度图像是否为异常图像，包括：
在所述匹配特征点对的数量大于第一预设阈值的情况下，基于全部匹配特征点对之间的平均欧式距离，确定待测深度图像是否为异常图像。
本申请中，平均欧式距离的计算公式如下式(1)所示：
Figure BDA0004120050130000091
其中，(model_x[i]，model_y[i])为参照深度图像中能够与待测深度图像中的特征点构成匹配特征点对的目标特征点的坐标。(dst_x[i]，dst_y[i])为待测深度图像中能够与参照深度图像中的特征点构成匹配特征点对的目标特征点的坐标。N为参照深度图像和待测深度图像中匹配特征点对的总数数量，i为从0到N的自然数。
本申请在匹配特征点对的数量大于第一预设阈值的情况下，基于全部匹配特征点对之间的平均欧式距离进一步确定待测深度图像是否为异常图像的方案，为对待测深度图像是否异常进行二次确定的方案，进一步保证了偏移检测的准确性。
在一个可选的方案中，所述基于全部匹配特征点对之间的平均欧式距离，确定待测深度图像是否为异常图像，包括：
在所述平均欧式距离小于或等于第二预设阈值的情况下，确定待测深度图像不为异常图像；
在所述平均欧式距离大于第二预设阈值的情况下，确定待测深度图像为异常图像。
本申请中，预先设置一距离阈值(第二预设阈值)，根据平均欧式距离与距离阈值的关系确定待测深度图像的异常情况。欧式距离为,在特定维度空间中两个点之间的真实距离，在匹配特征对数量满足第一预设范围(大于数量阈值)的情况下，当全部匹配特征点对之间的平均欧式距离小于或等于距离阈值时，确定待测深度图像为正常图像。当平均欧式距离大于距离阈值时，确定待测深度图像为异常图像。
本申请通过平均欧式距离与第二预设阈值的关系确定待测深度图像是否为异常图像的方案，简单易行，为对待测深度图像是否异常进行二次确定的方案，实现了准确的偏移检测。
在一个可选的方案中，所述获取针对目标部件的参照点云数据，包括：
获取针对目标部件的初始待测点云数据和初始参照点云数据；对初始待测点云数据和初始参照点云数据进行配准，得到转换矩阵；
基于转换矩阵，对初始参照点云数据进行转换，得到中间参照点云数据；
从中间参照点云数据中，确定出针对目标部件的参照点云数据。
本申请中，初始待测点云数据包括针对目标部件的待测点云数据，初始参照点云数据包括针对目标部件的参照点云数据。可以理解，以电子设备为笔记本电脑为例，初始待测点云数据为待测的笔记本电脑内部结构的点云数据，包括针对目标部件的点云数据，也包括笔记本电脑内部其他结构，如硬盘的点云数据。初始参照点云数据为位置标准的笔记本电脑内部结构的点云数据，包括针对目标部件的点云数据，也包括笔记本电脑内部其他结构，如硬盘的点云数据。
初始参照点云数据和初始待测点云数据可以通过3D相机对电子设备内部进行拍摄来获得，也可以通过计算机辅助绘图(CAD，Computer Aided Drafting)软件进行绘制后导出而得到。对初始参照点云数据和初始待测点云数据进行点云配准得到转换矩阵，将初始参照点云数据基于转换矩阵进行转换得到中间参照点云数据，具体地，假设初始参照点云数据和初始待测点云数据通过点云配准得到一转换矩阵T，将初始参照点云数据与转换矩阵进行叉乘，得到矫正后的初始参照点云数据，即中间参照点云数据。
基于转换矩阵对初始参照点云数据进行旋转、平移等转换得到中间参照点云数据，将初始参照点云数据转换到与初始待测点云数据统一的空间维度，使两个点云数据的空间位置差别尽量达到最小，便于对目标部件是否发生位置偏移进行检测。
从中间参照点云数据中提取出目标部件所在点云数据区域，并识别出针对各目标部件的参照点云数据。
本申请中，对初始待测点云数据和初始参照点云数据进行点云配准，得到转换矩阵，并基于转换矩阵对初始参照点云数据进行转化得到中间参照点云数据的方案，提高了偏移检测效率。同时将初始参照点云数据转换到与初始待测点云数据统一的空间维度，便于对目标部件是否发生偏移进行准确检测。
在一个可选的方案中，所述获取针对目标部件的待测点云数据，包括：
从中间参照点云数据中，查找出参照点云数据的邻域点；
将初始待测点云数据中邻域点与参照点云数据的邻域点具有相同特征的点云数据作为待测点云数据。
本申请中，在从中间参照点云数据中确定出针对目标部件的参照点云数据之后，通过对参照点云数据的邻域点进行查找，得到针对一目标部件参照点云数据的周围点的特征。其中，邻域点为以参照点云数据为中心的、处在预设范围内的点。其中，预设范围是预先设置的范围，目的在于对要查找的邻域点的位置和距离等做了限制，便于实现对邻域点的准确查找。在初始待测点云数据中查找周围点特征与参照点云数据的领域点特征相同的点云数据，将该点云数据作为针对同一目标部件的待测点云数据。示例性地，针对中间参照点云数据中的一目标部件A，通过查找A部件周围点的特征，能够在初始待测点云数据中准确定位部件A所在位置，进而实现部件A在初始待测点云数据中是否发生位置偏移的准确检测。
在一具体实施例中，以电子设备为便携式笔记本电脑、目标部件的数量为一个、目标部件为麦拉为例，对本申请的偏移检测方法进行说明。
如图2所示，通过3D相机分别对位置标准的笔记本电脑和位置待测的笔记本电脑内部进行拍摄，得到初始参照点云数据和初始待测点云数据。将初始参照点云数据和初始待测点云数据进行点云配准得到转换矩阵，基于转换矩阵对初始参照点云数据进行转换，得到矫正后的初始参照点云数据(作为中间参照点云数据使用)。从矫正后的初始参照点云数据中，识别出针对目标部件麦拉的点云数据，即识别出参照点云数据。通过对麦拉周围的邻域点进行查找，在初始待测点云数据中确定出麦拉所在位置的点云数据，即确定出待测点云数据。对麦拉在矫正后的初始参照点云数据中的点云数据构建参照深度图像，以及对麦拉在待测点云数据中的点云数据构建待测深度图像，对参照深度图像和待测深度图像分别进行特征角点提取，将提取到的特征角点进行特征匹配得到匹配特征点对。基于匹配特征点对的数量与预设的数量阈值(第一预设阈值)的关系，根据下式(2)对待测深度图像进行标记：
Figure BDA0004120050130000121
其中，match_count为匹配特征点对的数量，Thresh为数量阈值，flag1为待测深度图像的标记。当flag1为0时表示待测深度图像为异常图像，当flag为1时表示待测深度图像不为异常图像。当匹配特征点对的数量小于或等于预设的数量阈值时，待测深度图像标记为0，确定为异常图像，即待测点云数据中的麦拉的位置出现了偏移。当匹配特征点对的数量大于预设的数量阈值时，待测深度图像标记为1，确定不为异常图像，基于全部匹配特征点对之间的平均欧氏距离与预设的距离阈值的关系，根据下式(3)对标记为1的待测深度图像进行二次标记：
Figure BDA0004120050130000131
其中，dis为全部匹配特征点对之间的平均欧氏距离，T_dis为预设的距离阈值，flag2为待测深度图像的标记。当flag2为0时表示待测深度图像为异常图像，当flag2为1时表示待测深度图像不为异常图像。当平均欧氏距离小于或等于距离阈值时，待测深度图像继续保持标记为1，确定不为异常图像，即待测点云数据中的麦拉的位置没有发生偏移。当平均欧氏距离大于距离阈值时，待测深度图像的标记由1变成0，确定为异常图像，即待测点云数据中的麦拉的位置发生了偏移。
本申请中，基于对获取的针对目标部件的参照点云数据和待测点云数据进行深度图像的构建，得到针对目标部件的参照深度图像和针对目标部件的待测深度图像。基于参照深度图像和待测深度图像中的匹配特征点对确定待测深度图像是否为异常图像。基于待测深度图像是否为异常图像的确定结果，确定目标部件在电子设备中的位置是否发生偏移。相对于目前基于深度学习的偏移检测方法而言，本申请不需要耗费大量人力、物力去进行样本的采集、标注和训练，只需要基于针对目标部件的参照点云数据和待测点云数据就可以实现对目标部件的偏移检测，提高了目标部件的偏移检测效率。
前述内容是以电子设备为便携式笔记本电脑、目标部件为麦拉为例对本申请的偏移检测方法进行的说明，电子设备为其他设备、目标部件为其他部件的方案参见理解，不赘述。
本申请实施例提供一种偏移检测装置，如图3所示，所述装置包括：
获取单元301，用于获取针对目标部件的参照点云数据和待测点云数据；
第一构建单元302，用于基于参照点云数据，构建出针对目标部件的参照深度图像；
第二构建单元303，用于基于待测点云数据，构建出针对目标部件的待测深度图像；
第一确定单元304，用于确定参照深度图像和待测深度图像中的匹配特征点对；
第二确定单元305，用于基于匹配特征点对，确定待测深度图像是否为异常图像；
第三确定单元306，用于基于待测深度图像是否为异常图像的确定结果，确定目标部件在电子设备中的位置是否发生偏移。
在一个可选的方案中，所述第一确定单元304，用于对参照深度图像进行特征角点提取，得到参照深度图像中的目标特征点；对待测深度图像进行特征角点提取，得到待测深度图像中的目标特征点；对参照深度图像中的目标特征点与待测深度图像中的目标特征点进行特征匹配，得到参照深度图像和待测深度图像中的匹配特征点对。
在一个可选的方案中，所述第二确定单元305，用于在所述匹配特征点对的数量小于或等于第一预设阈值的情况下，确定待测深度图像为异常图像。
在一个可选的方案中，所述第二确定单元305，用于在所述匹配特征点对的数量大于第一预设阈值的情况下，基于全部匹配特征点对之间的平均欧式距离，确定待测深度图像是否为异常图像。
在一个可选的方案中，所述第二确定单元305，用于在所述平均欧式距离小于或等于第二预设阈值的情况下，确定待测深度图像不为异常图像；在所述平均欧式距离大于第二预设阈值的情况下，确定待测深度图像为异常图像。
在一个可选的方案中，所述获取单元301，用于获取针对目标部件的初始待测点云数据和初始参照点云数据；对初始待测点云数据和初始参照点云数据进行配准，得到转换矩阵；基于转换矩阵，对初始参照点云数据进行转换，得到中间参照点云数据；从中间参照点云数据中，确定出针对目标部件的参照点云数据。
在一个可选的方案中，所述获取单元301，用于从中间参照点云数据中，查找出参照点云数据的邻域点；将初始待测点云数据中邻域点与参照点云数据的邻域点具有相同特征的点云数据作为待测点云数据。
需要说明的是，本申请实施例的偏移检测装置，由于该装置解决问题的原理与前述的偏移检测方法相似，因此，该装置的实施过程、实施原理及有益效果均可以参见前述方法的实施过程、实施原理及有益效果的描述，重复之处不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
图4示出了可以用来实施本申请的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如偏移检测方法。例如，在一些实施例中，偏移检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的偏移检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行偏移检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种偏移检测方法，其特征在于，所述方法包括：
获取针对目标部件的参照点云数据和待测点云数据；
基于参照点云数据，构建出针对目标部件的参照深度图像；
基于待测点云数据，构建出针对目标部件的待测深度图像；
确定参照深度图像和待测深度图像中的匹配特征点对；
基于匹配特征点对，确定待测深度图像是否为异常图像；
基于待测深度图像是否为异常图像的确定结果，确定目标部件在电子设备中的位置是否发生偏移。
2.根据权利要求1所述的方法，其特征在于，所述确定参照深度图像和待测深度图像中的匹配特征点对，包括：
对参照深度图像进行特征角点提取，得到参照深度图像中的目标特征点；
对待测深度图像进行特征角点提取，得到待测深度图像中的目标特征点；
对参照深度图像中的目标特征点与待测深度图像中的目标特征点进行特征匹配，得到参照深度图像和待测深度图像中的匹配特征点对。
3.根据权利要求1或2所述的方法，其特征在于，所述基于匹配特征点对，确定待测深度图像是否为异常图像，包括：
在所述匹配特征点对的数量小于或等于第一预设阈值的情况下，确定待测深度图像为异常图像。
4.根据权利要求1或2所述的方法，其特征在于，所述基于匹配特征点对，确定待测深度图像是否为异常图像，包括：
在所述匹配特征点对的数量大于第一预设阈值的情况下，基于全部匹配特征点对之间的平均欧式距离，确定待测深度图像是否为异常图像。
5.根据权利要求4所述的方法，其特征在于，所述基于全部匹配特征点对之间的平均欧式距离，确定待测深度图像是否为异常图像，包括：
在所述平均欧式距离小于或等于第二预设阈值的情况下，确定待测深度图像不为异常图像；
在所述平均欧式距离大于第二预设阈值的情况下，确定待测深度图像为异常图像。
6.根据权利要求1所述的方法，其特征在于，所述获取针对目标部件的参照点云数据，包括：
获取针对目标部件的初始待测点云数据和初始参照点云数据；对初始待测点云数据和初始参照点云数据进行配准，得到转换矩阵；
基于转换矩阵，对初始参照点云数据进行转换，得到中间参照点云数据；
从中间参照点云数据中，确定出针对目标部件的参照点云数据。
7.根据权利要求6所述的方法，其特征在于，所述获取针对目标部件的待测点云数据，包括：
从中间参照点云数据中，查找出参照点云数据的邻域点；
将初始待测点云数据中邻域点与参照点云数据的邻域点具有相同特征的点云数据作为待测点云数据。
8.一种偏移检测装置，其特征在于，所述装置包括：
获取单元，用于获取针对目标部件的参照点云数据和待测点云数据；
第一构建单元，用于基于参照点云数据，构建出针对目标部件的参照深度图像；
第二构建单元，用于基于待测点云数据，构建出针对目标部件的待测深度图像；
第一确定单元，用于确定参照深度图像和待测深度图像中的匹配特征点对；
第二确定单元，用于基于匹配特征点对，确定待测深度图像是否为异常图像；
第三确定单元，用于基于待测深度图像是否为异常图像的确定结果，确定目标部件在电子设备中的位置是否发生偏移。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。
CN202310226727.0A 2023-03-06 2023-03-06 偏移检测方法、装置、电子设备及存储介质 Pending CN116205889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310226727.0A CN116205889A (zh) 2023-03-06 2023-03-06 偏移检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310226727.0A CN116205889A (zh) 2023-03-06 2023-03-06 偏移检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116205889A true CN116205889A (zh) 2023-06-02

Family

ID=86519053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310226727.0A Pending CN116205889A (zh) 2023-03-06 2023-03-06 偏移检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116205889A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315032A (zh) * 2023-11-28 2023-12-29 北京智愈医疗科技有限公司 一种组织偏移的监测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315032A (zh) * 2023-11-28 2023-12-29 北京智愈医疗科技有限公司 一种组织偏移的监测方法
CN117315032B (zh) * 2023-11-28 2024-03-08 北京智愈医疗科技有限公司 一种组织偏移的监测方法

Similar Documents

Publication Publication Date Title
CN108228798B (zh) 确定点云数据之间的匹配关系的方法和装置
EP3910543A2 (en) Method for training object detection model, object detection method and related apparatus
Wei et al. A sub-pixel edge detection algorithm based on Zernike moments
CN112989995B (zh) 文本检测方法、装置及电子设备
CN114511661A (zh) 图像渲染方法、装置、电子设备及存储介质
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN116152208A (zh) 缺陷检测方法、装置、设备及存储介质
CN116205889A (zh) 偏移检测方法、装置、电子设备及存储介质
CN115359308B (zh) 模型训练、难例识别方法、装置、设备、存储介质及程序
CN115330940A (zh) 一种三维重建方法、装置、设备和介质
CN113344862A (zh) 缺陷检测方法、装置、电子设备及存储介质
CN113537192B (zh) 图像检测方法、装置、电子设备及存储介质
CN112784102B (zh) 视频检索方法、装置和电子设备
CN116486126B (zh) 一种模版确定方法、装置、设备及存储介质
CN107452003A (zh) 一种含有深度信息的图像分割的方法及装置
CN113361371B (zh) 道路提取方法、装置、设备以及存储介质
CN112200190B (zh) 兴趣点的位置确定方法、装置、电子设备和存储介质
CN114674328A (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
Yang et al. Real-time reading system for pointer meter based on YolactEdge
Sun et al. Contextual models for automatic building extraction in high resolution remote sensing image using object-based boosting method
CN115797934B (zh) 仪表示数方法、装置、电子设备以及存储介质
EP4075383A1 (en) Portable device positioning data processing method and apparatus, device, and storage medium
CN113177545B (zh) 目标物体的检测方法、装置、电子设备和存储介质
CN113344890B (zh) 医学图像识别方法、识别模型训练方法及装置
Yu et al. Gesture tracking and locating algorithm based on federated tracking filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination