CN116524160A - 基于ar识别的产品一致性辅助核实系统及方法 - Google Patents

基于ar识别的产品一致性辅助核实系统及方法 Download PDF

Info

Publication number
CN116524160A
CN116524160A CN202310807978.8A CN202310807978A CN116524160A CN 116524160 A CN116524160 A CN 116524160A CN 202310807978 A CN202310807978 A CN 202310807978A CN 116524160 A CN116524160 A CN 116524160A
Authority
CN
China
Prior art keywords
product
dimensional
feature
identified
consistency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310807978.8A
Other languages
English (en)
Other versions
CN116524160B (zh
Inventor
张晓颖
张昊辰
杜国傲
蒋桦
张笑怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Fire Research Institute of MEM
Original Assignee
Tianjin Fire Research Institute of MEM
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Fire Research Institute of MEM filed Critical Tianjin Fire Research Institute of MEM
Priority to CN202310807978.8A priority Critical patent/CN116524160B/zh
Publication of CN116524160A publication Critical patent/CN116524160A/zh
Application granted granted Critical
Publication of CN116524160B publication Critical patent/CN116524160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

一种基于AR识别的产品一致性辅助核实系统及方法，涉及产品检查辅助核实技术领域，通过AR摄像头采集待识别产品的虚拟图像信息，经过图像处理模块进行虚拟影像处理，得到虚拟图像；获取待识别产品定位标识图像贴所在位置点的特征信息，选取特征点；利用深度相机获得特征点的三维坐标，向识别模块导入待识别产品标准化三维数字化模型，将三维坐标映射到标准化三维数字化模型中，进行融合显示；一致性核实模块将特征点的三维坐标与特征点在标准化三维数字化模型的坐标进行比对，判断待识别产品是否符合标准要求。

Description

基于AR识别的产品一致性辅助核实系统及方法
技术领域
本发明涉及产品检查辅助核实技术领域，具体涉及基于AR识别的产品一致性辅助核实系统及方法。
背景技术
长期以来，认证认可、检验检测作为质量基础设施的重要支柱，向企业，向消费者，向社会，向行业监管部门传递产品质量信任，为服务经济社会高质量发展作出积极贡献。面对新形势新要求，传递产品质量信任要推动全要素、全过程、全数据的集成化应用，充分呈现出认证产品多维度、全方位、立体性的综合质量信息。
对于认证产品主体，聚焦产品生产、检验环节等质量控制核心环节，重点围绕原材料采购、生产设备和工艺情况、检验设备和检验过程、一致性控制等生命周期，从“产品质量主体信息”扩容至“产品质量延展数据信息”，多维度构建数字化、智能化质量管控模式，包括但不限于：直接对企业获证产品主体情况进行全面展示，通过VR全景或小程序等技术手段，集成文字、图片、视频、3D动画等载体，以可视化方式沉浸式实现。
虚拟对象与物理世界的配准指的是在用户的最终视野中，虚拟物体必须与真实世界中的物体准确对齐、对准。虚实的配准性是AR系统中用户有效同虚拟信息进行实时三维交互的必要条件，虚实的无缝结合是AR系统中三维用户界面可用性的重要度量标准之一。
当前的产品一致性辅助系统需要建立复杂三维模型，整个建模过程工作极大，而且，一旦产品结构发生变动，就需要改变其三维模型，因此后期维护工作量也大，渲染复杂模型时占用的计算资源较大。
发明内容
为了解决上述技术问题，本发明提出了一种基于AR识别的产品一致性辅助核实方法，包括如下步骤：
步骤一、通过AR摄像头采集具有定位标识图像贴的待识别产品的虚拟图像信息，经过图像处理模块进行虚拟影像处理，得到虚拟图像；
步骤二、获取待识别产品上的定位标识图像贴在所述虚拟图像上的位置点的特征信息，选取特征点；
步骤三、利用深度相机获得特征点的三维坐标，向中央处理器的识别模块导入待识别产品标准化三维数字化模型，将三维坐标映射到标准化三维数字化模型中，进行融合显示；
步骤四、中央处理器的一致性核实模块将所有特征点的三维坐标与该特征点在标准化三维数字化模型的坐标进行比对，判断待识别产品是否符合标准要求。
进一步地，步骤二包括：
S21、获取待识别产品定位标识图像贴所在位置点在虚拟图像上的位置信息；
S22、将位置信息按比例分成训练集和测试集；
S23、将训练集的位置信息输入到神经网络模型f中，通过不断更新权重，完善神经网络模型，将测试集输入到完善的神经网络模型中进行测试；
S24、提取每个定位标识图像贴所在位置点的位置信息的深度特征；
S25、判断在不同摆放角度的相同定位标识图像贴所在位置点的深度特征是否相等，如果相等，则将定位标识图像贴所在位置点设置为特征点；如果不相等，则再次选定其他定位标识图像贴所在点。
进一步地，步骤S24中，
第m个位置信息的第i个深度特征的表达式为：
；
其中，为第m个位置信息的第i个深度特征和第j个深度特征之间的连接权重，为第m个位置信息的深度特征的特征偏置，/>为第m个位置信息的第j个深度特征，f为神经网络模型。
进一步地，步骤三中，
深度相机根据特征点的二维坐标在三维空间中的映射，确定特征点的三维坐标，映射关系为：
；
其中(KX，KY)为特征点的二维坐标；(UX,UY,UZ)为特征点在三维空间下的三维坐标，W为二维空间与三维空间的坐标对应的比例关系，(VX,VY,VZ)为从二维空间的位置向三维空间的位置匹配后的位移距离，其中VX,VY为二维平面上的X、Y方向上的位移距离，VZ为二维空间AR摄像头的视点位置沿Z方向三维空间的虚拟AR摄像头的虚拟视点位置匹配的位移距离。
进一步地，当前AR摄像头的二维空间中的姿态为Q，中央处理器导入预先存储的待识别产品标准化三维数字化模型，将三维坐标映射到标准化三维数字化模型中，进行融合显示，将标准化三维数字化模型中的虚拟AR摄像头的虚拟视点的姿态同样设为Q，将两个视点的位置和姿态进行融合。
进一步地，步骤四中，分别计算所有特征点的第k个特征点在三维空间中距离AR摄像头的视点位置的距离rka和在标准化三维数字化模型中距离AR摄像头的虚拟视点位置的距离rkb，设第k个特征点的权重为Mk,特征点的个数为n；
用一致度F作为产品一致性的指标，一致度F通过下式获得：
；
将一致度F与阈值FT进行比较，若F≤FT，则证明产品是否符合标准要求，反之则不符合标准要求。
本发明还提出了一种基于AR识别的产品一致性辅助核实系统，用于实现产品一致性辅助核实方法，包括：AR头戴显示设备和中央处理器；所述AR头戴显示设备包括：AR摄像头、特征模块、深度相机、显示模块；所述中央处理器包括：图像处理模块、识别模块、一致性核实模块；
通过AR摄像头采集待识别产品的虚拟图像信息，经过图像处理模块进行虚拟影像处理，得到虚拟图像；
特征模块用于获取待识别产品定位标识图像贴所在位置点的特征信息；
利用深度相机获得特征点的三维坐标，向识别模块导入待识别产品标准化三维数字化模型，将三维坐标映射到标准化三维数字化模型中，通过显示模块进行融合显示；
一致性核实模块将特征点的三维坐标与特征点在标准化三维数字化模型的坐标进行比对，判断待识别产品是否符合标准要求。
相比于现有技术，本发明具有如下有益技术效果：
采集待识别产品的虚拟图像信息，获取待识别产品定位标识图像贴所在位置点的特征信息；获得特征点的三维坐标，导入待识别产品标准化三维数字化模型，将三维坐标映射到标准化三维数字化模型中，进行融合显示；将特征点的三维坐标与特征点在标准化三维数字化模型的坐标进行比对，判断待识别产品是否符合标准要求。该系统可以针对不同的产品进行一致性辅助核实，保证系统的适用性和可靠性，可以进行在线或离线操作，方便工厂检查员进行实时检查或后期复核，也可以通过AR技术在移动端实现对产品的实时记录和核实，从而提高效率和准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于AR识别的产品一致性辅助核实方法流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本发明的具体实施例附图中，为了更好、更清楚的描述系统中的各元件的工作原理，表现所述装置中各部分的连接关系，只是明显区分了各元件之间的相对位置关系，并不能构成对元件或结构内的信号传输方向、连接顺序及各部分结构大小、尺寸、形状的限定。
如图1所示，为本发明的基于AR识别的产品一致性辅助核实方法流程图，包括如下步骤：
步骤一、通过AR摄像头采集具有定位标识图像贴的待识别产品的虚拟图像信息，经过图像处理模块进行虚拟影像处理，得到虚拟图像。
AR摄像头配置于智能移动AR头戴显示设备上，通过AR摄像头采集待识别产品的虚拟图像信息，通过图像处理模块来进行虚拟影像处理，待识别产品上粘贴有若干个定位标识图像贴。
虚拟影像处理对图像的噪音、畸变、光照条件以及旋转角度具有较高的容忍度。
虚拟影像处理包括图像去噪处理、二值化处理、样式探测处理以及矩形区域组合处理。
图像去噪处理用于减少AR摄像头采集的虚拟图像在数字化和传输过程中受到成像设备与外部环境的噪声干扰。
二值化处理用于将虚拟图像的像素点化为黑、白两值，具有较高的识别率，以便于提取仅有黑白颜色的定位标识图像。
样式探测处理用于通过虚拟图像的样式特征，在二值化处理后的图像中准确提取图像的像素具体位置。
步骤二、获取待识别产品定位标识图像贴所在位置点在虚拟图像上的特征信息，选取特征点。
S21：获取待识别产品定位标识图像贴所在位置点在虚拟图像上的位置信息。
S22：将位置信息按比例分成训练集和测试集；训练集和测试集的比例为7:3。
S23：将训练集的位置信息输入到神经网络模型f中，通过不断更新权重，完善神经网络模型f，将测试集输入到完善的神经网络模型中进行测试。
S24：提取每个定位标识图像贴所在位置点的位置信息的深度特征。
第m个位置信息的第i个深度特征的表达式为：
；
其中，为第m个位置信息的第i个深度特征和第j个深度特征之间的连接权重，为第m个位置信息的深度特征的特征偏置，/>为第m个位置信息的第j个深度特征。
S25：判断在不同摆放角度的相同定位标识图像贴所在位置点的深度特征是否相等，如果相等，则将定位标识图像贴所在位置点设置为特征点；如果不相等，则再次选定其他定位标识图像贴所在点。
AR摄像头采集待识别产品的多种摆放角度的虚拟图像，获取第种摆放角度虚拟图像和第/>种摆放角度虚拟图像，获取在不同摆放角度的定位标识图像贴所在位置点的深度特征是否相等，如果相等，则将定位标识图像贴所在位置点设置为特征点；如果不相等，则再次选定其他定位标识图像贴所在点。
步骤三、利用深度相机获得特征点的三维坐标，向中央处理器的识别模块导入待识别产品标准化三维数字化模型，将三维坐标映射到标准化三维数字化模型中，进行融合显示。
深度相机根据特征点的二维坐标在三维空间中的映射，确定特征点的三维坐标，映射关系为：
；
其中(KX，KY)为特征点的二维坐标；(UX,UY,UZ)为特征点在三维空间下的三维坐标，W为二维空间与三维空间的坐标对应的比例关系，(VX,VY,VZ)为从二维空间的位置向三维空间的位置匹配后的位移距离，其中VX,VY为二维平面上的X、Y方向上的位移距离，VZ为二维空间AR摄像头的视点位置沿Z方向三维空间的虚拟AR摄像头的虚拟视点位置匹配的位移距离。
当前AR摄像头的二维空间中的姿态为Q，中央处理器导入预先存储的待识别产品标准化三维数字化模型，将三维坐标映射到标准化三维数字化模型中，进行融合显示。将标准化三维数字化模型中的虚拟AR摄像头的虚拟视点的姿态同样设为Q，即将两个视点的位置和姿态进行融合。这里的标准化三维数字化模型为产品的CAD设计模型，预先存储在中央处理器中。
步骤四、中央处理器的一致性核实模块将所有特征点的三维坐标与该特征点在标准化三维数字化模型的坐标进行比对，判断待识别产品是否符合标准要求。
分别计算所有特征点的第k个特征点在三维空间中距离AR摄像头的视点位置的距离rka和在标准化三维数字化模型中距离AR摄像头的虚拟视点位置的距离rkb，设第k个特征点的权重为Mk,特征点的个数为n。
用一致度F作为产品一致性的指标，一致度F通过下式获得：
。
将一致度F与阈值FT进行比较，若F≤FT，则证明产品是否符合标准要求，反之则不符合标准要求。
本发明还提出了基于AR识别的产品一致性辅助核实系统的结构示意图，辅助核实系统包括：AR头戴显示设备和中央处理器。
AR头戴显示设备包括：AR摄像头、特征模块、深度相机、显示模块。
中央处理器包括：图像处理模块、识别模块、一致性核实模块。
通过AR摄像头采集待识别产品的虚拟图像信息，经过图像处理模块进行虚拟影像处理，得到虚拟图像。
特征模块用于获取待识别产品定位标识图像贴所在位置点的特征信息。
利用深度相机获得特征点的三维坐标，向识别模块导入待识别产品标准化三维数字化模型，将三维坐标映射到标准化三维数字化模型中，通过显示模块进行融合显示。
一致性核实模块将特征点的三维坐标与特征点在标准化三维数字化模型的坐标进行比对，判断待识别产品是否符合标准要求。
该产品一致性辅助核实系统可以针对不同的产品进行定制开发，保证系统的适用性和可靠性，可以进行在线或离线操作，方便工厂检查员进行实时检查或后期复核，也可以通过AR技术在移动端实现对产品的实时记录和核实，从而提高效率和准确性。
在优选实施例中，在AR头戴显示设备的显示模块上，通过一定比例的窗口叠加显示标准化三维数字化模型，在标准化三维数字化模型中交互式地标记特征点，通过3D可视化图形界面的向竣工验收人员提供相应设备的包括尺寸、关键检查点在内的参考信息；此外，在AR场景中，AR增强现实应用引擎动态标记关键检查点标签，并以AR的形式和场景融合叠加，验收人员能直观地了解实物模型的关键检查点位置。其中操作人员能够在AR智能移动终端上的软件内对标准化三维数字化模型进行简便的缩放、旋转等操作。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于AR识别的产品一致性辅助核实方法，其特征在于，包括如下步骤：
步骤一、通过AR摄像头采集具有定位标识图像贴的待识别产品的虚拟图像信息，经过图像处理模块进行虚拟影像处理，得到虚拟图像；
步骤二、获取待识别产品上的定位标识图像贴在所述虚拟图像上的位置点的特征信息，选取特征点；
步骤三、利用深度相机获得特征点的三维坐标，向中央处理器的识别模块导入预先存储的待识别产品标准化三维数字化模型，将三维坐标映射到标准化三维数字化模型中，进行融合显示；
步骤四、中央处理器的一致性核实模块将所有特征点的三维坐标与该特征点在标准化三维数字化模型的坐标进行比对，判断待识别产品是否符合标准要求。
2.根据权利要求1所述的产品一致性辅助核实方法，其特征在于，步骤二包括：
S21、获取待识别产品定位标识图像贴所在位置点在虚拟图像上的位置信息；
S22、将位置信息按比例分成训练集和测试集；
S23、将训练集的位置信息输入到神经网络模型f中，通过不断更新权重，完善神经网络模型，将测试集输入到完善的神经网络模型中进行测试；
S24、提取每个定位标识图像贴所在位置点的位置信息的深度特征；
S25、判断在不同摆放角度的相同定位标识图像贴所在位置点的深度特征是否相等，如果相等，则将定位标识图像贴所在位置点设置为特征点；如果不相等，则再次选定其他定位标识图像贴所在点。
3.根据权利要求2所述的产品一致性辅助核实方法，其特征在于，步骤S24中，
第m个位置信息的第i个深度特征的表达式为：
；
其中，为第m个位置信息的第i个深度特征和第j个深度特征之间的连接权重，/>为第m个位置信息的深度特征的特征偏置，/>为第m个位置信息的第j个深度特征，f为神经网络模型。
4.根据权利要求1所述的产品一致性辅助核实方法，其特征在于，步骤三中，
深度相机根据特征点的二维坐标在三维空间中的映射，确定特征点的三维坐标，映射关系为：
；
其中(KX，KY)为特征点的二维坐标；(UX,UY,UZ)为特征点在三维空间下的三维坐标，W为二维空间与三维空间的坐标对应的比例关系，(VX,VY,VZ)为从二维空间的位置向三维空间的位置匹配后的位移距离，其中VX,VY为二维平面上的X、Y方向上的位移距离，VZ为二维空间AR摄像头的视点位置沿Z方向三维空间的虚拟AR摄像头的虚拟视点位置匹配的位移距离。
5.根据权利要求4所述的产品一致性辅助核实方法，其特征在于，当前AR摄像头的二维空间中的姿态为Q，中央处理器导入预先存储的待识别产品标准化三维数字化模型，将三维坐标映射到标准化三维数字化模型中，进行融合显示，将标准化三维数字化模型中的虚拟AR摄像头的虚拟视点的姿态同样设为Q，将两个视点的位置和姿态进行融合。
6.根据权利要求1所述的产品一致性辅助核实方法，其特征在于，步骤四中，分别计算所有特征点的第k个特征点在三维空间中距离AR摄像头的视点位置的距离rka和在标准化三维数字化模型中距离AR摄像头的虚拟视点位置的距离rkb，设第k个特征点的权重为Mk,特征点的个数为n；
用一致度F作为产品一致性的指标，一致度F通过下式获得：
；
将一致度F与阈值FT进行比较，若F≤FT，则证明产品是否符合标准要求，反之则不符合标准要求。
7.一种基于AR识别的产品一致性辅助核实系统，其特征在于，用于实现如权利要求1-6任意一项所述的产品一致性辅助核实方法，包括：AR头戴显示设备和中央处理器；所述AR头戴显示设备包括：AR摄像头、特征模块、深度相机、显示模块；所述中央处理器包括：图像处理模块、识别模块、一致性核实模块；
通过AR摄像头采集待识别产品的虚拟图像信息，经过图像处理模块进行虚拟影像处理，得到虚拟图像；
特征模块用于获取待识别产品定位标识图像贴所在位置点的特征信息；
利用深度相机获得特征点的三维坐标，向识别模块导入待识别产品标准化三维数字化模型，将三维坐标映射到标准化三维数字化模型中，通过显示模块进行融合显示；
一致性核实模块将特征点的三维坐标与特征点在标准化三维数字化模型的坐标进行比对，判断待识别产品是否符合标准要求。
CN202310807978.8A 2023-07-04 2023-07-04 基于ar识别的产品一致性辅助核实系统及方法 Active CN116524160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310807978.8A CN116524160B (zh) 2023-07-04 2023-07-04 基于ar识别的产品一致性辅助核实系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310807978.8A CN116524160B (zh) 2023-07-04 2023-07-04 基于ar识别的产品一致性辅助核实系统及方法

Publications (2)

Publication Number Publication Date
CN116524160A true CN116524160A (zh) 2023-08-01
CN116524160B CN116524160B (zh) 2023-09-01

Family

ID=87406740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310807978.8A Active CN116524160B (zh) 2023-07-04 2023-07-04 基于ar识别的产品一致性辅助核实系统及方法

Country Status (1)

Country Link
CN (1) CN116524160B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109813251A (zh) * 2017-11-21 2019-05-28 蒋晶 用于三维测量的方法、装置以及系统
CN110443898A (zh) * 2019-08-12 2019-11-12 北京枭龙科技有限公司 一种基于深度学习的ar智能终端目标识别系统及方法
CN110967014A (zh) * 2019-10-24 2020-04-07 国家电网有限公司 一种基于增强现实技术的机房室内导航和设备追踪的方法
WO2021197341A1 (zh) * 2020-04-03 2021-10-07 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
CN114550051A (zh) * 2022-02-24 2022-05-27 深圳壹账通科技服务有限公司 一种车损检测方法、装置、计算机设备及存储介质
CN116051876A (zh) * 2023-02-09 2023-05-02 中国科学院空天信息创新研究院 三维数字化模型的相机阵列目标识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109813251A (zh) * 2017-11-21 2019-05-28 蒋晶 用于三维测量的方法、装置以及系统
CN110443898A (zh) * 2019-08-12 2019-11-12 北京枭龙科技有限公司 一种基于深度学习的ar智能终端目标识别系统及方法
CN110967014A (zh) * 2019-10-24 2020-04-07 国家电网有限公司 一种基于增强现实技术的机房室内导航和设备追踪的方法
WO2021197341A1 (zh) * 2020-04-03 2021-10-07 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
CN114550051A (zh) * 2022-02-24 2022-05-27 深圳壹账通科技服务有限公司 一种车损检测方法、装置、计算机设备及存储介质
CN116051876A (zh) * 2023-02-09 2023-05-02 中国科学院空天信息创新研究院 三维数字化模型的相机阵列目标识别方法及系统

Also Published As

Publication number Publication date
CN116524160B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN111046744B (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
CN110427917B (zh) 用于检测关键点的方法和装置
CN108764048B (zh) 人脸关键点检测方法及装置
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
Ahn et al. 2D drawing visualization framework for applying projection-based augmented reality in a panelized construction manufacturing facility: Proof of concept
WO2016177259A1 (zh) 一种相似图像识别方法及设备
CN110109535A (zh) 增强现实生成方法及装置
KR20160082931A (ko) 깊이 카메라를 교정하는 방법
CN107784038B (zh) 一种传感器数据的标注方法
CN104246793A (zh) 移动设备的三维脸部识别
WO2023241097A1 (zh) 一种语义实例重建方法、装置、设备及介质
CN110472460A (zh) 人脸图像处理方法及装置
CN108062544A (zh) 用于人脸活体检测的方法和装置
CN111770450B (zh) 一种车间生产监控服务器、移动终端及应用
CN109961501A (zh) 用于建立三维立体模型的方法和装置
JP2024508403A (ja) データ暗号化方法、装置、コンピュータ機器及びコンピュータプログラム
WO2023155581A1 (zh) 一种图像检测方法和装置
CN113627005B (zh) 一种智能视觉监控方法
CN116524160B (zh) 基于ar识别的产品一致性辅助核实系统及方法
WO2020155908A1 (zh) 用于生成信息的方法和装置
CN114202554A (zh) 标记生成、模型训练、标记方法、装置、存储介质及设备
CN112396831A (zh) 一种交通标识的三维信息生成方法和装置
KR102469474B1 (ko) 건설 현장의 영상입력장치를 이용한 공사일보 자동 작성 시스템
CN113781653B (zh) 对象模型生成方法、装置、电子设备及存储介质
US20200218756A1 (en) System and Method for Generating Digital Information and Altering Digital Models of Components With Same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant